JP2001145112A - 動画像合成装置、動画像合成方法および記録媒体 - Google Patents
動画像合成装置、動画像合成方法および記録媒体Info
- Publication number
- JP2001145112A JP2001145112A JP32300299A JP32300299A JP2001145112A JP 2001145112 A JP2001145112 A JP 2001145112A JP 32300299 A JP32300299 A JP 32300299A JP 32300299 A JP32300299 A JP 32300299A JP 2001145112 A JP2001145112 A JP 2001145112A
- Authority
- JP
- Japan
- Prior art keywords
- data
- moving image
- code
- picture
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
理することができる動画像合成装置、動画像合成方法お
よび記録媒体を提供する。 【解決手段】 画像符号化手段101は、入力される映
像信号151を1フレーム単位でMPEG形式に圧縮符
号化する。画像蓄積手段102は、画像符号化手段10
1からの動画像データ152を一時的に蓄積する。画像
合成手段103は、画像蓄積手段102から合成しよう
とする各動画像データの1フレーム分のデータを取り出
し、取り出した全動画像データのフレームが全て同一の
符号化種別である場合にはそのまま合成処理を行なう。
また、Iピクチャ形式とPピクチャ形式のフレームが含
まれる場合は、画像合成手段103は、フレーム種別変
換手段104がIピクチャをPピクチャに変換し、符号
化種別が全てPピクチャ形式に揃えられて動画像データ
を合成処理する。
Description
動画像データを合成する動画像合成装置、動画像合成方
法および該動画像合成方法を実行させるためのプログラ
ムを記録した記録媒体に係り、より詳しくは、MPEG
形式に圧縮符号化された動画像データの符号化種別(I
ピクチャ形式およびPピクチャ形式)に関係なく、異な
る符号化種別の動画像データを高速に合成することがで
きる動画像合成装置、動画像合成方法および記録媒体に
関する。
画像データ)として圧縮符号化する方式としてMPEG
方式と呼ばれる国際標準規格がある。MPEG方式は、
連続するフレームの相関性を利用し、前後のフレームか
ら変化した情報だけを符号化することで高い圧縮率を実
現している。すなわち、MPEG方式では、他のフレー
ムを参照せずに1枚のフレーム内で符号化が完結してい
るフレームをIピクチャ(Intra picture)形式データ
(以下、Iピクチャという)、直前のフレームから変化
した情報だけを符号化するフレームをPピクチャ(Pred
ictive picture)形式データ(以下、Pピクチャとい
う)、前後2枚のフレームから変化した情報だけを符号
化したフレームをBピクチャ(Bidirectionally predic
tive picture)形式データ(以下、Bピクチャという)
とそれぞれ定義し、これら3種類のフレームがI,B,
B,P,B,B,P,…のように混在した形式で符号化
される。
きるため、動画像データをネットワークを介して送信し
たり、或いは、記憶装置上に蓄積する際に広く利用され
ている。そして、動画像合成装置によりMPEG方式の
動画像データを複数合成してマルチ画面映像を生成する
ことによって、動画一覧システムやテレビ会議システム
を実現することが可能となる。
トワークを介して送信し、各映像を合成してマルチ画面
表示するようなシステムでは、Bピクチャを挿入すると
再生時に遅延が発生がするため、IピクチャとPピクチ
ャのみを用いる場合が多い。
を合成してマルチ画面映像を生成する動画像合成装置の
構成図を図25に示す。ここで、図25の第1従来例の
動画像合成装置は、合成される元の動画像データが同一
種別の符号化形式である場合(つまり、同じピクチャ形
式のフレーム同士を合成する場合)に用いられる。
装置は、合成装置500により各入力された動画像デー
タにおけるフレームの表示位置情報を合成画面の配置に
あわせて変更し、マルチ画面映像(合成動画像)を生成
するものである。これにより、入力された動画像データ
を復号することなく合成動画像に高速に合成することが
できる。
1従来例の動画像合成装置にあっては、異なる符号化形
式のフレーム同士を合成することができず、ビデオカメ
ラで撮影した映像や受信した放送を合成してマルチ画面
で一覧表示するようなシステムを構成する場合には、入
力される各動画像データのフレームの符号化形式種別が
揃っているという保証はないことから、実用性の点で問
題があった。
を合成してマルチ画面映像を生成する他の動画像合成装
置として、入力された動画像データを復号して合成動画
像データを生成してから符号化することにより、入力さ
れる動画像データにおけるフレームの符号化形式に関係
なく合成動画像を生成する動画像合成装置がある。図2
6には、この第2従来例の動画像合成装置の構成図を示
す。
置は、復号化装置600a,600bにより入力された
動画像データを一旦ビットマップなどの空間領域の動画
像データに復号し、符号化装置601により合成動画像
データを生成して、再び符号化することにより合成動画
像を生成している。これにより、合成しようとする動画
像データのフレームの符号化形式種別に関係なく、マル
チ画面映像(合成動画像)を生成することができる。
成装置にあっては、動画像データを復号し、再び符号化
するために、復号化装置600a,600bおよび符号
化装置601が必要である。つまり、復号および符号化
の複雑な計算を高速に行うためには、より性能の高い高
価な装置構成が必要となり、装置コストが増大してしま
うという問題があった。また、符号化された動画像デー
タを復号し合成してから再び符号化するので、映像の品
質が劣化するという問題もあった。
てなされたものであって、例えばMPEG規格に準拠す
るIピクチャおよびPピクチャが任意の順番で混在する
ような動画像データを合成する際に、Iピクチャの符号
化種別をPピクチャ形式に変換することにより、最低限
の復号処理で異なる符号化種別を含む動画像データを高
速に合成することができる動画像合成装置、動画像合成
方法および記録媒体を提供することを目的としている。
に、本発明の請求項1に係る動画像合成装置は、入力さ
れる映像信号をMPEG規格に準拠したIピクチャ形式
およびPピクチャ形式を含む動画像データとして符号化
する画像符号化手段と、前記動画像データを蓄積する画
像蓄積手段と、前記動画像データのIピクチャ形式デー
タを前記Pピクチャ形式データに変換するフレーム種別
変換手段と、前記画像蓄積手段から動画像データを取り
出して合成処理する画像合成手段とを備え、異なる符号
化種別を含む動画像データを合成する際に、前記画像合
成手段は、符号化または変換されたPピクチャ形式デー
タを含む動画像データを合成処理するものである。
入力される映像信号をMPEG規格に準拠したIピクチ
ャ形式およびPピクチャ形式を含む動画像データとして
符号化する画像符号化手段と、前記画像符号化手段がマ
クロブロックデータを可変長符号化する際に、該マクロ
ブロックデータの境界を識別可能なマーキングコードを
挿入するマーキングコード挿入手段と、前記動画像デー
タを蓄積する画像蓄積手段と、前記動画像データのマー
キングコードを検出して前記Iピクチャ形式データのマ
クロブロックの符号化種別をPピクチャ形式の符号語に
変換するフレーム種別変換手段と、前記画像蓄積手段か
ら動画像データを取り出して合成処理を行なう画像合成
手段とを備え、異なる符号化種別を含む動画像データを
合成する際に、前記画像合成手段は、符号化または変換
されたPピクチャ形式データを含む動画像データを合成
処理するものである。
請求項2記載の動画像合成装置において、前記マーキン
グコード挿入手段が挿入するマーキングコードは、前記
フレーム種別変換手段によりマクロブロックの符号化種
別を変換する際の符号長の減少量が処理系のデータ処理
単位の倍数長となるような符号長を持つ符号語であり、
前記フレーム種別変換手段は、前記マクロブロックの符
号化種別を変換する際に、前記マーキングコードを削除
するものである。
請求項2または3記載の動画像合成装置において、前記
画像符号化手段がマクロブロックデータを可変長符号化
する際に、該マクロブロックデータの符号長が処理系の
データ処理単位となるように、マクロブロックの高周波
成分の符号語を変更する符号長調整手段を備えるもので
ある。
MPEG規格に準拠するIピクチャ形式およびPピクチ
ャ形式に符号化されたIピクチャ形式データおよびPピ
クチャ形式データを含む動画像データの毎秒最大N枚
(Nは正整数)のフレームが入力される複数の画像バッ
ファと、前記複数の画像バッファから動画像データを取
り出す際に、動画像データがないときに前記Pピクチャ
形式のスキップフレームを生成するスキップフレーム生
成手段と、前記動画像データのIピクチャ形式データを
前記Pピクチャ形式データに変換するフレーム種別変換
手段と、前記複数の画像バッファから動画像データを取
り出し、N分の1秒に1回、合成処理を行なう画像合成
手段とを備え、異なる符号化種別含む動画像データを合
成する際に、前記画像合成手段は、符号化または変換さ
れたPピクチャ形式データを含む動画像データを合成処
理するものである。
請求項5記載の動画像合成装置において、前記画像合成
手段により合成された動画像データの符号化量が一定に
なるように調整する符号量調整手段を備えるものであ
る。
請求項6記載の動画像合成装置において、前記符号量調
整手段は、前記画像合成手段により合成された動画像デ
ータのデータ量が所定の範囲より大きい場合には、Iピ
クチャ形式データを前記スキップフレームに置き換え、
所定の範囲より小さい場合には、該動画像データの後ろ
に所定の補填データを付加するものである。
請求項1,2,3,4,5,6または7記載の動画像合
成装置において、前記フレーム種別変換手段は、前記I
ピクチャ形式データのフレームの符号化種別をPピクチ
ャ形式の符号語に変換するものである。
請求項1,2,3,4,5,6,7または8記載の動画
像合成装置において、前記フレーム種別変換手段は、前
記Iピクチャ形式データのマクロブロックの符号化種別
をPピクチャ形式の符号語に変換するものである。
は、請求項1,2,3,4,5,6,7,8または9記
載の動画像合成装置において、前記フレーム種別変換手
段は、前記Iピクチャ形式データの符号長の増加量が処
理系のデータ処理単位の倍数長となるように、マクロブ
ロックスタッフィング(Macroblock Stuffing)コード
を挿入するものである。
は、請求項1,2,3,4,5,6,7,8,9または
10記載の動画像合成装置において、前記フレーム種別
変換手段は、前記Iピクチャ形式データの符号長の変化
量が処理系のデータ処理単位と一致するように、直前の
マクロブロックの高周波成分または直後のマクロブロッ
クの低周波成分の符号語を書き換えるものである。
は、請求項1,2,3,4,5,6,7,8,9,10
または11記載の動画像合成装置において、前記画像合
成手段により生成された動画像データの量子化行列の高
周波成分を所定の小さい値に変換するノイズ削減手段を
備えるものである。
は、入力される映像信号をMPEG規格に準拠したIピ
クチャ形式およびPピクチャ形式を含む動画像データと
して符号化する画像符号化ステップと、前記動画像デー
タを蓄積する画像蓄積ステップと、前記動画像データの
Iピクチャ形式データを前記Pピクチャ形式データに変
換するフレーム種別変換ステップと、前記画像蓄積ステ
ップから動画像データを取り出して合成処理する画像合
成ステップとを備え、異なる符号化種別を含む動画像デ
ータを合成する際に、前記画像合成ステップは、符号化
または変換されたPピクチャ形式データを含む動画像デ
ータを合成処理するものである。
は、入力される映像信号をMPEG規格に準拠したIピ
クチャ形式およびPピクチャ形式を含む動画像データと
して符号化する画像符号化ステップと、前記画像符号化
ステップがマクロブロックデータを可変長符号化する際
に、該マクロブロックデータの境界を識別可能なマーキ
ングコードを挿入するマーキングコード挿入ステップ
と、前記動画像データを蓄積する画像蓄積ステップと、
前記動画像データのマーキングコードを検出して前記I
ピクチャ形式データのマクロブロックの符号化種別をP
ピクチャ形式の符号語に変換するフレーム種別変換ステ
ップと、前記画像蓄積ステップから動画像データを取り
出して合成処理を行なう画像合成ステップとを備え、異
なる符号化種別を含む動画像データを合成する際に、前
記画像合成ステップは、符号化または変換されたPピク
チャ形式データを含む動画像データを合成処理するもの
である。
は、請求項14記載の動画像合成方法において、前記マ
ーキングコード挿入ステップが挿入するマーキングコー
ドは、前記フレーム種別変換ステップによりマクロブロ
ックの符号化種別を変換する際の符号長の減少量が処理
系のデータ処理単位の倍数長となるような符号長を持つ
符号語であり、前記フレーム種別変換ステップは、前記
マクロブロックの符号化種別を変換する際に、前記マー
キングコードを削除するものである。
は、請求項14または15記載の動画像合成方法におい
て、前記画像符号化ステップがマクロブロックデータを
可変長符号化する際に、該マクロブロックデータの符号
長が処理系のデータ処理単位となるように、マクロブロ
ックの高周波成分の符号語を変更する符号長調整ステッ
プを備えるものである。
は、MPEG規格に準拠するIピクチャ形式およびPピ
クチャ形式に符号化されたIピクチャ形式データおよび
Pピクチャ形式データを含む動画像データの毎秒最大N
枚(Nは正整数)のフレームを複数の画像バッファに入
力する画像入力ステップと、前記複数の画像バッファか
ら動画像データを取り出す際に、動画像データがないと
きに前記Pピクチャ形式のスキップフレームを生成する
スキップフレーム生成ステップと、前記動画像データの
Iピクチャ形式データを前記Pピクチャ形式データに変
換するフレーム種別変換ステップと、前記複数の画像バ
ッファから動画像データを取り出し、N分の1秒に1
回、合成処理を行なう画像合成ステップとを備え、なる
符号化種別を含む動画像データを合成する際に、前記画
像合成ステップは、符号化または変換されたPピクチャ
形式データを含む動画像データを合成処理するものであ
る。
は、請求項17記載の動画像合成方法において、前記画
像合成ステップにより合成された動画像データの符号化
量が一定になるように調整する符号量調整ステップを備
えるものである。
は、請求項18記載の動画像合成方法において、前記符
号量調整ステップは、前記画像合成ステップにより合成
された動画像データのデータ量が所定の範囲より大きい
場合には、Iピクチャ形式データを前記スキップフレー
ムに置き換え、所定の範囲より小さい場合には、該動画
像データの後ろに所定の補填データを付加するものであ
る。
は、請求項13,14,15,16,17,18または
19記載の動画像合成方法において、前記フレーム種別
変換ステップは、前記Iピクチャ形式データのフレーム
の符号化種別をPピクチャ形式の符号語に変換するもの
である。
は、請求項13,14,15,16,17,18,19
または20記載の動画像合成方法において、前記フレー
ム種別変換ステップは、前記Iピクチャ形式データのマ
クロブロックの符号化種別をPピクチャ形式の符号語に
変換するものである。
は、請求項13,14,15,16,17,18,1
9,20または21記載の動画像合成方法において、前
記フレーム種別変換ステップは、前記Iピクチャ形式デ
ータの符号長の増加量が処理系のデータ処理単位の倍数
長となるように、マクロブロックスタッフィング(Macr
oblock Stuffing)コードを挿入するものである。
は、請求項13,14,15,16,17,18,1
9,20,21または22記載の動画像合成方法におい
て、前記フレーム種別変換ステップは、前記Iピクチャ
形式データの符号長の変化量が処理系のデータ処理単位
と一致するように、直前のマクロブロックの高周波成分
または直後のマクロブロックの低周波成分の符号語を書
き換えるものである。
は、請求項13,14,15,16,17,18,1
9,20,21,22または23記載の動画像合成方法
において、前記画像合成ステップにより生成された動画
像データの量子化行列の高周波成分を所定の小さい値に
変換するノイズ削減ステップを備えるものである。
り読み取り可能な記録媒体は、請求項13,14,1
5,16,17,18,19,20,21,22,23
または24記載の動画像合成方法をコンピュータに実行
させるためのプログラムとして記録したものである。
よび12に係る動画像合成装置、請求項12,20,2
1,22,23および24に係る動画像合成方法、並び
に、請求項25に係る記録媒体では、合成しようとする
動画像データがIピクチャ形式とPピクチャ形式の異な
る符号化種別を含む場合に、フレーム種別変換手段(フ
レーム種別変換ステップ)によりIピクチャ形式データ
をPピクチャ形式データに変換し、符号化種別がPピク
チャ形式に揃えられた動画像データを画像合成手段(画
像合成ステップ)により合成するようにしている。
装置、並びに、請求項20および21に係る動画像合成
方法では、Iピクチャ形式データからPピクチャ形式デ
ータへの変換は、フレーム種別変換手段(フレーム種別
変換ステップ)において、Iピクチャ形式データのフレ
ームの符号化種別をPピクチャ形式の符号語に変換し、
Iピクチャ形式データの各マクロブロックの符号化種別
をPピクチャ形式データのイントラマクロブロックを示
す符号語に変換することにより行うのが望ましい。
び再符号化処理をする必要がなく、画質の劣化がなく高
速に合成動画像を生成することが可能な優れた動画像合
成装置、動画像合成方法および記録媒体を実現すること
ができる。
置および請求項22に係る動画像合成方法では、フレー
ム種別変換手段(フレーム種別変換ステップ)によりマ
クロブロックの符号化種別を変換する際に、マクロブロ
ックの先頭にマクロブロックスタッフィングコードを複
数個挿入して、Iピクチャ形式データの符号長の増加量
が処理系のデータ処理単位の倍数長となるようにしてい
る。
系において、マクロブロックの符号化種別の変換により
4ビットだけ符号長が増加した場合には、4個のマクロ
ブロックスタッフィングコードを挿入することにより、
全体として48ビット増加してしまうが、符号長の増加
量が処理系のデータ処理単位の倍数長となり、変換に伴
うビットシフト処理等が不要となる。つまり、マクロブ
ロックの符号化種別を計算機等の処理系を用いて変換す
る際に、マクロブロックの符号化情報が記述されている
先頭部分以外の符号語に対するデータ処理が不要にな
り、画質の劣化がなく高速に合成動画像を生成すること
が可能となる。
置および請求項23に係る動画像合成方法では、フレー
ム種別変換手段(フレーム種別変換ステップ)によりマ
クロブロックの符号化種別を変換する際に、直前のマク
ロブロックの高周波成分または直後のマクロブロックの
低周波成分の符号語を書き換えるようにしている。
において、マクロブロックの符号化種別の変換により4
ビットだけ符号長が増加した場合には、直前のマクロブ
ロックの高周波成分を4ビット減らすことにより全体と
して符号長が変化しないようにするか、或いは、直前の
マクロブロックの高周波成分を4ビット増やすことによ
り全体として符号長が8ビット増となるようにして、符
号長の変化量が処理系のデータ処理単位と一致するよう
にする。これにより、マクロブロックの符号化種別を計
算機等の処理系を用いて変換する際に、Iピクチャ形式
データの符号長の変化量が処理系のデータ処理単位と一
致し、マクロブロックの符号化情報が記述されている先
頭部分以外の符号語に対するデータ処理が不要になり、
画質の劣化がなく高速に合成動画像を生成することが可
能となる。
置および請求項24に係る動画像合成方法では、フレー
ム種別変換手段(フレーム種別変換ステップ)によるマ
クロブロックの符号化種別変換の際に、書き換えられた
動画像データの量子化行列の高周波成分をノイズ削減手
段(ノイズ削減ステップ)により所定の小さい値に変換
するようにしている。これにより、再生時に高速化のた
めに書き換えられた高周波成分により生じる画質の劣化
を抑制することができる。
9,10,11および12に係る動画像合成装置、請求
項14,15,16,20,21,22,23および2
4に係る動画像合成方法、並びに、請求項25に係る記
録媒体では、合成しようとする動画像データがIピクチ
ャ形式とPピクチャ形式の異なる符号化種別を含む場合
に、画像符号化手段(画像符号化ステップ)がマクロブ
ロックデータを可変長符号化する際に、マーキングコー
ド挿入手段(マーキング挿入ステップ)により、各マク
ロブロックデータの高周波成分の符号語としてマクロブ
ロックデータ境界を識別可能なマーキングコードを挿入
するようにし、合成の際には、フレーム種別変換手段
(フレーム種別変換ステップ)によりIピクチャ形式デ
ータをPピクチャ形式データに変換し、符号化種別がP
ピクチャ形式に揃えられた動画像データを画像合成手段
(画像合成ステップ)により合成するようにしている。
100000010101010”とすれば、マクロブ
ロックデータの最後を示すEOB(End Of Code)コー
ド“10”と結合した“00000100000010
10101010”という符号語は、マクロブロックデ
ータ内において最終位置にしか存在せず、この符号語を
検出することによりマクロブロックの境界を見つけるこ
とができることとなる。したがって、マクロブロックの
符号化種別を変換する際に、可変長復号せずに変換箇所
を特定することが可能であり、また従来のように可変長
復号および再符号化処理をする必要がないので、画質の
劣化がなく、しかもより高速に合成動画像を生成するこ
とが可能な優れた動画像合成装置、動画像合成方法およ
び記録媒体を実現することができる。
び請求項15に係る動画像合成方法では、マーキングコ
ード挿入手段(マーキングコード挿入ステップ)によ
り、マクロブロックの符号化種別を変換する際の符号長
の減少量が処理系のデータ処理単位の倍数長となるよう
な符号長を持つマーキングコードを挿入し、マクロブロ
ックの符号化種別を変換する際に、挿入したマーキング
コードを削除するようにしている。
を変換する際に、可変長復号せずに変換箇所を特定する
ことが可能となり、また挿入したマーキングコードを削
除することで、符号化種別の変換による符号長の増減が
処理系のデータ処理単位と一致することとなり、マクロ
ブロックの符号化情報が記述されている先頭部分以外の
符号語に対するデータ処理が不要になり、より高速に合
成動画像を生成することが可能となる。
および請求項16に係る動画像合成方法では、マクロブ
ロックデータを可変長符号化する際に、符号長調整手段
(符号長調整ステップ)により、マクロブロックの高周
波成分の符号語を例えば符号長調整符号に書き換えるな
どして変更するようにしている。
系において、マクロブロックデータ全体の符号長が、マ
ーキングコードを含めて8ビットの倍数長に対して何ビ
ット不足しているかを計算し、その値に応じた符号長調
整符号を挿入する。これにより、マーキングコードを挿
入してもマクロブロックデータの符号長が処理系のデー
タ処理単位となり、マクロブロックの符号化種別を変換
する際に、可変長復号することなくデータ処理単位での
比較演算のみで変換箇所を特定することが可能となり、
マクロブロックの符号化情報が記述されている先頭部分
以外の符号語に対するデータ処理が不要になり、より高
速に合成動画像を生成することが可能となる。
置および請求項24に係る動画像合成方法では、マーキ
ングコード挿入手段および符号長調整手段により高周波
成分に符号語が付加された動画像データについて、ノイ
ズ削減手段(ノイズ削減ステップ)により量子化行列の
高周波成分を所定の小さい値に変換するようにしてい
る。これにより、再生時に高速化のために高周波成分に
付加したマーキングコードや符号長調整符号により生じ
る画質の劣化を少なくし、高速に合成動画像を生成する
ことが可能となる。
9,10,11および12に係る動画像合成装置、請求
項17,18,19,20,21,22,23および2
4に係る動画像合成方法、並びに、請求項25に係る記
録媒体では、動画像データの毎秒最大N枚のフレームが
入力される複数個の画像バッファ(画像入力ステップ)
と、Pピクチャ形式のスキップフレームを生成するスキ
ップフレーム生成手段(スキップフレーム生成ステッ
プ)とを備えて、画像合成手段(画像合成ステップ)に
より各画像バッファの動画像データを合成する際に動画
像データがない場合、スキップフレームを挿入して、N
分の1秒に1回、合成処理を行なうようにしている。ま
た、合成しようとする動画像データがIピクチャ形式と
Pピクチャ形式の異なる符号化種別を含む場合に、フレ
ーム種別変換手段(フレーム種別変換ステップ)により
Iピクチャ形式データをPピクチャ形式データに変換
し、符号化種別がPピクチャ形式に揃えられた動画像デ
ータを画像合成手段(画像合成ステップ)により合成す
るようにしている。
び再符号化処理をする必要がなく、画質の劣化がなく高
速に合成動画像を生成することが可能であり、しかも、
MPEG規格に準拠した毎秒Nフレーム分の合成動画像
を高速に生成することが可能な優れた動画像合成装置、
動画像合成方法および記録媒体を実現することができ
る。
装置、並びに、請求項18および19に係る動画像合成
方法では、合成された動画像データの符号量が一定にな
るように調整する符号量調整手段(符号量調整ステッ
プ)を備えて、合成された動画像データのデータ量が所
定の範囲より大きい場合には、Iピクチャ形式データを
スキップフレームに置き換え、所定の範囲より小さい場
合には、動画像データの後ろに所定の補填データを付加
するようにしている。
号量を超過する場合にはIピクチャ形式データをスキッ
プフレームに置き換え、不足する場合には補填ビットを
挿入することにより、再生時にオーバフローおよびアン
ダーフローを起こすことなく、遅延やジッタのない滑ら
かな合成動画像を高速に生成することができる。
よび動画像合成方法の実施の形態について、〔第1の実
施形態〕、〔第2の実施形態〕、〔第3の実施形態〕、
〔第4の実施形態〕、〔第5の実施形態〕、〔第6の実
施形態〕の順に図面を参照して詳細に説明する。
発明に係る動画像合成装置および動画像合成方法につい
て詳述するが、本発明に係る記録媒体については、動画
像合成方法を実行させるためのプログラムを記録した記
録媒体であることから、その説明は以下の動画像合成方
法の説明に含まれるものである。また、本発明の動画像
合成装置および動画像合成方法は、「H.261」、
「H.263」、「MPEG1」、「MPEG2」、
「MPEG4」の各圧縮符号化方式に適用可能である。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第1の実施形態は、本発明の
請求項1,8および9に係る動画像合成装置、並びに、
請求項13,20および21に係る動画像合成方法に対
応するものである。
置の構成図である。本実施形態の動画像合成装置は、フ
レーム種別変換手段104によりIピクチャをPピクチ
ャに変換することで、復号を行わずに合成処理を行うも
のである。同図において、本実施形態の動画像合成装置
は、画像符号化手段101、画像蓄積手段102、画像
合成手段103およびフレーム種別変換手段104を備
えて構成されている。
れる映像信号151をMPEG規格に準拠するIピクチ
ャ形式およびPピクチャ形式に符号化したIピクチャお
よびPピクチャを含む動画像データ152を生成する。
つまり、画像符号化手段101は、ビデオカメラなどに
より撮像された映像信号151を受け取り、1フレーム
単位でMPEG形式(Iピクチャ形式およびPピクチャ
形式)に圧縮符号化して、IピクチャおよびPピクチャ
を生成する。
G符号化器であり、その圧縮符号化方法は、図2に示す
ような過程で行われる。ここで、図2はMPEG符号化
器101における圧縮符号化方法を説明する説明図であ
る。
は、先ず、1枚のフレームの画像の内容を示す画素デー
タ151に変換され、MPEG符号化器101に入力さ
れる。この画素データにおける各画素は、輝度Y、色差
Uおよび色差Vで表される。次に、MPEG符号化器1
01は、入力された画素データを、マクロブロックと呼
ばれる16×16画素の小領域に分割し、各マクロブロ
ック単位で動き予測およびDCT(離散コサイン)変換
を行う。
合に、直前のフレームの画素データと比較することによ
り行われる。そして、変化の少ない領域が見つかった場
合は、その領域への動きベクトルを記録し、各画素デー
タの変化量を差分データとして計算し、順方向予測マク
ロブロックとして符号化する。また、変化の少ない領域
が見つからない場合には、マクロブロックをイントラマ
クロブロックとしてそのまま符号化する。
ータは、輝度Yに関してさらに8×8画素の4領域に分
割され、また、色差Uおよび色差Vに関しては8×8画
素に間引かれる。そして、8×8の2次元DCT変換が
施されることにより、それぞれのDCT係数データが生
成される。次に、DCT係数データは、量子化が行なわ
れ、MPEG形式のコードブックに従って可変長符号化
されることにより、MPEG形式の動画像データ152
(MPEGビットストリーム)が生成される。MPEG
形式に符号化された動画像データの1フレーム分のデー
タは、図3に示すように、階層構造で構成されている。
ここで、図3はMPEG形式の1フレーム分のデータ構
成を例示する説明図である。
は、フレーム全体の情報を示すピクチャヘッダコード1
1および幾つかのスライスデータ12により構成され、
このスライスデータ12は、スライス全体の情報を示す
スライスヘッダコード17およびスライスを構成する幾
つかのマクロブロックデータ18により構成され、この
マクロブロックデータ18は、マクロブロック全体の情
報を示すマクロブロックヘッダ19と、輝度成分のDC
T係数値を示す4つの輝度YDCT係数データ20と、
色差成分のDCT係数値を示す色差UDCT係数データ
21および色差VDCT係数データ22とにより構成さ
れている。
先頭であることを示すピクチャスタート(PST)コー
ド13と、フレームの表示順序を示すテンポラルリファ
レンス(TR)コード14と、フレームの符号化種別を
示すピクチャコーディングタイプ(PCT)コード15
と、フレームを再生した際のバッファの容量を示すビデ
オバッファディレイ(VD)コード16とを備えて構成
されている。
は、マクロブロックの表示位置を示すマクロブロックア
ドレスインクリメント(MBAI)コード23と、マク
ロブロックの符号化種別を示すマクロブロックタイプ
(MBTYPE)コード24と、マクロブロックの量子
化スケール(QS)を示すコード25とを備えている。
タ152を蓄積する。つまり、画像符号化手段101に
よりIピクチャ形式およびPピクチャ形式に符号化され
た動画像データ152を画像合成手段103により取り
出されるまで一時的に蓄積する。
段102から動画像データを取り出して合成処理する。
また、フレーム種別変換手段104は、IピクチャをP
ピクチャに変換する。すなわち、画像合成手段103
は、画像蓄積手段102から合成動画像の1フレーム分
の動画像データを取り出して、取り出した動画像データ
を合成する。
である場合、画像合成手段103は、画像蓄積手段10
2から取り出したIピクチャをフレーム種別変換手段1
04に出力し、フレーム種別手段104は、画像合成手
段103から受け取ったIピクチャをPピクチャに変換
する。つまり、Iピクチャにおけるピクチャヘッダコー
ド11のPCTコード15およびマクロブロックヘッダ
コード19のMBTYPEコード24をPピクチャ形式
に変換する。そして、画像合成手段103は、フレーム
種別変換手段104により変換された動画像データを受
け取り合成処理を行うことにより合成動画像155を生
成する。
態の動画像合成装置の動作、即ち動画像合成方法につい
て詳細に説明する。
る映像信号151を1フレーム単位でMPEG形式のI
ピクチャ形式あるいはPピクチャ形式に圧縮符号化し、
画像蓄積手段202に出力する。画像蓄積手段102
は、画像符号化手段101により出力された動画像デー
タ152を、画像合成手段103により指定されて取り
出されるまで一時的に蓄積する。
手段102から合成しようとする各動画像データの1フ
レーム分のデータを取り込み、合成動画像の1フレーム
分のデータを生成する。ここで、図4を参照して画像合
成手段103の画像合成処理方法を説明する。なお、図
4は第1の実施形態における画像合成手段103の画像
合成処理方法を説明するフローチャートである。
は、画像合成手段103は、画像蓄積手段102から合
成に使用する各動画像データの1フレーム分のデータを
取り出す。そして、ステップS41において、合成する
ための全ての動画像データが取り出されると、ステップ
S42では、画像合成手段103は、取り出した全動画
像データのフレームが全て同一の符号化種別であるか否
かを判定し、同一である場合には、ステップS44に進
み、そのまま合成処理を行なう。また、Iピクチャ形式
とPピクチャ形式の両方のフレームが含まれる場合に
は、ステップS43において、フレーム種別変換手段1
04が、以下で説明するようなフレーム種別変換方法に
よりIピクチャをPピクチャに変換する。
成手段103は、フレーム種別変換手段104により符
号化種別が全てPピクチャ形式に揃えられて動画像デー
タを合成処理する。この合成処理は、合成後の合成画面
上の配置にあわせて、各フレームのスライスデータ12
を並べ替え、スライスヘッダコード19の表示位置情報
を修正することで行なわれる。これにより、異なる符号
化形式のピクチャ同士でも復号および再符号化処理する
ことなく合成処理を行うことが可能となる。
るフレーム種別変換方法を図5を用いて説明する。図5
は第1の実施形態におけるフレーム種別変換手段104
のフレーム種別変換方法を説明するフローチャートであ
る。
変換手段104は、ピクチャヘッダコード11のPCT
コード15をIピクチャを示す符号化種別からPピクチ
ャを示す符号語に書き換える。次に、ステップS51で
は、各マクロブロックデータ18に対して、マクロブロ
ックヘッダコード19のMBTYPEコード24を、I
ピクチャのイントラマクロブロックを示す符号化種別か
らPピクチャのイントラマクロブロックを示す符号語に
書き換える。具体的に、この符号語を示せば、図6の如
く表される。ここで、図6はIピクチャおよびPピクチ
ャのマクロブロックの符号化種別の符号語を例示する説
明図である。
4は、各マクロブロックの符号化種別に対して量子化ス
ケールを指定する場合および標準の量子化スケールを使
う場合の符号語をそれぞれ有している。例えば、Iピク
チャのマクロブロックの符号化種別をPピクチャのイン
トラマクロブロックを示す符号語に書き換える場合、元
のIピクチャのMBTYPEコード24が“01”であ
ったときは、MBTYPEコード24は、“00000
1”に変換される。
も同様に、Iピクチャのマクロブロックの符号化種別を
変換する場合、MBTYPEコード24は“1”から
“00011”に変換される。なお、どちらの符号語を
使用する場合でも、変換された符号語の増加量は同じと
なる。
ロブロックのMBTYPEコード24に対して行い(ス
テップS52)、Iピクチャのマクロブロックの符号化
種別を、全てPピクチャのイントラマクロブロックを示
す符号語に書き換える。
ータが異なる符号化形式の場合でも、フレーム種別変換
手段104によりIピクチャにおけるピクチャヘッダコ
ード11のPCTコード15およびマクロブロックヘッ
ダコード19のMBTYPEコード24をPピクチャ形
式に変換してIピクチャをPピクチャに変換することが
でき、復号および再符号化することなく動画像データを
合成することが可能となる。
装置および動画像合成方法では、IピクチャをPピクチ
ャに変換するフレーム種別変換手段104(フレーム種
別変換ステップ)を備え、合成しようとする動画像デー
タの符号化種別がIピクチャ形式とPピクチャ形式を含
む場合に、PCTコード15およびMBTYPEコード
24をそれぞれIピクチャを示す符号化種別からPピク
チャを示す符号語に書き換えて、IピクチャをPピクチ
ャに変換し、画像合成手段103(画像合成ステップ)
により符号化種別がPピクチャ形式に揃えられた動画像
データを合成している。これにより、従来のように可変
長復号および再符号化処理をする必要がなく、画質の劣
化を伴うことなく高速に合成動画像を生成することがで
きる。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第2の実施形態は、本発明の
請求項1,8,9および10に係る動画像合成装置、並
びに、請求項13,20,21および22に係る動画像
合成方法に対応するものである。
した動画像合成装置(第1の実施形態)のフレーム種別
変換手段104において、Iピクチャの各マクロブロッ
クの符号化種別をPピクチャのイントラマクロブロック
を示す符号語に変換する際に、マクロブロックの先頭に
符号語(マクロブロックスタッフィングコード(Macrob
lock Stuffing code)を複数個挿入するようにしたもの
である。
104以外の構成要素の機能および動作については、第
1の実施形態と同様であるため詳細な説明は省略する。
施形態と同様に、映像信号151は、画像符号化手段1
01によりMPEG形式に圧縮符号化され、画像蓄積手
段102に一時的に蓄積される。次に、画像合成手段1
03は、合成動画像の1フレーム分のデータを生成する
ために、画像蓄積手段102から合成する各動画像デー
タの1フレーム分のデータを取り込む。
る場合には、フレーム種別変換手段104が、PCTコ
ード15の符号化種別をPピクチャ形式に変換し、Iピ
クチャのマクロブロックの符号化種別をPピクチャのイ
ントラマクロブロックを示す符号語に書き換えて、Iピ
クチャをPピクチャに変換する。例えば、マクロブロッ
クの符号化種別の符号語は、それぞれ図6に示すような
ビット構成を有しており、Pピクチャのイントラマクロ
ブロックを示す符号語に変換した後のデータ構成は、元
のIピクチャのビット数より4ビット増加した構成とな
る。
ビット単位でデータを処理するような処理系であれば特
に問題にはならないが、多くの計算機で行われているよ
うな8ビット単位でデータを処理する処理系において
は、符号長が変化した部分以降の全てのマクロブロック
データに対して、4ビットのビットシフト処理を行わね
ばならない。
フレーム種別変換手段104によりIピクチャの符号長
の増加量がデータ処理単位の倍数長となるようにマクロ
ブロックスタッフィングコード(以下、MBSTUFF
コード)を挿入する。つまり、Iピクチャのマクロブロ
ックの符号化種別をPピクチャのイントラマクロブロッ
クを示す符号語に書き換える際にマクロブロックの先頭
に符号語であるMBSTUFFコードを挿入することに
より、Iピクチャの符号長の増加量がデータ処理単位の
倍数長となり、データ処理単位に合わせて各マクロブロ
ックの符号化種別を変換することができるため、マクロ
ブロックの符号化種別を変換する際にマクロブロックの
符号化情報が記述されている先頭部分以外の符号語に対
するビットシフト処理が不要となる。
種別変換手段104のフレーム種別変換方法を図7を用
いて説明する。
は、第1の実施形態のフレーム種別変換手段104と同
様に、フレーム全体の符号化種別を示すPCTコード1
5をIピクチャからPピクチャを示す符号語に書き換え
る。次に、ステップS71では、各マクロブロックの符
号化種別をIピクチャのイントラマクロブロックを示す
符号語からPピクチャのイントラマクロブロックを示す
符号語に書き換える。例えば、図6の符号語を用いた場
合、符号語の書き換えにより4ビット分だけ符号長が増
加する。
るような処理系であれば、このようなビット単位の符号
長の変化は特に問題とならないが、多くの計算機では8
ビット単位でデータを処理するため、符号長が変化した
部分以降の全てのマクロブロックデータに対して、4ビ
ットのビットシフト処理を行なわねばならない。
段104は、ステップS73において、マクロブロック
の符号化種別を示すMBTYPEコード24を書き換え
る際に、マクロブロックデータの先頭にMBSTUFF
コードを4個挿入する。このMBSTUFFコードは、
MPEG規格において、データ量が所定のビットレート
に対して不足する際に、マクロブロックデータの先頭に
11ビット単位で挿入可能な符号語である。したがっ
て、ステップS72においてMBSTUFFコードを4
個挿入することにより44ビットのデータが挿入され
る。ここで、図8に、MBSTUFFコードが挿入され
る前後のマクロブロックデータのデータ構成を例示する
説明図を示す。図8(a)はMBSTUFFコードを挿
入する前、(b)はMBSTUFFコードを挿入した後
のデータ構成を示している。
長は、マクロブロックの符号化種別を変換する際にMB
STFFコードを挿入することにより、マクロブロック
の符号語の書き換えによる4ビットの増加と、MBST
UFFコードの挿入による44ビットの増加により、全
体としてマクロブロックヘッダコード19の符号長の増
加は48ビットとなる。全体の符号長の増加量として
は、8ビットの倍数となるため、マクロブロックヘッダ
コード19以降のマクロブロックデータ18に関しては
ビットシフト処理が不要になる。
像合成装置および動画像合成方法では、フレーム種別変
換手段104(フレーム種別変換ステップ)において、
Iピクチャの各マクロブロックの符号語をPピクチャの
イントラマクロブロックを示す符号語に変換する際に、
マクロブロックの先頭にMBSTUFFコードを複数個
挿入している。これにより、Iピクチャ形式データの符
号長の増加量をデータ処理単位の倍数長とすることがで
き、マクロブロックの符号化種別を変換する際に、マク
ロブロックの符号化情報が記述されている先頭部分以外
の符号語に対するデータ処理が不要になり、画質の劣化
がなく高速に合成動画像を生成することができる。
8ビットである処理系について説明したが、どのような
処理単位を持つ処理系に対してもMSBTUFFコード
を挿入することによりシフトビット処理を不要にするこ
とが可能である。この場合、各処理単位に応じて挿入す
るMBSTUFFコードの個数を変更する必要がある。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第3の実施形態は、本発明の
請求項1,8,9および11に係る動画像合成装置、並
びに、請求項13,20,21および23に係る動画像
合成方法に対応するものである。
した動画像合成装置(第1の実施形態)のフレーム種別
変換手段104において、Iピクチャの各マクロブロッ
クの符号化種別をPピクチャのイントラマクロブロック
を示す符号語に変換する際に、直前のマクブロックの高
周波成分の符号語を変換するようにしたものである。な
お、第2の実施形態の動画像合成装置と比較すると、追
加されるデータ量が少ないためにより高速にデータ処理
を行うことが可能である。
104以外の構成要素の機能および動作については、第
1の実施形態と同様であるため詳細な説明は省略する。
施形態と同様に、映像信号151は、画像符号化手段1
01によりMPEG形式に圧縮符号化され、画像蓄積手
段102に一時的に蓄積される。次に、画像合成手段1
03は、合成動画像の1フレーム分のデータを生成する
ために、合成しようとする各動画像データの1フレーム
分のデータを取り込む。この際、動画像データの符号化
種別が異なる場合、フレーム種別変換手段104は、I
ピクチャのPCTコード15の符号化種別をPピクチャ
形式に変換し、マクロブロックの符号化種別をPピクチ
ャのイントラマクロブロックを示す符号語に書き換え
る。
は、さらに、この符号語の書き換えにより増加したビッ
トによるビットシフト処理を不要にするために、Iピク
チャデータの符号長の変化量がデータ処理単位と一致す
るように直前のマクロブロックの高周波成分の符号語を
置き換える。つまり、Iピクチャのマクロブロックの符
号化種別を変換する際に、各スライスデータの先頭のマ
クロブロックに関しては、そのマクロブロックの先頭に
符号語であるマクロブロックスタッフィングコードを挿
入し、それ以外のマクロブロックに関しては、直前のマ
クロブロックの高周波成分の符号語を置き換える。これ
により、データ処理単位に合わせてフレーム種別変換処
理を行なうことができ、マクロブロックの符号化情報が
記載されている先頭部分以外の符号語に対するビットシ
フト処理が不要となる。
ックの符号化順序について図9を用いて説明する。図9
(a)はマクロブロックデータの符号列の符号化順序を
示す説明図、図9(b)は2次元DCT変換により生成
されたDCT係数行列を示す説明図、図9(c)はDC
T係数の符号列における符号化順序を示す説明図であ
る。
ータ18は、図9(a)に示すように、マクロブロック
データの先頭に前述のMBAI17およびMBTYPE
18などのマクロブロック全体の情報を示すマクロブロ
ックヘッダコード19、16×16画素のマクロブロッ
クの輝度情報を4つの8×8の画素ブロックに分割し、
DCT変換した4つの輝度YDCT係数20、16×1
6画素の色差情報Uおよび色差情報Vを間引き処理等に
より8×8の画素ブロックに変換し、DCT変換した2
つの色差UDCT係数21および色差VDCT係数22
が符号化されている。
係数は、図9(b)に示すように8×8の大きさのDC
T係数行列になっており、同図に示すようにジグザグス
キャン順に符号化される。DCT係数行列は、高周波成
分(図では、62,63,64)が最後に位置するよう
にスキャンされることにより、図9(c)に示すような
符号列が生成される。なお、DCT係数行列のスキャン
方法としては、オルタネートスキャン方法などもあり、
何れのスキャン方法であっても良い。
高周波成分は、データによっても異なるが、符号語を書
き換えても画質にあまり影響がない。このため、本実施
形態では、フレーム種別変換手段104において、図9
(c)に示す高周波成分(62,63,64)の符号語
を書き換えている。これにより、マクロブロックデータ
をデータ処理単位の長さに調整し、より高速にデータ処
理を行うことが可能になる。
けるフレーム種別変換方法を図10を用いて説明する。
ここで、図10は第3の実施形態におけるフレーム種別
変換手段104のフレーム種別変換方法を説明するフロ
ーチャートである。
は、第1の実施形態のフレーム種別変換手段104と同
様に、フレーム全体の符号化種別を示すPCTコードを
Iピクチャ形式からPピクチャ形式を示す符号語に書き
換える。ステップS101では、スライスデータの先頭
のマクロブロックの符号化種別をIピクチャのイントラ
マクロブロックを示す符号語からPピクチャのイントラ
マクロブロックを示す符号語に書き換え、ステップS1
02において、第2の実施形態の動画像合成装置と同様
に、スライスデータの先頭のマクロブロックに対してM
BSTUFFコードを4個挿入する。
ロブロック以外のマクロブロックに対して、MBTYP
Eコードを書き換え、ステップS104において、直前
のマクロブロックの高周波成分の符号語を4ビット短い
符号語または4ビット長い符号語に変換する。
び高周波成分の符号語の書き換えを行う前後のマクロブ
ロックデータのデータ構成を例示する説明図を示す。図
11(a)は、Iピクチャのマクロブロックの符号化種
別を変換する前のデータ構成を示したものであり、図1
1(b)および11(c)は、Iピクチャのマクロブロ
ックの符号化種別を変換後、直前のマクロブロックの高
周波成分の符号語を4ビット短い符号語または4ビット
長い符号語に変換したフレーム構成を示している。
符号語を4ビットの短い符号語に変換する場合、マクロ
ブロックデータの符号長は、符号化種別の書き換えによ
り4ビット増加するが、直前のマクロブロックの高周波
成分の符号語が4ビット減少するため、全体として符号
長の変化はなく、書き換え箇所前後でビットシフト処理
が発生しない。
成分の符号語を4ビット長い符号語に変換する場合に
は、マクロブロックデータの符号長は、符号化種別の書
き換えにより4ビット増加し、直前のマクロブロックの
高周波成分の符号語が4ビット増加するため、全体とし
て符号長が8ビット増加することとなり、書き換え箇所
前後でビットシフト処理が発生しない。
04をスライス内の全てのマクロブロックについて行い
(ステップS105)、スライス内の全てのマクロブロ
ックの符号化種別および高周波成分の書き換えが行われ
ると、次に、ステップS106において、ピクチャ内の
全てのスライスに対して処理が行われたか否かが判定さ
れる。そして、全てのスライスに対して処理が行われて
いない場合はステップS101に戻り、ピクチャ内の全
てのスライスについてステップS101〜ステップS1
05における処理をピクチャ内の全てのスライスを処理
するまで繰り返し行う。
成装置および動画像合成方法では、フレーム種別変換手
段104(フレーム種別変換ステップ)において、Iピ
クチャの各マクロブロックの符号化種別をPピクチャの
イントラマクロブロックを示す符号語に変換する際に、
直前のマクロブロックの高周波成分の符号語を変換して
いる。これにより、Iピクチャの符号長の変化量がデー
タ処理単位と一致し、マクロブロックの符号化種別を変
換する際に、マクロブロックの符号化情報が記述されて
いる先頭部分以外の符号語に対するデータ処理が不要に
なり、画質の劣化がなく高速に合成動画像を生成するこ
とができる。
ックの高周波成分の符号語を変換したが、直後のマクロ
ブロックの低周波成分の符合語を変換しても、同様に実
施可能である。
8ビットにおける処理系について説明したが、どのよう
な処理単位を持つ処理系に対しても、処理単位に合わせ
て高周波成分の符号語を変換することにより、同様に実
施可能である。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第4の実施形態は、本発明の
請求項1,2,3,4,8,9および12に係る動画像
合成装置、並びに、請求項13,14,15,16,2
0,21および24に係る動画像合成方法に対応するも
のである。
装置の構成図である。本実施形態の動画像合成装置は、
図1に示した動画像合成装置に、さらに、マーキングコ
ード挿入手段35、符号長調整手段206およびノイズ
削減手段207を付加した構成であり、可変長復号せず
にフレームの符号化種別の変換処理を行う個所を特定可
能とし、変換位置以降のデータに対するビットシフト処
理が不要にしてより高速な処理を可能としている。
装置は、画像符号化手段201、画像蓄積手段202、
画像合成手段203およびフレーム種別変換手段204
を備えて構成され、さらにマーキングコード挿入手段2
05、符号長調整手段206およびノイズ削減手段20
7を備えて構成されている。
02および画像合成手段203は、第1、第2および第
3の実施形態と同様であるため詳細な説明は省略する。
符号化手段201がマクロブロックデータを可変長符号
化する際に、マクロブロックデータの境界を識別可能な
マーキングコードを挿入する。このマーキングコード
は、マクロブロックデータを構成する可変長符号の1つ
であり、データ処理単位の倍数長より4ビット長い符号
語である。マーキングコード挿入手段205は、このマ
ーキングコードをマクロブロックの最後を示すEOB
(End Of Block)コードの直前に配置することにより、
マクロブロックの境界を検出可能とする。
ーキングコードを検出してIピクチャのマクロブロック
の符号化種別をPピクチャ形式の符号語に変換する。つ
まり、マーキングコード挿入手段205によりマクロブ
ロックに挿入されたマーキングコードを検出してマクロ
ブロックの境界を検出し、Iピクチャのマクロブロック
の符号化種別をPピクチャのイントラマクロブロックを
示す符号語に変換する。このように、マーキングコード
を検出することで、IピクチャのMBTYPEコードの
位置を高速および正確に見つけることができるため、マ
クロブロックの符号化種別を変換する際のデータ処理速
度が速くなる。
化手段201がマクロブロックを可変長符号化する際
に、マクロブロックデータの符号長がデータ処理単位と
なるようにマクロブロックの高周波成分の符号語を変更
する。つまり、マーキングコードが挿入されることによ
って増加したマクロブロックの符号長がデータ処理単位
となるように、マクロブロックの高周波成分の符号語を
変更することにより、マクロブロックの符号化種別を変
換する際のビットシフト処理を不要としている。
手段203により生成された動画像データの量子化行列
の高周波成分を所定の小さい値に変換する。つまり、デ
ータ処理速度の高速化のために、マーキングコード挿入
手段205および符号長調整手段206によってマクロ
ブロックの高周波成分に付加された符号語により発生す
る映像ノイズを削減して、画像が劣化するのを防いでい
る。
ける画像符号化手段201の画像符号化方法、マーキン
グコード挿入手段205のマーキングコード挿入方法お
よび符号長調整手段206の符号長調整方法について、
図13〜15を用いて説明する。ここで、図13は第4
の実施形態における画像符号化手段201の画像符号化
方法を示すフローチャート、図14は符号長調整手段2
06が符号長の調整に使用する符号長調整テーブルを例
示する説明図、図15はマーキングコードの挿入および
符号長調整が行われたマクロブロックデータのデータ構
成を例示する説明図である。
では、画像符号化手段201は、映像信号251をマク
ロブロック単位に分割し、DCT変換後、生成された輝
度YDCT係数および色差UDCT係数を符号化する。
次に、ステップS131において、色差VDCT係数の
第1成分から第60成分を可変長符号化し、ステップS
132において、色差VDCT係数の第61成分のレベ
ルを“1”として可変長符号化する。
06が、この時点におけるマクロブロックデータの符号
長Nを調べ、最後に追加されるマーキングコードを含め
て、マクロブロックデータ全体の符号長Nがデータ処理
単位である8ビットの倍数長に対して何ビット不足して
いるか求める。すなわち、この不足長は、8−(符号長
N+マーキングコード長+EOBコード)mod8を計
算することにより求められる。ここで「MmodN」
は、自然数Mを自然数Nで割った余りを求める演算であ
る。
に応じて、図14に示す符号長調整テーブルを参照し、
符号長調整符号を挿入する。図14に示すように、符号
長調整符号は、ランが0あるいは1でありレベルが比較
的小さい可変長符号を最大2つ組み合わせて生成されて
いる。これにより、後にマーキングコードが挿入されて
もそのビット数の増加によるビットシフト処理が不要に
なり、マクロブロックの符号化種別を変換する処理を高
速に行うことが可能となる。
グコード挿入手段205によりマーキングコードが挿入
され、最後に、ステップS136では、マクロブロック
の終了を示すEOBコードが挿入される。
タを構成する可変長符号の1つであり、図15に示すよ
うに、マクロブロックの最後を示すEOEコードの直前
に配置される。例えば、“0000010000001
0101010”は、マーキングコードとして利用可能
であり、EOBコードである“10”を結合した“00
00010000001010101010”という符
号語は、マクロブロックデータ内において、マクロブロ
ックの最終位置にしか存在しないので、この符号語を検
出することで、マクロブロックの境界を見つけ出すこと
ができる。
タ処理単位の倍数長より4ビット長い符号語として構成
され、上記例では、マクロブロックデータは符号長が2
0ビットであり、データ処理単位である8ビットの2倍
より4ビット長い符号となっている。これにより、Iピ
クチャのマクロブロックの符号化種別をPピクチャのイ
ントラマクロブロックを示す符号語に変換することによ
り4ビット符号長が増加しても、このマーキングコード
を削除することにより全体として16ビット分の減少と
なり、マクロブロックの符号化情報が記述されている先
頭部分以外の符号語に対するビットシフト処理が不要に
なる。
テップ135において、マクロブロックデータの高周波
成分に符号語(符号長調整符号およびマーキングコー
ド)が挿入されたデータ構成を示す。図15に示すよう
に、マクロブロックデータにおいて、マーキングコード
はEOBの前に挿入され、マクロブロックの境界を識別
可能にしており、また、符号長調整符号の書き換えによ
りEOBがバイト境界に位置するように調整されてい
る。
化されていたために、マクロブロックの境界を検出する
ためには先頭より順次可変長復号する必要があったが、
本実施形態では、上述のように、ステップS135にお
いてマーキングコードを挿入することにより、符号の比
較という簡単な処理のみでマクロブロックの境界を検出
することができる。また、ステップS133およびS1
34の符号長調整符号の挿入により、マーキングコード
の挿入によるビットシフト処理も不要になり、マクロブ
ロックの符号化種別を変換する処理を高速に行うことが
できる。
204のフレーム種別変換方法について説明する。図1
6は第4の実施形態におけるフレーム種別変換手段20
4のフレーム種別変換方法を説明するフローチャートで
ある。
では、第1の実施形態と同様に、フレーム種別変換手段
204によりPCTコードをPピクチャを示す符号語に
変換する。次に、ステップS161では、各スライスの
先頭のマクロブロックに関して、第2の実施形態と同様
に、MBSTUFFコードを4個挿入する。
ては、ステップS163において、マーキングコードを
検出して、マクロブロックの境界を検出する。マーキン
グコードとEOBコードを結合した符号語は、図15に
示すように最後尾がバイト境界上に存在するので、バイ
ト単位の比較処理で容易に検出可能である。そして、ス
テップS164では、マクロブロックの符号化種別を示
すMBTYPEコードを書き換え、ステップS165に
おいてマーキングコードを削除する。
の処理をスライス内の全てのマクロブロックに対して行
う(ステップS166)と、続いて、ステップS161
〜ステップS166の処理をピクチャ内の全てのスライ
スに対して行う(ステップS167)。
換およびマーキングコードを削除する前後のマクロブロ
ックデータのデータ構成を例示する説明図を示す。図1
7(a)はMBTYPEコードを変換前のマクロブロッ
クデータを、図17(b)はMBTYPEコードの変換
とマーキングコードの削除が行われたマクロブロックデ
ータをそれぞれ示している。図17(b)に示すよう
に、マクロブロックデータの符号長は、MBTYPEコ
ードが変換され(即ち、“01”から“000001”
の符号語に変換され)、マーキングコードが削除される
ことにより、マクロブロックの符号語全体としては2バ
イト短くなる。これにより、マーキングコードを削除し
ても、マクロブロックの符号化種別の書き換え位置前後
でビット単位のずれが生じないため、ビットシフト処理
をすることなくマクロブロックの符号化種別を変換する
ことが可能になる。
05および符号長調整手段206は、マクロブロックの
符号化種別の書き換えの際に、マクロブロックの境界を
可変長復号することなく検出可能にし、またそれにより
必要となるビットシフト処理を不要とするが、マクロブ
ロックデータの高周波成分の書き換えにより、画像合成
手段203により合成された動画像データに映像ノイズ
が発生し、画像の劣化を生じてしまうという問題があ
る。
態では、ノイズ削減手段207により、画像合成手段2
03が生成した動画像データの量子化行列の高周波成分
を所定の小さい値に変換し、マーキングコード挿入手段
205および符号長調整手段206によってマクロブロ
ックの高周波成分に付加された符号語により発生する映
像ノイズを削減して、画像が劣化するのを防いでいる。
7について図18を用いて説明する。図18は第4の実
施形態におけるノイズ削減手段207のノイズ削減方法
を説明するフローチャートである。また、図19は量子
化行列の符号構成を例示する説明図である。
07は、画像合成手段203により合成されたMPEG
形式の符号列255を受け取り、ステップS180にお
いて、入力される符号列からシーケンスヘッダコードを
検出し、ステップS181において、検出したコード中
に量子化行列コードが含まれているかをチェックする。
場合には、ステップS183へ進む。また、量子化行列
コードが含まれていない場合には、ステップS182に
進み、MPEG規格で定められている標準の量子化行列
コードを生成し、シーケンスヘッダに挿入する。この量
子化行列は、図19(a)に示す各行列成分がジグザグ
スキャン順に符号化されており、図19(b)に示すよ
うに各成分が8ビットの固定長で符号化される。
の第61成分から第64成分に対応する符号語を“0”
または“1”に書き換える。このような、量子化行列コ
ードを符号列に付加することにより、再生時に各マクロ
ブロックの高周波成分は非常に小さいな値として逆量子
化されるため、符号長調整手段206およびマーキング
コード挿入手段205で付加した高周波成分の符号語
(符号長調整符号およいマーキングコード)により画質
が劣化するのを防ぐことができる。なお、ここでは高周
波成分を第61成分から第64成分としているが、これ
に限定されることはない。
成装置および動画像合成方法では、マクロブロックの高
周波成分の符号語を変更する符号長調整手段206(符
号長調整ステップ)と、マクロブロックデータの境界を
識別可能なマーキングコードを挿入するマーキングコー
ド挿入手段205(マーキング挿入ステップ)と、生成
された動画像データの量子化行列の高周波成分を所定の
小さい値に変換するノイズ削減手段207(ノイズ削減
ステップ)とを備え、マクロブロックデータを可変長符
号化する際に、各マクロブロックデータの高周波成分の
符号語としてマーキングコードをマクロブロックの最後
を示すEOB(End Of Block)コードの直前に挿入し、
符号長調整手段206(符号長調整ステップ)によりマ
クロブロックの高周波成分の符号語を符号長調整符号に
書き換え、マーキングコード挿入手段205(マーキン
グ挿入ステップ)および符号長調整手段206(符号長
調整ステップ)により高周波成分に符号語が付加された
動画像データにおいて量子化行列の高周波成分を所定の
小さい値に変換している。
を変換する際に、可変長復号せずに変換箇所を特定する
ことが可能であり、マーキングコードを挿入してもマク
ロブロックデータの符号長がデータ処理単位となり、マ
クロブロックの符号化種別を変換する際に、可変長復号
することなくデータ処理単位での比較演算のみで変換箇
所を特定することが可能であり、再生時に高速化のため
に高周波成分に付加したマーキングコードや符号長調整
符号により生じる画質の劣化がなく、高速に合成動画像
を生成することができる。
(マーキングコード挿入ステップ)では、マクロブロッ
クの符号化種別を変換する際の符号長の減少量がデータ
処理単位の倍数長となるような符号長を持つマーキング
コードを挿入し、マクロブロックの符号化種別を変換す
る際に、挿入したマーキングコードを削除している。こ
れにより、マーキングコードを削除しても、符号化種別
変換による符号長の増減がデータ処理単位と一致するこ
ととなり、マクロブロックの符号化情報が記述されてい
る先頭部分以外の符号語に対するデータ処理が不要にな
り、より高速に合成動画像を生成することができる。
理単位の倍数長より4ビット長いマーキングコードを使
用したが、任意の長さの符号語を用いて書き換え位置の
検出だけを行なうものとして、第2の実施形態と組み合
わせた形態とすることも可能である。
06においてマクロブロックデータの符号長をデータ処
理単位に調整しているが、この符号長調整手段を省略し
て、最後尾にマーキングコードを挿入するようにし、マ
ーキングコードの検出をバイト単位ではなくビット単位
の比較処理を用いることにより行っても、同様に実施可
能である。
として1つの可変長符号を利用しているが、コードブッ
ク上の可変長符号を複数個組み合わせてマーキングコー
ドを生成するようにしても、同様に実施可能である。
8ビットの処理系により説明を行ったが、どのような処
理単位を持つ処理系に対しても、処理単位に合わせた符
号長調整符号およびマーキングコード用いて変換するこ
とにより、同様に実施可能である。
07を備えることにより、符号長調整手段206および
マーキングコード挿入手段205が付加した符号語によ
り画質の劣化を抑制したが、符号長調整符号およびマー
キングコードとしてレベルが低い符号語を選択するよう
にすれば、ノイズ削減手段207を省略することも可能
である。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第5の実施形態は、本発明の
請求項1および5に係る動画像合成装置、並びに、請求
項13および17に係る動画像合成方法に対応するもの
である。
装置の構成図である。本実施形態は、最大で毎秒30フ
レーム(N=30)で送信されるMPEG形式で符号化
されたフレームデータを受信し、データが存在しない場
合にはスキップフレームを挿入して合成処理を行うこと
で、MPEG規格に準拠した毎秒30フレーム分の動画
像を実時間で高速に合成するものである。
置は、画像バッファ302a,302b,302c,3
02d、スキップフレーム生成手段308、画像合成手
段303およびフレーム種別変換手段304を備えて構
成されている。
b,302c,302dは、MPEG規格に準拠するI
ピクチャ形式およびPピクチャ形式に符号化されたIピ
クチャおよびPピクチャを含む動画像データの毎秒最大
30枚のフレームが入力される複数の画像バッファであ
る。つまり、各画像バッファには、MPEG形式で符号
化されたIピクチャまたはIピクチャからの差分情報を
符号化したPピクチャが1秒間に最大30枚送信され、
画像合成手段303が取り出すまで一時的に蓄えられ
る。
は、複数の画像バッファから動画像データを取り出す際
に、動画像データがないときにPピクチャ形式のスキッ
プフレームを生成する。つまり、画像バッファから動画
像データを取り出す際に動画像データがない場合には、
動きベクトルが“0”であり、差分情報のないPピクチ
ャ形式の動画像データを生成して、実時間で動画像デー
タの合成を行なうことを可能にする。
ピクチャをPピクチャに変換する。つまり、フレーム種
別変換手段304は、第1の実施形態のフレーム種別変
換手段104と同様に、異なる符号化種別同士の動画像
データを合成する場合、IピクチャのPCTコードおよ
びMBTYPEコードの符号化種別をPピクチャ形式に
変換する。
ァ302a,302b,302c,302dから動画像
データを取り出し、30分の1秒に1回、合成処理を行
なう。つまり、異なる符号化種別同士の動画像データを
合成する場合は、フレーム種別変換手段304によりI
ピクチャをPピクチャに変換し、Pピクチャ形式に揃え
られた動画像データを合成処理する。また、この際、画
像バッファ302a,302b,302c,302dか
ら動画像データを取り出す動画像データがない場合に
は、スキップフレーム生成手段308によりスキップフ
レームを生成させ、生成されたスキップフレームを用い
て合成処理することにより、MPEG規格に準拠した毎
秒30フレーム分の合成動画像355を実時間で高速に
生成することができる。
の画像合成処理方法について、図21を参照して詳細に
説明する。ここで、図21は第5の実施形態における画
像合成手段303の画像合成処理を説明するフローチャ
ートである。
3は、ステップS210では、各画像バッファ302
a,302b,302c,302dに動画像データが存
在するか否かを調べる。そして、動画像データがある場
合は、ステップS211において画像バッファからその
動画像データを取り出す。また、画像バッファに動画像
データがない場合には、スキップフレーム生成手段30
8が、再生時に前のフレームと同じ画像を表示させるデ
ータ(スキップフレーム)を生成する。このスキップフ
レーム生成手段308により生成されるスキップフレー
ムデータは、動き予測の値が“0”であり、差分情報が
ないPピクチャである。そして、ステップS213にお
いて、上記ステップS210〜ステップS212を全て
のバッファについて処理するまで繰り返す。
の符号化種別を判定し、異なる符号化種別を含む場合に
は、ステップS215においてIピクチャからPピクチ
ャに変換して全てのフレームの符号化種別を揃えた上
で、ステップS216において合成処理を行う。また、
ステップS214において、全ての動画像データのフレ
ームが同じ符号化種別の場合には、ステップS216に
進み、合成処理が行われる。合成処理では、画像合成手
段303が、30分の1秒以内に上記ステップS210
からS215を完了し、30分の1秒に1回上記ステッ
プS216を行なうことにより、実時間で動画像データ
の合成を行なうことができる。
成装置および動画像合成方法では、動画像データの毎秒
最大30枚のフレームが入力される複数個の画像バッフ
ァ302a,302b,302c,302d(画像入力
ステップ)と、Pピクチャ形式のスキップフレームを生
成するスキップフレーム生成手段308(スキップフレ
ーム生成ステップ)とを備え、画像合成手段303(画
像合成ステップ)により各画像バッファの動画像データ
を合成する際に動画像データがない場合、スキップフレ
ームを挿入して、30分の1秒に1回だけ合成処理を行
なう。これにより、MPEG規格に準拠した毎秒30フ
レーム分の合成動画像を高速に実時間で生成することが
できる。
同様に動作するフレーム種別変換手段を用いたが、第
2、第3および第4実施形態のフレーム種別変換手段と
組み合わせて構成しても、同様に実施可能である。
れることはなく、合成処理が実時間で処理可能な範囲
で、入力数を変更可能である。
実施形態に係る動画像合成装置および動画像合成方法に
ついて説明する。ここで、第6の実施形態は、本発明の
請求項1,6および7に係る動画像合成装置、並びに、
請求項13,18および19に係る動画像合成方法に対
応するものである。
装置の構成図である。本実施形態は、第5の実施形態
(図20参照)に対して符号量調整手段409をさらに
備え、合成動画像データが設定された符号量を超過する
場合には、Iピクチャをスキップフレームに置き換え、
不足する場合には補填ビットを挿入するものである。本
実施形態における符号量調整手段409以外の構成要素
の機能および動作については、第5の実施形態と同様で
あるため詳細な説明は省略する。
は、画像合成手段403により合成された動画像データ
の符号化量が一定になるように調整する。つまり、合成
しようとする全フレームのデータ量を計算し、合成後の
平均データ量が規定の上限を超える、即ち画像合成手段
403により合成された合成動画像データのデータ量が
所定の範囲より大きい場合には、一部のデータをスキッ
プフレームに置き換える。また、規定の下限に満たな
い、即ち所定の範囲より小さい場合には、合成動画像デ
ータの最後に意味のない補填データを追加することで、
所定の符号量の合成動画像455を生成する。
整手段409の符号量調整方法を説明するフローチャー
トを図23に示す。同図において、先ず、ステップS2
30〜ステップS233では、第5の実施形態と同様
に、各画像バッファ302a,302b,302c,3
02dから合成動画像の1フレーム分のデータを取り出
す。つまり、各画像バッファ302a,302b,30
2c,302に動画像データがあるか否かを調べ、ある
場合にはその動画像データを画像バッファから取り出
す。また、動画像データがない場合いは、スキップフレ
ーム生成手段308においてスキップフレームを生成す
る。このスキップフレームは、動きベクトルが“0”で
あり差分情報のないPピクチャである。
規格)においては、動画像の平均データ量が大きく変動
してはならず、平均データ量が規定の範囲を超過した場
合には、復号器においてバッファのオーバフローが発生
し、平均データ量が規定の範囲より少ない場合には、復
号器においてバッファのアンダーフローが発生し、正常
に動画像の再生ができなくなる。
て、符号量調整手段409により入力された動画像デー
タの全データ量をチェックし、データ量が所定の範囲を
オーバしているかを調べ、所定の範囲をオーバしている
場合には、ステップS234において入力されたIピク
チャのどれかをスキップフレームに置き換え、ステップ
S235に戻る。上記ステップS234およびステップ
S235における処理動作を、データ量が所定の範囲に
収まるまで繰り返す。したがって、平均データ量が規定
の範囲より少ない場合に生じる復号器におけるバッファ
のアンダーフローを防ぐことができる。
8では、第5の実施形態と同様に、全てのフレームの符
号化種別をチェックし、異なる符号化種別のフレームが
含まれる場合には、IピクチャをPピクチャに変換す
る。そして、全てが同じ符号化種別となったフレームを
合成処理する。
手段409において、合成された動画像データのフレー
ムのデータ量をチェックし、所定の範囲に満たない場合
には、ステップS240においてフレームデータの最後
に補填データを追加し、所定の範囲に収まるようにデー
タ量を増加させる。ここで、MPEG規格では、データ
量の不足を補うために、フレーム間にデータ量を補填す
るための符号語を挿入できるため、この符号語を補填デ
ータとして用いる。これにより、平均データ量が規定の
範囲を超過した場合に発生する復号器におけるバッファ
のオーバフローを防ぐことができる。
のフレーム構成を例示する。図24(a)は調整前のフ
レーム構成、図24(b)は調整後のフレーム構成、図
24(c)は調整前後での符号量の推移をそれぞれ示
す。なお、図24(c)における上限および下限が、各
フレームのデータ量が収まらなければならない範囲であ
ることを意味している。また図中、IはIピクチャ形式
のフレーム、Sはスキップフレームを意味する。
は、1フレーム目から3フレーム目まではデータ量が所
定の範囲内にあり、正常に再生可能である。しかし、4
フレーム目は、図24(c)に示すように、調整前のデ
ータ量は大きく、オーバフローが発生してしまうために
再生ができない。また、5フレーム目は、データ量が小
さ過ぎるため、アンダーフローが発生し再生ができな
い。
示すように、4フレーム目の左下のIピクチャをスキッ
プフレームに変換し、5フレーム目の最後に補填データ
を追加する。その結果、図24(c)の調整後のグラフ
のように、全てのフレームにおいて、データ量が所定の
範囲に収まるため、復号器によって正常に再生できるよ
うになる。これにより、再生時にオーバフローおよびア
ンダーフローを起こすことがなく、動画像を高速に合成
することができ、符号量が一定となることで再生時に遅
延やジッタのない滑らかな動画像を生成することができ
る。
成装置および動画像合成方法では、合成された動画像デ
ータの符号量が一定になるように調整する符号量調整手
段409(符号量調整ステップ)と、Pピクチャ形式の
スキップフレームを生成するスキップフレーム生成手段
308(スキップフレーム生成ステップ)とを備え、合
成された動画像データのデータ量が所定の範囲より大き
い場合には、Iピクチャをスキップフレームに置き換
え、所定の範囲より小さい場合には、動画像データの後
ろに所定の補填データを付加している。これにより、再
生時にオーバフローおよびアンダーフローを起こすこと
なく、遅延やジッタのない滑らかな合成動画像を高速に
生成することができる。
成装置、動画像合成方法および記録媒体によれば、合成
しようとする動画像データがIピクチャ形式とPピクチ
ャ形式の異なる符号化種別を含む場合に、フレーム種別
変換手段(フレーム種別変換ステップ)によりIピクチ
ャ形式データをPピクチャ形式データに変換し、符号化
種別がPピクチャ形式に揃えられた動画像データを画像
合成手段(画像合成ステップ)により合成することとし
たので、従来のように可変長復号および再符号化処理を
する必要がなく、画質の劣化がなく高速に合成動画像を
生成することが可能な優れた動画像合成装置、動画像合
成方法および記録媒体を実現することができる。
手段(フレーム種別変換ステップ)によりマクロブロッ
クの符号化種別を変換する際に、マクロブロックの先頭
にマクロブロックスタッフィングコードを複数個挿入し
て、Iピクチャ形式データの符号長の増加量が処理系の
データ処理単位の倍数長となるようにしたので、マクロ
ブロックの符号化種別を計算機等の処理系を用いて変換
する際に、マクロブロックの符号化情報が記述されてい
る先頭部分以外の符号語に対するデータ処理が不要にな
り、画質の劣化がなく高速に合成動画像を生成すること
ができる。
手段(フレーム種別変換ステップ)によりマクロブロッ
クの符号化種別を変換する際に、直前のマクロブロック
の高周波成分または直後のマクロブロックの低周波成分
の符号語を書き換えることとしたので、マクロブロック
の符号化種別を計算機等の処理系を用いて変換する際
に、Iピクチャ形式データの符号長の変化量が処理系の
データ処理単位と一致し、マクロブロックの符号化情報
が記述されている先頭部分以外の符号語に対するデータ
処理が不要になり、画質の劣化がなく高速に合成動画像
を生成することができる。
手段(フレーム種別変換ステップ)によるマクロブロッ
クの符号化種別変換の際に、書き換えられた動画像デー
タの量子化行列の高周波成分をノイズ削減手段(ノイズ
削減ステップ)により所定の小さい値に変換することと
したので、再生時に高速化のために書き換えられた高周
波成分により生じる画質の劣化を抑制することができ
る。
成方法および記録媒体によれば、合成しようとする動画
像データがIピクチャ形式とPピクチャ形式の異なる符
号化種別を含む場合に、画像符号化手段(画像符号化ス
テップ)がマクロブロックデータを可変長符号化する際
に、マーキングコード挿入手段(マーキング挿入ステッ
プ)により、各マクロブロックデータの高周波成分の符
号語としてマクロブロックデータ境界を識別可能なマー
キングコードを挿入するようにし、合成の際には、フレ
ーム種別変換手段(フレーム種別変換ステップ)により
Iピクチャ形式データをPピクチャ形式データに変換
し、符号化種別がPピクチャ形式に揃えられた動画像デ
ータを画像合成手段(画像合成ステップ)により合成す
ることとしたので、マクロブロックの符号化種別を変換
する際に、可変長復号せずに変換箇所を特定することが
可能であり、また従来のように可変長復号および再符号
化処理をする必要がないので、画質の劣化がなく、しか
もより高速に合成動画像を生成することが可能な優れた
動画像合成装置、動画像合成方法および記録媒体を実現
することができる。
挿入手段(マーキングコード挿入ステップ)により、マ
クロブロックの符号化種別を変換する際の符号長の減少
量が処理系のデータ処理単位の倍数長となるような符号
長を持つマーキングコードを挿入し、マクロブロックの
符号化種別を変換する際に、挿入したマーキングコード
を削除することとしたので、マクロブロックの符号化種
別を変換する際に、可変長復号せずに変換箇所を特定す
ることが可能となり、また挿入したマーキングコードを
削除することで、符号化種別の変換による符号長の増減
が処理系のデータ処理単位と一致することとなり、マク
ロブロックの符号化情報が記述されている先頭部分以外
の符号語に対するデータ処理が不要になり、より高速に
合成動画像を生成することができる。
ータを可変長符号化する際に、符号長調整手段(符号長
調整ステップ)により、マクロブロックの高周波成分の
符号語を変更することとしたので、マーキングコードを
挿入してもマクロブロックデータの符号長が処理系のデ
ータ処理単位となり、マクロブロックの符号化種別を変
換する際に、可変長復号することなくデータ処理単位で
の比較演算のみで変換箇所を特定することが可能とな
り、マクロブロックの符号化情報が記述されている先頭
部分以外の符号語に対するデータ処理が不要になり、よ
り高速に合成動画像を生成することができる。
挿入手段および符号長調整手段により高周波成分に符号
語が付加された動画像データについて、ノイズ削減手段
(ノイズ削減ステップ)により量子化行列の高周波成分
を所定の小さい値に変換することとしたので、再生時に
高速化のために高周波成分に付加したマーキングコード
や符号長調整符号により生じる画質の劣化を少なくし、
高速に合成動画像を生成することができる。
成方法および記録媒体によれば、動画像データの毎秒最
大N枚のフレームが入力される複数個の画像バッファ
(画像入力ステップ)と、Pピクチャ形式のスキップフ
レームを生成するスキップフレーム生成手段(スキップ
フレーム生成ステップ)とを備えて、画像合成手段(画
像合成ステップ)により各画像バッファの動画像データ
を合成する際に動画像データがない場合、スキップフレ
ームを挿入して、N分の1秒に1回、合成処理を行なう
ようにし、また、合成しようとする動画像データがIピ
クチャ形式とPピクチャ形式の異なる符号化種別を含む
場合に、フレーム種別変換手段(フレーム種別変換ステ
ップ)によりIピクチャ形式データをPピクチャ形式デ
ータに変換し、符号化種別がPピクチャ形式に揃えられ
た動画像データを画像合成手段(画像合成ステップ)に
より合成することとしたので、従来のように可変長復号
および再符号化処理をする必要がなく、画質の劣化がな
く高速に合成動画像を生成することが可能であり、しか
も、MPEG規格に準拠した毎秒Nフレーム分の合成動
画像を高速に生成することが可能な優れた動画像合成装
置、動画像合成方法および記録媒体を実現することがで
きる。
像データの符号量が一定になるように調整する符号量調
整手段(符号量調整ステップ)を備えて、合成された動
画像データのデータ量が所定の範囲より大きい場合に
は、Iピクチャ形式データをスキップフレームに置き換
え、所定の範囲より小さい場合には、動画像データの後
ろに所定の補填データを付加することとしたので、再生
時にオーバフローおよびアンダーフローを起こすことな
く、遅延やジッタのない滑らかな合成動画像を高速に生
成することができる。
である。
明する説明図である。
示する説明図である。
成処理を説明するフローチャートである。
のフレーム種別変換方法を説明するフローチャートであ
る。
の符号化種別の符号語を例示する説明図である。
のフレーム種別変換方法を説明するフローチャートであ
る。
ロブロックデータのデータ構成を例示する説明図。
順序を説明する説明図である。
段のフレーム種別変換方法を説明するフローチャートで
ある。
語の書き換えを行う前後のマクロブロックデータのデー
タ構成を例示する説明図を示す。
図である。
像符号化方法を説明するフローチャートである。
号長調整テーブルを例示する説明図である。
挿入および符号長調整が行われたマクロブロックデータ
のデータ構成を例示する説明図である。
段のフレーム種別変換方法を説明するフローチャートで
ある。
コードを削除する前後のマクロブロックデータのデータ
構成を例示する説明図である。
イズ削減方法を説明するフローチャートである。
る。
図である。
合成処理を説明するフローチャートである。
図である。
号量調整方法を説明すフローチャートである。
成を例示する説明図である。
る。
る。
ファ 308 スキップフレーム生成手段 409 符号量調整手段
Claims (25)
- 【請求項1】 入力される映像信号をMPEG規格に準
拠したIピクチャ形式およびPピクチャ形式を含む動画
像データとして符号化する画像符号化手段と、 前記動画像データを蓄積する画像蓄積手段と、 前記動画像データのIピクチャ形式データを前記Pピク
チャ形式データに変換するフレーム種別変換手段と、 前記画像蓄積手段から動画像データを取り出して合成処
理する画像合成手段と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
前記画像合成手段は、符号化または変換されたPピクチ
ャ形式データを含む動画像データを合成処理することを
特徴とする動画像合成装置。 - 【請求項2】 入力される映像信号をMPEG規格に準
拠したIピクチャ形式およびPピクチャ形式を含む動画
像データとして符号化する画像符号化手段と、 前記画像符号化手段がマクロブロックデータを可変長符
号化する際に、該マクロブロックデータの境界を識別可
能なマーキングコードを挿入するマーキングコード挿入
手段と、 前記動画像データを蓄積する画像蓄積手段と、 前記動画像データのマーキングコードを検出して前記I
ピクチャ形式データのマクロブロックの符号化種別をP
ピクチャ形式の符号語に変換するフレーム種別変換手段
と、 前記画像蓄積手段から動画像データを取り出して合成処
理を行なう画像合成手段と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
前記画像合成手段は、符号化または変換されたPピクチ
ャ形式データを含む動画像データを合成処理することを
特徴とする動画像合成装置。 - 【請求項3】 前記マーキングコード挿入手段が挿入す
るマーキングコードは、前記フレーム種別変換手段によ
りマクロブロックの符号化種別を変換する際の符号長の
減少量が処理系のデータ処理単位の倍数長となるような
符号長を持つ符号語であり、 前記フレーム種別変換手段は、前記マクロブロックの符
号化種別を変換する際に、前記マーキングコードを削除
することを特徴とする請求項2記載の動画像合成装置。 - 【請求項4】 前記画像符号化手段がマクロブロックデ
ータを可変長符号化する際に、該マクロブロックデータ
の符号長が処理系のデータ処理単位となるように、マク
ロブロックの高周波成分の符号語を変更する符号長調整
手段を備えることを特徴とする請求項2または3記載の
動画像合成装置。 - 【請求項5】 MPEG規格に準拠するIピクチャ形式
およびPピクチャ形式に符号化されたIピクチャ形式デ
ータおよびPピクチャ形式データを含む動画像データの
毎秒最大N枚(Nは正整数)のフレームが入力される複
数の画像バッファと、 前記複数の画像バッファから動画像データを取り出す際
に、動画像データがないときに前記Pピクチャ形式のス
キップフレームを生成するスキップフレーム生成手段
と、 前記動画像データのIピクチャ形式データを前記Pピク
チャ形式データに変換するフレーム種別変換手段と、 前記複数の画像バッファから動画像データを取り出し、
N分の1秒に1回、合成処理を行なう画像合成手段と、
を備え、 異なる符号化種別含む動画像データを合成する際に、前
記画像合成手段は、符号化または変換されたPピクチャ
形式データを含む動画像データを合成処理することを特
徴とする動画像合成装置。 - 【請求項6】 前記画像合成手段により合成された動画
像データの符号化量が一定になるように調整する符号量
調整手段を備えることを特徴とする請求項5記載の動画
像合成装置。 - 【請求項7】 前記符号量調整手段は、前記画像合成手
段により合成された動画像データのデータ量が所定の範
囲より大きい場合には、Iピクチャ形式データを前記ス
キップフレームに置き換え、所定の範囲より小さい場合
には、該動画像データの後ろに所定の補填データを付加
することを特徴とする請求項6記載の動画像合成装置。 - 【請求項8】 前記フレーム種別変換手段は、前記Iピ
クチャ形式データのフレームの符号化種別をPピクチャ
形式の符号語に変換することを特徴とする請求項1,
2,3,4,5,6または7記載の動画像合成装置。 - 【請求項9】 前記フレーム種別変換手段は、前記Iピ
クチャ形式データのマクロブロックの符号化種別をPピ
クチャ形式の符号語に変換することを特徴とする請求項
1,2,3,4,5,6,7または8記載の動画像合成
装置。 - 【請求項10】 前記フレーム種別変換手段は、前記I
ピクチャ形式データの符号長の増加量が処理系のデータ
処理単位の倍数長となるように、マクロブロックスタッ
フィング(Macroblock Stuffing)コードを挿入するこ
とを特徴とする請求項1,2,3,4,5,6,7,8
または9記載の動画像合成装置。 - 【請求項11】 前記フレーム種別変換手段は、前記I
ピクチャ形式データの符号長の変化量が処理系のデータ
処理単位と一致するように、直前のマクロブロックの高
周波成分または直後のマクロブロックの低周波成分の符
号語を書き換えることを特徴とする請求項1,2,3,
4,5,6,7,8,9または10記載の動画像合成装
置。 - 【請求項12】 前記画像合成手段により生成された動
画像データの量子化行列の高周波成分を所定の小さい値
に変換するノイズ削減手段を備えることを特徴とする請
求項1,2,3,4,5,6,7,8,9,10または
11記載の動画像合成装置。 - 【請求項13】 入力される映像信号をMPEG規格に
準拠したIピクチャ形式およびPピクチャ形式を含む動
画像データとして符号化する画像符号化ステップと、 前記動画像データを蓄積する画像蓄積ステップと、 前記動画像データのIピクチャ形式データを前記Pピク
チャ形式データに変換するフレーム種別変換ステップ
と、 前記画像蓄積ステップから動画像データを取り出して合
成処理する画像合成ステップと、を備え、 異なる符号化種別を含む動画像データを合成する際に、
前記画像合成ステップは、符号化または変換されたPピ
クチャ形式データを含む動画像データを合成処理するこ
とを特徴とする動画像合成方法。 - 【請求項14】 入力される映像信号をMPEG規格に
準拠したIピクチャ形式およびPピクチャ形式を含む動
画像データとして符号化する画像符号化ステップと、 前記画像符号化ステップがマクロブロックデータを可変
長符号化する際に、該マクロブロックデータの境界を識
別可能なマーキングコードを挿入するマーキングコード
挿入ステップと、 前記動画像データを蓄積する画像蓄積ステップと、 前記動画像データのマーキングコードを検出して前記I
ピクチャ形式データのマクロブロックの符号化種別をP
ピクチャ形式の符号語に変換するフレーム種別変換ステ
ップと、 前記画像蓄積ステップから動画像データを取り出して合
成処理を行なう画像合成ステップと、を備え、 異なる符号化種別を含む動画像データを合成する際に、
前記画像合成ステップは、符号化または変換されたPピ
クチャ形式データを含む動画像データを合成処理するこ
とを特徴とする動画像合成方法。 - 【請求項15】 前記マーキングコード挿入ステップが
挿入するマーキングコードは、前記フレーム種別変換ス
テップによりマクロブロックの符号化種別を変換する際
の符号長の減少量が処理系のデータ処理単位の倍数長と
なるような符号長を持つ符号語であり、 前記フレーム種別変換ステップは、前記マクロブロック
の符号化種別を変換する際に、前記マーキングコードを
削除することを特徴とする請求項14記載の動画像合成
方法。 - 【請求項16】 前記画像符号化ステップがマクロブロ
ックデータを可変長符号化する際に、該マクロブロック
データの符号長が処理系のデータ処理単位となるよう
に、マクロブロックの高周波成分の符号語を変更する符
号長調整ステップを備えることを特徴とする請求項14
または15記載の動画像合成方法。 - 【請求項17】 MPEG規格に準拠するIピクチャ形
式およびPピクチャ形式に符号化されたIピクチャ形式
データおよびPピクチャ形式データを含む動画像データ
の毎秒最大N枚(Nは正整数)のフレームを複数の画像
バッファに入力する画像入力ステップと、 前記複数の画像バッファから動画像データを取り出す際
に、動画像データがないときに前記Pピクチャ形式のス
キップフレームを生成するスキップフレーム生成ステッ
プと、 前記動画像データのIピクチャ形式データを前記Pピク
チャ形式データに変換するフレーム種別変換ステップ
と、 前記複数の画像バッファから動画像データを取り出し、
N分の1秒に1回、合成処理を行なう画像合成ステップ
と、を備え、 異なる符号化種別を含む動画像データを合成する際に、
前記画像合成ステップは、符号化または変換されたPピ
クチャ形式データを含む動画像データを合成処理するこ
とを特徴とする動画像合成方法。 - 【請求項18】 前記画像合成ステップにより合成され
た動画像データの符号化量が一定になるように調整する
符号量調整ステップを備えることを特徴とする請求項1
7記載の動画像合成方法。 - 【請求項19】 前記符号量調整ステップは、前記画像
合成ステップにより合成された動画像データのデータ量
が所定の範囲より大きい場合には、Iピクチャ形式デー
タを前記スキップフレームに置き換え、所定の範囲より
小さい場合には、該動画像データの後ろに所定の補填デ
ータを付加することを特徴とする請求項18記載の動画
像合成方法。 - 【請求項20】 前記フレーム種別変換ステップは、前
記Iピクチャ形式データのフレームの符号化種別をPピ
クチャ形式の符号語に変換することを特徴とする請求項
13,14,15,16,17,18または19記載の
動画像合成方法。 - 【請求項21】 前記フレーム種別変換ステップは、前
記Iピクチャ形式データのマクロブロックの符号化種別
をPピクチャ形式の符号語に変換することを特徴とする
請求項13,14,15,16,17,18,19また
は20記載の動画像合成方法。 - 【請求項22】 前記フレーム種別変換ステップは、前
記Iピクチャ形式データの符号長の増加量が処理系のデ
ータ処理単位の倍数長となるように、マクロブロックス
タッフィング(Macroblock Stuffing)コードを挿入す
ることを特徴とする請求項13,14,15,16,1
7,18,19,20または21記載の動画像合成方
法。 - 【請求項23】 前記フレーム種別変換ステップは、前
記Iピクチャ形式データの符号長の変化量が処理系のデ
ータ処理単位と一致するように、直前のマクロブロック
の高周波成分または直後のマクロブロックの低周波成分
の符号語を書き換えることを特徴とする請求項13,1
4,15,16,17,18,19,20,21または
22記載の動画像合成方法。 - 【請求項24】 前記画像合成ステップにより生成され
た動画像データの量子化行列の高周波成分を所定の小さ
い値に変換するノイズ削減ステップを備えることを特徴
とする請求項13,14,15,16,17,18,1
9,20,21,22または23記載の動画像合成方
法。 - 【請求項25】 請求項13,14,15,16,1
7,18,19,20,21,22,23または24記
載の動画像合成方法をコンピュータに実行させるための
プログラムとして記録したコンピュータにより読み取り
可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32300299A JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32300299A JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001145112A true JP2001145112A (ja) | 2001-05-25 |
JP4274653B2 JP4274653B2 (ja) | 2009-06-10 |
Family
ID=18150050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32300299A Expired - Lifetime JP4274653B2 (ja) | 1999-11-12 | 1999-11-12 | 動画像合成装置および動画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4274653B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007336036A (ja) * | 2006-06-13 | 2007-12-27 | Kddi Corp | 動画像合成装置及びプログラム |
JP2009131319A (ja) * | 2007-11-28 | 2009-06-18 | Olympus Corp | 画像処理装置、及び画像処理システム |
JP2013172374A (ja) * | 2012-02-22 | 2013-09-02 | Sony Corp | 画像処理装置、画像処理方法、および画像処理システム |
JP2016001911A (ja) * | 2008-06-25 | 2016-01-07 | アクティブビデオ ネットワークス, インコーポレイテッド | 被管理ネットワークを介したテレビ放送および非被管理ネットワークを介した双方向コンテンツのクライアントデバイスへの提供 |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
-
1999
- 1999-11-12 JP JP32300299A patent/JP4274653B2/ja not_active Expired - Lifetime
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569968B2 (ja) * | 2006-06-13 | 2010-10-27 | Kddi株式会社 | 動画像合成装置及びプログラム |
JP2007336036A (ja) * | 2006-06-13 | 2007-12-27 | Kddi Corp | 動画像合成装置及びプログラム |
US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
JP2009131319A (ja) * | 2007-11-28 | 2009-06-18 | Olympus Corp | 画像処理装置、及び画像処理システム |
JP2016001911A (ja) * | 2008-06-25 | 2016-01-07 | アクティブビデオ ネットワークス, インコーポレイテッド | 被管理ネットワークを介したテレビ放送および非被管理ネットワークを介した双方向コンテンツのクライアントデバイスへの提供 |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
JP2013172374A (ja) * | 2012-02-22 | 2013-09-02 | Sony Corp | 画像処理装置、画像処理方法、および画像処理システム |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US10506298B2 (en) | 2012-04-03 | 2019-12-10 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US10757481B2 (en) | 2012-04-03 | 2020-08-25 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US11073969B2 (en) | 2013-03-15 | 2021-07-27 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
Also Published As
Publication number | Publication date |
---|---|
JP4274653B2 (ja) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6798977B2 (en) | Image data encoding and decoding using plural different encoding circuits | |
US6724977B1 (en) | Compressed video editor with transition buffer matcher | |
KR100253931B1 (ko) | 디지탈 영상 시퀀스의 디코딩 방법 및 장치 | |
US6639945B2 (en) | Method and apparatus for implementing motion detection in video compression | |
US20100177820A1 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JP2002199402A (ja) | 離散コサイン変換コード化された信号を符号変換するシステムおよびそれに関連する方法 | |
JPH08317388A (ja) | 画像信号の符号化装置及び復号装置 | |
JP4532980B2 (ja) | 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP2004343280A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
US7379498B2 (en) | Reconstructing a compressed still image by transformation to a compressed moving picture image | |
JP4274653B2 (ja) | 動画像合成装置および動画像合成方法 | |
Wee et al. | Splicing MPEG video streams in the compressed domain | |
JP2000324494A (ja) | 動画像符号化装置 | |
JPH08256308A (ja) | ディジタルビデオテ−プレコ−ダのビットストリ−ム配置/復元方法およびそれに適合なデ−タ圧縮装置および伸長装置 | |
EP1374595A2 (en) | Video coding method and device | |
JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
JP2000244872A (ja) | トランスコーダ装置 | |
CN112672164B (zh) | 视频压缩***及方法、视频解压缩***及方法 | |
JP2001309384A (ja) | 画像圧縮装置 | |
JPH09139912A (ja) | 符号化データ編集装置とデータ復号装置 | |
US6754272B2 (en) | Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium | |
JPH08251597A (ja) | 動画像符号化/復号化装置 | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JPH10174106A (ja) | 映像データ圧縮装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060905 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080820 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081015 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081015 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |