JP2002171530A - スーパーインポーズ機能を備えた再符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ２映像データに、ＭＰＥＧ２ストリ
ームと異なるフレーム周波数でスーパーインポーズ処理
を行い、ＭＰＥＧ２映像データを再符号化する際、デコ
ード／エンコード間での画質劣化を抑制する。 【解決手段】 ビデオデコーダ４はリピートフィールド
情報１０８をスーパーインポーズ５に、ＭＰＥＧ２の符
号化パラメータ１０５をビデオエンコーダ６に出力する
機能を備える。スーパーインポーズ５は、スーパーイン
ポーズされる画像の特性に合わせてデコードされた映像
データ１０６にスーパーインポーズ処理を行い、スーパ
ーインポーズフィールド情報１１０とスーパーインポー
ズ領域情報１１１をビデオエンコーダ６に出力する。ビ
デオエンコーダ６は、ＭＰＥＧ２符号化パラメータ１０
５、スーパーインポーズフィールド情報１１０と、スー
パーインポーズ領域情報１１１を適応的に利用しながら
再符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ２("Gene
ric coding of Moving Pictures and associatedaudio
information", ISO/IEC 13818)符号化方式に代表される
動き補償手段を備えた画像符号化装置で生成したストリ
ームに対して、画質劣化を抑えながら文字や画像データ
を重畳するスーパーインポーズ機能を備えた再符号化装
置および方法に関する。

【０００２】

【従来の技術】現在、日本のアナログ放送は２９．９７
Ｈｚのフレーム周波数が用いられており、通常家庭で使
用されているアナログＶＴＲやＴＶ受像機等は２９．９
７Ｈｚのみのフレーム周波数に対応する。そのため、映
画のようなフレーム周波数２４Ｈｚで作成された素材を
放送する場合、シネテレ変換と呼ぶ２４Ｈｚから２９．
９７Ｈｚへの変換を行うため、一定間隔で同じフィール
ド画像が繰り返される。

【０００３】一方、デジタル放送では、伝送帯域を効率
よく利用するため、ＭＰＥＧ２規格と呼ばれる画像圧縮
技術を用いた画像符号化が行われている。家庭ではＳＴ
Ｂ(Set Top Box)と呼ばれるデジタル受信機を用いてＭ
ＰＥＧ２データの復号を行い、アナログ映像信号をＴＶ
受像機に出力する。

【０００４】ＭＰＥＧ２規格は、符号化されたストリー
ムのフレーム周波数やフレーム構造とＴＶ受像機の持つ
フレーム周波数やフレーム構造が異なる場合、ＳＴＢが
周波数変換を行いＴＶ受像機が再生できるよう符号化パ
ラメータとして、frame_rate_codeと呼ぶフレーム周波
数情報と、top_field_firstと呼ぶ開始フィールドの位
置情報と、repeat_field_firstと呼ぶ次フィールドのリ
ピート情報等が存在する。

【０００５】そのため、ＭＰＥＧ２規格を用いたデジタ
ル放送では従来のアナログ放送と異なり、エンコード時
にシネテレ変換をする必要がない。

【０００６】また、放送局内で用いられる放送用機材も
ＭＰＥＧ２を用いた機種が開発されている。このような
機材間の接続インターフェースは従来の非圧縮のデジタ
ル機材で使用されているＳＤＩ(serial digital interf
ace)（ＳＭＰＴＥ−２５９Ｍ規格）／ＨＤ−ＳＤＩ（Ｓ
ＭＰＴＥ−２９２Ｍ規格）では、インターフェース間で
デコード（伸張）、エンコード（圧縮）を繰り返すため
伝送回数に従って画質劣化が発生するため、ＭＰＥＧ２
ストリームを直接伝送する方式としてＳＭＰＴＥ−３１
０Ｍ規格："Synchronous Serial Interface for MPEG-2
Digital Transport Streams"が規格化されている。

【０００７】

【発明が解決しようとする課題】しかしながら、前記Ｍ
ＰＥＧ２ストリームに様々な映像効果やスーパーインポ
ーズ処理を加えたり、４：２：２／４：２：０クロマフ
ォーマット変換や、符号化レートを変換するためにトラ
ンスコーダ（再符号化装置）が必要となる。

【０００８】上述したように、放送局内でも機器間の伝
送インターフェースとして非圧縮のデジタルインターフ
ェースに代わりＭＰＥＧ２ストリームが使用されつつあ
るが、ＭＰＥＧ２ストリームの持つフレーム周波数やフ
レーム構造が通常放送されるフレーム周波数やフレーム
構造と異なると次のような課題がある。

【０００９】以下、２４Ｈｚの映画素材を、２９．９７
Ｈｚの４８０ｉ／６０方式すなわち４８０ラインをイン
ターレースで６０フィールド走査する方式に変換する場
合の例について述べる。

【００１０】スーパーインポーズ処理等を行う場合、Ｍ
ＰＥＧ２ストリームを映像信号に復号し、スーパーイン
ポーズ処理を行い、再エンコード処理を行う際に、大き
く画質劣化が発生することである。これは、もともと２
４Ｈｚで符号化されていたデータを映像信号に戻す段階
で２９．９７Ｈｚとなり、２９．９７Ｈｚの信号に対し
スーパーインポーズ処理を行うため、再エンコード時も
２９．９７Ｈｚで符号化しなければならないため、符号
化効率が落ち画質劣化が知覚されやすくなるということ
である。

【００１１】例えば、１画面が７２０画素×４８０ライ
ンで構成される２４Ｈｚの映画素材が６Ｍｂｐｓ符号化
レートで符号化されていたとすると、１画素あたりの割
り当て符号量は、６，０００，０００ｂｐｓ／（７２０
画素×４８０ライン×２４Ｈｚ）＝０．７２ｂｉｔとな
るのに対し、適時リピートフィールドを行いフレーム周
波数２９．９７Ｈｚで符号化すると、６，０００，００
００ｂｐｓ／（７２０画素×４８０ライン×２９．９７
Ｈｚ）＝０．５８ｂｉｔとなり、１画素あたりの割り当
て符号量は８０％程度に減少するためである。

【００１２】そこで本発明は、放送方式と異なるフレー
ム周波数やフレーム構造を持つＭＰＥＧ２ストリームに
対し、スーパーインポーズ処理を行う際、画質劣化を最
大限抑えながら再びＭＰＥＧ２ストリームを生成するこ
とを目的とする。

【００１３】

【課題を解決するための手段】上述の課題を解決するた
め、本発明は、請求項１および５記載の再符号化装置お
よび方法は、ＭＰＥＧ２符号化パラメータであるピクチ
ャヘッダ内の次フィールドのリピート情報を参照し、デ
コードした再生映像信号に同期して、ＭＰＥＧ２ストリ
ームのピクチャ開始位置と、リピートフィールド位置を
示す識別信号をスーパーインポーズ回路に出力する機能
と、スーパーインポーズを行う領域を検出し、映像信号
に同期してスーパーインポーズ領域情報をビデオエンコ
ーダに出力する機能を備える。

【００１４】請求項２および７記載の再符号化装置およ
び方法は、スーパーインポーズする画像データが静止画
か動画であるかの判別を行い、ビデオエンコーダに出力
する機能を備える。

【００１５】請求項３および８記載の再符号化装置およ
び方法は、ＭＰＥＧ２ストリームのもつフレーム周波数
やフレーム構造が放送方式と異なる場合であっても、ス
ーパーインポーズされる画像が静止画である場合、リピ
ートフィールド部分を除き、オリジナルのＭＰＥＧ２ス
トリームをデコードしたフィールドにのみスーパーイン
ポーズ画像を重畳し、動画である場合、通常のスーパー
インポーズ処理と同様の処理を適応的に行うスーパーイ
ンポーズ機能を備える。

【００１６】請求項４および９記載の再符号化装置およ
び方法は、スーパーインポーズ領域情報が存在しない場
合、ビデオデコーダで取得した符号化パラメータを再利
用してＭＰＥＧ２符号化を行い、スーパーインポーズ領
域情報が存在し、かつＭＰＥＧ２ストリームから取得し
たフレーム周波数情報と放送方式のフレーム周波数が異
なる場合、符号化パラメータを再利用せず設定フレーム
周波数でＭＰＥＧ２符号化を行うことを特徴とする。

【００１７】請求項５および１０記載の再符号化装置お
よび方法は、スーパーインポーズ領域情報が存在しない
場合、ビデオデコーダで取得した符号化パラメータを再
利用してＭＰＥＧ２符号化を行い、スーパーインポーズ
領域情報が存在し、かつスーパーインポーズ画像が静止
画である場合、ビデオデコーダで取得した符号化パラメ
ータを再利用してＭＰＥＧ２符号化を行い、スーパーイ
ンポーズ情報が存在し、かつスーパーインポーズ画像が
動画である場合、ビデオデコーダから取得したＭＰＥＧ
２パラメータを再利用せずＭＰＥＧ２符号化を行うこと
を特徴とする。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図中で同じ機能を有する回
路には同じ番号を付している。

【００１９】図１は、本発明によるスーパーインポーズ
機能を備えた再符号化装置のシステム概要を示すブロッ
ク図で、ＴＳデコーダ１、音声遅延メモリ２、ＴＳエン
コーダ３、ビデオデコーダ４、スーパーインポーズ回路
５、ビデオエンコーダ６で構成される。

【００２０】ＴＳデコーダ１は、伝送されるＭＰＥＧ２
−ＴＳ（トランスポートストリーム）１００から映像信
号と音声信号を分離し、映像信号をＭＰＥＧ２映像スト
リーム１０３としてビデオデコーダ４に、音声信号を音
声ストリーム１０１として音声遅延メモリ２にそれぞれ
出力する。

【００２１】音声遅延メモリ２は、映像信号と音声信号
を同期させるための遅延メモリで、ビデオエンコーダ
４、スーパーインポーズ回路５、ビデオエンコーダ６で
映像信号が遅延する時間、音声ストリーム１０１を遅延
し、遅延した音声ストリーム１０２としてＴＳエンコー
ダ３に出力する。ここで、音声ストリームはＭＰＥＧ２
符号化方式で圧縮されたものや非圧縮のＰＣＭデータ等
で構成される。本実施の形態では、音声データのビット
レート変換やアフレコ処理（差し替え）を想定していな
いため映像信号と同期させるための遅延メモリを用いて
いるが、音声信号の再処理を必要とする場合、遅延メモ
リ２に加え再処理用の音声エンコーダが必要となる。ま
た、映像、音声以外のデータがＴＳストリームに含まれ
る場合、外部メモリを用いて遅延やデータの再生成が必
要となるが、本実施の形態は映像信号の処理が主目的で
あるため省略している。

【００２２】図２は、ビデオデコーダ４の詳細な回路構
成例を示したもので、ＶＬＤ（可変長符号復号器）回路
４０、逆量子化回路４１、逆ＤＣＴ回路４２、動き補償
回路４３、パラメータメモリ４４、同期発生回路４５で
構成される。

【００２３】従来技術を用いたビデオデコーダと異なる
点は、同期発生回路４５を用いて、ＭＰＥＧ２ストリー
ム上のピクチャ開始情報１０７とリピートフィールド位
置情報１０８をデコードされた映像データ１０６に同期
してスーパーインポーズ回路５に出力することにある。

【００２４】ＶＬＤ回路４０は、ＭＰＥＧ２映像ストリ
ーム１０３から可変長復号を行い、符号化パラメータ１
０５をパラメータメモリ４４へ、映像データである量子
化係数値データ１２３を逆量子化回路４１へ出力する。
ここで、符号化パラメータ１０５はマクロブロックごと
の符号化ビット数１２６とＭＰＥＧ２規格のシーケンス
層以下のパラメータ、フレーム周波数情報、トップフィ
ールド情報、リピートフィールド情報、ピクチャタイ
プ、フレームごとの符号化ビット数１２７、ＶＢＶディ
レイ値、量子化マトリクス、マクロブロックタイプ、動
ベクトルデータ１２２、量子化ステップ値１２０（量子
化ステップコードを量子化ステップタイプに従ってデコ
ードしたもの）、ＤＣＴモード情報１２１等で構成され
る。

【００２５】逆量子化回路４１は、量子化係数値データ
１２３とマクロブロック単位で量子化ステップ値１２０
をパラメータメモリから読み出して逆量子化処理を行
い、ＤＣＴ係数値データ１２４を逆ＤＣＴ回路４２に出
力する。逆量子化処理で使用する量子化マトリクスがユ
ーザー定義のものを利用する場合、パラメータメモリか
ら量子化マトリクスも読み込むものとする。

【００２６】逆ＤＣＴ回路４２は、ＤＣＴ係数値データ
１２４とＤＣＴモード情報１２１を用いて逆ＤＣＴ処理
を行い、差分映像データ１２５を動き補償回路４３に出
力する。

【００２７】動き補償回路４３は、内部にそれぞれ前方
向予測用、後方向予測用のフレームメモリを有し、差分
映像データ１２５と動ベクトルデータ１２２を用いて動
き補償処理を行いデコードされた映像データ１０６をス
ーパーインポーズ回路５に出力する。ここで、ＭＰＥＧ
２データの持つフレーム周波数と再生系で用いられるフ
レーム周波数が異なる場合、適時リピートフィールド処
理を行いデコードされた映像データ１０６を出力する。

【００２８】パラメータメモリ４４は、ＶＬＤ回路４０
で復号された符号化パラメータ１０５をフレーム単位で
保持している。

【００２９】同期発生回路４５は、パラメータメモリ４
４から、フレーム単位で符号化パラメータを読み出し、
フレーム構成情報として、ＭＰＥＧ２ストリーム上の先
頭フィールドを表すピクチャ開始情報１０７と、再生フ
ィールドがリピート処理により生成された映像データで
あることを示すリピートフィールド情報１０８としてス
ーパーインポーズ回路５に出力する。

【００３０】図３は、フレーム周波数２４Ｈｚの映画素
材を２９．９７Ｈｚの４８０ｉ／６０に再生する場合の
リピートフィールドの一例を示したものである。各フィ
ールドは、トップフィールドにＴ、ボトムフィールドに
Ｂの記号を付し、数字でフレーム番号を表している。例
えば、Ｔ０は第０フレームのトップフィールド、Ｂ０は
第０フレームのボトムフィールドを表している。また、
楕円形の図形はＭＰＥＧ２ストリーム上フレーム位置を
表しており、記号Ｓとフレーム番号を付している。

【００３１】ストリームＳ０は、top_field_first＝
１、repeat_field_first＝１であるから、Ｔ１フィール
ドはＴ０フィールドのリピートフィールドで構成され
る。ストリームＳ１は、top_field_first＝０、repeat_
field_first＝０となっているため、本来ボトムフィー
ルドであるＢ１がトップフィールド、本来トップフィー
ルドであるＴ２をボトムフィールドとして１フレームを
構成する。ストリームＳ２は、top_field_first＝０、r
epeat_field_first＝１より、Ｂ２をトップフィール
ド、Ｔ３をボトムフィールドとして再生後、Ｂ３をＢ２
のリピートフィールドで再生する。以下同様に、ストリ
ームＳ３はtop_field_first＝１、repeat_field_first
＝０より再生フレームはＴ４、Ｂ４で構成され、ストリ
ームＳ４はtop_field_first＝１、repeat_field_first
＝１よりＴ５、Ｂ５を再生後、Ｔ６をＴ５のリピートフ
ィールドで再生する。

【００３２】このように、４８０ｉ／６０では、１フレ
ームはトップフィールド、ボトムフィールドの２フィー
ルド、１秒あたり２９．９７枚のフレーム画像で構成さ
れる。一方、映画素材は１秒あたり２４枚の静止画（フ
レーム画像）で構成されているため、１秒あたり約６枚
のフレーム画像を挿入する必要があるが、フィールド単
位で挿入されるため、ＭＰＥＧ２ストリーム上のピクチ
ャ開始位置は固定していない。

【００３３】図４は、同期発生回路４５の出力するピク
チャ開始情報１０７とリピートフィールド情報１０８の
出力タイミングを表した図である。ＭＰＥＧ２ストリー
ムの構造は図５と同じ構成とする。ピクチャ開始情報１
０７は、ＭＰＥＧ２ストリーム上の先頭フィールド時に
“Ｈ”となる信号であるため、Ｔ０、Ｂ１、Ｂ２、Ｔ
４、Ｔ５で“Ｈ”となる。リピートフィールド情報１０
８は、ＭＰＥＧ２パラメータのrepeat_field_firstフラ
グからリピートフィールドのとき“Ｈ”となる信号で、
repeat_field_firstフラグがＴ０、Ｂ１、Ｔ５で“Ｈ”
となっているため、それぞれＴ１、Ｂ３、Ｔ６がリピー
トフィールドで構成されていることを示している。

【００３４】図５は、スーパーインポーズ回路５の構成
例を示す図で、文字・画像発生回路５０、遅延メモリ５
１、フレームメモリ５２、静止画判別回路５３、スーパ
ーインポーズ領域検出回路５４、適応ミックス回路５５
で構成される。

【００３５】従来技術を用いたスーパーインポーズが、
文字・画像発生回路５０と単一フレーム周波数のみに対
応したミックス回路で構成されるのに対し、本実施の形
態では発生したスーパーインポーズ画像データの静止画
・動画判定を行う静止画判別回路５３と、遅延メモリ５
１と、フレームメモリ５２と、スーパーインポーズ領域
抽出回路５４が加わり、ミックス回路も映像データ、ス
ーパーインポーズ画像データのフレーム構造とフレーム
周波数情報を考慮して映像データのミックス処理を行う
適応ミックス回路５５に置き換えている。

【００３６】文字・画像発生回路５０はスーパーインポ
ーズする文字、画像データ１０４よりミックスする映像
データ１０６の画面サイズに合わせて文字や画像データ
を生成し、遅延メモリ５１と静止画判別回路５３とスー
パーインポーズ領域検出回路５４に出力する。また、ス
ーパーインポーズの有無を表すスーパーインポーズ存在
情報１３１を静止画判別回路５３に出力する。

【００３７】遅延メモリ５１は１フレームのメモリを持
ち、静止画判別回路５３でスーパーインポーズ画像が静
止画か動画かを判定するためフレーム遅延を行い、フレ
ーム遅延したスーパーインポーズ画像データ１３２を静
止画判別回路５３と、フレームメモリ５２、スーパーイ
ンポーズ領域検出回路５４に出力する。

【００３８】静止画判別回路５３は、スーパーインポー
ズ存在情報１３１より、スーパーインポーズデータが存
在しない場合、スーパーインポーズ無効を、存在する場
合、スーパーインポーズ画像データ１３０とフレーム遅
延したスーパーインポーズ画像データ１３２の差分値の
絶対和を１フィールド間に渡って累積し、あらかじめ定
められたしきい値と比較して、しきい値以下の場合静止
画、しきい値より大きい場合動画と判断し、スーパーイ
ンポーズフィールド情報１１０を適応ミックス回路５５
とビデオエンコーダ６に出力する。また、スーパーイン
ポーズフィールド情報１１０が動画の場合、フレームメ
モリ５２に１フレーム遅延したスーパーインポーズ画像
データ１３２を書き込み、静止画の場合は書き込まない
ようにするフレーム書き込み制御信号１３３をフレーム
メモリ５２に出力する。なお、静止画が切り替わるフレ
ームでは１フレーム間だけスーパーインポーズフィール
ド情報１１０は動画と判断され、フレームメモリ５２に
フレーム遅延したスーパーインポーズ画像データ１３２
を書き込む。

【００３９】フレームメモリ５２は、１フレーム分のフ
レームメモリで構成され、フレーム書き込み制御信号１
３３が書き込みを指示した場合、フレーム遅延したスー
パーインポーズ画像データ１３２をフレームメモリに書
き込み、それ以外は書き込み動作を行わない。また、適
応ミックス回路５５から出力されるフィールド読み出し
制御信号１３４に従い、フレームメモリ内に記録された
トップフィールドデータ、あるいはボトムフィールドデ
ータを出力する。

【００４０】スーパーインポーズ領域検出回路５４は、
フレーム遅延したスーパーインポーズ画像データ１３２
がどの座標にデータがあるかを検出し、座標情報をスー
パーインポーズ領域識別信号１１１としてビデオエンコ
ーダ６に出力する。

【００４１】図６はスーパーインポーズ領域の検出例を
示す。座標情報は画素単位でも良いが、ＭＰＥＧ２規格
は映像データの制御がマクロブロック単位で行われるた
め、座標情報もマクロブロックアドレス単位とすること
で領域情報の蓄積に必要なメモリ量を削減する事ができ
る。図６では、左上座標を（１，１）とし、横方向１５
マクロブロック、縦方向１０マクロブロックで構成され
る画面の座標（５，２）のマクロブロックから座標
（９，３）のマクロブロックまで文字情報が重畳されて
いる例を示しており、マクロブロック領域が座標（５，
２）−（９，３）の矩形領域だけスーパーインポーズさ
れている識別信号１１１を出力する。

【００４２】適応ミックス回路５５は、ピクチャ開始情
報１０７と、リピートフィールド情報１０８と、スーパ
ーインポーズフィールド情報１１０を用いて、デコード
された映像データ１０６と選択されたスーパーインポー
ズ画像フィールドデータ１３５のミックスを行い、スー
パーインポーズ処理された映像データ１０９を出力す
る。

【００４３】図７は適応ミックス回路５５のフレームメ
モリ読み出し制御アルゴリズムの例を示す。図７で、Ｓ
ＩＦはスーパーインポーズフィールド情報１１０を、ピ
クチャ開始はピクチャ開始情報１０７を、リピートフィ
ールドはリピートフィールド情報１０８を、フィールド
位置は現在のフィールド位置がトップフィールドかボト
ムフィールドかを表す。以下、アルゴリズムについて説
明する。

【００４４】スーパーインポーズフィールド情報１１０
が動画のとき（ステップＳ１）、ＭＰＥＧ２ストリーム
のフレーム構造に関係なく（ステップＳ２）、現在のフ
ィールド位置からフレームメモリから読み出すフィール
ド位置を決定する（ステップＳ５，Ｓ６）。

【００４５】スーパーインポーズフィールド情報１１０
が静止画のとき（ステップＳ１）、ＭＰＥＧ２ストリー
ムの符号化情報によって読み出すフィールド位置を決定
する。まず、リピートフィールド情報１０８がリピート
フィールドの場合（ステップＳ３）、ビデオエンコーダ
回路６では、リピートフィールドの除去を行うため、ス
ーパーインポーズ画像の重畳は行わず、デコードした映
像データ１０６をそのままスーパーインポーズ処理され
た映像データ１０９としてビデオエンコーダ回路６に出
力する（ステップＳ９）。

【００４６】リピートフィールド情報１０８がリピート
フィールドでない場合（ステップＳ３）、ピクチャ開始
情報１０７に従って（ステップＳ４）、フレームメモリ
５２からトップフィールド、ボトムフィールドのスーパ
ーインポーズ画像データを読み出しデコードされた映像
データ１０６に重畳し、ビデオエンコーダ回路６に出力
する（ステップＳ７，Ｓ８）。

【００４７】また、スーパーインポーズされていない場
合（ステップＳ１）、スーパーインポーズ画像の重畳は
行わず、デコードした映像データ１０６をそのままスー
パーインポーズ処理された映像データ１０９としてビデ
オエンコーダ回路６に出力する（ステップＳ９）。

【００４８】図８、図９はそれぞれスーパーインポーズ
画像が動画、静止画のときの適応ミックス回路５５の入
出力信号を表したものである。

【００４９】図８より、スーパーインポーズ画像が動画
の場合、ビデオデコーダ回路４から出力されるピクチャ
開始情報１０７、リピートフィールド情報１０８に関係
なく、フィールド位置がトップフィールドかボトムフィ
ールドかによって、フレームメモリから読み出すフィー
ルドが決定されるため、トップフィールドである場合、
フレームメモリからトップフィールドのスーパーインポ
ーズされた画像データが読み出され、適応ミックス回路
５５でデコードされた映像データ１０６に重畳され、ス
ーパーインポーズ処理された映像データ１０９をビデオ
エンコーダ回路６に出力される。

【００５０】図９より、スーパーインポーズ画像が静止
画の場合、フレームメモリ５２には遅延メモリ５１から
書き込まれないため、トップフィールドデータＩＴ０、
ボトムフィールドデータＩＢ０を保持され、フレームメ
モリ５２から読み出されるスーパーインポーズ画像デー
タは、ピクチャ開始情報１０７とリピートフィールド情
報１０８のみから決定される。よって、入力画像がＴ０
のとき、リピートフィールド情報１０８＝“Ｌ”かつピ
クチャ開始情報１０７＝“Ｈ”より（Ｔ０＋ＩＴ０）を
出力し、Ｂ０のときリピートフィールド情報１０８＝
“Ｌ”かつピクチャ開始情報１０７＝“Ｌ”より（Ｂ０
＋ＩＢ０）を出力する。Ｔ１のときリピートフィールド
情報＝“Ｈ”のため、Ｔ１をそのまま出力する。以下、
Ｂ１のとき（Ｂ１＋ＩＢ１）を出力し、Ｔ２のとき（Ｔ
２＋ＩＴ２）を出力する。

【００５１】以上詳述したように、本実施の形態記載の
スーパーインポーズ回路５を用いることで、従来は行え
なかった異なるフレーム構造の画像に対して、スーパー
インポーズ画像データの特性に合わせ重畳処理を行うこ
とができるため、ビデオエンコーダ６で再符号化する際
の画質劣化を防ぐことが出来る。

【００５２】図１０は、請求項５に対応したビデオエン
コーダ回路６の構成例を示したもので、フィールド間引
き回路６０、適応動ベクトル探索回路６１、動き補償回
路６２、適応ＤＣＴモード判定回路６３、ＤＣＴ回路６
４、適応量子化制御回路６５、量子化回路６６、ＶＬＣ
（可変長符号化）回路６７で構成される。

【００５３】本実施の形態は、先に出願した特願２００
０−１９７８７１の明細書の記載例を異なるフレーム構
造やフレーム周波数に対応させるためのもので、フィー
ルド間引き回路６０を除く回路構成については特願２０
００−１９７８７１と同じ構成である。

【００５４】フィールド間引き回路６０は、スーパーイ
ンポーズされた映像データ１０９がフィールド間引き処
理できる場合、ＭＰＥＧ２映像ストリーム１０３と同じ
フレーム順序となるようにリピートフィールド情報１０
８、スーパーインポーズフィールド情報１１０を用いて
フィールド間引き処理を行いフィールド間引きされた映
像データ１４０を適応動ベクトル探索回路６１と動き補
償回路６２に出力する。

【００５５】図１１は、フィールド間引き回路６０の制
御例を表すフローチャートである。フローチャート内の
符号化情報はデコードされたＭＰＥＧ２符号化パラメー
タ１０５を、ＳＩＦはスーパーインポーズフィールド情
報１１０を表す。まず、入力であるスーパーインポーズ
された映像データ１０９が符号化情報を持たない場合
（ステップＳ１１）、再符号化ではないため、通常のフ
ィールド差分値を求め（ステップＳ１２）、フィールド
差分値がしきい値より大きい場合、フィールドを出力し
（ステップＳ１６）、小さい場合、前フィールドと同じ
であるためフィールド間引きを行う（ステップＳ１
５）。

【００５６】符号化情報１０５が存在する場合（ステッ
プＳ１１）、repeat_field_firstフラグから生成された
リピートフィールド情報１０８が通常画像か（ステップ
Ｓ１３）、リピートフィールドかつスーパーインポーズ
フィールド情報１１０が動画の場合（ステップＳ１
４）、フィールド出力し（ステップＳ１８）、リピート
フィールド情報１０８がリピートフィールドかつスーパ
ーインポーズフィールド情報１１０が存在しないか、静
止画の場合（ステップＳ１４）、フィールド間引きを行
う（ステップＳ１７）。

【００５７】スーパーインポーズ画像データが静止画の
場合、本実施の形態のスーパーインポーズを用いるとリ
ピートフィールド位置にはスーパーインポーズ画像デー
タは重畳されない。図９より、ビデオデコーダ回路４の
出力では、Ｔ１はＴ０のフィールドリピートから生成さ
れるのでＴ１＝Ｔ０となる。スーパーインポーズされた
映像データではＴ０は（Ｔ０＋ＩＴ０）、Ｔ１はＴ１、
すなわちＴ０のままであるからフィールド間引き回路６
０で差分値絶対和を求めても、フィールド間引きを行う
ことが出来ず、ＭＰＥＧ２ストリームのフレーム構成と
はならない。

【００５８】また、スーパーインポーズ画像データが動
画の場合、図８より、Ｔ０は（Ｔ０＋ＩＴ０）に、Ｔ１
は（Ｔ１＋ＩＴ１）＝（Ｔ０＋ＩＴ１）となり、フィー
ルド差分値は０とならないが、スーパーインポーズ画像
データが２９．９７Ｈｚで重畳されているためＭＰＥＧ
２映像ストリームのフレーム周波数で符号化すると、ス
ーパーインポーズ画像データのデータが欠落するため、
フリッカーが発生し主観上画質が悪くなるため、２９．
９７Ｈｚで符号化するためフィールド間引きを行わな
い。

【００５９】このように、ＭＰＥＧ２ストリームのフレ
ーム周波数が異なる場合、従来のフィールド間引き回路
ではデコードされた映像データ１０６になんらかの処理
を加えると、ＭＰＥＧ２ストリームのフレーム周波数で
再符号化することは不可能であったが、本実施の形態の
スーパーインポーズ回路でスーパーインポーズする画像
データの特性に合わせて、映像データに適時重畳するた
め、フィールド間引き回路でリピートフィールドの映像
データを削除することができる。

【００６０】ここで図１０に戻って構成を説明する。適
応動ベクトル検索回路８０は、動ベクトル探索回路６１
と選択回路７０で構成され、予測元画像がスーパーイン
ポーズ領域となっている場合、スーパーインポーズ処理
により映像データが変わっているため、動ベクトル探索
回路６０で探索した動ベクトルデータ１４１を選択し、
選択された動ベクトルデータとして動き補償回路６１に
出力する。予測元画像がスーパーインポーズ領域でな
く、かつ、現在の符号化画像がスーパーインポーズ領域
となっている場合も、映像データが変わっているため動
ベクトルデータ１４１を選択された動ベクトルデータ１
４２として動き補償回路６２に出力する。予測元画像が
スーパーインポーズ領域でなく、かつ、符号化画像がス
ーパーインポーズ領域でない場合、画像データはＭＰＥ
Ｇ２ストリームとなんら変わっていないため、ＭＰＥＧ
２ストリームをデコードした動ベクトルデータ１２２を
選択された動ベクトルデータ１４２として動き補償回路
６２に出力する。

【００６１】動き補償回路６２は、予測元映像データを
蓄積するフレームメモリを有し、動ベクトルデータ１４
２に従ってフィールド間引きされた映像データ１４０と
予測元映像データの差分を求め、差分映像データ１４３
としてＤＣＴモード判定回路６３とＤＣＴ回路６４に出
力する。ここで、予測元映像データは動き補償回路内の
ローカルデコード部で量子化係数値データ１５０を逆量
子化処理と逆ＤＣＴ処理から求めたものである。

【００６２】適応ＤＣＴモード選択回路８１は、ＤＣＴ
モード判定回路６３と選択回路７１で構成される。

【００６３】ＤＣＴモード判定回路６３は、フィールド
・フレーム適応ＤＣＴ変換を用いる場合の変換モードを
算出する。一般的には、輝度信号マクロブロックの垂直
方向に関して連続的なライン差分と１ラインごとの差分
値を比較して連続的なライン差分値の方が小さい場合フ
レームＤＣＴ、１ラインごとの差分値が小さい場合フィ
ールドＤＣＴ変換を行うものとしてＤＣＴ回路６４にＤ
ＣＴモード情報１４４を出力する。

【００６４】選択回路７１は、スーパーインポーズ領域
識別信号１１１に従い、ＭＰＥＧ２ストリームをデコー
ドしたＤＣＴモード情報１２１とＤＣＴモード判定回路
６３で算出したＤＣＴモード情報１４４を選択し、選択
されたＤＣＴモード情報１４５としてＤＣＴ回路６４に
出力する。

【００６５】ＤＣＴ回路６４は、差分画像データ１４３
に対して選択されたＤＣＴモード情報１４５を用いてマ
クロブロックごとに最適なＤＣＴ変換を行い、量子化制
御回路６５と量子化回路６６に出力する。

【００６６】量子化回路６６は、ＤＣＴ変換係数値デー
タ１４６に対して量子化ステップ値１４７を用いて量子
化処理を行い、ＶＬＣ回路６７に量子化係数値データ１
５０を出力する。

【００６７】ＶＬＣ回路６７は、量子化係数値データ１
５０はランレングス、ハフマン符号を用いて符号化し、
ピクチャタイプや量子化ステップ値等の符号化に必要な
情報もＭＰＥＧ２規格に準拠するよう付加し、エンコー
ドされたＭＰＥＧ２映像データ１１２をＴＳエンコーダ
３に出力する。

【００６８】適応量子化制御回路８２は、量子化制御回
路６５と非スーパー領域ビット数算出回路７２、選択回
路７３で構成される。

【００６９】量子化制御回路６５は、ＤＣＴ変換係数値
データ１４６のアクティビティと、ＶＬＣバッファの状
態を表すＶＬＣバッファ値１５１からマクロブロックご
とに最適な量子化ステップ値１４７を求める。ここで、
量子化決定の手法は、ＭＰＥＧ２ ＴＭ４(Test Model
4)等に記述されている方法が一般的である。

【００７０】非スーパー領域ビット数算出回路７２は、
スーパーインポーズ領域識別信号１１１とマクロブロッ
クごとの符号化ビット数１２６を用いて、ＭＰＥＧ２ス
トリーム中のスーパーインポーズされていないマクロブ
ロックのビット数を１フレーム単位で累積し、非スーパ
ーインポーズ領域の符号化ビット数１４８として選択回
路７３に出力する。

【００７１】選択回路７３は、非スーパーインポーズ領
域の符号化ビット数１４８とフレームごとの符号化ビッ
ト数１２７と、スーパーインポーズ領域識別信号１１１
と、ＶＬＣバッファ値１５１を用いて、ＭＰＥＧ２スト
リームをデコードした量子化ステップ値１２０と量子化
制御回路６５で算出した量子化ステップ値１４７を適応
的に選択し、選択された量子化ステップ値１４９として
量子化回路６６に出力する。

【００７２】図１２は、選択回路７３の選択処理の一例
を示している。まず符号化フレーム中の非スーパーイン
ポーズ領域の符号化ビット数ＮＳＰＢ（回路では１４
８）とＭＰＥＧ２ストリームからデコードした符号化フ
レーム全体のビット数ＡＬＬＢ（回路では１２７）を比
較し（ステップＳ２１）、（ＡＬＬＢ＜ＮＳＰＢ×２）
であれば、スーパーインポーズ部分の画質劣化が大きく
なる可能性があるため、量子化ステップ値１４７を選択
する（ステップＳ２４）。これは、スーパーインポーズ
する画像は静止画に近い特性を持つものが多いため、フ
レームあたり５０％程度の符号量があれば非スーパーイ
ンポーズ領域の画質を落とさなくてもスーパーインポー
ズ領域の符号化が行えるためである。（ＡＬＬＢ≧ＮＳ
ＰＢ×２）のとき、ＶＬＣバッファの状態が目標符号量
以上で符号化されている場合（ステップＳ２２）、目標
符号量で制御するため量子化ステップ値１４７を選択し
（ステップＳ２４）、ＶＬＣバッファの状態が目標符号
量以下で符号化されている場合（ステップＳ２１）、対
象マクロブロックが、スーパーインポーズ領域の場合は
（ステップＳ２３）、量子化ステップ値１４７を（ステ
ップＳ２４）、非スーパーインポーズ領域の場合（ステ
ップＳ２３）、ＭＰＥＧ２ストリームからデコードした
量子化ステップ値１２０を選択する（ステップＳ２
５）。

【００７３】また、本実施の形態ではハードウェア構成
について説明したが、近年のコンピュータ処理能力の向
上に伴い、リアルタイム処理を必要とする場合でも低解
像度の画像や、非リアルタイム処理で良い場合、ソフト
ウェアで構成しても良い。

【００７４】

【発明の効果】以上説明した本発明の再符号化装置およ
び方法によれば、フレーム周波数の異なるＭＰＥＧ２デ
ータに、スーパーインポーズ処理を行っても、スーパー
インポーズされる画像が静止画の場合、ＭＰＥＧ２デー
タと同じフレームレートで符号化することが出来るた
め、再符号化時の画質劣化を最大限抑えることができる
というすぐれた効果がある。

【図面の簡単な説明】

【図１】再符号化装置の全体ブロック図

【図２】ビデオデコーダ回路のブロック図

【図３】２４Ｈｚで記録されたＭＰＥＧ２ストリームの
２９．９７Ｈｚへの展開例を示す図

【図４】同期発生回路の出力信号のタイミング例を示す
図

【図５】適応スーパーインポーズ回路のブロック図

【図６】スーパーインポーズ領域の例を示す図

【図７】適応ミックス回路のフレームメモリ読み出し制
御を表すフローチャート

【図８】スーパーインポーズデータが動画である場合の
データミックス例を示す図

【図９】スーパーインポーズデータが静止画である場合
のデータミックス例を示す図

【図１０】フィールド間引きの制御方法を表すフローチ
ャート

【図１１】フィールド間引きの制御方法を表すフローチ
ャート

【図１２】適応量子化制御回路の制御方法を表すフロー
チャート

【符号の説明】

１ ＴＳデコーダ ２ 音声遅延メモリ ３ ＴＳエンコーダ ４ ビデオデコーダ ５ スーパーインポーズ回路 ６ ビデオエンコーダ ４０ ＶＬＤ回路 ４１ 逆量子化回路 ４２ 逆ＤＣＴ回路 ４３ 動き補償回路 ４４ パラメータメモリ ４５ 同期発生回路 ５０ 文字・画像発生回路 ５１ 遅延メモリ ５２ フレームメモリ ５３ 静止画判別回路 ５４ スーパーインポーズ領域検出回路 ５５ 適応ミックス回路 ６０ フィールド間引き回路 ６１ 動ベクトル探索回路 ６２ 動き補償回路 ６３ ＤＣＴモード判定回路 ６４ ＤＣＴ回路 ６５ 量子化制御回路 ６６ 量子化回路 ６７ ＶＬＣ回路 ７０ 選択回路 ７１ 選択回路 ７２ 非スーパー領域ビット数算出回路 ７３ 選択回路 ８０ 適応動ベクトル探索回路 ８１ 適応ＤＣＴモード探索回路 ８２ 適応量子化制御回路 １００ ＭＰＥＧ２−ＴＳストリーム １０１ 音声ストリーム １０２ 遅延した音声ストリーム １０３ ＭＰＥＧ２映像ストリーム １０４ スーパーインポーズする文字、画像データ １０５ デコードされたＭＰＥＧ２ストリームの符号化
パラメータ １０６ デコードされた映像データ １０７ ピクチャ開始情報 １０８ リピートフィールド情報 １０９ スーパーインポーズ処理された映像データ １１０ スーパーインポーズフィールド情報 １１１ スーパーインポーズ領域情報 １１２ エンコードされたＭＰＥＧ２映像ストリーム １１３ 再符号化されたＭＰＥＧ２−ＴＳストリーム １２０ 量子化ステップ値 １２１ ＤＣＴモード １２２ 動ベクトルデータ １２３ 量子化係数値データ １２４ ＤＣＴ係数値データ １２５ 差分映像データ １２６ マクロブロックごとの符号化ビット数 １２７ フレームごとの符号化ビット数 １３０ スーパーインポーズ画像データ １３１ スーパーインポーズ存在情報 １３２ フレーム遅延されたスーパーインポーズ画像デ
ータ １３３ フレーム書き込み制御信号 １３４ フィールド読み出し制御信号 １３５ 選択されたスーパーインポーズ画像フィールド
データ １４０ フィールド間引きされた映像データ １４１ 動ベクトルデータ １４２ 選択された動ベクトルデータ １４３ 差分映像データ １４４ ＤＣＴモード １４５ 選択されたＤＣＴモード １４６ ＤＣＴ変換係数値 １４７ 量子化ステップ値 １４８ 非スーパーインポーズ領域の符号化ビット数 １４９ 選択された量子化ステップ値 １５０ 量子化係数値データ １５１ ＶＬＣバッファ値

フロントページの続き Ｆターム(参考） 5C023 AA11 AA18 BA01 BA11 BA16 CA03 CA05 DA04 DA08 EA03 EA06 5C025 AA28 BA05 BA13 BA28 CA09 CB10 DA01 DA05 5C059 KK01 MA00 MA23 MC11 NN01 PP01 PP04 PP18 PP24 RC34 SS01 TA17 TA80 TB05 TC24 TD13 UA02 UA05

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ＭＰＥＧ２映像ストリームの符号化パラ
   メータをピクチャごとに取得し、デコードした再生映像
   信号に同期してデコードした符号化パラメータを出力す
   るビデオデコーダと、文字情報または画像情報を前記再
   生映像信号に重畳するスーパーインポーズ手段と、スー
   パーインポーズした映像信号を再びＭＰＥＧ２符号化す
   るビデオエンコーダとを備え、 前記ビデオデコーダは、ＭＰＥＧ２符号化パラメータで
   あるピクチャヘッダ内の次フィールドのリピート情報を
   参照し、前記再生映像信号に同期してＭＰＥＧ２ストリ
   ームのピクチャ開始情報とリピートフィールド情報を出
   力する機能を備え、 前記スーパーインポーズ手段は、スーパーインポーズを
   行う領域を検出し、スーパーインポーズした映像信号に
   同期して検出したスーパーインポーズ領域情報を出力す
   るスーパーインポーズ領域検出手段を備えることを特徴
   とするスーパーインポーズ機能を備えた再符号化装置。
2. 【請求項２】 請求項１記載の再符号化装置において、 前記スーパーインポーズ手段は、スーパーインポーズさ
   れる画像が静止画か動画かを判別し、スーパーインポー
   ズした映像信号に同期して検出したスーパーインポーズ
   静止画判別情報を出力するスーパーインポーズ画像静止
   画判別手段を備えることを特徴とする再符号化装置。
3. 【請求項３】 請求項２記載の再符号化装置において、 前記スーパーインポーズ手段は、前記スーパーインポー
   ズ画像静止画判別手段が静止画であると判断したとき、
   ＭＰＥＧ２ストリームの前記フィールド構造情報と前記
   リピートフィールド情報に従ってスーパーインポーズ画
   像を重畳し、動画であると判断したとき予め設定された
   フィールド構造に従ってスーパーインポーズ画像を重畳
   することを特徴とする再符号化装置。
4. 【請求項４】 請求項２記載の再符号化装置において、 前記ビデオエンコーダは、 前記スーパーインポーズ領域情報が存在しない場合、前
   記ビデオデコーダ回路で取得した符号化パラメータを再
   利用してＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記符
   号化パラメータ内のフレーム周波数情報と予め設定され
   たフレーム周波数が異なる場合、符号化パラメータを再
   利用せず設定フレーム周波数でＭＰＥＧ２符号化を行う
   ことを特徴とする再符号化装置。
5. 【請求項５】 請求項３記載の再符号化装置において、 前記ビデオエンコーダは、 前記スーパーインポーズ領域情報が存在しない場合、前
   記ビデオデコーダで取得した符号化パラメータを再利用
   してＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記ス
   ーパーインポーズ静止画判別情報が静止画であるとき、
   ＭＰＥＧ２ストリームのもつフレーム周波数で、前記ビ
   デオデコーダから取得した符号化パラメータを再利用し
   てＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記ス
   ーパーインポーズ静止画判別情報が動画であるとき、前
   記符号化パラメータ内のフレーム周波数情報と予め設定
   されたフレーム周波数が異なる場合、符号化パラメータ
   を再利用せず設定フレーム周波数でＭＰＥＧ２符号化を
   行うことを特徴とする再符号化装置。
6. 【請求項６】 ＭＰＥＧ２映像ストリームの符号化パラ
   メータをピクチャごとに取得し、デコードした再生映像
   信号に同期してデコードした符号化パラメータを出力す
   るＭＰＥＧ２デコード処理と、文字情報または画像情報
   を前記再生映像信号に重畳するスーパーインポーズ処理
   と、スーパーインポーズした映像信号を再びＭＰＥＧ２
   符号化するＭＰＥＧ２エンコード処理とを含むスーパー
   インポーズ機能を備えた再符号化方法であって、 前記ＭＰＥＧ２デコード処理は、ＭＰＥＧ２符号化パラ
   メータであるピクチャヘッダ内の次フィールドのリピー
   ト情報を参照し、前記再生映像信号に同期してＭＰＥＧ
   ２ストリームのピクチャ開始情報とリピートフィールド
   情報を出力する機能を含み、 前記スーパーインポーズ処理は、スーパーインポーズを
   行う領域を検出し、スーパーインポーズした映像信号に
   同期して検出したスーパーインポーズ領域情報を出力す
   るスーパーインポーズ領域検出処理を含むことを特徴と
   する再符号化方法。
7. 【請求項７】 請求項６記載の再符号化方法において、 前記スーパーインポーズ処理は、スーパーインポーズさ
   れる画像が静止画か動画かを判別し、スーパーインポー
   ズした映像信号に同期して検出したスーパーインポーズ
   静止画判別情報を出力するスーパーインポーズ画像静止
   画判別処理を含むことを特徴とする再符号化方法。
8. 【請求項８】 請求項７記載の再符号化方法において、 前記スーパーインポーズ処理は、前記スーパーインポー
   ズ画像静止画判別処理にて静止画であると判断したと
   き、ＭＰＥＧ２ストリームの前記フィールド構造情報と
   前記リピートフィールド情報に従ってスーパーインポー
   ズ画像を重畳し、動画であると判断したとき予め設定さ
   れたフィールド構造に従ってスーパーインポーズ画像を
   重畳することを特徴とする再符号化方法。
9. 【請求項９】 請求項７記載の再符号化方法において、 前記ＭＰＥＧ２エンコード処理は、 前記スーパーインポーズ領域情報が存在しない場合、前
   記ＭＰＥＧ２デコード処理で取得した符号化パラメータ
   を再利用してＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記符
   号化パラメータ内のフレーム周波数情報と予め設定され
   たフレーム周波数が異なる場合、符号化パラメータを再
   利用せず設定フレーム周波数でＭＰＥＧ２符号化を行う
   ことを特徴とする再符号化方法。
10. 【請求項１０】 請求項８記載の再符号化方法におい
    て、 前記ＭＰＥＧ２エンコード処理は、 前記スーパーインポーズ領域情報が存在しない場合、前
    記ＭＰＥＧ２デコード処理で取得した符号化パラメータ
    を再利用してＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記ス
    ーパーインポーズ静止画判別情報が静止画であるとき、
    ＭＰＥＧ２ストリームのもつフレーム周波数で、前記Ｍ
    ＰＥＧ２デコード処理から取得した符号化パラメータを
    再利用してＭＰＥＧ２符号化を行い、 前記スーパーインポーズ領域情報が存在し、かつ前記ス
    ーパーインポーズ静止画判別情報が動画であるとき、前
    記符号化パラメータ内のフレーム周波数情報と予め設定
    されたフレーム周波数が異なる場合、符号化パラメータ
    を再利用せず設定フレーム周波数でＭＰＥＧ２符号化を
    行うことを特徴とする再符号化方法。