JPH10234043A

JPH10234043A - 動画像符号化／復号化装置

Info

Publication number: JPH10234043A
Application number: JP3636497A
Authority: JP
Inventors: Masahiro Nakashika; 正弘中鹿; Shinichiro Koto; 晋一郎古藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-02-20
Filing date: 1997-02-20
Publication date: 1998-09-02

Abstract

(57)【要約】【課題】小規模かつ安価な符号化装置を用いてＨＤＴＶ
信号のような動画像信号の符号化を行うことができる動
画像符号化装置を提供する。【解決手段】端子１０１に入力される動画像信号（ＨＤ
ＴＶ信号）を画面分割部１０２によって６個の分割画面
に画面分割し、得られた各分割画像信号を分割画像符号
化部１０３ａ〜１０３ｆにより並列に符号化して６個の
ビデオストリームを生成した後、これらのビデオストリ
ームを統合ストリーム生成部１０４によりＨＤＴＶ信号
のラスタスキャン順に対応させてスライスを単位として
多重することによって、正規のＭＰ＠ＨＬに準拠した画
面分割することなく復号可能な１つのビデオストリーム
に統合してビットストリーム出力端子１０５へ出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を圧縮
符号化する動画像符号化装置および圧縮符号化されたデ
ータを復号して元の動画像信号を再生する動画像復号化
装置に係り、特にＨＤＴＶ信号のような画素数の多い動
画像信号の符号化に適した動画像符号化／復号化装置に
関する。

【０００２】

【従来の技術】より大量の映像信号を少ないデータ量で
伝送・蓄積するための動画像符号化技術は、たとえばＭ
ＰＥＧ２ビデオ規格（ＩＳＯ／ＩＥＣ１３８１８−２）
に代表されるように実用化が進んでいる。

【０００３】ＭＰＥＧ２ビデオ規格では、１枚の画面を
複数の８画素×８画素のブロックに分割し、各ブロック
にＤＣＴ（離散コサイン変換）を施して、得られたＤＣ
Ｔ係数を量子化して可変長符号化することを基本として
いる。また、動き補償画面間予測を併用することによっ
て、時間方向の画像の相関も利用して符号化効率を高め
ている。

【０００４】さらに、ＭＰＥＧ２ビデオ規格では何段階
かの代表的な「レベル」を規定しており、たとえば約３
０フレーム／秒の映像信号の画面サイズは、輝度信号に
ついては、ＮＴＳＣ方式などの標準ＴＶ方式クラスのMa
in Levelでは横７２０画素×縦４８０ライン、ＨＤＴＶ
方式（高精細テレビジョン）クラスのHigh Levelでは横
１９２０画素×縦１０８０ラインを扱うようになってい
る。

【０００５】しかし、現在実用化されているのはMain L
evelの符号化／復号化装置が中心であり、High Levelす
なわちＨＤＴＶ相当の符号化／復号化装置は非常に高速
処理となるため実現が容易でなく、実現できたとしても
高価かつ大規模なものとなってしまう。

【０００６】

【発明が解決しようとする課題】上述したように、High
LevelすなわちＨＤＴＶ相当の動画像符号化／復号化装
置は、非常に高速処理となるため実現が容易でなく、実
現できたとしても高価かつ大規模なものとなる、という
問題点があった。

【０００７】本発明は上記問題点を解決するためになさ
れたもので、既存の小規模かつ安価な符号化装置を用い
てＨＤＴＶ信号のような画素数の多い大画面に適した画
面構成の動画像信号の符号化を行うことができる動画像
符号化装置を提供することを目的とする。

【０００８】より具体的には、本発明は既存の小規模か
つ安価な符号化装置を用いてＨＤＴＶ信号のような動画
像信号の符号化を行い、正規の復号化装置で復号可能な
単一のビデオストリームを生成することができる動画像
符号化装置を提供することを目的とする。

【０００９】また、本発明は既存の小規模かつ安価な符
号化装置を用いてＨＤＴＶ信号のような動画像信号の符
号化を行い、分割復号の可能な単一のシステム多重スト
リームを生成することのできる動画像符号化装置を提供
することを目的とする。さらに、本発明は上記動画像符
号化装置により生成されたストリームを復号するための
動画像復号化装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、本発明に係る第１の動画像符号化装置は、入力動画
像信号を構成する各画面をＮ個（Ｎ≧２）の分割画面に
分割してＮ個の分割動画像信号を生成した後、これらＮ
個の分割動画像信号に対して分割画面の各々を１画面と
する符号化を行ってＮ個のビデオストリーム出力を生成
し、これらＮ個のビデオストリーム出力を１つのビデオ
ストリームに統合するようにしたことを特徴とする。

【００１１】このような構成により、既存の小規模かつ
安価な符号化装置を用いてＨＤＴＶ信号のような画素数
の多い大画面に適した画面構成の動画像信号の符号化を
行って、正規の復号装置で復号可能な単一のビデオスト
リームを生成することが可能となる。

【００１２】ここで、第１の動画像符号化装置における
分割動画像信号の符号化は、Ｎ個の分割動画像信号に対
して分割画面の各々を１画面とする符号化をＮ個の符号
化装置によって並列に、または１個の符号化装置によっ
て時分割で、あるいは２個以上、Ｎ−１個以下の符号化
装置によって並列かつ時分割で行われる。

【００１３】第１の動画像符号化装置における画面分割
に際しては、分割画面が互いに重複する領域を持たない
ようにすることが望ましい。また、例えば入力動画像信
号がＨＤＴＶ信号の場合、分割画面の個数Ｎを６とし、
入力動画像信号を構成する各画面を縦方向に２分割、横
方向に３分割することが望ましい。この場合、入力動画
像信号を構成する各画面の画面構成は、輝度信号が横方
向に１９２０画素、縦方向に１０２４フレームライン以
上、１１５２フレームライン以下であって、６個の分割
画面の画面構成は、それぞれ輝度信号が横方向に６４０
画素、縦方向に５１２フレームライン以上、５７６フレ
ームライン以下である。

【００１４】また、第１の動画像符号化装置は、分割動
画像信号を動き補償予測符号化する符号化モードを有
し、動き補償予測符号化時には他の分割動画像信号を参
照せずに符号化を行う。

【００１５】さらに、第１の動画像符号化装置における
Ｎ個のビデオストリーム出力の統合は、入力動画像信号
におけるラスタスキャン順に対応させた１または複数の
スライスを単位とする時分割多重によって行われる。

【００１６】この場合、第１の動画像符号化装置に対応
する第１の動画像復号化装置では、こうして統合された
１つのビデオストリームを受信し、これを分割画面の各
々に対応させて分割することなくラスタスキャン順に復
号を行う。

【００１７】本発明に係る第２の動画像符号化装置は、
入力動画像信号を構成する各画面をＮ個（Ｎ≧２）の分
割画面に分割してＮ個の分割動画像信号を生成した後、
これらＮ個の分割動画像信号に対して分割画面の各々を
１画面とする符号化を行ってＮ個のビデオストリーム出
力を生成し、これらＮ個のビデオストリーム出力につい
てシステム多重を行って１つのシステム多重ストリーム
を生成するようにしたことを特徴とする。

【００１８】このような構成により、既存の小規模かつ
安価な符号化装置を用いてＨＤＴＶ信号のような動画像
信号の符号化を行い、分割復号の可能な単一のシステム
多重ストリームを生成することができる。

【００１９】この第２の動画像符号化装置においても、
分割動画像信号の符号化は、Ｎ個の分割動画像信号に対
して分割画面の各々を１画面とする符号化をＮ個の符号
化装置によって並列に、または１個の符号化装置によっ
て時分割で、あるいは２個以上、Ｎ−１個以下の符号化
装置によって並列かつ時分割で行われる。

【００２０】また、第２の動画像符号化装置における画
面分割は、分割画面の各々が垂直および水平方向で一部
重複するように行われるこが望ましい。この場合、入力
動画像信号の画素に換算した垂直方向の重複量を少なく
とも輝度信号で３２フレームライン／垂直サブサンプル
比率、入力動画像信号の画素に換算した水平方向の重複
量を少なくとも輝度信号で３２画素／水平サブサンプル
比率とすることが望ましい。そして、符号化装置は分割
画面の垂直および水平方向の重複量に基づいてタップ範
囲が設定されたフィルタを有する。この場合、第２の動
画像符号化装置に対応する第２の動画像復号化装置にお
いても、分割画面の垂直および水平方向の重複量に基づ
いてタップ範囲が設定されたフィルタを有する。

【００２１】第２の動画像符号化装置におけるシステム
多重に際しては、Ｎ個のビデオストリーム出力にそれぞ
れ異なるＩＤを付加してシステム多重を行い、１つのシ
ステム多重ストリームを生成する。第２の動画像符号化
装置に対応する第２の動画像復号化装置においては、こ
のシステム多重ストリームを受信し、これを分割画面の
各々に対応させて分割して復号することにより分割動画
像信号を生成し、これらを合成して再生動画像信号を出
力する。

【００２２】また、このシステム多重に際しては、入力
動画像信号の同一画面から分割された各分割画面を同一
時刻に復号し同一時刻に表示するタイムスタンプを少な
くとも一部の各分割画面に付加することが望ましい。さ
らに、システム多重においては、音声データを多重する
際に同一時刻に対応する音声データには同一時刻に再生
するタイムスタンプを付加することが望ましい。

【００２３】第２の動画像符号化装置における符号化に
おいては、各分割動画像信号毎に独立に符号量を制御す
るとともに、各分割動画像信号の符号化最大レートを入
力動画像信号に対する符号化最大レートのＮ分の１以下
に制限して符号化を行うことが望ましい。

【００２４】第２の動画像符号化装置におけるシステム
多重部は、Ｎ個のビデオストリーム出力のそれぞれにつ
いて第１のシステム多重を行ってＮ個の第１システム多
重ストリームを得る第１システム多重部と、Ｎ個の第１
システム多重ストリームについて第２のシステム多重を
行って１つのシステム多重ストリームを出力する第２シ
ステム多重部とからなる。この場合、符号化においては
少なくとも第２システム多重手段における多重ジッタの
分だけ仮想受信バッファサイズをあらかじめ小さくし、
仮想受信バッファの占有量に基づく符号量制御を行って
符号化することが望ましい。

【００２５】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態を説明する。以下の実施形態では、入力動画像信号
は４：２：２形式（色差信号の横方向の画素数が輝度信
号の横方向の画素数の半分の形式）であるとし、輝度信
号の１フレーム当たりの有効サンプル数が横１９２０画
素×縦１０８０ライン、色差信号の１フレーム当たりの
有効サンプル数が横９６０画素×縦１０８０ライン、フ
レームレートが３０フレーム／秒のＨＤＴＶ映像信号
を、ＭＰＥＧ２を用いて圧縮符号化する場合を例にとっ
て説明する。

【００２６】（第１の実施形態）図１は、本発明の第１
の実施形態に係る動画像符号化装置の構成図である。本
実施形態では、６台の標準ＴＶ方式用符号化装置を使用
してＨＤＴＶ信号の符号化を実現する。本実施形態の動
画像符号化装置は、動画像信号入力端子１０１、画面分
割部１０２、分割画像符号化部１０３ａ〜１０３ｆ、統
合ストリーム生成部１０４、ビットストリーム出力端子
１０５および制御部１０６から構成されている。

【００２７】動画像信号入力端子１０１から入力された
動画像信号は、この例ではＨＤＴＶ信号であり、まず画
面分割部１０２においてプリフィルタ処理や色差信号の
４：２：２形式から４：２：０形式へのサンプル数変換
処理などを含む前処理を受けた後、入力動画像信号を構
成する各画面がＮ＝６個の分割画面に分割され、６個の
分割動画像信号が生成される。

【００２８】このようにして生成された６個の分割動画
像信号は、６個の分割画像符号化部１０３ａ〜１０３ｆ
において、動き補償予測、ＤＣＴ、量子化および可変長
符号化などの処理を受けてそれぞれ圧縮符号化され、６
つのビデオストリームが生成される。これらの各ビデオ
ストリームは、統合ストリーム生成部１０４において１
つのビデオストリームに統合され、ビットストリーム出
力端子１０５から符号化ビデオストリームとして出力さ
れる。制御部１０６は、画面分割部１０２、分割画像符
号化部１０３ａ〜１０３ｆおよび統合ストリーム生成部
１０４の制御を行う。

【００２９】以下、図１の各部についてさらに詳細に説
明する。画面分割部１０２では、まず画面分割の前にＨ
ＤＴＶ信号の状態で２次元プリフィルタ処理が行われ
る。プリフィルタは原画のノイズを取り除いたり、高域
成分をある程度除去して符号化後の符号化歪が出にくく
したりするためのフィルタであり、たとえば画像の斜め
方向の帯域を制限する特性のいわゆるダイヤモンドカッ
トフィルタが好適に用いられる。また、画面分割部１０
２ではプリフィルタ処理と同時に、色差信号については
４：２：２形式から４：２：０形式へ変換する垂直フィ
ルタにより垂直ライン数を半分にする。この際、プリフ
ィルタおよび垂直フィルタは、フィールド内フィルタと
フレーム内フィルタの２種類のモードがあり、入力動画
像信号を構成する原画像がインターレースかノンインタ
ーレースかに応じて使い分ける。

【００３０】次に、画面分割部１０２において画面分割
が行われる。図２は、この画面分割の様子を示す図であ
る。この図では輝度信号の画面分割の様子を示してい
る。入力動画像信号であるＨＤＴＶ信号は輝度信号のフ
レーム内有効画素が横１９２０画素、縦１０８０ライン
である。ここで、垂直ライン数を１６の倍数とするため
に、上下に４ラインずつを付加して１０８８ラインとし
た上で、図２のＡ〜Ｆで示したように縦２分割、横３分
割の６分割を行う。

【００３１】この際、分割画面どうしが互いに重複（オ
ーバーラップ）せず、かつ各分割画面間に隙間のないよ
うに分割を行う。すなわち、図のようにＡ〜Ｆの各分割
画面の符号化対象部分の大きさは横６４０画素、縦５４
４ラインとなる。なお、色差信号については、輝度信号
に対して横方向の有効画素数が半分、縦方向の有効ライ
ン数も半分にしたものとなる点を除けば、輝度信号と同
様である。

【００３２】分割画像符号化部１０３ａ〜１０３ｆにお
いては、それぞれが上記横６４０画素、縦５４４フレー
ムラインからなる分割画像信号について符号化を行う。
この分割像信号を構成する画面のサイズは、ＭＰＥＧ２
の横７２０画素、縦４８０フレームラインのMain Level
そのものではないが、単位時間に処理する画素数として
は、ほぼMain Levelと同等となる。これにより、分割画
像符号化部１０３ａ〜１０３ｆとしてMain Levelクラス
の既存の符号化装置を使用して符号化することができ
る。

【００３３】このようにＨＤＴＶ画面を６個の分割画面
に分割したことにより、サブサンプリング等を行うこと
なく、ＭＰＥＧ２のHigh Levelの符号化を横１９２０画
素×縦１０８０フレームラインのままで行うことができ
るため、ＨＤＴＶ方式の解像度を失うことのない高品質
の動画像符号化が可能となる。

【００３４】また、各分割画像符号化部１０３ａ〜１０
３ｆにおいては、動き補償画面間予測を各分割動画像の
範囲内、すなわち、図２のＡ〜Ｆのそれぞれの分割画面
の枠内で行う。言い換えれば、分割画面の枠外への動き
ベクトルの探索を禁止して動き補償画面間予測を行う。
ここで動き補償画面間予測とは、マクロブロックを単位
として符号化対象画面に対し時間的に前または後の画面
からの動きを求めて、符号化効率を高める技術である。

【００３５】前述のように画面分割の際に各分割画面が
重複領域を持たないため、このように動き補償画面間予
測を各分割動画像の範囲内に制限しないと、各分割動画
像符号化部１０３ａ〜１０３ｆ間の参照画面への相互ア
クセスが非常に複雑となる。本実施形態のように動き補
償予測を制限すれば、隣接する分割画面の分割画像符号
化部１０３ａ〜１０３ｆから参照画面を読み出してくる
必要がなくなり、メモリアクセスなどを含めて構成がき
わめて簡単になる。

【００３６】ＭＰＥＧ２ビデオにおいては、シーケン
ス、ＧＯＰ、ピクチャ、スライス、マクロブロックおよ
びブロックの各レイヤが存在し、ブロックレイヤを除く
各レイヤの先頭にはヘッダが存在する。なお、スライ
ス、マクロブロックには厳密にはヘッダという呼び方は
ないが、ここでは説明の便宜上これらのレイヤの先頭情
報をすべてヘッダと呼ぶことにする。

【００３７】分割画像符号化部１０３ａ〜１０３ｆにお
いては、これらのレイヤのうちピクチャ以上のレイヤ、
すなわちシーケンス、ＧＯＰおよびピクチャの各レイヤ
の符号化パラメータを全ての分割画像符号化部１０３ａ
〜１０３ｆで共通にして符号化する。ただし、たとえば
タイムコードのように符号化自体に直接影響しない一部
のパラメータは、この段階では別々の値にしておき、後
で統一してもよい。

【００３８】次に、図３を用いて統合ストリーム生成部
１０４での６つのビデオストリームを統合する方法につ
いてさらに詳しく説明する。まず、ピクチャレイヤ以上
のレイヤに関して、６つのビデオストリームに別個につ
いているヘッダ類、すなわちシーケンスヘッダ、ＧＯＰ
ヘッダおよびピクチャヘッダを１つに統合する。この
際、シーケンスレイヤのパラメータ、たとえば水平画素
サイズ、垂直画素サイズ、アスペクト比情報、ビットレ
ート、ＶＢＶバッファサイズを置換して、分割画面に対
応した値ではなくＨＤＴＶ画面に対応した値とする。

【００３９】そして、ＨＤＴＶ画面としての各ピクチャ
について、基本的にスライス単位でビデオストリームの
統合を行う。すなわち、元のＨＤＴＶ画面上でのラスタ
スキャン順に対応して、各ビデオストリームのスライス
を結合する。この様子を図３に示す。ＨＤＴＶ画面のあ
る１枚のピクチャについて、図３に示すように６個の各
分割画面毎にそれぞれＡ１，Ａ２，Ａ３，…、Ｂ１，Ｂ
２，Ｂ３，…、Ｃ１，Ｃ２，…、Ｄ１，Ｄ２，Ｄ３，
…、Ｅ１，Ｅ２，Ｅ３，…、Ｆ１，Ｆ２，Ｆ３，Ｆ４，
Ｆ５，…というように、スライスが分割されて符号化さ
れているものとする。

【００４０】このとき、各分割画像符号化部１０３ａ〜
１０３ｆから出力されるビデオストリームの中のこのピ
クチャに対応する部分について、まず上半分すなわち図
２の分割画面Ａ，Ｂ，Ｃに対応するビデオストリームの
スライスヘッダを境界にして時分割多重を行う。図３の
例ではＡ１，Ｂ１，Ｂ２，Ｃ１，Ａ２，Ａ３，Ｂ３，Ｃ
２，，…．というように、左上からスタートして１行が
分割画面Ａの右端まで達したら、右隣の分割画面Ｂの左
端につなぎ、分割画面Ｂの右端まで達したら、右隣の分
割画面Ｃの左端につなぐ。そして、分割画面Ｃの右端ま
で達したら、次の行の分割画面Ａの左端につなぐ。最後
に、分割画面Ｃの右下に達したら、さらに下半分すなわ
ち分割画面Ｄ、Ｅ、Ｆに対応するビデオストリームにつ
いても同様にスライスを単位とした左上から右下へのラ
スタスキャン順の時分割多重を行う。すなわち、図３の
例ではＤ１，Ｄ２，Ｅ１，Ｆ１，Ｆ２，Ｄ３，Ｅ２，Ｅ
３，Ｆ３，Ｆ４，Ｆ５，…という順に多重する。この
際、各分割画像符号化部１０３ａ〜１０３ｆの出力ビデ
オストリームをＦＩＦＯメモリのような一時記憶部（遅
延器）にそれぞれ一時格納することにより、スムーズに
多重が行われるようにすることが望ましい。

【００４１】さらに、スライスヘッダに含まれる情報の
うち、下半分すなわち図２の分割画面Ｄ，Ｅ，Ｆのスラ
イス垂直位置情報に、１分割画面の垂直マクロブロック
数に相当する３４（＝５４４／１６）を加算する。ま
た、スライス先頭のマクロブロックヘッダに含まれる情
報のうち、マクロブロックアドレスインクリメントを付
け直す。直し方は、図２の分割画面ＡとＤについては修
正なし、ＢとＥについては１分割画面の水平マクロブロ
ック数に相当する４０（＝６４０／１６）を加算、Ｃと
Ｆについては２分割画面の水平マクロブロック数に相当
する８０（６４０＊２／１６）を加算する。このように
して、スライス垂直位置、およびスライス先頭のマクロ
ブロックアドレスインクリメントを分割画面上での値か
らＨＤＴＶ画面上での値に換算することができる。

【００４２】以上を整理すると、本実施形態では（１）
ＨＤＴＶ画像を６個の分割画面に分割し、（２）この分
割に際し、各分割画面が互いに重複する領域を持たない
ようにし、（３）動き補償予測において他の分割領域を
参照しないように各分割画面を符号化し、（４）元のＨ
ＤＴＶ画面上でラスタスキャン順に対応するようにスラ
イスを単位として各ビデオストリームを多重し、（５）
ヘッダ類を元のＨＤＴＶ画面に合うように修正する、と
いう処理を行う。これら一連の処理により、得られる統
合後のビデオストリームは、正規のＭＰ＠ＨＬ（Main P
rofile at HighLevel) 互換の１つのビデオストリーム
となる。

【００４３】従って、本実施形態で得られたビデオスト
リームを復号するには、分割処理しないタイプのＭＰ＠
ＨＬ復号化装置を使用することができる。もちろん、動
き補償画面間予測は各分割動画像信号内で行われている
のであるから、復号前に６分割してそれぞれの分割画面
毎に独立に復号し、その後で合成して１つのＨＤＴＶ画
面を得ることも可能である。従って、本実施形態によれ
ば復号側の装置の構成の自由度が高まる。

【００４４】このように、本実施形態によれば既存の符
号化装置を用いてＨＤＴＶ信号の符号化を行うことがで
き、しかも得られたビデオストリームは正規のＭＰＥＧ
２規格のＭＰ＠ＨＬに準拠しているので、これを復号す
る際には、特に分割を必要とすることなく、規格化され
たＭＰ＠ＨＬ復号化装置を用いて復号を行うことができ
る。

【００４５】ところで、ＨＤＴＶ画面の有効画面サイズ
は、輝度信号で横１９２０画素、縦１０３５フレームラ
イン、１０８０フレームライン、１１５２フレームライ
ンなどの規格がある。本実施形態のように、分割画面間
で重複する領域を持たないように縦２分割、横３分割の
６分割に分割して符号化する場合、各分割画面の有効画
面サイズ（符号化対象範囲）は、以下のような値が適切
である。すなわち、横方向については６４０画素、縦方
向については、元の有効ライン数が１０３５フレームラ
インの場合で５１２または５２８フレームライン、１０
８０フレームラインの場合で５２８または５４４フレー
ムライン、１１５２フレームラインの場合で５７６フレ
ームラインとする。これは、１マクロブロックに相当す
る横１６画素×縦１６フレームラインの整数倍に選ばれ
ている。

【００４６】（第２の実施形態）図４に、図１の構成を
変形した本発明の第２の実施形態に係る動画像符号化装
置の構成を示す。図１の動画像符号化装置では６個の分
割画像符号化部１０３ａ〜１０３ｆを用いたが、図４に
示すように１つの符号化部１０３を用いて６個の分割画
像信号を時分割で順次符号化するようにしてもよい。符
号化部１０３の後段に設けられた記憶部１０７は、時分
割で順次符号化されたビデオストリームを一時記憶する
ためのものであり、この記憶部１０７に６個の分割画面
に対応する６つのビデオストリームが蓄えられると、こ
れらが統合ストリーム生成部１０４によって１つのビデ
オストリームに統合され、ビットストリーム出力端子１
０５から符号化ビデオストリームとして出力される。

【００４７】本実施形態の構成は、特に蓄積メディアを
対象とした符号化の場合のように、リアルタイムで符号
化する必要がない動画像符号化装置に有効であり、ハー
ドウェア規模を効果的に削減することができる。

【００４８】（第３の実施形態）図５は、本発明の第５
の実施形態に係る動画像符号化装置の構成を示す。本実
施形態は、６個の分割画像信号の符号化のために、第１
の実施形態に示した並列符号化と第２の実施形態に示し
た時分割符号化を組み合わて行う例であり、３個の符号
化部１０３Ａ，１０３Ｂ，１０３Ｃが設けられ、６個の
分割画像信号が並列かつ時分割で符号化される。また、
符号化部１０３Ａ，１０３Ｂ，１０３Ｃの後段に記憶部
１０７Ａ，１０７Ｂ，１０７Ｃがそれぞれ設けられてい
る。

【００４９】すなわち、符号化部１０３Ａ，１０３Ｂ，
１０３Ｃによってそれぞれ２個の分割画面の分割画像信
号が時分割で符号化され、それにより得られたビデオス
トリームが記憶部１０７Ａ，１０７Ｂ，１０７Ｃに一時
記憶される。そして、符号化部１０３Ａ，１０３Ｂ，１
０３Ｃのそれぞれ符号化動作は並列に行われる。記憶部
１０７Ａ，１０７Ｂ，１０７Ｃにそれぞれ２個の分割画
面に対応する２つのビデオストリームがそれぞれ蓄えら
れると、これらが統合ストリーム生成部１０４によって
１つのビデオストリームに統合され、ビットストリーム
出力端子１０５から符号化ビデオストリームとして出力
される。

【００５０】本実施形態によれば、第１の実施形態に比
較して少ないハードウェア量で、また第２の実施形態に
比較して高速の符号化が可能となる。（第４の実施形態）次に、本発明の第４の実施形態につ
いて述べる。図６は、本実施形態に係る動画像符号化／
復号化システムの構成図である。図１と同じ部分につい
ては、同じ参照符号を付して説明を省略する。本実施形
態は、図１の動画像符号化装置に伝送または蓄積部４０
１、ＭＰ＠ＨＬ復号化部４０２および再生画像信号出力
端子４０３が追加された構成となっている。

【００５１】伝送または蓄積部４０１は、有線または無
線の通信路、あるいは光ディスク、磁気ディスクまたは
半導体メモリのような蓄積メディアであり、統合ストリ
ーム生成部１０４からのビデオストリームを伝送または
一時蓄積した後、ＭＰ＠ＨＬ復号化部４０２に供給す
る。ＭＰ＠ＨＬ復号化部４０２は、受信または再生した
ＭＰ＠ＨＬビデオストリームを分割画面に戻すことな
く、ＨＤＴＶ画面上でのラスタスキャン順に順次復号し
て再生画像信号出力端子４０３に再生画像信号を出力す
る。

【００５２】一般に、復号化は符号化よりも処理内容が
簡単なので、分割処理しないタイプのＭＰ＠ＨＬ復号化
処理装置は、分割処理しないタイプの符号化処理装置に
比べて比較的簡単に実現できるため、本実施形態ではこ
れをＭＰ＠ＨＬ復号化部４０２に使用する。

【００５３】このように、本実施形態の動画像符号化／
復号化システムは、符号化側では画面分割して処理して
ＭＰ＠ＨＬ準拠のビデオストリームを生成し、復号化側
では画面分割せずに処理を行うものであり、特に１対多
数の符号化／復号化システムとなる放送や、家庭用読み
出し専用メディアのようなシステムに適している。

【００５４】（第５の実施形態）次に、本発明の第５の
実施形態について述べる。図７は、本実施形態に係る動
画像符号化装置の構成図である。本実施形態において
は、４台の標準ＴＶ方式用符号化装置を使用してＨＤＴ
Ｖ信号の符号化を実現する。

【００５５】本実施形態の動画像符号化装置は、動画像
信号入力端子５０１、画面分割部５０２、分割画像符号
化部５０３ａ〜５０３ｄ、１次システム多重部５０４ａ
〜５０４ｄ、２次システム多重部５０５、システム多重
ストリーム出力端子５０７、オーディオデータ入力端子
５０８および制御部５０９から構成されている。１次シ
ステム多重部５０４ａ〜５０４ｄと２次システム多重部
５０５を合わせてシステム多重部５０６と呼ぶことにす
る。

【００５６】動画像信号入力端子５０１から入力された
動画像信号は、画面分割部５０２において水平サンプル
数変換処理を受けた後、入力動画像信号を構成する各画
面がＮ＝４個の分割画面に分割され、４個の分割動画像
信号が生成される。

【００５７】こうして生成され４個の分割動画像信号
は、４個の分割画像符号化部５０３ａ〜５０３ｄにおい
て、プリフィルタ処理および色差信号の４：２：２形式
から４：２：０形式へのサンプル数変換処理、動き補償
予測、ＤＣＴ、量子化および可変長符号化などの処理を
受けてそれぞれ圧縮符号化され、４つのビデオストリー
ムが生成される。

【００５８】これらの各ビデオストリームは、１次シス
テム多重部５０４ａ〜５０４ｄにおいて第１回目のシス
テム多重が行われる。この際、１次システム多重部５０
４ａ〜５０４ｄにおいては、別途符号化されてオーディ
オデータ入力端子５０８から入力されたオーディオデー
タもビデオデータと共に多重化される。こうして得られ
た４つの１次システム多重ストリームに対して、２次シ
ステム多重部５０５において第２回のシステム多重が行
われて１つのシステム多重ストリームが生成され、シス
テム多重ストリーム出力端子５０７から出力される。制
御部５０９は、画面分割部５０２、分割画像符号化部５
０３ａ〜５０３ｄ、１次システム多重部５０４ａ〜５０
４ｄおよびシステム多重部５０６の制御を行う。

【００５９】以下、図７の各部についてさらに詳細に説
明する。画面分割部５０２では、まず画面分割の前に輝
度信号・色差信号ともに水平サンプル数変換を行う。本
実施形態では、３／５の水平サブサンプリングを行う。
図８は、このサブサンプリングの様子を示す図である。
この図では輝度信号の場合を示している。入力動画像信
号であるＨＤＴＶ信号は、輝度信号のフレーム内有効画
素が横１９２０画素、縦１０８０ラインである。３／５
の水平サブサンプリング処理により、水平方向の画素数
を１９２０画素から１１５２画素に変換する。また、垂
直ライン数を１６の倍数とするために上下４ラインずつ
を付加して１０８８ラインとする。

【００６０】次に、画面分割部５０２において画面分割
が行われる。図９は、この画面分割の様子を示す図であ
る。この図も輝度信号の画面分割の場合を示している。
本実施形態では、第１の実施形態と異なり、分割画面ど
うしが互いに重複（オーバーラップ）するように分割を
行い、図９のＡ〜Ｄで示したように縦２分割、横２分割
の４分割とする。この際、オーバーラップ量は水平３２
画素、垂直３２フレームラインとする。すなわち、図９
のようにＡ〜Ｄの各分割画面の符号化対象部分の大きさ
を横５９２画素、縦５６０フレームラインとする。な
お、図９では分割画面Ａの範囲を斜線で示してある。

【００６１】実際に復号後に表示する際には、図９の点
線で示した重複領域の中央を境界として各分割画面を合
成する。この様子を示すため、水平方向の重複領域の拡
大図を図１０に示す。ここでＭＢはマクロブロックを表
している。水平方向については、分割画面ＡまたはＣで
は図１０のＭＢ₃₅以下が表示され、ＭＢ₃₆は表示されな
い。一方、分割画面ＢまたはＤについては、図１０のＭ
Ｂ₁ 以上が表示され、ＭＢ₀ は表示されない。図示は省
略するが、垂直方向についても同様である。すなわち、
たとえば分割画面Ａについては、右端１６画素、下端１
６フレームラインは再生画面上に表示されることはな
い。なお、色差信号については、輝度信号に対して横方
向の画素数が半分になる点を除けば、輝度信号と同様で
ある。

【００６２】分割画像符号化部５０３ａ〜５０３ｄにお
いては、それぞれが上記横５９２画素、縦５６０フレー
ムラインの画像の符号化を行う。この画面サイズはＭＰ
ＥＧ２の横７２０画素、縦４８０フレームラインのMain
Levelそのものではないが、単位時間に処理する画素数
としては、ほぼMain Levelと同等となる。すなわち、本
実施形態ではMain Levelクラスの既存の符号化装置４台
を使用して符号化することができる。

【００６３】このように本実施形態では、ＨＤＴＶ画面
をサブサンプルしてから４つの分割画面に分割したこと
により、第１の実施形態よりも少ない符号化装置でＨＤ
ＴＶの符号化を行うことができる。

【００６４】分割画像符号化部５０３ａ〜５０３ｄにお
いては、符号化の前にプリフィルタ処理が行われる。ま
た、同時に色差信号については４：２：２形式から４：
２：０形式へ変換する垂直フィルタにより垂直ライン数
を半分にする。

【００６５】このように、本実施形態では第１の実施形
態のように画面分割前にＨＤＴＶ画面の状態でプリフィ
ルタ処理および色差信号の４：２：２形式から４：２：
０形式への変換処理を行うのではなく、既存の各分割画
像符号化部にすでに内蔵されているプリフィルタおよび
色差信号の４：２：２形式から４：２：０形式への変換
フィルタを使用して、画面分割後にこれらの処理を行
う。これにより、ＨＤＴＶ画面状態でのこれらの専用処
理部を新たに設ける必要がない。

【００６６】また、各分割画像符号化部５０３ａ〜５０
３ｄにおいては、動き補償画面間予測を各分割動画像
（重複領域を含む）の範囲内、すなわち図８のＡ〜Ｄの
それぞれの分割部分（横５９２画素、縦５６０フレーム
ライン）の枠内で行う。これにより、各分割画像の符号
化に際して隣接する分割画面の分割画像符号化部５０３
ａ〜５０３ｄから参照画面を読み出してくる必要がない
ので、メモリアクセスなどを含めて構成がきわめて簡単
になる。

【００６７】ここで、各分割領域の重複量（オーバーラ
ップ量）について補足説明する。前述したように、この
重複量はサブサンプル後で数えれば、輝度信号で水平３
２画素、垂直３２フレームラインである。各分割画面の
最も端のマクロブロックについては、動き補償で使用し
得る動きベクトルの向きが制約されるため、画質の劣化
または符号化効率の低下の可能性があるが、本実施形態
では図９、図１０で示したように、復号・再合成して表
示する際に、各分割画面についてちょうど１マクロブロ
ック幅（水平１６画素、垂直１６フレームライン）だけ
表示されない部分がある。表示されない部分は、たとえ
ば分割画面Ａでは右端と下端である。従って、分割境界
付近において、こうした動きベクトルの向きの制約に起
因する画質劣化は表示されることはなく、表示される部
分については画質の劣化も符号化効率の低下もない。

【００６８】この点を図１０で具体的に説明すると、分
割画面ＡまたはＣでは、ＭＢ₃₆は右方向からの動き補償
予測ができないために画質が劣化する可能性があるが、
この部分は表示されない。一方、分割画面ＢまたはＤで
は、ＭＢ₀ は左方向からの動き補償予測ができないため
に画質が劣化する可能性があるが、この部分は表示され
ない。

【００６９】一方、重複領域を不必要に大きくしすぎる
と、無駄に伝送するデータが多くなる。従って、水平３
２画素、垂直３２フレームラインというのが重複量とし
てちょうどよい大きさである。この重複量を本実施形態
において元のＨＤＴＶ画面に換算すると、水平サブサン
プル比率が３／５＝０．６なので、３２／０．６＝約５
３．３画素、垂直サブサンプル比率は１であるから、３
２／１＝３２フレームラインとなる。

【００７０】このように本実施形態では、画面分割の際
に各分割画面に２マクロブロック幅の重複領域を持たせ
たことにより、動き補償画面間予測を各分割動画像の範
囲内に制限しても、分割画面どうしの境界付近において
も実際に表示される部分については十分な動き補償予測
が可能となり、分割画面境界付近の画質が悪くなること
がない。

【００７１】また、画面分割後に行われるプリフィルタ
処理や４：２：２形式から４：２：０形式への変換フィ
ルタ処理のためにも、このような重複領域は必要であ
る。すなわち、各分割画面の端部の画素については、こ
れらのフィルタ演算に必要な画素がすべては存在しない
場合がある。しかし、本実施形態のように輝度信号の重
複量が水平３２画素、垂直３２フレームラインの場合に
は、輝度信号については左右方向に各１６タップまで、
上下方向に各８タップ（フィールドフィルタの場合）ま
たは各１６タップ（フレームフィルタの場合）までフィ
ルタのタップ範囲を取ることが可能である。色差信号に
ついては、左右方向に各８タップまで、上下方向に各８
タップ（フィールドフィルタの場合）または各１６タッ
プ（フレームフィルタの場合）までフィルタのタップ範
囲を取ることが可能である。この制約を守らないと、フ
ィルタ演算において各分割画面枠外のデータを参照する
こととなり、画面分割境界付近において画質劣化が見え
てしまう可能性がある。逆に上記のタップ範囲の制約を
守れば、表示される部分の画素についてのフィルタ演算
では、必要な画素がすべて存在することになる。

【００７２】なお、何らかの事情で分割画面の重複量が
本実施形態よりも少ない場合には、「フィルタタップ範
囲が分割画面枠外を参照する画素を含むＤＣＴブロック
のすべての画素を表示しない」という原則が満たされる
ように、フィルタタップ範囲を制限する。すなわち、Ｄ
ＣＴブロック内に１画素でも異常な画素があると、符号
化におけるＤＣＴ演算と量子化によって、それがＤＣＴ
ブロック全体に拡大するおそれがあるからである。

【００７３】次に、システム多重ストリームの生成に関
して、システム多重部５０６（１次システム多重部５０
４ａ〜５０４ｄおよび２次システム多重部５０５）の処
理を中心に、さらに詳しく説明する。本実施形態で述べ
ているシステム多重は、ＭＰＥＧ２システムに準拠した
システム多重ストリームを生成する処理である。ここで
は、４つの分割画面に対応するビデオストリームや、別
途符号化されたオーディオストリームを多重して、単一
のＭＰＥＧ２プログラムストリーム（ＰＳ）を生成する
ものとする。

【００７４】ここでは、１次システム多重部５０４ａ〜
５０４ｄとして既存の標準ＴＶ方式相当のシステム多重
部を使用して、一旦ＭＰＥＧ２システムに準拠した４つ
のプログラムストリームを生成し、これらのプログラム
ストリームをさらに２次システム多重部５０５で１つに
統合し、ＭＰＥＧ２システムに準拠した単一のプログラ
ムストリームを生成する。

【００７５】まず、４つの分割画面に対応するビデオス
トリームを復号時に分離可能とするために、本実施形態
では４つのビデオストリーム毎に異なるストリームＩＤ
を割り当てることにし、システム多重の際に各ビデオパ
ケットに付加する。ストリームＩＤの値は、図９の分割
画面Ａ，Ｂ，Ｃ，Ｄのそれぞれについて、１６進数表現
でＥ０，Ｅ１，Ｅ２，Ｅ３とし、各ビデオパケットのス
トリームＩＤをこの値とする。

【００７６】一方、オーディオデータについては、本実
施形態では４種類のオーディオストリームを１次システ
ム多重部５０４ａ〜５０４ｄでそれぞれ多重するものと
するが、オーディオパケットのストリームＩＤにはすべ
て「プライベートストリーム１」を示す値（１６進数表
現でＢＤ）を付加しておき、さらにサブストリームＩＤ
の値をそれぞれ１６進数表現で８０，８１，８２，８３
として、４種類のオーディオストリームを識別可能とす
る。

【００７７】これらのＩＤを付加する処理は、１次シス
テム多重部５０４ａ〜５０４ｄで行ってもよいし、２次
システム多重部５０５で行ってもよい。復号時には、こ
れらのストリームＩＤまたはサブストリームＩＤを使っ
て、４種類のビデオストリームと４種類のオーディオス
トリームをすべて分離することができる。

【００７８】次に、ビデオについて４つの分割画面間で
同期を確立する必要がある。４つの分割画面は元々１枚
のＨＤＴＶ画面が分割されたものであるから、再生時に
同時に表示されなければならない。しかし、１次システ
ム多重部５０４ａ〜５０４ｄでは、別個に多重動作が行
われるため、初期ＤＴＳ（Decoding Time Stamp)（最初
に復号するピクチャの復号時刻を示すタイムスタン
プ）、初期ＰＴＳ（Presentation Time Stamp)（最初に
表示するピクチャの表示時刻を示すタイムスタンプ）の
時刻が各分割画面ごとに異なったものとなる。すなわ
ち、このままでは元々同一のＨＤＴＶ画面から分割され
た４つの分割画面に同一のＤＴＳ、ＰＴＳが付加される
保証がなく、同時に表示される保証もない。

【００７９】そこで、２次システム多重部５０５におい
て、各分割画面ごとの１次システム多重ストリームのタ
イムスタンプ（ＳＣＲ、ＤＴＳ、ＰＴＳ）に対して、４
分割画面すべての初期ＤＴＳが同一となるようにオフセ
ットを付加する。なお、ＳＣＲ（System Clock Referen
ce) は基準システムクロックを示す。

【００８０】このオフセット付加の様子を図１１を用い
て説明する。まず、４つの１次システム多重ストリーム
から、それぞれ初期ＤＴＳを抽出する。図１１（ａ）に
示したように、元の４つのストリームＡ，Ｂ，Ｃ，Ｄに
おいては、ＳＣＲの初期値（ＳＣＲ_0A、ＳＣＲ_0B、ＳＣ
Ｒ_0C、ＳＣＲ_0D）はすべて同一であるが、初期ＤＴＳ
（ＤＴＳ_0A、ＤＴＳ_0B、ＤＴＳ_0C、ＤＴＳ_0D）はすべて
異なった値になっている。次に、それらの初期ＤＴＳの
中から最大値を求める。図１１では、ＤＴＳ_0Bが最大値
となる。続いて、各初期ＤＴＳとその最大値との差分を
求め、すべてのタイムスタンプ（ＳＣＲ、ＤＴＳ、ＰＴ
Ｓ）にその差分値を加算する。このようにして得られた
４つのストリームＡ’，Ｂ’，Ｃ’，Ｄ’のタイムスタ
ンプは、図１１（ｂ）に示したようになる。すなわち、
修正後の初期ＤＴＳは、ＤＴＳ_0A’＝ＤＴＳ_0B＝ＤＴＳ
_0C’＝ＤＴＳ_0D’となり、全て一致している。なお、Ｐ
ＴＳについても同じ差分値を加算する。もちろん、ＤＴ
Ｓ，ＰＴＳは全ピクチャに付加される必要はなく、ＭＰ
ＥＧ２システムに準拠した条件で付加されていればよ
い。

【００８１】このとき、２次システム多重部５０５にお
いて、同時にオーディオについても１次システム多重ス
トリームのタイムスタンプ（ＳＣＲ，ＤＴＳ，ＰＴＳ）
に対して、同じようにオフセットを付加する。１次シス
テム多重部５０４ａ〜５０４ｄは、既存の標準ＴＶ方式
用のシステム多重部を流用したものであるから、それぞ
れの１次システム多重ストリーム上ではビデオとオーデ
ィオの同期はすでに確立されている。従って、各１次シ
ステム多重ストリームにおいてビデオと同じオフセット
をオーディオのタイムスタンプにも付加すればよい。

【００８２】このようにして、全てのタイムスタンプを
付け直した後で、２次システム多重部５０５において、
修正後のＳＣＲ値が小さいものから順次パック単位で時
分割多重を行い、１本のプログラムストリームを生成す
る。

【００８３】各分割画像符号化部５０３ａ〜５０３ｄに
おける符号量制御については、元のＨＤＴＶ画像の状態
で与えられた最大符号化レートの制約を満たした上で符
号化および多重する必要がある。これを簡単に実現する
ために、本実施形態では各分割画像符号化部５０３ａ〜
５０３ｄにおける最大符号化レートを全体の最大符号化
レートの４分の１（分割画面数分の１）に制限する。

【００８４】より具体的に例を挙げると、たとえば家庭
用としてのＨＤＴＶ画像の最大符号化レートは、画質と
コストの兼ね合いから、ほぼ３０Ｍｂｐｓ前後が好まし
い。ここでは、ＨＤＴＶ画像の状態での最大符号化レー
トが３２Ｍｂｐｓであるとする。この場合、各分割画像
符号化部５０３ａ〜５０３ｄにおける最大符号化レート
をその４分の１の８Ｍｂｐｓに制限して符号化を行う。
この際、分割画面毎に平均符号化レートが異なっても構
わない。

【００８５】すなわち、本実施形態によれば、たとえ可
変符号化レートで符号化する場合でも、非常に簡単な方
法で元のＨＤＴＶ画像としての最大符号化レートの制約
を満たすことができる。

【００８６】さらに、本実施形態のように２段階で多重
する場合には、２次システム多重部５０５における多重
ジッタを考慮する必要がある。すなわち、１次システム
多重後の２次システム多重では、４つの１次システム多
重ストリームを１つのストリームに並べ直しているた
め、システム多重ストリーム上のデータの位置が遅れる
場合がある（この現象を多重ジッタという）。この場
合、各ビデオストリームの仮想受信バッファがアンダー
フローするおそれがある。

【００８７】そこで、各分割画像符号化部５０３ａ〜５
０３ｄにおける符号化の際に、仮想受信バッファ（ＶＢ
Ｖバッファ）のバッファサイズを少なくとも多重ジッタ
の分だけあらかじめ小さくし、このＶＢＶバッファの占
有量に基づく符号量制御を行って符号化しておく。ここ
では、ＶＢＶバッファのバッファサイズを２パケット分
小さくするものとする。その上で、２次システム多重の
際に、すべてのＳＣＲについて２パケット分の時間を減
じることにより、各仮想受信バッファをオーバーフロー
寄りの動作に変更する。しかし、元々ＶＢＶバッファの
バッファサイズを小さくして符号化してあるので、オー
バーフローは発生しない。このような工夫により、２段
階でシステム多重を行っても、仮想受信バッファが破綻
（オーバーフローまたはアンダーフロー）することはな
い。

【００８８】オーディオの多重についても、ビデオの場
合と同様のバッファサイズの工夫をしてもよいが、元々
オーディオの仮想受信バッファサイズが小さいので、復
号側の受信バッファサイズを２次多重での多重ジッタの
分（たとえば２パケット分）だけ大きいものに変更する
ようにしてもよい。

【００８９】以上を整理すると、本実施形態では（１）
ＨＤＴＶ画像をサブサンプルして４個の分割画面に分割
し、（２）分割に際し、各分割画面が互いに重複する領
域を持つようにし、（３）動き補償予測において他の分
割領域を参照しないように各分割画面を符号化し、
（４）各ビデオストリームそれぞれに異なるストリーム
ＩＤを付加し、（５）同一のＨＤＴＶ画面に対応する分
割画面に同一時刻のタイムスタンプを付加する、という
一連の処理を行う。これら一連の処理により、得られる
システム多重ストリームは、正規の単一のＭＰＥＧ２シ
ステムストリームとなる。

【００９０】こうして得られたシステム多重ストリーム
を復号する際には、ストリームＩＤをもとにビデオスト
リームを分離して４分割復号した後に、合成して１つの
ＨＤＴＶ画面を得ることが可能である。

【００９１】このように、本実施形態によれば既存の符
号化装置を用いてＨＤＴＶ信号の符号化を行うことがで
き、しかも得られたシステム多重ストリームはＭＰＥＧ
２システムに準拠しているので、これ復号する際にはＩ
Ｄに基づいて画面分割を行って復号を行うことができ
る。

【００９２】なお、上記の説明ではシステム多重部５０
６は１次システム多重部５０４ａ〜５０４ｄと２次シス
テム多重部５０５の２段階構成となっていたが、これは
既存の標準ＴＶ方式相当のシステム多重部を１次システ
ム多重部として流用するためである。当然ながら、１次
システム多重と２次システム多重の２段階に分けること
なく、一度にシステム多重を行うことも可能である。

【００９３】また、本実施形態では水平方向のみ３／５
のサブサンプルを行ってから４画面に分割したが、この
ほか、水平方向に３／４のサブサンプルを行い垂直方向
に８／９のサブサンプルを行ってから４画面に分割す
る、などの例も考えられる。

【００９４】また、図７の動画像符号化装置では４台の
符号化装置を並列に使用したが、たとえば蓄積メディア
を対象とした符号化の場合のようにリアルタイムで符号
化する必要がない場合には、第２の実施形態と同様に１
台の符号化装置を４回用いて時分割で符号化したり、２
台の符号化装置を用いて並列かつ時分割で符号化するこ
とも可能である。

【００９５】（第６の実施形態）次に、本発明の第６の
実施形態について述べる。図１２は、本実施形態に係る
動画像符号化／復号化システムの構成図である。図７と
同じ部分については、同じ参照符号を付して説明を省略
する。本実施形態は、図７の動画像符号化装置に伝送ま
たは蓄積部１００１、ストリーム分離部１００２、分割
画像復号化部１００３ａ〜１００３ｄ、画面合成部１０
０４、再生画像信号出力端子１００５およびオーディオ
データ出力端子１００６が追加された構成となってい
る。

【００９６】伝送または蓄積部１００１は、有線または
無線の通信路、あるいは光ディスク・磁気ディスク・半
導体メモリのような蓄積メディアであり、システム多重
部５０６からのシステム多重ストリームを伝送または一
時蓄積した後、ストリーム分離部１００２に供給する。
ストリーム分離部１００２では、受信または再生したシ
ステム多重ストリームの中のストリームＩＤ（またはサ
ブストリームＩＤ）に基づいて、４つの分割画面毎のビ
デオストリーム、およびオーディオストリームを分離し
て、分割画面復号化部１００３ａ〜１００３ｄおよびオ
ーディオデータ出力端子１００６に供給する。分割画像
復号化部１００３ａ〜１００３ｄは、それぞれの分割画
面毎に復号化を行う。さらに、画面合成部１００４では
４つの分割画面を統合して１つのＨＤＴＶ画面を合成
し、再生画像信号出力端子１００５に再生画像信号を出
力する。

【００９７】この際、第５の実施形態で述べたように重
複領域のちょうど中央を境界に各分割画面を合成する。
オーディオデータ出力端子１００６からは、分離された
オーディオストリームが出力され、これが図示しないオ
ーディオデータ復号化部に供給される。

【００９８】分割画像復号化部１００３ａ〜１００３ｄ
には、復号化の後に適用するポストフィルタおよび色差
信号の４：２：０形式から４：２：２形式への変換を行
う変換フィルタが内蔵されている。本実施形態では、既
存の各分割画像復号化部１００３ａ〜１００３ｄに既に
内蔵されているポストフィルタおよび色差信号の４：
２：０形式から４：２：２形式への変換フィルタを使用
して、画面合成前にこれらの処理を行う。このため、Ｈ
ＤＴＶ画面の状態での専用のポストフィルタおよび変換
フィルタを新たに用意する必要がない。

【００９９】これらのフィルタのタップ範囲について
も、第５の実施形態で説明したプリフィルタ等の場合と
同様に、分割画面の重複量に基づいて制約を設ける。す
なわち、本実施形態においても輝度信号の重複量が水平
３２画素、垂直３２フレームラインとしているので、輝
度信号については左右方向に各１６タップまで、上下方
向に各８タップ（フィールドフィルタの場合）または各
１６タップ（フレームフィルタの場合）までフィルタの
タップ範囲を取ることが可能である。色差信号について
は、左右方向に各８タップまで、上下方向に各４タップ
（フィールドフィルタの場合）または各８タップ（フレ
ームフィルタの場合）までフィルタのタップ範囲を取る
ことが可能である。この制約を守らないと、フィルタ演
算が各分割画面枠外のデータを参照することとなり、画
面分割境界付近において画質劣化が見えてしまう可能性
がある。逆に、上記のタップ範囲の制約を守れば、表示
される部分の画素についてのフィルタ演算では、必要な
画素がすべて存在することになる。

【０１００】このように本実施形態においては、符号化
部で付加されたストリームＩＤを用いて、復号化部で各
分割画面のストリームを識別するとともに、重複させて
分割した上で分割画像符号化部の内蔵フィルタ、分割画
面復号化部の内蔵フィルタを使用するようにしたので、
既存の符号化装置・既存の復号化装置を最大限に活用し
てＨＤＴＶ画像の符号化・復号化を行うことができる。

【０１０１】本発明は上記第１〜第６の実施形態にとど
まることなく、種々の変形・応用が可能である。たとえ
ば、画面サイズはここに記したものだけでなく、種々の
サイズが可能であるし、画面分割数および分割方法や、
サブサンプルの比率も種々のものがあり得る。もちろ
ん、ＨＤＴＶだけでなく、ＨＤＴＶの数倍の画素数を有
するＵＤＴＶ（超高精細テレビジョン）のようなシステ
ムにも適用できる。

【０１０２】

【発明の効果】以上説明したように、本発明によれば既
存の小規模かつ安価な符号化装置を用いて、ＨＤＴＶ信
号のような画素数の多い大画面に適した画面構成の動画
像信号の符号化を行うことができる動画像符号化装置を
提供することができる。

【０１０３】具体的には、本発明のよ動画像符号化装置
によると、既存の小規模かつ安価な符号化装置を用いて
ＨＤＴＶ信号などの動画像信号の符号化を行い、正規の
復号装置で復号可能な単一のビデオストリームを生成す
ることができる。さらに、既存の小規模かつ安価な符号
化装置を用いてＨＤＴＶ信号などの動画像信号の符号化
を行い、分割復号の可能な単一のシステム多重ストリー
ムを生成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化
装置の構成図

【図２】同実施形態における画面分割を示す図

【図３】同実施形態におけるスライス単位の統合の説
明に用いる図

【図４】本発明の第２の実施形態に係る動画像符号化
装置の構成図

【図５】本発明の第３の実施形態に係る動画像符号化
装置の構成図

【図６】本発明の第４の実施形態に係る動画像符号化
／復号化システムの構成図

【図７】本発明の第５実施形態に係る動画像符号化装
置の構成図

【図８】同実施形態におけるサンプル数変換を示す図

【図９】同実施形態における画面分割を示す図

【図１０】同実施形態における水平重複領域の拡大図

【図１１】同実施形態におけるタイムスタンプの修正
の様子を示す図

【図１２】本発明の第６の実施形態に係る動画像符号
化／復号化システムの構成図

【符号の説明】

１０１…動画像信号入力端子１０２…画面分割部１０３ａ〜１０３ｆ…分割画像符号化部１０３，１０３Ａ〜１０３Ｃ…符号化部１０４…統合ストリーム生成部１０５…ビットストリーム出力端子１０６…制御部１０７，１０７Ａ〜１０７Ｃ…記憶部４０１…伝送または蓄積部４０２…ＭＰ＠ＨＬ復号化部４０３…再生画像信号出力端子５０１…動画像信号入力端子５０２…画面分割部５０３ａ〜５０３ｄ…分割画像符号化部５０４ａ〜５０４ｄ…１次システム多重部５０５…２次システム多重部５０６…システム多重部５０７…システム多重ストリーム出力端子５０８…オーディオデータ入力端子５０９…制御部１００１…伝送または蓄積部１００２…ストリーム分離部１００３ａ〜１００３ｄ…分割画像復号化部１００４…画面合成部１００５…再生画像信号出力端子１００６…オーディオデータ出力端子

Claims

【特許請求の範囲】

【請求項１】入力動画像信号を構成する各画面をＮ個
（Ｎ≧２）の分割画面に分割してＮ個の分割動画像信号
を生成する分割手段と、前記Ｎ個の分割動画像信号に対して前記分割画面の各々
を１画面とする符号化を行ってＮ個のビデオストリーム
出力を得る符号化手段と、前記Ｎ個のビデオストリーム出力を１つのビデオストリ
ームに統合する統合手段とを具備したことを特徴とする
動画像符号化装置。
【請求項２】前記分割手段は、前記分割画面が互いに重
複する領域を持たないように前記入力動画像信号を構成
する各画面を分割することを特徴とする請求項１に記載
の動画像符号化装置。
【請求項３】前記分割手段は、前記分割画面の個数Ｎを
６とし、前記入力動画像信号を構成する各画面を縦方向
に２分割、横方向に３分割することを特徴とする請求項
１に記載の動画像符号化装置。
【請求項４】前記入力動画像信号を構成する各画面の画
面構成は、輝度信号が横方向に１９２０画素、縦方向に
１０２４フレームライン以上、１１５２フレームライン
以下であって、６個の分割画面の画面構成は、それぞれ
輝度信号が横方向に６４０画素、縦方向に５１２フレー
ムライン以上、５７６フレームライン以下であることを
特徴とする請求項３に記載の動画像符号化装置。
【請求項５】前記符号化手段は、前記分割動画像信号を
動き補償予測符号化する符号化モードを有し、動き補償
予測符号化時には他の分割動画像信号を参照せずに符号
化を行うことを特徴とする請求項１に記載の動画像符号
化装置。
【請求項６】前記統合手段は、前記Ｎ個のビデオストリ
ーム出力を前記入力動画像信号におけるラスタスキャン
順に対応させて１または複数のスライスを単位として時
分割多重することにより１つのビデオストリームに統合
することを特徴とする請求項１に記載の動画像符号化装
置。
【請求項７】入力動画像信号を構成する各画面をＮ個
（Ｎ≧２）の分割画面に分割してＮ個の分割動画像信号
を生成する分割手段と、前記Ｎ個の分割動画像信号に対して前記分割画面の各々
を１画面とする符号化を行ってＮ個のビデオストリーム
出力を得る符号化手段と、前記Ｎ個のビデオストリーム出力についてシステム多重
を行って１つのシステム多重ストリームを出力するシス
テム多重手段とを具備したことを特徴とする動画像符号
化装置。
【請求項８】前記符号化手段は、前記Ｎ個の分割動画像
信号に対して前記分割画面の各々を１画面とする符号化
を並列に行うＮ個の符号化装置からなることを特徴とす
る請求項１または７に記載の動画像符号化装置。
【請求項９】前記符号化手段は、前記Ｎ個の分割動画像
信号に対して前記分割画面の各々を１画面とする符号化
を時分割で行う１個の符号化装置からなることを特徴と
する請求項１または７に記載の動画像符号化装置。
【請求項１０】前記符号化手段は、前記Ｎ個の分割動画
像信号に対して前記分割画面の各々を１画面とする符号
化を並列かつ時分割で行う２個以上、Ｎ−１個以下の符
号化装置からなることを特徴とする請求項１または７に
記載の動画像符号化装置。
【請求項１１】前記分割手段は、前記分割画面の各々が
垂直および水平方向で一部重複するように前記入力動画
像信号を構成する各画面を分割し、かつ前記入力動画像
信号の画素に換算した垂直方向の重複量を少なくとも輝
度信号で３２フレームライン／垂直サブサンプル比率、
前記入力動画像信号の画素に換算した水平方向の重複量
を少なくとも輝度信号で３２画素／水平サブサンプル比
率とすることを特徴とする請求項７に記載の動画像符号
化装置。
【請求項１２】前記分割手段は、前記分割画面の各々が
垂直および水平方向で一部重複するように前記入力動画
像信号を構成する各画面を分割するものであり、前記符号化手段は、前記分割画面の垂直および水平方向
の重複量に基づいてタップ範囲が設定されたフィルタを
有することを特徴とする請求項７に記載の動画像符号化
装置。
【請求項１３】前記システム多重手段は、前記Ｎ個のビ
デオストリーム出力にそれぞれ異なるＩＤを付加するこ
とを特徴とする請求項７に記載の動画像符号化装置。
【請求項１４】前記システム多重手段は、前記入力動画
像信号の同一画面から分割された各分割画面を同一時刻
に復号し同一時刻に表示するタイムスタンプを少なくと
も一部の前記各分割画面に付加することを特徴とする請
求項７に記載の動画像符号化装置。
【請求項１５】前記システム多重手段は、音声データを
多重する際に同一時刻に対応する音声データには同一時
刻に再生するタイムスタンプを付加することを特徴とす
る請求項７に記載の動画像符号化装置。
【請求項１６】前記符号化手段は、前記各分割動画像信
号毎に独立に符号量を制御するとともに、前記各分割動
画像信号の符号化最大レートを前記入力動画像信号に対
する符号化最大レートのＮ分の１以下に制限して符号化
することを特徴とする請求項７に記載の動画像符号化装
置。
【請求項１７】前記システム多重手段は、前記Ｎ個のビ
デオストリーム出力のそれぞれについて第１のシステム
多重を行ってＮ個の第１システム多重ストリームを得る
第１システム多重手段と、前記Ｎ個の第１システム多重
ストリームについて第２のシステム多重を行って１つの
システム多重ストリームを出力する第２システム多重手
段とからなることを特徴とする請求項７に記載の動画像
符号化装置。
【請求項１８】前記システム多重手段は、前記Ｎ個のビ
デオストリーム出力のそれぞれについて第１のシステム
多重を行ってＮ個の第１システム多重ストリームを得る
第１システム多重手段と、前記Ｎ個の第１システム多重
ストリームについて第２のシステム多重を行って１つの
システム多重ストリームを出力する第２システム多重手
段とからなり、前記符号化手段は、少なくとも前記第２システム多重手
段における多重ジッタの分だけ仮想受信バッファサイズ
をあらかじめ小さくし前記仮想受信バッファの占有量に
基づく符号量制御を行って符号化することを特徴とする
請求項７に記載の動画像符号化装置。
【請求項１９】入力動画像信号を構成する各画面をＮ個
（Ｎ≧２）の分割画面に分割して生成されたＮ個の分割
動画像信号に対して前記分割画面の各々を１画面とする
符号化を行って生成されるＮ個のビデオストリーム出力
を前記入力動画像信号におけるラスタスキャン順に対応
させて１または複数のスライスを単位として時分割多重
することにより１つに統合したビデオストリームを受信
し、該ビデオストリームを前記分割画面の各々に対応さ
せて分割することなく前記ラスタスキャン順に復号を行
う復号化手段を具備したことを特徴とする動画像復号化
装置。
【請求項２０】入力動画像信号を構成する各画面をＮ個
（Ｎ≧２）の分割画面に分割して生成されたＮ個の分割
動画像信号に対して前記分割画面の各々を１画面とする
符号化を行って生成されるＮ個のビデオストリーム出力
にそれぞれ異なるＩＤを付加してシステム多重を行って
得られる１つのシステム多重ストリームを受信し、該シ
ステム多重ストリームを前記分割画面の各々に対応させ
て分割して復号する復号化手段と、前記復号化手段により得られた分割動画像信号を合成し
て再生動画像信号を出力する合成手段とを具備したこと
を特徴とする動画像復号化装置。
【請求項２１】前記分割画面は、該分割画面の各々が垂
直方向および水平方向に一部重複するように分割された
ものであり、前記復号化手段は、前記分割画面の垂直および水平方向
の重複量に基づいてタップ範囲が設定されたフィルタを
有することを特徴とする請求項２０に記載の動画像復号
化装置。