JPH10234043A - 動画像符号化/復号化装置 - Google Patents
動画像符号化/復号化装置Info
- Publication number
- JPH10234043A JPH10234043A JP3636497A JP3636497A JPH10234043A JP H10234043 A JPH10234043 A JP H10234043A JP 3636497 A JP3636497 A JP 3636497A JP 3636497 A JP3636497 A JP 3636497A JP H10234043 A JPH10234043 A JP H10234043A
- Authority
- JP
- Japan
- Prior art keywords
- divided
- screen
- encoding
- video
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】小規模かつ安価な符号化装置を用いてHDTV
信号のような動画像信号の符号化を行うことができる動
画像符号化装置を提供する。 【解決手段】端子101に入力される動画像信号(HD
TV信号)を画面分割部102によって6個の分割画面
に画面分割し、得られた各分割画像信号を分割画像符号
化部103a〜103fにより並列に符号化して6個の
ビデオストリームを生成した後、これらのビデオストリ
ームを統合ストリーム生成部104によりHDTV信号
のラスタスキャン順に対応させてスライスを単位として
多重することによって、正規のMP@HLに準拠した画
面分割することなく復号可能な1つのビデオストリーム
に統合してビットストリーム出力端子105へ出力す
る。
信号のような動画像信号の符号化を行うことができる動
画像符号化装置を提供する。 【解決手段】端子101に入力される動画像信号(HD
TV信号)を画面分割部102によって6個の分割画面
に画面分割し、得られた各分割画像信号を分割画像符号
化部103a〜103fにより並列に符号化して6個の
ビデオストリームを生成した後、これらのビデオストリ
ームを統合ストリーム生成部104によりHDTV信号
のラスタスキャン順に対応させてスライスを単位として
多重することによって、正規のMP@HLに準拠した画
面分割することなく復号可能な1つのビデオストリーム
に統合してビットストリーム出力端子105へ出力す
る。
Description
【0001】
【発明の属する技術分野】本発明は、動画像信号を圧縮
符号化する動画像符号化装置および圧縮符号化されたデ
ータを復号して元の動画像信号を再生する動画像復号化
装置に係り、特にHDTV信号のような画素数の多い動
画像信号の符号化に適した動画像符号化/復号化装置に
関する。
符号化する動画像符号化装置および圧縮符号化されたデ
ータを復号して元の動画像信号を再生する動画像復号化
装置に係り、特にHDTV信号のような画素数の多い動
画像信号の符号化に適した動画像符号化/復号化装置に
関する。
【0002】
【従来の技術】より大量の映像信号を少ないデータ量で
伝送・蓄積するための動画像符号化技術は、たとえばM
PEG2ビデオ規格(ISO/IEC13818−2)
に代表されるように実用化が進んでいる。
伝送・蓄積するための動画像符号化技術は、たとえばM
PEG2ビデオ規格(ISO/IEC13818−2)
に代表されるように実用化が進んでいる。
【0003】MPEG2ビデオ規格では、1枚の画面を
複数の8画素×8画素のブロックに分割し、各ブロック
にDCT(離散コサイン変換)を施して、得られたDC
T係数を量子化して可変長符号化することを基本として
いる。また、動き補償画面間予測を併用することによっ
て、時間方向の画像の相関も利用して符号化効率を高め
ている。
複数の8画素×8画素のブロックに分割し、各ブロック
にDCT(離散コサイン変換)を施して、得られたDC
T係数を量子化して可変長符号化することを基本として
いる。また、動き補償画面間予測を併用することによっ
て、時間方向の画像の相関も利用して符号化効率を高め
ている。
【0004】さらに、MPEG2ビデオ規格では何段階
かの代表的な「レベル」を規定しており、たとえば約3
0フレーム/秒の映像信号の画面サイズは、輝度信号に
ついては、NTSC方式などの標準TV方式クラスのMa
in Levelでは横720画素×縦480ライン、HDTV
方式(高精細テレビジョン)クラスのHigh Levelでは横
1920画素×縦1080ラインを扱うようになってい
る。
かの代表的な「レベル」を規定しており、たとえば約3
0フレーム/秒の映像信号の画面サイズは、輝度信号に
ついては、NTSC方式などの標準TV方式クラスのMa
in Levelでは横720画素×縦480ライン、HDTV
方式(高精細テレビジョン)クラスのHigh Levelでは横
1920画素×縦1080ラインを扱うようになってい
る。
【0005】しかし、現在実用化されているのはMain L
evelの符号化/復号化装置が中心であり、High Levelす
なわちHDTV相当の符号化/復号化装置は非常に高速
処理となるため実現が容易でなく、実現できたとしても
高価かつ大規模なものとなってしまう。
evelの符号化/復号化装置が中心であり、High Levelす
なわちHDTV相当の符号化/復号化装置は非常に高速
処理となるため実現が容易でなく、実現できたとしても
高価かつ大規模なものとなってしまう。
【0006】
【発明が解決しようとする課題】上述したように、High
LevelすなわちHDTV相当の動画像符号化/復号化装
置は、非常に高速処理となるため実現が容易でなく、実
現できたとしても高価かつ大規模なものとなる、という
問題点があった。
LevelすなわちHDTV相当の動画像符号化/復号化装
置は、非常に高速処理となるため実現が容易でなく、実
現できたとしても高価かつ大規模なものとなる、という
問題点があった。
【0007】本発明は上記問題点を解決するためになさ
れたもので、既存の小規模かつ安価な符号化装置を用い
てHDTV信号のような画素数の多い大画面に適した画
面構成の動画像信号の符号化を行うことができる動画像
符号化装置を提供することを目的とする。
れたもので、既存の小規模かつ安価な符号化装置を用い
てHDTV信号のような画素数の多い大画面に適した画
面構成の動画像信号の符号化を行うことができる動画像
符号化装置を提供することを目的とする。
【0008】より具体的には、本発明は既存の小規模か
つ安価な符号化装置を用いてHDTV信号のような動画
像信号の符号化を行い、正規の復号化装置で復号可能な
単一のビデオストリームを生成することができる動画像
符号化装置を提供することを目的とする。
つ安価な符号化装置を用いてHDTV信号のような動画
像信号の符号化を行い、正規の復号化装置で復号可能な
単一のビデオストリームを生成することができる動画像
符号化装置を提供することを目的とする。
【0009】また、本発明は既存の小規模かつ安価な符
号化装置を用いてHDTV信号のような動画像信号の符
号化を行い、分割復号の可能な単一のシステム多重スト
リームを生成することのできる動画像符号化装置を提供
することを目的とする。さらに、本発明は上記動画像符
号化装置により生成されたストリームを復号するための
動画像復号化装置を提供することを目的とする。
号化装置を用いてHDTV信号のような動画像信号の符
号化を行い、分割復号の可能な単一のシステム多重スト
リームを生成することのできる動画像符号化装置を提供
することを目的とする。さらに、本発明は上記動画像符
号化装置により生成されたストリームを復号するための
動画像復号化装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記課題を解決するた
め、本発明に係る第1の動画像符号化装置は、入力動画
像信号を構成する各画面をN個(N≧2)の分割画面に
分割してN個の分割動画像信号を生成した後、これらN
個の分割動画像信号に対して分割画面の各々を1画面と
する符号化を行ってN個のビデオストリーム出力を生成
し、これらN個のビデオストリーム出力を1つのビデオ
ストリームに統合するようにしたことを特徴とする。
め、本発明に係る第1の動画像符号化装置は、入力動画
像信号を構成する各画面をN個(N≧2)の分割画面に
分割してN個の分割動画像信号を生成した後、これらN
個の分割動画像信号に対して分割画面の各々を1画面と
する符号化を行ってN個のビデオストリーム出力を生成
し、これらN個のビデオストリーム出力を1つのビデオ
ストリームに統合するようにしたことを特徴とする。
【0011】このような構成により、既存の小規模かつ
安価な符号化装置を用いてHDTV信号のような画素数
の多い大画面に適した画面構成の動画像信号の符号化を
行って、正規の復号装置で復号可能な単一のビデオスト
リームを生成することが可能となる。
安価な符号化装置を用いてHDTV信号のような画素数
の多い大画面に適した画面構成の動画像信号の符号化を
行って、正規の復号装置で復号可能な単一のビデオスト
リームを生成することが可能となる。
【0012】ここで、第1の動画像符号化装置における
分割動画像信号の符号化は、N個の分割動画像信号に対
して分割画面の各々を1画面とする符号化をN個の符号
化装置によって並列に、または1個の符号化装置によっ
て時分割で、あるいは2個以上、N−1個以下の符号化
装置によって並列かつ時分割で行われる。
分割動画像信号の符号化は、N個の分割動画像信号に対
して分割画面の各々を1画面とする符号化をN個の符号
化装置によって並列に、または1個の符号化装置によっ
て時分割で、あるいは2個以上、N−1個以下の符号化
装置によって並列かつ時分割で行われる。
【0013】第1の動画像符号化装置における画面分割
に際しては、分割画面が互いに重複する領域を持たない
ようにすることが望ましい。また、例えば入力動画像信
号がHDTV信号の場合、分割画面の個数Nを6とし、
入力動画像信号を構成する各画面を縦方向に2分割、横
方向に3分割することが望ましい。この場合、入力動画
像信号を構成する各画面の画面構成は、輝度信号が横方
向に1920画素、縦方向に1024フレームライン以
上、1152フレームライン以下であって、6個の分割
画面の画面構成は、それぞれ輝度信号が横方向に640
画素、縦方向に512フレームライン以上、576フレ
ームライン以下である。
に際しては、分割画面が互いに重複する領域を持たない
ようにすることが望ましい。また、例えば入力動画像信
号がHDTV信号の場合、分割画面の個数Nを6とし、
入力動画像信号を構成する各画面を縦方向に2分割、横
方向に3分割することが望ましい。この場合、入力動画
像信号を構成する各画面の画面構成は、輝度信号が横方
向に1920画素、縦方向に1024フレームライン以
上、1152フレームライン以下であって、6個の分割
画面の画面構成は、それぞれ輝度信号が横方向に640
画素、縦方向に512フレームライン以上、576フレ
ームライン以下である。
【0014】また、第1の動画像符号化装置は、分割動
画像信号を動き補償予測符号化する符号化モードを有
し、動き補償予測符号化時には他の分割動画像信号を参
照せずに符号化を行う。
画像信号を動き補償予測符号化する符号化モードを有
し、動き補償予測符号化時には他の分割動画像信号を参
照せずに符号化を行う。
【0015】さらに、第1の動画像符号化装置における
N個のビデオストリーム出力の統合は、入力動画像信号
におけるラスタスキャン順に対応させた1または複数の
スライスを単位とする時分割多重によって行われる。
N個のビデオストリーム出力の統合は、入力動画像信号
におけるラスタスキャン順に対応させた1または複数の
スライスを単位とする時分割多重によって行われる。
【0016】この場合、第1の動画像符号化装置に対応
する第1の動画像復号化装置では、こうして統合された
1つのビデオストリームを受信し、これを分割画面の各
々に対応させて分割することなくラスタスキャン順に復
号を行う。
する第1の動画像復号化装置では、こうして統合された
1つのビデオストリームを受信し、これを分割画面の各
々に対応させて分割することなくラスタスキャン順に復
号を行う。
【0017】本発明に係る第2の動画像符号化装置は、
入力動画像信号を構成する各画面をN個(N≧2)の分
割画面に分割してN個の分割動画像信号を生成した後、
これらN個の分割動画像信号に対して分割画面の各々を
1画面とする符号化を行ってN個のビデオストリーム出
力を生成し、これらN個のビデオストリーム出力につい
てシステム多重を行って1つのシステム多重ストリーム
を生成するようにしたことを特徴とする。
入力動画像信号を構成する各画面をN個(N≧2)の分
割画面に分割してN個の分割動画像信号を生成した後、
これらN個の分割動画像信号に対して分割画面の各々を
1画面とする符号化を行ってN個のビデオストリーム出
力を生成し、これらN個のビデオストリーム出力につい
てシステム多重を行って1つのシステム多重ストリーム
を生成するようにしたことを特徴とする。
【0018】このような構成により、既存の小規模かつ
安価な符号化装置を用いてHDTV信号のような動画像
信号の符号化を行い、分割復号の可能な単一のシステム
多重ストリームを生成することができる。
安価な符号化装置を用いてHDTV信号のような動画像
信号の符号化を行い、分割復号の可能な単一のシステム
多重ストリームを生成することができる。
【0019】この第2の動画像符号化装置においても、
分割動画像信号の符号化は、N個の分割動画像信号に対
して分割画面の各々を1画面とする符号化をN個の符号
化装置によって並列に、または1個の符号化装置によっ
て時分割で、あるいは2個以上、N−1個以下の符号化
装置によって並列かつ時分割で行われる。
分割動画像信号の符号化は、N個の分割動画像信号に対
して分割画面の各々を1画面とする符号化をN個の符号
化装置によって並列に、または1個の符号化装置によっ
て時分割で、あるいは2個以上、N−1個以下の符号化
装置によって並列かつ時分割で行われる。
【0020】また、第2の動画像符号化装置における画
面分割は、分割画面の各々が垂直および水平方向で一部
重複するように行われるこが望ましい。この場合、入力
動画像信号の画素に換算した垂直方向の重複量を少なく
とも輝度信号で32フレームライン/垂直サブサンプル
比率、入力動画像信号の画素に換算した水平方向の重複
量を少なくとも輝度信号で32画素/水平サブサンプル
比率とすることが望ましい。そして、符号化装置は分割
画面の垂直および水平方向の重複量に基づいてタップ範
囲が設定されたフィルタを有する。この場合、第2の動
画像符号化装置に対応する第2の動画像復号化装置にお
いても、分割画面の垂直および水平方向の重複量に基づ
いてタップ範囲が設定されたフィルタを有する。
面分割は、分割画面の各々が垂直および水平方向で一部
重複するように行われるこが望ましい。この場合、入力
動画像信号の画素に換算した垂直方向の重複量を少なく
とも輝度信号で32フレームライン/垂直サブサンプル
比率、入力動画像信号の画素に換算した水平方向の重複
量を少なくとも輝度信号で32画素/水平サブサンプル
比率とすることが望ましい。そして、符号化装置は分割
画面の垂直および水平方向の重複量に基づいてタップ範
囲が設定されたフィルタを有する。この場合、第2の動
画像符号化装置に対応する第2の動画像復号化装置にお
いても、分割画面の垂直および水平方向の重複量に基づ
いてタップ範囲が設定されたフィルタを有する。
【0021】第2の動画像符号化装置におけるシステム
多重に際しては、N個のビデオストリーム出力にそれぞ
れ異なるIDを付加してシステム多重を行い、1つのシ
ステム多重ストリームを生成する。第2の動画像符号化
装置に対応する第2の動画像復号化装置においては、こ
のシステム多重ストリームを受信し、これを分割画面の
各々に対応させて分割して復号することにより分割動画
像信号を生成し、これらを合成して再生動画像信号を出
力する。
多重に際しては、N個のビデオストリーム出力にそれぞ
れ異なるIDを付加してシステム多重を行い、1つのシ
ステム多重ストリームを生成する。第2の動画像符号化
装置に対応する第2の動画像復号化装置においては、こ
のシステム多重ストリームを受信し、これを分割画面の
各々に対応させて分割して復号することにより分割動画
像信号を生成し、これらを合成して再生動画像信号を出
力する。
【0022】また、このシステム多重に際しては、入力
動画像信号の同一画面から分割された各分割画面を同一
時刻に復号し同一時刻に表示するタイムスタンプを少な
くとも一部の各分割画面に付加することが望ましい。さ
らに、システム多重においては、音声データを多重する
際に同一時刻に対応する音声データには同一時刻に再生
するタイムスタンプを付加することが望ましい。
動画像信号の同一画面から分割された各分割画面を同一
時刻に復号し同一時刻に表示するタイムスタンプを少な
くとも一部の各分割画面に付加することが望ましい。さ
らに、システム多重においては、音声データを多重する
際に同一時刻に対応する音声データには同一時刻に再生
するタイムスタンプを付加することが望ましい。
【0023】第2の動画像符号化装置における符号化に
おいては、各分割動画像信号毎に独立に符号量を制御す
るとともに、各分割動画像信号の符号化最大レートを入
力動画像信号に対する符号化最大レートのN分の1以下
に制限して符号化を行うことが望ましい。
おいては、各分割動画像信号毎に独立に符号量を制御す
るとともに、各分割動画像信号の符号化最大レートを入
力動画像信号に対する符号化最大レートのN分の1以下
に制限して符号化を行うことが望ましい。
【0024】第2の動画像符号化装置におけるシステム
多重部は、N個のビデオストリーム出力のそれぞれにつ
いて第1のシステム多重を行ってN個の第1システム多
重ストリームを得る第1システム多重部と、N個の第1
システム多重ストリームについて第2のシステム多重を
行って1つのシステム多重ストリームを出力する第2シ
ステム多重部とからなる。この場合、符号化においては
少なくとも第2システム多重手段における多重ジッタの
分だけ仮想受信バッファサイズをあらかじめ小さくし、
仮想受信バッファの占有量に基づく符号量制御を行って
符号化することが望ましい。
多重部は、N個のビデオストリーム出力のそれぞれにつ
いて第1のシステム多重を行ってN個の第1システム多
重ストリームを得る第1システム多重部と、N個の第1
システム多重ストリームについて第2のシステム多重を
行って1つのシステム多重ストリームを出力する第2シ
ステム多重部とからなる。この場合、符号化においては
少なくとも第2システム多重手段における多重ジッタの
分だけ仮想受信バッファサイズをあらかじめ小さくし、
仮想受信バッファの占有量に基づく符号量制御を行って
符号化することが望ましい。
【0025】
【発明の実施の形態】以下、図面を用いて本発明の実施
形態を説明する。以下の実施形態では、入力動画像信号
は4:2:2形式(色差信号の横方向の画素数が輝度信
号の横方向の画素数の半分の形式)であるとし、輝度信
号の1フレーム当たりの有効サンプル数が横1920画
素×縦1080ライン、色差信号の1フレーム当たりの
有効サンプル数が横960画素×縦1080ライン、フ
レームレートが30フレーム/秒のHDTV映像信号
を、MPEG2を用いて圧縮符号化する場合を例にとっ
て説明する。
形態を説明する。以下の実施形態では、入力動画像信号
は4:2:2形式(色差信号の横方向の画素数が輝度信
号の横方向の画素数の半分の形式)であるとし、輝度信
号の1フレーム当たりの有効サンプル数が横1920画
素×縦1080ライン、色差信号の1フレーム当たりの
有効サンプル数が横960画素×縦1080ライン、フ
レームレートが30フレーム/秒のHDTV映像信号
を、MPEG2を用いて圧縮符号化する場合を例にとっ
て説明する。
【0026】(第1の実施形態)図1は、本発明の第1
の実施形態に係る動画像符号化装置の構成図である。本
実施形態では、6台の標準TV方式用符号化装置を使用
してHDTV信号の符号化を実現する。本実施形態の動
画像符号化装置は、動画像信号入力端子101、画面分
割部102、分割画像符号化部103a〜103f、統
合ストリーム生成部104、ビットストリーム出力端子
105および制御部106から構成されている。
の実施形態に係る動画像符号化装置の構成図である。本
実施形態では、6台の標準TV方式用符号化装置を使用
してHDTV信号の符号化を実現する。本実施形態の動
画像符号化装置は、動画像信号入力端子101、画面分
割部102、分割画像符号化部103a〜103f、統
合ストリーム生成部104、ビットストリーム出力端子
105および制御部106から構成されている。
【0027】動画像信号入力端子101から入力された
動画像信号は、この例ではHDTV信号であり、まず画
面分割部102においてプリフィルタ処理や色差信号の
4:2:2形式から4:2:0形式へのサンプル数変換
処理などを含む前処理を受けた後、入力動画像信号を構
成する各画面がN=6個の分割画面に分割され、6個の
分割動画像信号が生成される。
動画像信号は、この例ではHDTV信号であり、まず画
面分割部102においてプリフィルタ処理や色差信号の
4:2:2形式から4:2:0形式へのサンプル数変換
処理などを含む前処理を受けた後、入力動画像信号を構
成する各画面がN=6個の分割画面に分割され、6個の
分割動画像信号が生成される。
【0028】このようにして生成された6個の分割動画
像信号は、6個の分割画像符号化部103a〜103f
において、動き補償予測、DCT、量子化および可変長
符号化などの処理を受けてそれぞれ圧縮符号化され、6
つのビデオストリームが生成される。これらの各ビデオ
ストリームは、統合ストリーム生成部104において1
つのビデオストリームに統合され、ビットストリーム出
力端子105から符号化ビデオストリームとして出力さ
れる。制御部106は、画面分割部102、分割画像符
号化部103a〜103fおよび統合ストリーム生成部
104の制御を行う。
像信号は、6個の分割画像符号化部103a〜103f
において、動き補償予測、DCT、量子化および可変長
符号化などの処理を受けてそれぞれ圧縮符号化され、6
つのビデオストリームが生成される。これらの各ビデオ
ストリームは、統合ストリーム生成部104において1
つのビデオストリームに統合され、ビットストリーム出
力端子105から符号化ビデオストリームとして出力さ
れる。制御部106は、画面分割部102、分割画像符
号化部103a〜103fおよび統合ストリーム生成部
104の制御を行う。
【0029】以下、図1の各部についてさらに詳細に説
明する。画面分割部102では、まず画面分割の前にH
DTV信号の状態で2次元プリフィルタ処理が行われ
る。プリフィルタは原画のノイズを取り除いたり、高域
成分をある程度除去して符号化後の符号化歪が出にくく
したりするためのフィルタであり、たとえば画像の斜め
方向の帯域を制限する特性のいわゆるダイヤモンドカッ
トフィルタが好適に用いられる。また、画面分割部10
2ではプリフィルタ処理と同時に、色差信号については
4:2:2形式から4:2:0形式へ変換する垂直フィ
ルタにより垂直ライン数を半分にする。この際、プリフ
ィルタおよび垂直フィルタは、フィールド内フィルタと
フレーム内フィルタの2種類のモードがあり、入力動画
像信号を構成する原画像がインターレースかノンインタ
ーレースかに応じて使い分ける。
明する。画面分割部102では、まず画面分割の前にH
DTV信号の状態で2次元プリフィルタ処理が行われ
る。プリフィルタは原画のノイズを取り除いたり、高域
成分をある程度除去して符号化後の符号化歪が出にくく
したりするためのフィルタであり、たとえば画像の斜め
方向の帯域を制限する特性のいわゆるダイヤモンドカッ
トフィルタが好適に用いられる。また、画面分割部10
2ではプリフィルタ処理と同時に、色差信号については
4:2:2形式から4:2:0形式へ変換する垂直フィ
ルタにより垂直ライン数を半分にする。この際、プリフ
ィルタおよび垂直フィルタは、フィールド内フィルタと
フレーム内フィルタの2種類のモードがあり、入力動画
像信号を構成する原画像がインターレースかノンインタ
ーレースかに応じて使い分ける。
【0030】次に、画面分割部102において画面分割
が行われる。図2は、この画面分割の様子を示す図であ
る。この図では輝度信号の画面分割の様子を示してい
る。入力動画像信号であるHDTV信号は輝度信号のフ
レーム内有効画素が横1920画素、縦1080ライン
である。ここで、垂直ライン数を16の倍数とするため
に、上下に4ラインずつを付加して1088ラインとし
た上で、図2のA〜Fで示したように縦2分割、横3分
割の6分割を行う。
が行われる。図2は、この画面分割の様子を示す図であ
る。この図では輝度信号の画面分割の様子を示してい
る。入力動画像信号であるHDTV信号は輝度信号のフ
レーム内有効画素が横1920画素、縦1080ライン
である。ここで、垂直ライン数を16の倍数とするため
に、上下に4ラインずつを付加して1088ラインとし
た上で、図2のA〜Fで示したように縦2分割、横3分
割の6分割を行う。
【0031】この際、分割画面どうしが互いに重複(オ
ーバーラップ)せず、かつ各分割画面間に隙間のないよ
うに分割を行う。すなわち、図のようにA〜Fの各分割
画面の符号化対象部分の大きさは横640画素、縦54
4ラインとなる。なお、色差信号については、輝度信号
に対して横方向の有効画素数が半分、縦方向の有効ライ
ン数も半分にしたものとなる点を除けば、輝度信号と同
様である。
ーバーラップ)せず、かつ各分割画面間に隙間のないよ
うに分割を行う。すなわち、図のようにA〜Fの各分割
画面の符号化対象部分の大きさは横640画素、縦54
4ラインとなる。なお、色差信号については、輝度信号
に対して横方向の有効画素数が半分、縦方向の有効ライ
ン数も半分にしたものとなる点を除けば、輝度信号と同
様である。
【0032】分割画像符号化部103a〜103fにお
いては、それぞれが上記横640画素、縦544フレー
ムラインからなる分割画像信号について符号化を行う。
この分割像信号を構成する画面のサイズは、MPEG2
の横720画素、縦480フレームラインのMain Level
そのものではないが、単位時間に処理する画素数として
は、ほぼMain Levelと同等となる。これにより、分割画
像符号化部103a〜103fとしてMain Levelクラス
の既存の符号化装置を使用して符号化することができ
る。
いては、それぞれが上記横640画素、縦544フレー
ムラインからなる分割画像信号について符号化を行う。
この分割像信号を構成する画面のサイズは、MPEG2
の横720画素、縦480フレームラインのMain Level
そのものではないが、単位時間に処理する画素数として
は、ほぼMain Levelと同等となる。これにより、分割画
像符号化部103a〜103fとしてMain Levelクラス
の既存の符号化装置を使用して符号化することができ
る。
【0033】このようにHDTV画面を6個の分割画面
に分割したことにより、サブサンプリング等を行うこと
なく、MPEG2のHigh Levelの符号化を横1920画
素×縦1080フレームラインのままで行うことができ
るため、HDTV方式の解像度を失うことのない高品質
の動画像符号化が可能となる。
に分割したことにより、サブサンプリング等を行うこと
なく、MPEG2のHigh Levelの符号化を横1920画
素×縦1080フレームラインのままで行うことができ
るため、HDTV方式の解像度を失うことのない高品質
の動画像符号化が可能となる。
【0034】また、各分割画像符号化部103a〜10
3fにおいては、動き補償画面間予測を各分割動画像の
範囲内、すなわち、図2のA〜Fのそれぞれの分割画面
の枠内で行う。言い換えれば、分割画面の枠外への動き
ベクトルの探索を禁止して動き補償画面間予測を行う。
ここで動き補償画面間予測とは、マクロブロックを単位
として符号化対象画面に対し時間的に前または後の画面
からの動きを求めて、符号化効率を高める技術である。
3fにおいては、動き補償画面間予測を各分割動画像の
範囲内、すなわち、図2のA〜Fのそれぞれの分割画面
の枠内で行う。言い換えれば、分割画面の枠外への動き
ベクトルの探索を禁止して動き補償画面間予測を行う。
ここで動き補償画面間予測とは、マクロブロックを単位
として符号化対象画面に対し時間的に前または後の画面
からの動きを求めて、符号化効率を高める技術である。
【0035】前述のように画面分割の際に各分割画面が
重複領域を持たないため、このように動き補償画面間予
測を各分割動画像の範囲内に制限しないと、各分割動画
像符号化部103a〜103f間の参照画面への相互ア
クセスが非常に複雑となる。本実施形態のように動き補
償予測を制限すれば、隣接する分割画面の分割画像符号
化部103a〜103fから参照画面を読み出してくる
必要がなくなり、メモリアクセスなどを含めて構成がき
わめて簡単になる。
重複領域を持たないため、このように動き補償画面間予
測を各分割動画像の範囲内に制限しないと、各分割動画
像符号化部103a〜103f間の参照画面への相互ア
クセスが非常に複雑となる。本実施形態のように動き補
償予測を制限すれば、隣接する分割画面の分割画像符号
化部103a〜103fから参照画面を読み出してくる
必要がなくなり、メモリアクセスなどを含めて構成がき
わめて簡単になる。
【0036】MPEG2ビデオにおいては、シーケン
ス、GOP、ピクチャ、スライス、マクロブロックおよ
びブロックの各レイヤが存在し、ブロックレイヤを除く
各レイヤの先頭にはヘッダが存在する。なお、スライ
ス、マクロブロックには厳密にはヘッダという呼び方は
ないが、ここでは説明の便宜上これらのレイヤの先頭情
報をすべてヘッダと呼ぶことにする。
ス、GOP、ピクチャ、スライス、マクロブロックおよ
びブロックの各レイヤが存在し、ブロックレイヤを除く
各レイヤの先頭にはヘッダが存在する。なお、スライ
ス、マクロブロックには厳密にはヘッダという呼び方は
ないが、ここでは説明の便宜上これらのレイヤの先頭情
報をすべてヘッダと呼ぶことにする。
【0037】分割画像符号化部103a〜103fにお
いては、これらのレイヤのうちピクチャ以上のレイヤ、
すなわちシーケンス、GOPおよびピクチャの各レイヤ
の符号化パラメータを全ての分割画像符号化部103a
〜103fで共通にして符号化する。ただし、たとえば
タイムコードのように符号化自体に直接影響しない一部
のパラメータは、この段階では別々の値にしておき、後
で統一してもよい。
いては、これらのレイヤのうちピクチャ以上のレイヤ、
すなわちシーケンス、GOPおよびピクチャの各レイヤ
の符号化パラメータを全ての分割画像符号化部103a
〜103fで共通にして符号化する。ただし、たとえば
タイムコードのように符号化自体に直接影響しない一部
のパラメータは、この段階では別々の値にしておき、後
で統一してもよい。
【0038】次に、図3を用いて統合ストリーム生成部
104での6つのビデオストリームを統合する方法につ
いてさらに詳しく説明する。まず、ピクチャレイヤ以上
のレイヤに関して、6つのビデオストリームに別個につ
いているヘッダ類、すなわちシーケンスヘッダ、GOP
ヘッダおよびピクチャヘッダを1つに統合する。この
際、シーケンスレイヤのパラメータ、たとえば水平画素
サイズ、垂直画素サイズ、アスペクト比情報、ビットレ
ート、VBVバッファサイズを置換して、分割画面に対
応した値ではなくHDTV画面に対応した値とする。
104での6つのビデオストリームを統合する方法につ
いてさらに詳しく説明する。まず、ピクチャレイヤ以上
のレイヤに関して、6つのビデオストリームに別個につ
いているヘッダ類、すなわちシーケンスヘッダ、GOP
ヘッダおよびピクチャヘッダを1つに統合する。この
際、シーケンスレイヤのパラメータ、たとえば水平画素
サイズ、垂直画素サイズ、アスペクト比情報、ビットレ
ート、VBVバッファサイズを置換して、分割画面に対
応した値ではなくHDTV画面に対応した値とする。
【0039】そして、HDTV画面としての各ピクチャ
について、基本的にスライス単位でビデオストリームの
統合を行う。すなわち、元のHDTV画面上でのラスタ
スキャン順に対応して、各ビデオストリームのスライス
を結合する。この様子を図3に示す。HDTV画面のあ
る1枚のピクチャについて、図3に示すように6個の各
分割画面毎にそれぞれA1,A2,A3,…、B1,B
2,B3,…、C1,C2,…、D1,D2,D3,
…、E1,E2,E3,…、F1,F2,F3,F4,
F5,…というように、スライスが分割されて符号化さ
れているものとする。
について、基本的にスライス単位でビデオストリームの
統合を行う。すなわち、元のHDTV画面上でのラスタ
スキャン順に対応して、各ビデオストリームのスライス
を結合する。この様子を図3に示す。HDTV画面のあ
る1枚のピクチャについて、図3に示すように6個の各
分割画面毎にそれぞれA1,A2,A3,…、B1,B
2,B3,…、C1,C2,…、D1,D2,D3,
…、E1,E2,E3,…、F1,F2,F3,F4,
F5,…というように、スライスが分割されて符号化さ
れているものとする。
【0040】このとき、各分割画像符号化部103a〜
103fから出力されるビデオストリームの中のこのピ
クチャに対応する部分について、まず上半分すなわち図
2の分割画面A,B,Cに対応するビデオストリームの
スライスヘッダを境界にして時分割多重を行う。図3の
例ではA1,B1,B2,C1,A2,A3,B3,C
2,,….というように、左上からスタートして1行が
分割画面Aの右端まで達したら、右隣の分割画面Bの左
端につなぎ、分割画面Bの右端まで達したら、右隣の分
割画面Cの左端につなぐ。そして、分割画面Cの右端ま
で達したら、次の行の分割画面Aの左端につなぐ。最後
に、分割画面Cの右下に達したら、さらに下半分すなわ
ち分割画面D、E、Fに対応するビデオストリームにつ
いても同様にスライスを単位とした左上から右下へのラ
スタスキャン順の時分割多重を行う。すなわち、図3の
例ではD1,D2,E1,F1,F2,D3,E2,E
3,F3,F4,F5,…という順に多重する。この
際、各分割画像符号化部103a〜103fの出力ビデ
オストリームをFIFOメモリのような一時記憶部(遅
延器)にそれぞれ一時格納することにより、スムーズに
多重が行われるようにすることが望ましい。
103fから出力されるビデオストリームの中のこのピ
クチャに対応する部分について、まず上半分すなわち図
2の分割画面A,B,Cに対応するビデオストリームの
スライスヘッダを境界にして時分割多重を行う。図3の
例ではA1,B1,B2,C1,A2,A3,B3,C
2,,….というように、左上からスタートして1行が
分割画面Aの右端まで達したら、右隣の分割画面Bの左
端につなぎ、分割画面Bの右端まで達したら、右隣の分
割画面Cの左端につなぐ。そして、分割画面Cの右端ま
で達したら、次の行の分割画面Aの左端につなぐ。最後
に、分割画面Cの右下に達したら、さらに下半分すなわ
ち分割画面D、E、Fに対応するビデオストリームにつ
いても同様にスライスを単位とした左上から右下へのラ
スタスキャン順の時分割多重を行う。すなわち、図3の
例ではD1,D2,E1,F1,F2,D3,E2,E
3,F3,F4,F5,…という順に多重する。この
際、各分割画像符号化部103a〜103fの出力ビデ
オストリームをFIFOメモリのような一時記憶部(遅
延器)にそれぞれ一時格納することにより、スムーズに
多重が行われるようにすることが望ましい。
【0041】さらに、スライスヘッダに含まれる情報の
うち、下半分すなわち図2の分割画面D,E,Fのスラ
イス垂直位置情報に、1分割画面の垂直マクロブロック
数に相当する34(=544/16)を加算する。ま
た、スライス先頭のマクロブロックヘッダに含まれる情
報のうち、マクロブロックアドレスインクリメントを付
け直す。直し方は、図2の分割画面AとDについては修
正なし、BとEについては1分割画面の水平マクロブロ
ック数に相当する40(=640/16)を加算、Cと
Fについては2分割画面の水平マクロブロック数に相当
する80(640*2/16)を加算する。このように
して、スライス垂直位置、およびスライス先頭のマクロ
ブロックアドレスインクリメントを分割画面上での値か
らHDTV画面上での値に換算することができる。
うち、下半分すなわち図2の分割画面D,E,Fのスラ
イス垂直位置情報に、1分割画面の垂直マクロブロック
数に相当する34(=544/16)を加算する。ま
た、スライス先頭のマクロブロックヘッダに含まれる情
報のうち、マクロブロックアドレスインクリメントを付
け直す。直し方は、図2の分割画面AとDについては修
正なし、BとEについては1分割画面の水平マクロブロ
ック数に相当する40(=640/16)を加算、Cと
Fについては2分割画面の水平マクロブロック数に相当
する80(640*2/16)を加算する。このように
して、スライス垂直位置、およびスライス先頭のマクロ
ブロックアドレスインクリメントを分割画面上での値か
らHDTV画面上での値に換算することができる。
【0042】以上を整理すると、本実施形態では(1)
HDTV画像を6個の分割画面に分割し、(2)この分
割に際し、各分割画面が互いに重複する領域を持たない
ようにし、(3)動き補償予測において他の分割領域を
参照しないように各分割画面を符号化し、(4)元のH
DTV画面上でラスタスキャン順に対応するようにスラ
イスを単位として各ビデオストリームを多重し、(5)
ヘッダ類を元のHDTV画面に合うように修正する、と
いう処理を行う。これら一連の処理により、得られる統
合後のビデオストリームは、正規のMP@HL(Main P
rofile at HighLevel) 互換の1つのビデオストリーム
となる。
HDTV画像を6個の分割画面に分割し、(2)この分
割に際し、各分割画面が互いに重複する領域を持たない
ようにし、(3)動き補償予測において他の分割領域を
参照しないように各分割画面を符号化し、(4)元のH
DTV画面上でラスタスキャン順に対応するようにスラ
イスを単位として各ビデオストリームを多重し、(5)
ヘッダ類を元のHDTV画面に合うように修正する、と
いう処理を行う。これら一連の処理により、得られる統
合後のビデオストリームは、正規のMP@HL(Main P
rofile at HighLevel) 互換の1つのビデオストリーム
となる。
【0043】従って、本実施形態で得られたビデオスト
リームを復号するには、分割処理しないタイプのMP@
HL復号化装置を使用することができる。もちろん、動
き補償画面間予測は各分割動画像信号内で行われている
のであるから、復号前に6分割してそれぞれの分割画面
毎に独立に復号し、その後で合成して1つのHDTV画
面を得ることも可能である。従って、本実施形態によれ
ば復号側の装置の構成の自由度が高まる。
リームを復号するには、分割処理しないタイプのMP@
HL復号化装置を使用することができる。もちろん、動
き補償画面間予測は各分割動画像信号内で行われている
のであるから、復号前に6分割してそれぞれの分割画面
毎に独立に復号し、その後で合成して1つのHDTV画
面を得ることも可能である。従って、本実施形態によれ
ば復号側の装置の構成の自由度が高まる。
【0044】このように、本実施形態によれば既存の符
号化装置を用いてHDTV信号の符号化を行うことがで
き、しかも得られたビデオストリームは正規のMPEG
2規格のMP@HLに準拠しているので、これを復号す
る際には、特に分割を必要とすることなく、規格化され
たMP@HL復号化装置を用いて復号を行うことができ
る。
号化装置を用いてHDTV信号の符号化を行うことがで
き、しかも得られたビデオストリームは正規のMPEG
2規格のMP@HLに準拠しているので、これを復号す
る際には、特に分割を必要とすることなく、規格化され
たMP@HL復号化装置を用いて復号を行うことができ
る。
【0045】ところで、HDTV画面の有効画面サイズ
は、輝度信号で横1920画素、縦1035フレームラ
イン、1080フレームライン、1152フレームライ
ンなどの規格がある。本実施形態のように、分割画面間
で重複する領域を持たないように縦2分割、横3分割の
6分割に分割して符号化する場合、各分割画面の有効画
面サイズ(符号化対象範囲)は、以下のような値が適切
である。すなわち、横方向については640画素、縦方
向については、元の有効ライン数が1035フレームラ
インの場合で512または528フレームライン、10
80フレームラインの場合で528または544フレー
ムライン、1152フレームラインの場合で576フレ
ームラインとする。これは、1マクロブロックに相当す
る横16画素×縦16フレームラインの整数倍に選ばれ
ている。
は、輝度信号で横1920画素、縦1035フレームラ
イン、1080フレームライン、1152フレームライ
ンなどの規格がある。本実施形態のように、分割画面間
で重複する領域を持たないように縦2分割、横3分割の
6分割に分割して符号化する場合、各分割画面の有効画
面サイズ(符号化対象範囲)は、以下のような値が適切
である。すなわち、横方向については640画素、縦方
向については、元の有効ライン数が1035フレームラ
インの場合で512または528フレームライン、10
80フレームラインの場合で528または544フレー
ムライン、1152フレームラインの場合で576フレ
ームラインとする。これは、1マクロブロックに相当す
る横16画素×縦16フレームラインの整数倍に選ばれ
ている。
【0046】(第2の実施形態)図4に、図1の構成を
変形した本発明の第2の実施形態に係る動画像符号化装
置の構成を示す。図1の動画像符号化装置では6個の分
割画像符号化部103a〜103fを用いたが、図4に
示すように1つの符号化部103を用いて6個の分割画
像信号を時分割で順次符号化するようにしてもよい。符
号化部103の後段に設けられた記憶部107は、時分
割で順次符号化されたビデオストリームを一時記憶する
ためのものであり、この記憶部107に6個の分割画面
に対応する6つのビデオストリームが蓄えられると、こ
れらが統合ストリーム生成部104によって1つのビデ
オストリームに統合され、ビットストリーム出力端子1
05から符号化ビデオストリームとして出力される。
変形した本発明の第2の実施形態に係る動画像符号化装
置の構成を示す。図1の動画像符号化装置では6個の分
割画像符号化部103a〜103fを用いたが、図4に
示すように1つの符号化部103を用いて6個の分割画
像信号を時分割で順次符号化するようにしてもよい。符
号化部103の後段に設けられた記憶部107は、時分
割で順次符号化されたビデオストリームを一時記憶する
ためのものであり、この記憶部107に6個の分割画面
に対応する6つのビデオストリームが蓄えられると、こ
れらが統合ストリーム生成部104によって1つのビデ
オストリームに統合され、ビットストリーム出力端子1
05から符号化ビデオストリームとして出力される。
【0047】本実施形態の構成は、特に蓄積メディアを
対象とした符号化の場合のように、リアルタイムで符号
化する必要がない動画像符号化装置に有効であり、ハー
ドウェア規模を効果的に削減することができる。
対象とした符号化の場合のように、リアルタイムで符号
化する必要がない動画像符号化装置に有効であり、ハー
ドウェア規模を効果的に削減することができる。
【0048】(第3の実施形態)図5は、本発明の第5
の実施形態に係る動画像符号化装置の構成を示す。本実
施形態は、6個の分割画像信号の符号化のために、第1
の実施形態に示した並列符号化と第2の実施形態に示し
た時分割符号化を組み合わて行う例であり、3個の符号
化部103A,103B,103Cが設けられ、6個の
分割画像信号が並列かつ時分割で符号化される。また、
符号化部103A,103B,103Cの後段に記憶部
107A,107B,107Cがそれぞれ設けられてい
る。
の実施形態に係る動画像符号化装置の構成を示す。本実
施形態は、6個の分割画像信号の符号化のために、第1
の実施形態に示した並列符号化と第2の実施形態に示し
た時分割符号化を組み合わて行う例であり、3個の符号
化部103A,103B,103Cが設けられ、6個の
分割画像信号が並列かつ時分割で符号化される。また、
符号化部103A,103B,103Cの後段に記憶部
107A,107B,107Cがそれぞれ設けられてい
る。
【0049】すなわち、符号化部103A,103B,
103Cによってそれぞれ2個の分割画面の分割画像信
号が時分割で符号化され、それにより得られたビデオス
トリームが記憶部107A,107B,107Cに一時
記憶される。そして、符号化部103A,103B,1
03Cのそれぞれ符号化動作は並列に行われる。記憶部
107A,107B,107Cにそれぞれ2個の分割画
面に対応する2つのビデオストリームがそれぞれ蓄えら
れると、これらが統合ストリーム生成部104によって
1つのビデオストリームに統合され、ビットストリーム
出力端子105から符号化ビデオストリームとして出力
される。
103Cによってそれぞれ2個の分割画面の分割画像信
号が時分割で符号化され、それにより得られたビデオス
トリームが記憶部107A,107B,107Cに一時
記憶される。そして、符号化部103A,103B,1
03Cのそれぞれ符号化動作は並列に行われる。記憶部
107A,107B,107Cにそれぞれ2個の分割画
面に対応する2つのビデオストリームがそれぞれ蓄えら
れると、これらが統合ストリーム生成部104によって
1つのビデオストリームに統合され、ビットストリーム
出力端子105から符号化ビデオストリームとして出力
される。
【0050】本実施形態によれば、第1の実施形態に比
較して少ないハードウェア量で、また第2の実施形態に
比較して高速の符号化が可能となる。 (第4の実施形態)次に、本発明の第4の実施形態につ
いて述べる。図6は、本実施形態に係る動画像符号化/
復号化システムの構成図である。図1と同じ部分につい
ては、同じ参照符号を付して説明を省略する。本実施形
態は、図1の動画像符号化装置に伝送または蓄積部40
1、MP@HL復号化部402および再生画像信号出力
端子403が追加された構成となっている。
較して少ないハードウェア量で、また第2の実施形態に
比較して高速の符号化が可能となる。 (第4の実施形態)次に、本発明の第4の実施形態につ
いて述べる。図6は、本実施形態に係る動画像符号化/
復号化システムの構成図である。図1と同じ部分につい
ては、同じ参照符号を付して説明を省略する。本実施形
態は、図1の動画像符号化装置に伝送または蓄積部40
1、MP@HL復号化部402および再生画像信号出力
端子403が追加された構成となっている。
【0051】伝送または蓄積部401は、有線または無
線の通信路、あるいは光ディスク、磁気ディスクまたは
半導体メモリのような蓄積メディアであり、統合ストリ
ーム生成部104からのビデオストリームを伝送または
一時蓄積した後、MP@HL復号化部402に供給す
る。MP@HL復号化部402は、受信または再生した
MP@HLビデオストリームを分割画面に戻すことな
く、HDTV画面上でのラスタスキャン順に順次復号し
て再生画像信号出力端子403に再生画像信号を出力す
る。
線の通信路、あるいは光ディスク、磁気ディスクまたは
半導体メモリのような蓄積メディアであり、統合ストリ
ーム生成部104からのビデオストリームを伝送または
一時蓄積した後、MP@HL復号化部402に供給す
る。MP@HL復号化部402は、受信または再生した
MP@HLビデオストリームを分割画面に戻すことな
く、HDTV画面上でのラスタスキャン順に順次復号し
て再生画像信号出力端子403に再生画像信号を出力す
る。
【0052】一般に、復号化は符号化よりも処理内容が
簡単なので、分割処理しないタイプのMP@HL復号化
処理装置は、分割処理しないタイプの符号化処理装置に
比べて比較的簡単に実現できるため、本実施形態ではこ
れをMP@HL復号化部402に使用する。
簡単なので、分割処理しないタイプのMP@HL復号化
処理装置は、分割処理しないタイプの符号化処理装置に
比べて比較的簡単に実現できるため、本実施形態ではこ
れをMP@HL復号化部402に使用する。
【0053】このように、本実施形態の動画像符号化/
復号化システムは、符号化側では画面分割して処理して
MP@HL準拠のビデオストリームを生成し、復号化側
では画面分割せずに処理を行うものであり、特に1対多
数の符号化/復号化システムとなる放送や、家庭用読み
出し専用メディアのようなシステムに適している。
復号化システムは、符号化側では画面分割して処理して
MP@HL準拠のビデオストリームを生成し、復号化側
では画面分割せずに処理を行うものであり、特に1対多
数の符号化/復号化システムとなる放送や、家庭用読み
出し専用メディアのようなシステムに適している。
【0054】(第5の実施形態)次に、本発明の第5の
実施形態について述べる。図7は、本実施形態に係る動
画像符号化装置の構成図である。本実施形態において
は、4台の標準TV方式用符号化装置を使用してHDT
V信号の符号化を実現する。
実施形態について述べる。図7は、本実施形態に係る動
画像符号化装置の構成図である。本実施形態において
は、4台の標準TV方式用符号化装置を使用してHDT
V信号の符号化を実現する。
【0055】本実施形態の動画像符号化装置は、動画像
信号入力端子501、画面分割部502、分割画像符号
化部503a〜503d、1次システム多重部504a
〜504d、2次システム多重部505、システム多重
ストリーム出力端子507、オーディオデータ入力端子
508および制御部509から構成されている。1次シ
ステム多重部504a〜504dと2次システム多重部
505を合わせてシステム多重部506と呼ぶことにす
る。
信号入力端子501、画面分割部502、分割画像符号
化部503a〜503d、1次システム多重部504a
〜504d、2次システム多重部505、システム多重
ストリーム出力端子507、オーディオデータ入力端子
508および制御部509から構成されている。1次シ
ステム多重部504a〜504dと2次システム多重部
505を合わせてシステム多重部506と呼ぶことにす
る。
【0056】動画像信号入力端子501から入力された
動画像信号は、画面分割部502において水平サンプル
数変換処理を受けた後、入力動画像信号を構成する各画
面がN=4個の分割画面に分割され、4個の分割動画像
信号が生成される。
動画像信号は、画面分割部502において水平サンプル
数変換処理を受けた後、入力動画像信号を構成する各画
面がN=4個の分割画面に分割され、4個の分割動画像
信号が生成される。
【0057】こうして生成され4個の分割動画像信号
は、4個の分割画像符号化部503a〜503dにおい
て、プリフィルタ処理および色差信号の4:2:2形式
から4:2:0形式へのサンプル数変換処理、動き補償
予測、DCT、量子化および可変長符号化などの処理を
受けてそれぞれ圧縮符号化され、4つのビデオストリー
ムが生成される。
は、4個の分割画像符号化部503a〜503dにおい
て、プリフィルタ処理および色差信号の4:2:2形式
から4:2:0形式へのサンプル数変換処理、動き補償
予測、DCT、量子化および可変長符号化などの処理を
受けてそれぞれ圧縮符号化され、4つのビデオストリー
ムが生成される。
【0058】これらの各ビデオストリームは、1次シス
テム多重部504a〜504dにおいて第1回目のシス
テム多重が行われる。この際、1次システム多重部50
4a〜504dにおいては、別途符号化されてオーディ
オデータ入力端子508から入力されたオーディオデー
タもビデオデータと共に多重化される。こうして得られ
た4つの1次システム多重ストリームに対して、2次シ
ステム多重部505において第2回のシステム多重が行
われて1つのシステム多重ストリームが生成され、シス
テム多重ストリーム出力端子507から出力される。制
御部509は、画面分割部502、分割画像符号化部5
03a〜503d、1次システム多重部504a〜50
4dおよびシステム多重部506の制御を行う。
テム多重部504a〜504dにおいて第1回目のシス
テム多重が行われる。この際、1次システム多重部50
4a〜504dにおいては、別途符号化されてオーディ
オデータ入力端子508から入力されたオーディオデー
タもビデオデータと共に多重化される。こうして得られ
た4つの1次システム多重ストリームに対して、2次シ
ステム多重部505において第2回のシステム多重が行
われて1つのシステム多重ストリームが生成され、シス
テム多重ストリーム出力端子507から出力される。制
御部509は、画面分割部502、分割画像符号化部5
03a〜503d、1次システム多重部504a〜50
4dおよびシステム多重部506の制御を行う。
【0059】以下、図7の各部についてさらに詳細に説
明する。画面分割部502では、まず画面分割の前に輝
度信号・色差信号ともに水平サンプル数変換を行う。本
実施形態では、3/5の水平サブサンプリングを行う。
図8は、このサブサンプリングの様子を示す図である。
この図では輝度信号の場合を示している。入力動画像信
号であるHDTV信号は、輝度信号のフレーム内有効画
素が横1920画素、縦1080ラインである。3/5
の水平サブサンプリング処理により、水平方向の画素数
を1920画素から1152画素に変換する。また、垂
直ライン数を16の倍数とするために上下4ラインずつ
を付加して1088ラインとする。
明する。画面分割部502では、まず画面分割の前に輝
度信号・色差信号ともに水平サンプル数変換を行う。本
実施形態では、3/5の水平サブサンプリングを行う。
図8は、このサブサンプリングの様子を示す図である。
この図では輝度信号の場合を示している。入力動画像信
号であるHDTV信号は、輝度信号のフレーム内有効画
素が横1920画素、縦1080ラインである。3/5
の水平サブサンプリング処理により、水平方向の画素数
を1920画素から1152画素に変換する。また、垂
直ライン数を16の倍数とするために上下4ラインずつ
を付加して1088ラインとする。
【0060】次に、画面分割部502において画面分割
が行われる。図9は、この画面分割の様子を示す図であ
る。この図も輝度信号の画面分割の場合を示している。
本実施形態では、第1の実施形態と異なり、分割画面ど
うしが互いに重複(オーバーラップ)するように分割を
行い、図9のA〜Dで示したように縦2分割、横2分割
の4分割とする。この際、オーバーラップ量は水平32
画素、垂直32フレームラインとする。すなわち、図9
のようにA〜Dの各分割画面の符号化対象部分の大きさ
を横592画素、縦560フレームラインとする。な
お、図9では分割画面Aの範囲を斜線で示してある。
が行われる。図9は、この画面分割の様子を示す図であ
る。この図も輝度信号の画面分割の場合を示している。
本実施形態では、第1の実施形態と異なり、分割画面ど
うしが互いに重複(オーバーラップ)するように分割を
行い、図9のA〜Dで示したように縦2分割、横2分割
の4分割とする。この際、オーバーラップ量は水平32
画素、垂直32フレームラインとする。すなわち、図9
のようにA〜Dの各分割画面の符号化対象部分の大きさ
を横592画素、縦560フレームラインとする。な
お、図9では分割画面Aの範囲を斜線で示してある。
【0061】実際に復号後に表示する際には、図9の点
線で示した重複領域の中央を境界として各分割画面を合
成する。この様子を示すため、水平方向の重複領域の拡
大図を図10に示す。ここでMBはマクロブロックを表
している。水平方向については、分割画面AまたはCで
は図10のMB35以下が表示され、MB36は表示されな
い。一方、分割画面BまたはDについては、図10のM
B1 以上が表示され、MB0 は表示されない。図示は省
略するが、垂直方向についても同様である。すなわち、
たとえば分割画面Aについては、右端16画素、下端1
6フレームラインは再生画面上に表示されることはな
い。なお、色差信号については、輝度信号に対して横方
向の画素数が半分になる点を除けば、輝度信号と同様で
ある。
線で示した重複領域の中央を境界として各分割画面を合
成する。この様子を示すため、水平方向の重複領域の拡
大図を図10に示す。ここでMBはマクロブロックを表
している。水平方向については、分割画面AまたはCで
は図10のMB35以下が表示され、MB36は表示されな
い。一方、分割画面BまたはDについては、図10のM
B1 以上が表示され、MB0 は表示されない。図示は省
略するが、垂直方向についても同様である。すなわち、
たとえば分割画面Aについては、右端16画素、下端1
6フレームラインは再生画面上に表示されることはな
い。なお、色差信号については、輝度信号に対して横方
向の画素数が半分になる点を除けば、輝度信号と同様で
ある。
【0062】分割画像符号化部503a〜503dにお
いては、それぞれが上記横592画素、縦560フレー
ムラインの画像の符号化を行う。この画面サイズはMP
EG2の横720画素、縦480フレームラインのMain
Levelそのものではないが、単位時間に処理する画素数
としては、ほぼMain Levelと同等となる。すなわち、本
実施形態ではMain Levelクラスの既存の符号化装置4台
を使用して符号化することができる。
いては、それぞれが上記横592画素、縦560フレー
ムラインの画像の符号化を行う。この画面サイズはMP
EG2の横720画素、縦480フレームラインのMain
Levelそのものではないが、単位時間に処理する画素数
としては、ほぼMain Levelと同等となる。すなわち、本
実施形態ではMain Levelクラスの既存の符号化装置4台
を使用して符号化することができる。
【0063】このように本実施形態では、HDTV画面
をサブサンプルしてから4つの分割画面に分割したこと
により、第1の実施形態よりも少ない符号化装置でHD
TVの符号化を行うことができる。
をサブサンプルしてから4つの分割画面に分割したこと
により、第1の実施形態よりも少ない符号化装置でHD
TVの符号化を行うことができる。
【0064】分割画像符号化部503a〜503dにお
いては、符号化の前にプリフィルタ処理が行われる。ま
た、同時に色差信号については4:2:2形式から4:
2:0形式へ変換する垂直フィルタにより垂直ライン数
を半分にする。
いては、符号化の前にプリフィルタ処理が行われる。ま
た、同時に色差信号については4:2:2形式から4:
2:0形式へ変換する垂直フィルタにより垂直ライン数
を半分にする。
【0065】このように、本実施形態では第1の実施形
態のように画面分割前にHDTV画面の状態でプリフィ
ルタ処理および色差信号の4:2:2形式から4:2:
0形式への変換処理を行うのではなく、既存の各分割画
像符号化部にすでに内蔵されているプリフィルタおよび
色差信号の4:2:2形式から4:2:0形式への変換
フィルタを使用して、画面分割後にこれらの処理を行
う。これにより、HDTV画面状態でのこれらの専用処
理部を新たに設ける必要がない。
態のように画面分割前にHDTV画面の状態でプリフィ
ルタ処理および色差信号の4:2:2形式から4:2:
0形式への変換処理を行うのではなく、既存の各分割画
像符号化部にすでに内蔵されているプリフィルタおよび
色差信号の4:2:2形式から4:2:0形式への変換
フィルタを使用して、画面分割後にこれらの処理を行
う。これにより、HDTV画面状態でのこれらの専用処
理部を新たに設ける必要がない。
【0066】また、各分割画像符号化部503a〜50
3dにおいては、動き補償画面間予測を各分割動画像
(重複領域を含む)の範囲内、すなわち図8のA〜Dの
それぞれの分割部分(横592画素、縦560フレーム
ライン)の枠内で行う。これにより、各分割画像の符号
化に際して隣接する分割画面の分割画像符号化部503
a〜503dから参照画面を読み出してくる必要がない
ので、メモリアクセスなどを含めて構成がきわめて簡単
になる。
3dにおいては、動き補償画面間予測を各分割動画像
(重複領域を含む)の範囲内、すなわち図8のA〜Dの
それぞれの分割部分(横592画素、縦560フレーム
ライン)の枠内で行う。これにより、各分割画像の符号
化に際して隣接する分割画面の分割画像符号化部503
a〜503dから参照画面を読み出してくる必要がない
ので、メモリアクセスなどを含めて構成がきわめて簡単
になる。
【0067】ここで、各分割領域の重複量(オーバーラ
ップ量)について補足説明する。前述したように、この
重複量はサブサンプル後で数えれば、輝度信号で水平3
2画素、垂直32フレームラインである。各分割画面の
最も端のマクロブロックについては、動き補償で使用し
得る動きベクトルの向きが制約されるため、画質の劣化
または符号化効率の低下の可能性があるが、本実施形態
では図9、図10で示したように、復号・再合成して表
示する際に、各分割画面についてちょうど1マクロブロ
ック幅(水平16画素、垂直16フレームライン)だけ
表示されない部分がある。表示されない部分は、たとえ
ば分割画面Aでは右端と下端である。従って、分割境界
付近において、こうした動きベクトルの向きの制約に起
因する画質劣化は表示されることはなく、表示される部
分については画質の劣化も符号化効率の低下もない。
ップ量)について補足説明する。前述したように、この
重複量はサブサンプル後で数えれば、輝度信号で水平3
2画素、垂直32フレームラインである。各分割画面の
最も端のマクロブロックについては、動き補償で使用し
得る動きベクトルの向きが制約されるため、画質の劣化
または符号化効率の低下の可能性があるが、本実施形態
では図9、図10で示したように、復号・再合成して表
示する際に、各分割画面についてちょうど1マクロブロ
ック幅(水平16画素、垂直16フレームライン)だけ
表示されない部分がある。表示されない部分は、たとえ
ば分割画面Aでは右端と下端である。従って、分割境界
付近において、こうした動きベクトルの向きの制約に起
因する画質劣化は表示されることはなく、表示される部
分については画質の劣化も符号化効率の低下もない。
【0068】この点を図10で具体的に説明すると、分
割画面AまたはCでは、MB36は右方向からの動き補償
予測ができないために画質が劣化する可能性があるが、
この部分は表示されない。一方、分割画面BまたはDで
は、MB0 は左方向からの動き補償予測ができないため
に画質が劣化する可能性があるが、この部分は表示され
ない。
割画面AまたはCでは、MB36は右方向からの動き補償
予測ができないために画質が劣化する可能性があるが、
この部分は表示されない。一方、分割画面BまたはDで
は、MB0 は左方向からの動き補償予測ができないため
に画質が劣化する可能性があるが、この部分は表示され
ない。
【0069】一方、重複領域を不必要に大きくしすぎる
と、無駄に伝送するデータが多くなる。従って、水平3
2画素、垂直32フレームラインというのが重複量とし
てちょうどよい大きさである。この重複量を本実施形態
において元のHDTV画面に換算すると、水平サブサン
プル比率が3/5=0.6なので、32/0.6=約5
3.3画素、垂直サブサンプル比率は1であるから、3
2/1=32フレームラインとなる。
と、無駄に伝送するデータが多くなる。従って、水平3
2画素、垂直32フレームラインというのが重複量とし
てちょうどよい大きさである。この重複量を本実施形態
において元のHDTV画面に換算すると、水平サブサン
プル比率が3/5=0.6なので、32/0.6=約5
3.3画素、垂直サブサンプル比率は1であるから、3
2/1=32フレームラインとなる。
【0070】このように本実施形態では、画面分割の際
に各分割画面に2マクロブロック幅の重複領域を持たせ
たことにより、動き補償画面間予測を各分割動画像の範
囲内に制限しても、分割画面どうしの境界付近において
も実際に表示される部分については十分な動き補償予測
が可能となり、分割画面境界付近の画質が悪くなること
がない。
に各分割画面に2マクロブロック幅の重複領域を持たせ
たことにより、動き補償画面間予測を各分割動画像の範
囲内に制限しても、分割画面どうしの境界付近において
も実際に表示される部分については十分な動き補償予測
が可能となり、分割画面境界付近の画質が悪くなること
がない。
【0071】また、画面分割後に行われるプリフィルタ
処理や4:2:2形式から4:2:0形式への変換フィ
ルタ処理のためにも、このような重複領域は必要であ
る。すなわち、各分割画面の端部の画素については、こ
れらのフィルタ演算に必要な画素がすべては存在しない
場合がある。しかし、本実施形態のように輝度信号の重
複量が水平32画素、垂直32フレームラインの場合に
は、輝度信号については左右方向に各16タップまで、
上下方向に各8タップ(フィールドフィルタの場合)ま
たは各16タップ(フレームフィルタの場合)までフィ
ルタのタップ範囲を取ることが可能である。色差信号に
ついては、左右方向に各8タップまで、上下方向に各8
タップ(フィールドフィルタの場合)または各16タッ
プ(フレームフィルタの場合)までフィルタのタップ範
囲を取ることが可能である。この制約を守らないと、フ
ィルタ演算において各分割画面枠外のデータを参照する
こととなり、画面分割境界付近において画質劣化が見え
てしまう可能性がある。逆に上記のタップ範囲の制約を
守れば、表示される部分の画素についてのフィルタ演算
では、必要な画素がすべて存在することになる。
処理や4:2:2形式から4:2:0形式への変換フィ
ルタ処理のためにも、このような重複領域は必要であ
る。すなわち、各分割画面の端部の画素については、こ
れらのフィルタ演算に必要な画素がすべては存在しない
場合がある。しかし、本実施形態のように輝度信号の重
複量が水平32画素、垂直32フレームラインの場合に
は、輝度信号については左右方向に各16タップまで、
上下方向に各8タップ(フィールドフィルタの場合)ま
たは各16タップ(フレームフィルタの場合)までフィ
ルタのタップ範囲を取ることが可能である。色差信号に
ついては、左右方向に各8タップまで、上下方向に各8
タップ(フィールドフィルタの場合)または各16タッ
プ(フレームフィルタの場合)までフィルタのタップ範
囲を取ることが可能である。この制約を守らないと、フ
ィルタ演算において各分割画面枠外のデータを参照する
こととなり、画面分割境界付近において画質劣化が見え
てしまう可能性がある。逆に上記のタップ範囲の制約を
守れば、表示される部分の画素についてのフィルタ演算
では、必要な画素がすべて存在することになる。
【0072】なお、何らかの事情で分割画面の重複量が
本実施形態よりも少ない場合には、「フィルタタップ範
囲が分割画面枠外を参照する画素を含むDCTブロック
のすべての画素を表示しない」という原則が満たされる
ように、フィルタタップ範囲を制限する。すなわち、D
CTブロック内に1画素でも異常な画素があると、符号
化におけるDCT演算と量子化によって、それがDCT
ブロック全体に拡大するおそれがあるからである。
本実施形態よりも少ない場合には、「フィルタタップ範
囲が分割画面枠外を参照する画素を含むDCTブロック
のすべての画素を表示しない」という原則が満たされる
ように、フィルタタップ範囲を制限する。すなわち、D
CTブロック内に1画素でも異常な画素があると、符号
化におけるDCT演算と量子化によって、それがDCT
ブロック全体に拡大するおそれがあるからである。
【0073】次に、システム多重ストリームの生成に関
して、システム多重部506(1次システム多重部50
4a〜504dおよび2次システム多重部505)の処
理を中心に、さらに詳しく説明する。本実施形態で述べ
ているシステム多重は、MPEG2システムに準拠した
システム多重ストリームを生成する処理である。ここで
は、4つの分割画面に対応するビデオストリームや、別
途符号化されたオーディオストリームを多重して、単一
のMPEG2プログラムストリーム(PS)を生成する
ものとする。
して、システム多重部506(1次システム多重部50
4a〜504dおよび2次システム多重部505)の処
理を中心に、さらに詳しく説明する。本実施形態で述べ
ているシステム多重は、MPEG2システムに準拠した
システム多重ストリームを生成する処理である。ここで
は、4つの分割画面に対応するビデオストリームや、別
途符号化されたオーディオストリームを多重して、単一
のMPEG2プログラムストリーム(PS)を生成する
ものとする。
【0074】ここでは、1次システム多重部504a〜
504dとして既存の標準TV方式相当のシステム多重
部を使用して、一旦MPEG2システムに準拠した4つ
のプログラムストリームを生成し、これらのプログラム
ストリームをさらに2次システム多重部505で1つに
統合し、MPEG2システムに準拠した単一のプログラ
ムストリームを生成する。
504dとして既存の標準TV方式相当のシステム多重
部を使用して、一旦MPEG2システムに準拠した4つ
のプログラムストリームを生成し、これらのプログラム
ストリームをさらに2次システム多重部505で1つに
統合し、MPEG2システムに準拠した単一のプログラ
ムストリームを生成する。
【0075】まず、4つの分割画面に対応するビデオス
トリームを復号時に分離可能とするために、本実施形態
では4つのビデオストリーム毎に異なるストリームID
を割り当てることにし、システム多重の際に各ビデオパ
ケットに付加する。ストリームIDの値は、図9の分割
画面A,B,C,Dのそれぞれについて、16進数表現
でE0,E1,E2,E3とし、各ビデオパケットのス
トリームIDをこの値とする。
トリームを復号時に分離可能とするために、本実施形態
では4つのビデオストリーム毎に異なるストリームID
を割り当てることにし、システム多重の際に各ビデオパ
ケットに付加する。ストリームIDの値は、図9の分割
画面A,B,C,Dのそれぞれについて、16進数表現
でE0,E1,E2,E3とし、各ビデオパケットのス
トリームIDをこの値とする。
【0076】一方、オーディオデータについては、本実
施形態では4種類のオーディオストリームを1次システ
ム多重部504a〜504dでそれぞれ多重するものと
するが、オーディオパケットのストリームIDにはすべ
て「プライベートストリーム1」を示す値(16進数表
現でBD)を付加しておき、さらにサブストリームID
の値をそれぞれ16進数表現で80,81,82,83
として、4種類のオーディオストリームを識別可能とす
る。
施形態では4種類のオーディオストリームを1次システ
ム多重部504a〜504dでそれぞれ多重するものと
するが、オーディオパケットのストリームIDにはすべ
て「プライベートストリーム1」を示す値(16進数表
現でBD)を付加しておき、さらにサブストリームID
の値をそれぞれ16進数表現で80,81,82,83
として、4種類のオーディオストリームを識別可能とす
る。
【0077】これらのIDを付加する処理は、1次シス
テム多重部504a〜504dで行ってもよいし、2次
システム多重部505で行ってもよい。復号時には、こ
れらのストリームIDまたはサブストリームIDを使っ
て、4種類のビデオストリームと4種類のオーディオス
トリームをすべて分離することができる。
テム多重部504a〜504dで行ってもよいし、2次
システム多重部505で行ってもよい。復号時には、こ
れらのストリームIDまたはサブストリームIDを使っ
て、4種類のビデオストリームと4種類のオーディオス
トリームをすべて分離することができる。
【0078】次に、ビデオについて4つの分割画面間で
同期を確立する必要がある。4つの分割画面は元々1枚
のHDTV画面が分割されたものであるから、再生時に
同時に表示されなければならない。しかし、1次システ
ム多重部504a〜504dでは、別個に多重動作が行
われるため、初期DTS(Decoding Time Stamp)(最初
に復号するピクチャの復号時刻を示すタイムスタン
プ)、初期PTS(Presentation Time Stamp)(最初に
表示するピクチャの表示時刻を示すタイムスタンプ)の
時刻が各分割画面ごとに異なったものとなる。すなわ
ち、このままでは元々同一のHDTV画面から分割され
た4つの分割画面に同一のDTS、PTSが付加される
保証がなく、同時に表示される保証もない。
同期を確立する必要がある。4つの分割画面は元々1枚
のHDTV画面が分割されたものであるから、再生時に
同時に表示されなければならない。しかし、1次システ
ム多重部504a〜504dでは、別個に多重動作が行
われるため、初期DTS(Decoding Time Stamp)(最初
に復号するピクチャの復号時刻を示すタイムスタン
プ)、初期PTS(Presentation Time Stamp)(最初に
表示するピクチャの表示時刻を示すタイムスタンプ)の
時刻が各分割画面ごとに異なったものとなる。すなわ
ち、このままでは元々同一のHDTV画面から分割され
た4つの分割画面に同一のDTS、PTSが付加される
保証がなく、同時に表示される保証もない。
【0079】そこで、2次システム多重部505におい
て、各分割画面ごとの1次システム多重ストリームのタ
イムスタンプ(SCR、DTS、PTS)に対して、4
分割画面すべての初期DTSが同一となるようにオフセ
ットを付加する。なお、SCR(System Clock Referen
ce) は基準システムクロックを示す。
て、各分割画面ごとの1次システム多重ストリームのタ
イムスタンプ(SCR、DTS、PTS)に対して、4
分割画面すべての初期DTSが同一となるようにオフセ
ットを付加する。なお、SCR(System Clock Referen
ce) は基準システムクロックを示す。
【0080】このオフセット付加の様子を図11を用い
て説明する。まず、4つの1次システム多重ストリーム
から、それぞれ初期DTSを抽出する。図11(a)に
示したように、元の4つのストリームA,B,C,Dに
おいては、SCRの初期値(SCR0A、SCR0B、SC
R0C、SCR0D)はすべて同一であるが、初期DTS
(DTS0A、DTS0B、DTS0C、DTS0D)はすべて
異なった値になっている。次に、それらの初期DTSの
中から最大値を求める。図11では、DTS0Bが最大値
となる。続いて、各初期DTSとその最大値との差分を
求め、すべてのタイムスタンプ(SCR、DTS、PT
S)にその差分値を加算する。このようにして得られた
4つのストリームA’,B’,C’,D’のタイムスタ
ンプは、図11(b)に示したようになる。すなわち、
修正後の初期DTSは、DTS0A’=DTS0B=DTS
0C’=DTS0D’となり、全て一致している。なお、P
TSについても同じ差分値を加算する。もちろん、DT
S,PTSは全ピクチャに付加される必要はなく、MP
EG2システムに準拠した条件で付加されていればよ
い。
て説明する。まず、4つの1次システム多重ストリーム
から、それぞれ初期DTSを抽出する。図11(a)に
示したように、元の4つのストリームA,B,C,Dに
おいては、SCRの初期値(SCR0A、SCR0B、SC
R0C、SCR0D)はすべて同一であるが、初期DTS
(DTS0A、DTS0B、DTS0C、DTS0D)はすべて
異なった値になっている。次に、それらの初期DTSの
中から最大値を求める。図11では、DTS0Bが最大値
となる。続いて、各初期DTSとその最大値との差分を
求め、すべてのタイムスタンプ(SCR、DTS、PT
S)にその差分値を加算する。このようにして得られた
4つのストリームA’,B’,C’,D’のタイムスタ
ンプは、図11(b)に示したようになる。すなわち、
修正後の初期DTSは、DTS0A’=DTS0B=DTS
0C’=DTS0D’となり、全て一致している。なお、P
TSについても同じ差分値を加算する。もちろん、DT
S,PTSは全ピクチャに付加される必要はなく、MP
EG2システムに準拠した条件で付加されていればよ
い。
【0081】このとき、2次システム多重部505にお
いて、同時にオーディオについても1次システム多重ス
トリームのタイムスタンプ(SCR,DTS,PTS)
に対して、同じようにオフセットを付加する。1次シス
テム多重部504a〜504dは、既存の標準TV方式
用のシステム多重部を流用したものであるから、それぞ
れの1次システム多重ストリーム上ではビデオとオーデ
ィオの同期はすでに確立されている。従って、各1次シ
ステム多重ストリームにおいてビデオと同じオフセット
をオーディオのタイムスタンプにも付加すればよい。
いて、同時にオーディオについても1次システム多重ス
トリームのタイムスタンプ(SCR,DTS,PTS)
に対して、同じようにオフセットを付加する。1次シス
テム多重部504a〜504dは、既存の標準TV方式
用のシステム多重部を流用したものであるから、それぞ
れの1次システム多重ストリーム上ではビデオとオーデ
ィオの同期はすでに確立されている。従って、各1次シ
ステム多重ストリームにおいてビデオと同じオフセット
をオーディオのタイムスタンプにも付加すればよい。
【0082】このようにして、全てのタイムスタンプを
付け直した後で、2次システム多重部505において、
修正後のSCR値が小さいものから順次パック単位で時
分割多重を行い、1本のプログラムストリームを生成す
る。
付け直した後で、2次システム多重部505において、
修正後のSCR値が小さいものから順次パック単位で時
分割多重を行い、1本のプログラムストリームを生成す
る。
【0083】各分割画像符号化部503a〜503dに
おける符号量制御については、元のHDTV画像の状態
で与えられた最大符号化レートの制約を満たした上で符
号化および多重する必要がある。これを簡単に実現する
ために、本実施形態では各分割画像符号化部503a〜
503dにおける最大符号化レートを全体の最大符号化
レートの4分の1(分割画面数分の1)に制限する。
おける符号量制御については、元のHDTV画像の状態
で与えられた最大符号化レートの制約を満たした上で符
号化および多重する必要がある。これを簡単に実現する
ために、本実施形態では各分割画像符号化部503a〜
503dにおける最大符号化レートを全体の最大符号化
レートの4分の1(分割画面数分の1)に制限する。
【0084】より具体的に例を挙げると、たとえば家庭
用としてのHDTV画像の最大符号化レートは、画質と
コストの兼ね合いから、ほぼ30Mbps前後が好まし
い。ここでは、HDTV画像の状態での最大符号化レー
トが32Mbpsであるとする。この場合、各分割画像
符号化部503a〜503dにおける最大符号化レート
をその4分の1の8Mbpsに制限して符号化を行う。
この際、分割画面毎に平均符号化レートが異なっても構
わない。
用としてのHDTV画像の最大符号化レートは、画質と
コストの兼ね合いから、ほぼ30Mbps前後が好まし
い。ここでは、HDTV画像の状態での最大符号化レー
トが32Mbpsであるとする。この場合、各分割画像
符号化部503a〜503dにおける最大符号化レート
をその4分の1の8Mbpsに制限して符号化を行う。
この際、分割画面毎に平均符号化レートが異なっても構
わない。
【0085】すなわち、本実施形態によれば、たとえ可
変符号化レートで符号化する場合でも、非常に簡単な方
法で元のHDTV画像としての最大符号化レートの制約
を満たすことができる。
変符号化レートで符号化する場合でも、非常に簡単な方
法で元のHDTV画像としての最大符号化レートの制約
を満たすことができる。
【0086】さらに、本実施形態のように2段階で多重
する場合には、2次システム多重部505における多重
ジッタを考慮する必要がある。すなわち、1次システム
多重後の2次システム多重では、4つの1次システム多
重ストリームを1つのストリームに並べ直しているた
め、システム多重ストリーム上のデータの位置が遅れる
場合がある(この現象を多重ジッタという)。この場
合、各ビデオストリームの仮想受信バッファがアンダー
フローするおそれがある。
する場合には、2次システム多重部505における多重
ジッタを考慮する必要がある。すなわち、1次システム
多重後の2次システム多重では、4つの1次システム多
重ストリームを1つのストリームに並べ直しているた
め、システム多重ストリーム上のデータの位置が遅れる
場合がある(この現象を多重ジッタという)。この場
合、各ビデオストリームの仮想受信バッファがアンダー
フローするおそれがある。
【0087】そこで、各分割画像符号化部503a〜5
03dにおける符号化の際に、仮想受信バッファ(VB
Vバッファ)のバッファサイズを少なくとも多重ジッタ
の分だけあらかじめ小さくし、このVBVバッファの占
有量に基づく符号量制御を行って符号化しておく。ここ
では、VBVバッファのバッファサイズを2パケット分
小さくするものとする。その上で、2次システム多重の
際に、すべてのSCRについて2パケット分の時間を減
じることにより、各仮想受信バッファをオーバーフロー
寄りの動作に変更する。しかし、元々VBVバッファの
バッファサイズを小さくして符号化してあるので、オー
バーフローは発生しない。このような工夫により、2段
階でシステム多重を行っても、仮想受信バッファが破綻
(オーバーフローまたはアンダーフロー)することはな
い。
03dにおける符号化の際に、仮想受信バッファ(VB
Vバッファ)のバッファサイズを少なくとも多重ジッタ
の分だけあらかじめ小さくし、このVBVバッファの占
有量に基づく符号量制御を行って符号化しておく。ここ
では、VBVバッファのバッファサイズを2パケット分
小さくするものとする。その上で、2次システム多重の
際に、すべてのSCRについて2パケット分の時間を減
じることにより、各仮想受信バッファをオーバーフロー
寄りの動作に変更する。しかし、元々VBVバッファの
バッファサイズを小さくして符号化してあるので、オー
バーフローは発生しない。このような工夫により、2段
階でシステム多重を行っても、仮想受信バッファが破綻
(オーバーフローまたはアンダーフロー)することはな
い。
【0088】オーディオの多重についても、ビデオの場
合と同様のバッファサイズの工夫をしてもよいが、元々
オーディオの仮想受信バッファサイズが小さいので、復
号側の受信バッファサイズを2次多重での多重ジッタの
分(たとえば2パケット分)だけ大きいものに変更する
ようにしてもよい。
合と同様のバッファサイズの工夫をしてもよいが、元々
オーディオの仮想受信バッファサイズが小さいので、復
号側の受信バッファサイズを2次多重での多重ジッタの
分(たとえば2パケット分)だけ大きいものに変更する
ようにしてもよい。
【0089】以上を整理すると、本実施形態では(1)
HDTV画像をサブサンプルして4個の分割画面に分割
し、(2)分割に際し、各分割画面が互いに重複する領
域を持つようにし、(3)動き補償予測において他の分
割領域を参照しないように各分割画面を符号化し、
(4)各ビデオストリームそれぞれに異なるストリーム
IDを付加し、(5)同一のHDTV画面に対応する分
割画面に同一時刻のタイムスタンプを付加する、という
一連の処理を行う。これら一連の処理により、得られる
システム多重ストリームは、正規の単一のMPEG2シ
ステムストリームとなる。
HDTV画像をサブサンプルして4個の分割画面に分割
し、(2)分割に際し、各分割画面が互いに重複する領
域を持つようにし、(3)動き補償予測において他の分
割領域を参照しないように各分割画面を符号化し、
(4)各ビデオストリームそれぞれに異なるストリーム
IDを付加し、(5)同一のHDTV画面に対応する分
割画面に同一時刻のタイムスタンプを付加する、という
一連の処理を行う。これら一連の処理により、得られる
システム多重ストリームは、正規の単一のMPEG2シ
ステムストリームとなる。
【0090】こうして得られたシステム多重ストリーム
を復号する際には、ストリームIDをもとにビデオスト
リームを分離して4分割復号した後に、合成して1つの
HDTV画面を得ることが可能である。
を復号する際には、ストリームIDをもとにビデオスト
リームを分離して4分割復号した後に、合成して1つの
HDTV画面を得ることが可能である。
【0091】このように、本実施形態によれば既存の符
号化装置を用いてHDTV信号の符号化を行うことがで
き、しかも得られたシステム多重ストリームはMPEG
2システムに準拠しているので、これ復号する際にはI
Dに基づいて画面分割を行って復号を行うことができ
る。
号化装置を用いてHDTV信号の符号化を行うことがで
き、しかも得られたシステム多重ストリームはMPEG
2システムに準拠しているので、これ復号する際にはI
Dに基づいて画面分割を行って復号を行うことができ
る。
【0092】なお、上記の説明ではシステム多重部50
6は1次システム多重部504a〜504dと2次シス
テム多重部505の2段階構成となっていたが、これは
既存の標準TV方式相当のシステム多重部を1次システ
ム多重部として流用するためである。当然ながら、1次
システム多重と2次システム多重の2段階に分けること
なく、一度にシステム多重を行うことも可能である。
6は1次システム多重部504a〜504dと2次シス
テム多重部505の2段階構成となっていたが、これは
既存の標準TV方式相当のシステム多重部を1次システ
ム多重部として流用するためである。当然ながら、1次
システム多重と2次システム多重の2段階に分けること
なく、一度にシステム多重を行うことも可能である。
【0093】また、本実施形態では水平方向のみ3/5
のサブサンプルを行ってから4画面に分割したが、この
ほか、水平方向に3/4のサブサンプルを行い垂直方向
に8/9のサブサンプルを行ってから4画面に分割す
る、などの例も考えられる。
のサブサンプルを行ってから4画面に分割したが、この
ほか、水平方向に3/4のサブサンプルを行い垂直方向
に8/9のサブサンプルを行ってから4画面に分割す
る、などの例も考えられる。
【0094】また、図7の動画像符号化装置では4台の
符号化装置を並列に使用したが、たとえば蓄積メディア
を対象とした符号化の場合のようにリアルタイムで符号
化する必要がない場合には、第2の実施形態と同様に1
台の符号化装置を4回用いて時分割で符号化したり、2
台の符号化装置を用いて並列かつ時分割で符号化するこ
とも可能である。
符号化装置を並列に使用したが、たとえば蓄積メディア
を対象とした符号化の場合のようにリアルタイムで符号
化する必要がない場合には、第2の実施形態と同様に1
台の符号化装置を4回用いて時分割で符号化したり、2
台の符号化装置を用いて並列かつ時分割で符号化するこ
とも可能である。
【0095】(第6の実施形態)次に、本発明の第6の
実施形態について述べる。図12は、本実施形態に係る
動画像符号化/復号化システムの構成図である。図7と
同じ部分については、同じ参照符号を付して説明を省略
する。本実施形態は、図7の動画像符号化装置に伝送ま
たは蓄積部1001、ストリーム分離部1002、分割
画像復号化部1003a〜1003d、画面合成部10
04、再生画像信号出力端子1005およびオーディオ
データ出力端子1006が追加された構成となってい
る。
実施形態について述べる。図12は、本実施形態に係る
動画像符号化/復号化システムの構成図である。図7と
同じ部分については、同じ参照符号を付して説明を省略
する。本実施形態は、図7の動画像符号化装置に伝送ま
たは蓄積部1001、ストリーム分離部1002、分割
画像復号化部1003a〜1003d、画面合成部10
04、再生画像信号出力端子1005およびオーディオ
データ出力端子1006が追加された構成となってい
る。
【0096】伝送または蓄積部1001は、有線または
無線の通信路、あるいは光ディスク・磁気ディスク・半
導体メモリのような蓄積メディアであり、システム多重
部506からのシステム多重ストリームを伝送または一
時蓄積した後、ストリーム分離部1002に供給する。
ストリーム分離部1002では、受信または再生したシ
ステム多重ストリームの中のストリームID(またはサ
ブストリームID)に基づいて、4つの分割画面毎のビ
デオストリーム、およびオーディオストリームを分離し
て、分割画面復号化部1003a〜1003dおよびオ
ーディオデータ出力端子1006に供給する。分割画像
復号化部1003a〜1003dは、それぞれの分割画
面毎に復号化を行う。さらに、画面合成部1004では
4つの分割画面を統合して1つのHDTV画面を合成
し、再生画像信号出力端子1005に再生画像信号を出
力する。
無線の通信路、あるいは光ディスク・磁気ディスク・半
導体メモリのような蓄積メディアであり、システム多重
部506からのシステム多重ストリームを伝送または一
時蓄積した後、ストリーム分離部1002に供給する。
ストリーム分離部1002では、受信または再生したシ
ステム多重ストリームの中のストリームID(またはサ
ブストリームID)に基づいて、4つの分割画面毎のビ
デオストリーム、およびオーディオストリームを分離し
て、分割画面復号化部1003a〜1003dおよびオ
ーディオデータ出力端子1006に供給する。分割画像
復号化部1003a〜1003dは、それぞれの分割画
面毎に復号化を行う。さらに、画面合成部1004では
4つの分割画面を統合して1つのHDTV画面を合成
し、再生画像信号出力端子1005に再生画像信号を出
力する。
【0097】この際、第5の実施形態で述べたように重
複領域のちょうど中央を境界に各分割画面を合成する。
オーディオデータ出力端子1006からは、分離された
オーディオストリームが出力され、これが図示しないオ
ーディオデータ復号化部に供給される。
複領域のちょうど中央を境界に各分割画面を合成する。
オーディオデータ出力端子1006からは、分離された
オーディオストリームが出力され、これが図示しないオ
ーディオデータ復号化部に供給される。
【0098】分割画像復号化部1003a〜1003d
には、復号化の後に適用するポストフィルタおよび色差
信号の4:2:0形式から4:2:2形式への変換を行
う変換フィルタが内蔵されている。本実施形態では、既
存の各分割画像復号化部1003a〜1003dに既に
内蔵されているポストフィルタおよび色差信号の4:
2:0形式から4:2:2形式への変換フィルタを使用
して、画面合成前にこれらの処理を行う。このため、H
DTV画面の状態での専用のポストフィルタおよび変換
フィルタを新たに用意する必要がない。
には、復号化の後に適用するポストフィルタおよび色差
信号の4:2:0形式から4:2:2形式への変換を行
う変換フィルタが内蔵されている。本実施形態では、既
存の各分割画像復号化部1003a〜1003dに既に
内蔵されているポストフィルタおよび色差信号の4:
2:0形式から4:2:2形式への変換フィルタを使用
して、画面合成前にこれらの処理を行う。このため、H
DTV画面の状態での専用のポストフィルタおよび変換
フィルタを新たに用意する必要がない。
【0099】これらのフィルタのタップ範囲について
も、第5の実施形態で説明したプリフィルタ等の場合と
同様に、分割画面の重複量に基づいて制約を設ける。す
なわち、本実施形態においても輝度信号の重複量が水平
32画素、垂直32フレームラインとしているので、輝
度信号については左右方向に各16タップまで、上下方
向に各8タップ(フィールドフィルタの場合)または各
16タップ(フレームフィルタの場合)までフィルタの
タップ範囲を取ることが可能である。色差信号について
は、左右方向に各8タップまで、上下方向に各4タップ
(フィールドフィルタの場合)または各8タップ(フレ
ームフィルタの場合)までフィルタのタップ範囲を取る
ことが可能である。この制約を守らないと、フィルタ演
算が各分割画面枠外のデータを参照することとなり、画
面分割境界付近において画質劣化が見えてしまう可能性
がある。逆に、上記のタップ範囲の制約を守れば、表示
される部分の画素についてのフィルタ演算では、必要な
画素がすべて存在することになる。
も、第5の実施形態で説明したプリフィルタ等の場合と
同様に、分割画面の重複量に基づいて制約を設ける。す
なわち、本実施形態においても輝度信号の重複量が水平
32画素、垂直32フレームラインとしているので、輝
度信号については左右方向に各16タップまで、上下方
向に各8タップ(フィールドフィルタの場合)または各
16タップ(フレームフィルタの場合)までフィルタの
タップ範囲を取ることが可能である。色差信号について
は、左右方向に各8タップまで、上下方向に各4タップ
(フィールドフィルタの場合)または各8タップ(フレ
ームフィルタの場合)までフィルタのタップ範囲を取る
ことが可能である。この制約を守らないと、フィルタ演
算が各分割画面枠外のデータを参照することとなり、画
面分割境界付近において画質劣化が見えてしまう可能性
がある。逆に、上記のタップ範囲の制約を守れば、表示
される部分の画素についてのフィルタ演算では、必要な
画素がすべて存在することになる。
【0100】このように本実施形態においては、符号化
部で付加されたストリームIDを用いて、復号化部で各
分割画面のストリームを識別するとともに、重複させて
分割した上で分割画像符号化部の内蔵フィルタ、分割画
面復号化部の内蔵フィルタを使用するようにしたので、
既存の符号化装置・既存の復号化装置を最大限に活用し
てHDTV画像の符号化・復号化を行うことができる。
部で付加されたストリームIDを用いて、復号化部で各
分割画面のストリームを識別するとともに、重複させて
分割した上で分割画像符号化部の内蔵フィルタ、分割画
面復号化部の内蔵フィルタを使用するようにしたので、
既存の符号化装置・既存の復号化装置を最大限に活用し
てHDTV画像の符号化・復号化を行うことができる。
【0101】本発明は上記第1〜第6の実施形態にとど
まることなく、種々の変形・応用が可能である。たとえ
ば、画面サイズはここに記したものだけでなく、種々の
サイズが可能であるし、画面分割数および分割方法や、
サブサンプルの比率も種々のものがあり得る。もちろ
ん、HDTVだけでなく、HDTVの数倍の画素数を有
するUDTV(超高精細テレビジョン)のようなシステ
ムにも適用できる。
まることなく、種々の変形・応用が可能である。たとえ
ば、画面サイズはここに記したものだけでなく、種々の
サイズが可能であるし、画面分割数および分割方法や、
サブサンプルの比率も種々のものがあり得る。もちろ
ん、HDTVだけでなく、HDTVの数倍の画素数を有
するUDTV(超高精細テレビジョン)のようなシステ
ムにも適用できる。
【0102】
【発明の効果】以上説明したように、本発明によれば既
存の小規模かつ安価な符号化装置を用いて、HDTV信
号のような画素数の多い大画面に適した画面構成の動画
像信号の符号化を行うことができる動画像符号化装置を
提供することができる。
存の小規模かつ安価な符号化装置を用いて、HDTV信
号のような画素数の多い大画面に適した画面構成の動画
像信号の符号化を行うことができる動画像符号化装置を
提供することができる。
【0103】具体的には、本発明のよ動画像符号化装置
によると、既存の小規模かつ安価な符号化装置を用いて
HDTV信号などの動画像信号の符号化を行い、正規の
復号装置で復号可能な単一のビデオストリームを生成す
ることができる。さらに、既存の小規模かつ安価な符号
化装置を用いてHDTV信号などの動画像信号の符号化
を行い、分割復号の可能な単一のシステム多重ストリー
ムを生成することができる。
によると、既存の小規模かつ安価な符号化装置を用いて
HDTV信号などの動画像信号の符号化を行い、正規の
復号装置で復号可能な単一のビデオストリームを生成す
ることができる。さらに、既存の小規模かつ安価な符号
化装置を用いてHDTV信号などの動画像信号の符号化
を行い、分割復号の可能な単一のシステム多重ストリー
ムを生成することができる。
【図1】 本発明の第1の実施形態に係る動画像符号化
装置の構成図
装置の構成図
【図2】 同実施形態における画面分割を示す図
【図3】 同実施形態におけるスライス単位の統合の説
明に用いる図
明に用いる図
【図4】 本発明の第2の実施形態に係る動画像符号化
装置の構成図
装置の構成図
【図5】 本発明の第3の実施形態に係る動画像符号化
装置の構成図
装置の構成図
【図6】 本発明の第4の実施形態に係る動画像符号化
/復号化システムの構成図
/復号化システムの構成図
【図7】 本発明の第5実施形態に係る動画像符号化装
置の構成図
置の構成図
【図8】 同実施形態におけるサンプル数変換を示す図
【図9】 同実施形態における画面分割を示す図
【図10】 同実施形態における水平重複領域の拡大図
【図11】 同実施形態におけるタイムスタンプの修正
の様子を示す図
の様子を示す図
【図12】 本発明の第6の実施形態に係る動画像符号
化/復号化システムの構成図
化/復号化システムの構成図
101…動画像信号入力端子 102…画面分割部 103a〜103f…分割画像符号化部 103,103A〜103C…符号化部 104…統合ストリーム生成部 105…ビットストリーム出力端子 106…制御部 107,107A〜107C…記憶部 401…伝送または蓄積部 402…MP@HL復号化部 403…再生画像信号出力端子 501…動画像信号入力端子 502…画面分割部 503a〜503d…分割画像符号化部 504a〜504d…1次システム多重部 505…2次システム多重部 506…システム多重部 507…システム多重ストリーム出力端子 508…オーディオデータ入力端子 509…制御部 1001…伝送または蓄積部 1002…ストリーム分離部 1003a〜1003d…分割画像復号化部 1004…画面合成部 1005…再生画像信号出力端子 1006…オーディオデータ出力端子
Claims (21)
- 【請求項1】入力動画像信号を構成する各画面をN個
(N≧2)の分割画面に分割してN個の分割動画像信号
を生成する分割手段と、 前記N個の分割動画像信号に対して前記分割画面の各々
を1画面とする符号化を行ってN個のビデオストリーム
出力を得る符号化手段と、 前記N個のビデオストリーム出力を1つのビデオストリ
ームに統合する統合手段とを具備したことを特徴とする
動画像符号化装置。 - 【請求項2】前記分割手段は、前記分割画面が互いに重
複する領域を持たないように前記入力動画像信号を構成
する各画面を分割することを特徴とする請求項1に記載
の動画像符号化装置。 - 【請求項3】前記分割手段は、前記分割画面の個数Nを
6とし、前記入力動画像信号を構成する各画面を縦方向
に2分割、横方向に3分割することを特徴とする請求項
1に記載の動画像符号化装置。 - 【請求項4】前記入力動画像信号を構成する各画面の画
面構成は、輝度信号が横方向に1920画素、縦方向に
1024フレームライン以上、1152フレームライン
以下であって、6個の分割画面の画面構成は、それぞれ
輝度信号が横方向に640画素、縦方向に512フレー
ムライン以上、576フレームライン以下であることを
特徴とする請求項3に記載の動画像符号化装置。 - 【請求項5】前記符号化手段は、前記分割動画像信号を
動き補償予測符号化する符号化モードを有し、動き補償
予測符号化時には他の分割動画像信号を参照せずに符号
化を行うことを特徴とする請求項1に記載の動画像符号
化装置。 - 【請求項6】前記統合手段は、前記N個のビデオストリ
ーム出力を前記入力動画像信号におけるラスタスキャン
順に対応させて1または複数のスライスを単位として時
分割多重することにより1つのビデオストリームに統合
することを特徴とする請求項1に記載の動画像符号化装
置。 - 【請求項7】入力動画像信号を構成する各画面をN個
(N≧2)の分割画面に分割してN個の分割動画像信号
を生成する分割手段と、 前記N個の分割動画像信号に対して前記分割画面の各々
を1画面とする符号化を行ってN個のビデオストリーム
出力を得る符号化手段と、 前記N個のビデオストリーム出力についてシステム多重
を行って1つのシステム多重ストリームを出力するシス
テム多重手段とを具備したことを特徴とする動画像符号
化装置。 - 【請求項8】前記符号化手段は、前記N個の分割動画像
信号に対して前記分割画面の各々を1画面とする符号化
を並列に行うN個の符号化装置からなることを特徴とす
る請求項1または7に記載の動画像符号化装置。 - 【請求項9】前記符号化手段は、前記N個の分割動画像
信号に対して前記分割画面の各々を1画面とする符号化
を時分割で行う1個の符号化装置からなることを特徴と
する請求項1または7に記載の動画像符号化装置。 - 【請求項10】前記符号化手段は、前記N個の分割動画
像信号に対して前記分割画面の各々を1画面とする符号
化を並列かつ時分割で行う2個以上、N−1個以下の符
号化装置からなることを特徴とする請求項1または7に
記載の動画像符号化装置。 - 【請求項11】前記分割手段は、前記分割画面の各々が
垂直および水平方向で一部重複するように前記入力動画
像信号を構成する各画面を分割し、かつ前記入力動画像
信号の画素に換算した垂直方向の重複量を少なくとも輝
度信号で32フレームライン/垂直サブサンプル比率、
前記入力動画像信号の画素に換算した水平方向の重複量
を少なくとも輝度信号で32画素/水平サブサンプル比
率とすることを特徴とする請求項7に記載の動画像符号
化装置。 - 【請求項12】前記分割手段は、前記分割画面の各々が
垂直および水平方向で一部重複するように前記入力動画
像信号を構成する各画面を分割するものであり、 前記符号化手段は、前記分割画面の垂直および水平方向
の重複量に基づいてタップ範囲が設定されたフィルタを
有することを特徴とする請求項7に記載の動画像符号化
装置。 - 【請求項13】前記システム多重手段は、前記N個のビ
デオストリーム出力にそれぞれ異なるIDを付加するこ
とを特徴とする請求項7に記載の動画像符号化装置。 - 【請求項14】前記システム多重手段は、前記入力動画
像信号の同一画面から分割された各分割画面を同一時刻
に復号し同一時刻に表示するタイムスタンプを少なくと
も一部の前記各分割画面に付加することを特徴とする請
求項7に記載の動画像符号化装置。 - 【請求項15】前記システム多重手段は、音声データを
多重する際に同一時刻に対応する音声データには同一時
刻に再生するタイムスタンプを付加することを特徴とす
る請求項7に記載の動画像符号化装置。 - 【請求項16】前記符号化手段は、前記各分割動画像信
号毎に独立に符号量を制御するとともに、前記各分割動
画像信号の符号化最大レートを前記入力動画像信号に対
する符号化最大レートのN分の1以下に制限して符号化
することを特徴とする請求項7に記載の動画像符号化装
置。 - 【請求項17】前記システム多重手段は、前記N個のビ
デオストリーム出力のそれぞれについて第1のシステム
多重を行ってN個の第1システム多重ストリームを得る
第1システム多重手段と、前記N個の第1システム多重
ストリームについて第2のシステム多重を行って1つの
システム多重ストリームを出力する第2システム多重手
段とからなることを特徴とする請求項7に記載の動画像
符号化装置。 - 【請求項18】前記システム多重手段は、前記N個のビ
デオストリーム出力のそれぞれについて第1のシステム
多重を行ってN個の第1システム多重ストリームを得る
第1システム多重手段と、前記N個の第1システム多重
ストリームについて第2のシステム多重を行って1つの
システム多重ストリームを出力する第2システム多重手
段とからなり、 前記符号化手段は、少なくとも前記第2システム多重手
段における多重ジッタの分だけ仮想受信バッファサイズ
をあらかじめ小さくし前記仮想受信バッファの占有量に
基づく符号量制御を行って符号化することを特徴とする
請求項7に記載の動画像符号化装置。 - 【請求項19】入力動画像信号を構成する各画面をN個
(N≧2)の分割画面に分割して生成されたN個の分割
動画像信号に対して前記分割画面の各々を1画面とする
符号化を行って生成されるN個のビデオストリーム出力
を前記入力動画像信号におけるラスタスキャン順に対応
させて1または複数のスライスを単位として時分割多重
することにより1つに統合したビデオストリームを受信
し、該ビデオストリームを前記分割画面の各々に対応さ
せて分割することなく前記ラスタスキャン順に復号を行
う復号化手段を具備したことを特徴とする動画像復号化
装置。 - 【請求項20】入力動画像信号を構成する各画面をN個
(N≧2)の分割画面に分割して生成されたN個の分割
動画像信号に対して前記分割画面の各々を1画面とする
符号化を行って生成されるN個のビデオストリーム出力
にそれぞれ異なるIDを付加してシステム多重を行って
得られる1つのシステム多重ストリームを受信し、該シ
ステム多重ストリームを前記分割画面の各々に対応させ
て分割して復号する復号化手段と、 前記復号化手段により得られた分割動画像信号を合成し
て再生動画像信号を出力する合成手段とを具備したこと
を特徴とする動画像復号化装置。 - 【請求項21】前記分割画面は、該分割画面の各々が垂
直方向および水平方向に一部重複するように分割された
ものであり、 前記復号化手段は、前記分割画面の垂直および水平方向
の重複量に基づいてタップ範囲が設定されたフィルタを
有することを特徴とする請求項20に記載の動画像復号
化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3636497A JPH10234043A (ja) | 1997-02-20 | 1997-02-20 | 動画像符号化/復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3636497A JPH10234043A (ja) | 1997-02-20 | 1997-02-20 | 動画像符号化/復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10234043A true JPH10234043A (ja) | 1998-09-02 |
Family
ID=12467788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3636497A Pending JPH10234043A (ja) | 1997-02-20 | 1997-02-20 | 動画像符号化/復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10234043A (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1143737A2 (en) * | 2000-03-30 | 2001-10-10 | Sony Corporation | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus |
JP2008166862A (ja) * | 2006-12-26 | 2008-07-17 | Fujitsu Ltd | 符号化復号システム、符号化システムおよび復号システム |
US7522665B2 (en) | 2002-07-04 | 2009-04-21 | Lg Electronics Inc. | Mobile terminal with camera |
JP2009111712A (ja) * | 2007-10-30 | 2009-05-21 | Canon Inc | 映像符号化装置及び方法 |
WO2009066626A1 (ja) * | 2007-11-22 | 2009-05-28 | Nec Corporation | 画像撮影装置、エンコード方法およびプログラム |
WO2009147795A1 (ja) * | 2008-06-05 | 2009-12-10 | パナソニック株式会社 | 映像処理システム |
WO2009150808A1 (ja) * | 2008-06-10 | 2009-12-17 | パナソニック株式会社 | 画像復号装置および画像符号化装置 |
JP2010279082A (ja) * | 2010-09-13 | 2010-12-09 | Fujitsu Ltd | 画像処理システム |
JP2011009887A (ja) * | 2009-06-24 | 2011-01-13 | Nippon Hoso Kyokai <Nhk> | 画像補正装置及びそのプログラム |
US7940990B2 (en) | 2006-08-02 | 2011-05-10 | Sony Corporation | Image signal processing apparatus and image signal processing method |
US8340506B2 (en) | 2009-02-05 | 2012-12-25 | Sony Corporation | System and method for signal processing |
JP2013059021A (ja) * | 2011-08-25 | 2013-03-28 | Mitsubishi Electric Corp | ゼロツリーにおけるウェーブレット係数の分散情報源符号化のための方法 |
JP2013157759A (ja) * | 2012-01-30 | 2013-08-15 | Nippon Hoso Kyokai <Nhk> | 映像配信装置、端末装置及びこれらのプログラム、並びに、映像配信システム |
WO2013140485A1 (ja) * | 2012-03-17 | 2013-09-26 | 富士通株式会社 | 符号化装置、復号化装置、符号化方法および復号化方法 |
WO2013145126A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士通株式会社 | 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 |
WO2013150943A1 (ja) * | 2012-04-06 | 2013-10-10 | ソニー株式会社 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
JP2014116836A (ja) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置及び映像符号化プログラム |
JP2014230068A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社Jvcケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
WO2015118841A1 (ja) * | 2014-02-10 | 2015-08-13 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
WO2017051492A1 (ja) * | 2015-09-24 | 2017-03-30 | 日本電気株式会社 | 映像符号化装置及び映像復号装置 |
WO2017158850A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社ソシオネクスト | 画像処理装置、および画像処理方法 |
US9948940B2 (en) | 2013-04-10 | 2018-04-17 | Fujitisu Limited | Encoding apparatus, decoding apparatus, encoding method, and decoding method |
JP2018117308A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 再生装置及びその制御方法 |
KR20190008193A (ko) * | 2016-05-13 | 2019-01-23 | 소니 주식회사 | 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 |
-
1997
- 1997-02-20 JP JP3636497A patent/JPH10234043A/ja active Pending
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1143737A3 (en) * | 2000-03-30 | 2004-06-16 | Sony Corporation | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus |
EP1143737A2 (en) * | 2000-03-30 | 2001-10-10 | Sony Corporation | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus |
US7522665B2 (en) | 2002-07-04 | 2009-04-21 | Lg Electronics Inc. | Mobile terminal with camera |
US7940990B2 (en) | 2006-08-02 | 2011-05-10 | Sony Corporation | Image signal processing apparatus and image signal processing method |
US8036266B2 (en) | 2006-12-26 | 2011-10-11 | Fujitsu Limited | Encoding/decoding system, encoding system, and decoding system |
JP2008166862A (ja) * | 2006-12-26 | 2008-07-17 | Fujitsu Ltd | 符号化復号システム、符号化システムおよび復号システム |
JP4607856B2 (ja) * | 2006-12-26 | 2011-01-05 | 富士通株式会社 | 符号化復号システム及び符号化復号方法 |
JP2009111712A (ja) * | 2007-10-30 | 2009-05-21 | Canon Inc | 映像符号化装置及び方法 |
EP2200318A4 (en) * | 2007-11-22 | 2013-05-22 | Nec Corp | PICTURE DEVICE AND CODING METHOD AND PROGRAM THEREFOR |
EP2200318A1 (en) * | 2007-11-22 | 2010-06-23 | Nec Corporation | Image capturing device, encoding method, and program |
WO2009066626A1 (ja) * | 2007-11-22 | 2009-05-28 | Nec Corporation | 画像撮影装置、エンコード方法およびプログラム |
WO2009147795A1 (ja) * | 2008-06-05 | 2009-12-10 | パナソニック株式会社 | 映像処理システム |
JPWO2009147795A1 (ja) * | 2008-06-05 | 2011-10-20 | パナソニック株式会社 | 映像処理システム |
US9042457B2 (en) | 2008-06-10 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Image decoding apparatus and image coding apparatus wth parallel decoding |
WO2009150808A1 (ja) * | 2008-06-10 | 2009-12-17 | パナソニック株式会社 | 画像復号装置および画像符号化装置 |
JP5756921B2 (ja) * | 2008-06-10 | 2015-07-29 | パナソニックIpマネジメント株式会社 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
US8340506B2 (en) | 2009-02-05 | 2012-12-25 | Sony Corporation | System and method for signal processing |
JP2011009887A (ja) * | 2009-06-24 | 2011-01-13 | Nippon Hoso Kyokai <Nhk> | 画像補正装置及びそのプログラム |
JP2010279082A (ja) * | 2010-09-13 | 2010-12-09 | Fujitsu Ltd | 画像処理システム |
JP2013059021A (ja) * | 2011-08-25 | 2013-03-28 | Mitsubishi Electric Corp | ゼロツリーにおけるウェーブレット係数の分散情報源符号化のための方法 |
JP2013157759A (ja) * | 2012-01-30 | 2013-08-15 | Nippon Hoso Kyokai <Nhk> | 映像配信装置、端末装置及びこれらのプログラム、並びに、映像配信システム |
WO2013140485A1 (ja) * | 2012-03-17 | 2013-09-26 | 富士通株式会社 | 符号化装置、復号化装置、符号化方法および復号化方法 |
US9591283B2 (en) | 2012-03-17 | 2017-03-07 | Fujitsu Limited | Encoding appartus, decoding apparatus, encoding method, and decoding method |
WO2013145126A1 (ja) * | 2012-03-27 | 2013-10-03 | 富士通株式会社 | 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 |
JPWO2013145126A1 (ja) * | 2012-03-27 | 2015-08-03 | 富士通株式会社 | 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 |
US9560381B2 (en) | 2012-03-27 | 2017-01-31 | Fujitsu Limited | Encoding system, device, and method |
WO2013150943A1 (ja) * | 2012-04-06 | 2013-10-10 | ソニー株式会社 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
US10630980B2 (en) | 2012-04-06 | 2020-04-21 | Sony Corporation | Decoding device and decoding method, and encoding device and encoding method |
JP2018057008A (ja) * | 2012-04-06 | 2018-04-05 | ソニー株式会社 | 符号化装置および符号化方法 |
JP2019110566A (ja) * | 2012-04-06 | 2019-07-04 | ソニー株式会社 | 符号化装置および符号化方法 |
JPWO2013150943A1 (ja) * | 2012-04-06 | 2015-12-17 | ソニー株式会社 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
JP2016178698A (ja) * | 2012-04-06 | 2016-10-06 | ソニー株式会社 | 符号化装置および符号化方法 |
US9998734B2 (en) | 2012-04-06 | 2018-06-12 | Sony Corporation | Decoding device and decoding method, and encoding device and encoding method |
JP2014116836A (ja) * | 2012-12-11 | 2014-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置及び映像符号化プログラム |
US9948940B2 (en) | 2013-04-10 | 2018-04-17 | Fujitisu Limited | Encoding apparatus, decoding apparatus, encoding method, and decoding method |
JP2014230068A (ja) * | 2013-05-22 | 2014-12-08 | 株式会社Jvcケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
JPWO2015118841A1 (ja) * | 2014-02-10 | 2017-03-23 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
US10116944B2 (en) | 2014-02-10 | 2018-10-30 | Nec Corporation | Video encoding device, video encoding method, and program |
WO2015118841A1 (ja) * | 2014-02-10 | 2015-08-13 | 日本電気株式会社 | 映像符号化装置、映像符号化方法およびプログラム |
WO2017051492A1 (ja) * | 2015-09-24 | 2017-03-30 | 日本電気株式会社 | 映像符号化装置及び映像復号装置 |
WO2017158850A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社ソシオネクスト | 画像処理装置、および画像処理方法 |
CN108886622A (zh) * | 2016-03-18 | 2018-11-23 | 株式会社索思未来 | 图像处理装置以及图像处理方法 |
JPWO2017158850A1 (ja) * | 2016-03-18 | 2019-01-24 | 株式会社ソシオネクスト | 画像処理装置、および画像処理方法 |
KR20190008193A (ko) * | 2016-05-13 | 2019-01-23 | 소니 주식회사 | 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 |
JPWO2017195650A1 (ja) * | 2016-05-13 | 2019-03-14 | ソニー株式会社 | 生成装置および生成方法、並びに、再生装置および再生方法 |
JP2018117308A (ja) * | 2017-01-20 | 2018-07-26 | キヤノン株式会社 | 再生装置及びその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH10234043A (ja) | 動画像符号化/復号化装置 | |
US5623308A (en) | Multiple resolution, multi-stream video system using a single standard coder | |
US8817885B2 (en) | Method and apparatus for skipping pictures | |
US5691768A (en) | Multiple resolution, multi-stream video system using a single standard decoder | |
US5510842A (en) | Parallel architecture for a high definition television video decoder having multiple independent frame memories | |
JP3338639B2 (ja) | ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法 | |
JP3617573B2 (ja) | フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機 | |
US20100271463A1 (en) | System and method for encoding 3d stereoscopic digital video | |
KR20010022752A (ko) | 디지털 비디오 레코더용 트릭 플레이 신호 발생 | |
CN1246234A (zh) | 一种多格式视频信号处理器的存储器结构 | |
JPH07203433A (ja) | デジタル画像符号化方法及びデジタル画像復号化方法 | |
JPH0759047A (ja) | トリックプレイ機能を備えたデジタル高精細度テレビ映像記録装置 | |
JP2001285876A (ja) | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 | |
WO1994022268A1 (en) | Method for coding or decoding time-varying image, and apparatuses for coding/decoding | |
US20050117654A1 (en) | High-definition dual video decoder and decoding method, and digital broadcasting receiver using the same | |
JP5118794B2 (ja) | Mpegと他のデータフォーマットに適したプログレッシブビデオシーケンスの送信 | |
KR101154743B1 (ko) | 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치 | |
JP2933561B2 (ja) | 動画符号変換装置 | |
US9001892B2 (en) | Moving image encoder and moving image decoder | |
KR20050010747A (ko) | 복호 장치 및 복호 방법 | |
JP2002502159A (ja) | 高性能テレビジョン信号の符号化および復号化の方法と装置 | |
US7054370B2 (en) | Apparatus and method of transcoding video snap image | |
JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
JP3962053B2 (ja) | 動画像再符号化装置 | |
JP2001346207A (ja) | 画像情報変換装置及び方法 |