JP2002369220A - 拡張画像の符号化方法、拡張画像の復号化方法、拡張画像符号化装置、拡張画像復号化装置、及び拡張画像記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 標準方式のメインプロファイルにより符
号化されて伝送される圧縮符号化信号の伝送フォーマッ
トを変更せずに上位階層構造の画像データを伝送する拡
張符号化画像伝送装置の構成を提供することにある。 【解決手段】 国際標準とされる符号化規格に基づいた
符号化ビットストリームを生成する際に、挿入が許可さ
れるユーザデータ記録領域に、上位階層構造の画像デー
タを得るための差分画像信号を符号化し、挿入して伝送
するようにし、通常の復号化器はメインプロファイル符
号化標準による画像信号を、またユーザデータ領域で伝
送される差分画像信号を復号化可能な復号化器は、通常
復号化画像に復号した差分画像信号を加算することによ
り上位階層の画像信号を得るように構成して実現した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、階層性を有する圧
縮符号化信号の生成、ないしはその復号に関するもの
で、特に市場に導入されている圧縮符号化データと互換
性を保ちながら、上位階層差分データを同一圧縮符号化
データとして生成する拡張画像の符号化方法、及び拡張
画像の復号化方法と、その方法を搭載した拡張画像符号
化装置、及び拡張画像復号化装置と、更にその符号化デ
ータを記録した拡張画像記録媒体に関する。

【０００２】

【従来の技術】テレビジョン信号などの動画像信号を高
能率符号化する技術として、いわゆるＭＰＥＧ（moving
picture experts group）規格がディジタル放送、ＤＶ
Ｄ（Digital versatile Disc）、ディジタルテープレコ
ーダ、及び通信ネットワークで伝送される信号として広
く用いられるようになってきた。

【０００３】そのＭＰＥＧは、１９８８年ＩＳＯ／ＩＥ
Ｃ（International Organization for Standardization
/ International Electrotechnical Commission）のＪ
ＴＣ１／ＳＣ２（Joint Technical Committee 1 / Sub
committee 2国際標準化機構/国際電気標準化会合同技術
委員会1/専門部会2）に設立された動画像符号化標準を
検討する組織である。

【０００４】そのＳＣ２は、現在ＳＣ２９として動画、
及び音響信号等の符号化に係る規格制定活動を継続して
おり、またＭＰＥＧの人達により制定された国際標準は
通俗的にＭＰＥＧとも呼ばれている。

【０００５】最初に制定されたＭＰＥＧ１（ＭＰＥＧフ
ェーズ1）は１．５Ｍｂｐｓ程度の伝送レートで記録さ
れる蓄積メディアを対象とした、音響信号の付随される
動画信号の符号化標準で、静止画の符号化を目的とする
ＪＰＥＧ（Joint Photographic Coding Experts Grou
p）と、ＩＳＤＮ（Integrated services digital netwo
rk）のテレビ会議やテレビ電話の低転送レート用の動画
像圧縮を目的としたＨ．２６１（CCITT SGXV、現在のIT
U-T SG15で標準化）の基本的な技術を用いた符号化標準
である。

【０００６】そのようにしてＭＰＥＧ１は１９９３年８
月に、ＩＳＯ／ＩＥＣ１１１７２として制定され、その
ＭＰＥＧ１規格により符号化されて記録されたディスク
は多く製品化されている。

【０００７】その後制定されたＭＰＥＧ２（ＭＰＥＧフ
ェーズ２）は、通信及び放送などの多様なアプリケーシ
ョンに対応できるように汎用標準を目的として、１９９
４年１１月にＩＳＯ／ＩＥＣ１３８１８、及び「Ｈ．２
６２」として制定されている。

【０００８】これらのＭＰＥＧ１及びＭＰＥＧ２による
符号化は複数の符号化技術より構成されており、それら
の技術は動画像を構成する「フレーム」画像を「マクロブ
ロック」と呼ばれる１６×１６画素のブロック毎に分割
し、各マクロブロック単位ごとに、時間的に未来または
過去に所定の数フレーム離れた参照画像と被符号化画像
との間で「動きベクトル」と呼ばれる動き量を求め、そ
の動き量を基に参照画像から被符号化画像を符号化する
「動き補償予測」技術と、その動き補償予測の誤差信号
または被符号化画像そのものに対して、直交変換技術の
一つであるＤＣＴ（Discrete Cosine Transform ：離散
コサイン変換）を用いて画像情報を周波数情報量に変換
し、その変換された周波数領域の情報より視覚的に有意
な情報のみを得るようにして圧縮符号化を行う「変換符
号化」技術と、の２つの画像符号化の要素技術を基にし
て規定されている。

【０００９】そして、動き補償予測における予測の方向
は、過去、未来、及び過去未来の両方から予測する場合
の３モードが存在し、それらの３モードは１６画素×１
６画素のデータよりなるマクロブロックごとに切り替え
て使用できるようになされている。

【００１０】また、それらの予測方向は入力画像のフレ
ームに与えられるピクチャタイプ、即ちＩ（Intra-code
d）、Ｐ（Predictive-coded）、及びＢ（Bidirectional
ly predictive-coded）の３種類のピクチャタイプが定
められている。

【００１１】そのIピクチャは動き予測を行わずに符号
化するピクチャであるが、Ｐピクチャには過去からの予
測、及び予測を行わずに符号化する２モードが存在して
おり、またＢピクチャには未来からの予測、過去からの
予測、過去及び未来の両方向からの予測、及び予測を行
わずにフレーム内符号化を行う４つのＭＣ(Motion Comp
ensation)モードがある。

【００１２】それらの未来、ないしは過去の画像を用い
て行う動き補償は、動き領域をマクロブロックごとにパ
ターンマッチングを行ってハーフペル（画素間距離の１
／２）精度で動きベクトルを求め、求められた動きベク
トル量に対応させて未来、ないしは過去の参照画像位置
をそのベクトル方向に移動させた画像を基に供給される
画像信号の符号化を行う。

【００１３】そのようにして求められる動きベクトルの
方向には水平方向と垂直方向とがあり、それらのベクト
ル情報はＭＣモードと共にマクロブロックの付加情報と
して伝送されるようになされている。

【００１４】また、そのようにしてなされるピックチャ
データのうち、Ｉ、Ｐ、及びＢの３種類のピクチャはＩ
ピクチャを先頭として所定の順に並べられて伝送され、
そのＩピクチャより次のIピクチャの手前のピクチャま
でのピクチャ（フレーム画像）の集合をＧＯＰ(Group O
f Picture)と呼び、通常の蓄積メディアなどでなされる
符号化においては、１５枚程度のピクチャによりＧＯＰ
が構成されるようになされている。

【００１５】そして、Ｉピクチャ、及び動き補償画像と
して符号化されるＰ、及びＢピクチャはＤＣＴ（discre
te cosine transform）、即ち余弦関数を積分核とする
積分変換が有限空間へ離散変換する直交変換としてなさ
れる。

【００１６】その直交変換はマクロブロックを８画素×
８画素の輝度信号に係る４個のＤＣＴブロックと、青信
号より輝度信号を減算したＢ−Ｙと、赤信号より輝度信
号を減算したそれぞれ１個の８画素×８画素のＤＣＴブ
ロックに分割されて２次元ＤＣＴを行われるが、一般に
それらのＤＣＴブロック画像データの周波数成分は低域
成分に多く高域成分は少ないため、画像データはＤＣＴ
を行い低域周波数に集中された変換係数により表現する
ことができる。

【００１７】そして、そのＤＣＴされた画像データ（Ｄ
ＣT係数）は量子化器で量子化が行われる。即ちその量
子化器により、ＤＣＴ係数は所定の量子化値により叙算
されて求められるが、その量子化値は８画素×８画素の
２次元周波数を視覚特性で重み付けされた量子化値とし
て得られるが、その量子化値は所定の量子化スケールに
よりスカラー倍されたものが用いられる。

【００１８】また、その量子化値は符号化された画像デ
ータの復号時に得られる逆量子化値を乗算することによ
り、デコード時にはエンコード時に与えられた量子化値
による特性が打ち消されるようになっている。

【００１９】次に、この様な手法により符号化及び復号
化を行うＭＰＥＧ符号化器の構成について述べる。図１
５に、ＭＰＥＧ符号化器の構成を示し、その動作の概略
を述べる。

【００２０】そのＭＰＥＧ符号化器５０は入力端子５
１、加算器５２、ＤＣＴ器５３、量子化器５４、ＶＬＣ
器５５、バッファ５６、符号量制御器５７、逆量子化器
６１、逆ＤＣＴ器６２、加算器６３、画像メモリ６４、
及び動き補償予測器６５より構成される。

【００２１】まず、入力端子５１に供給された動画信号
は動き補償予測器６５及び加算器５２に供給され、その
加算器５２では動き補償予測器６５より供給される信号
は極性反転されて加算され、加算されて得られる信号は
ＤＣＴ器５３に供給される。

【００２２】そのＤＣＴ器５３では、供給される画像信
号は前記の離散余弦変換が行われ、変換して得られるＤ
ＣＴ変換係数は量子化器５４に供給され、前記所定の量
子化値を基に量子化がなされ、量子化のなされた量子化
データは逆量子化器６１、及びＶＬＣ（variable lengt
h coding）器５５に供給される。

【００２３】そのＶＬＣ器５５では、供給された量子化
データは可変長符号化されるが、量子化された値のうち
ＤＣＴ変換がなされて得られる直流（ＤＣ）成分はＤＰ
ＣＭ（differential pulse code modulation)変調がな
される。

【００２４】また、交流（ＡＣ）成分は低域周波数成分
のデータより高域周波数成分のデータの順にジグザグス
キャン（zigzag scan）がされながら得られ、その得ら
れたデータはゼロのラン長および有効係数値を１つの事
象とし、出現確率の高いものから順に符号長の短い符号
が割り当てられるようにして、ハフマン符号化がなされ
る。

【００２５】その可変長符号化である、ハフマン符号化
のなされたデータはバッファ５６に一時記憶され、一時
記憶されたデータは所定の転送レートにより符号化デー
タ出力として供給される。

【００２６】そして、その供給されるデータのマクロブ
ロック毎の発生符号量は、符号量制御器５７に供給され
て、予め設定されている目標符号量と比較され、比較し
て得られる発生符号量との差の符号量は量子化器５４に
供給され、量子化器５４ではその差の符号量を基に量子
化スケールの値を変更するなどにより所定の転送レート
の符号化データが得られるようにして符号量の制御がな
される。

【００２７】一方、量子化器５４で量子化された画像デ
ータは逆量子化器６１に供給されて逆量子化がなされ、
その逆量子化のなされたデータは逆ＤＣＴ器６２に供給
されて、そこで逆ＤＣＴがなされ、その逆ＤＣＴされた
データは加算器６３に供給される。

【００２８】その加算器６３では動き補償予測器６５よ
り供給される参照画像と加算され、その加算して得られ
る信号は画像メモリ６４に供給されて、そこに一時記憶
される。その一時記憶された画像データは、動き補償予
測器６５において差分画像を演算するためのリファレン
ス復号化画像として用いられることにより、ＭＰＥＧ符
号器５０より動き補償のされた符号化データとして得ら
れるようになされている。

【００２９】このようにして得られた符号化データはＭ
ＰＥＧ復号化器に供給されて復号される。図１６に、Ｍ
ＰＥＧ復号化器の構成を示し、その動作の概略について
述べる。

【００３０】同図に示すＭＰＥＧ復号化器７０は、デー
タ入力端子７１、バッファ７２、ＶＬＤ器７３、逆量子
化器７４、逆ＤＣＴ器７５、加算器７６、画像メモリ７
７、及び動き補償予測器７８より構成される。

【００３１】まず、入力端子７１に供給された符号化デ
ータはバッファ７２に一時記憶され、一時記憶された符
号化データは必要に応じてＶＬＤ（variable length de
coding）器７３に供給される。

【００３２】そのＶＬＤ器７３では、ＶＬＣ器５５によ
り符号化されたデータの可変長復号が行われ、前述の直
流（ＤＣ）成分および交流（ＡＣ）成分に係るデータが
得られる。

【００３３】それらの得られたデータのうち交流成分の
データはＭＰＥＧ符号化器５０でなされたと同じ低域か
ら高域周波数成分へのジグザグスキャンの順で８×８の
マトリックスに配置される量子化データとして得られ、
その得られた量子化データは逆量子化器７４に供給され
る。

【００３４】その逆量子化器７４では、前述の量子化マ
トリックスにより逆量子化がなされ、その逆量子化され
て得られるデータは逆ＤＣＴ器７５に供給され、そこで
は逆ＤＣＴ演算がなされて画像データが復号化データと
して得られる。

【００３５】そして、その得られた画像データは画像メ
モリ７７に一時記憶され、一時記憶された画像データは
動き補償予測器７８に供給され、供給された画像データ
は動き補償予測における差分画像を演算するためのリフ
ァレンス復号化画像として用いられる。

【００３６】このようにして、動画を構成する画像デー
タはＭＰＥＧ符号化器５０により符号化されて伝送、な
いしは記録され、その受信、ないしは再生された符号化
データはＭＰＥＧ復号器７０により復号されて動画情報
として得られるようになされており、このような手法は
ＭＰＥＧ１、及びＭＰＥＧ２の両者において用いられて
いる。

【００３７】そのＭＰＥＧ２による動画信号符号化の用
いられ方として、プロファイルとレベルが規定されてい
るが、そのプロファイルにはＤＶＤへの記録、及びデジ
タル衛星放送で用いられているメイン（Main）プロファ
イルの他に符号化方法を単純化して遅延時間を少なくし
たシンプル（Simple）プロファイル、後述のＳＮＲスケ
ーラブル（SNR Scalable）プロファイル、空間解像度に
階層性を持たせたスペイシャルスケーラブル（Spatial
Scalable）プロファイル、及び高度の機能を有するハイ
（High）プロファイルがある。

【００３８】そして、これらのプロファイルにおける輝
度信号と色差信号のサンプル数に係る画像フォーマット
は４：２：０画像フォーマットが主として用いられてお
り、４：２：２画像フォーマットはハイプロファイル、
ないしは上記プロファイルと並列に規定されている４２
２プロファイルでのみ使用が認められている。

【００３９】そのようにして、通常のビデオ信号の記
録、及び放送には４：２：０画像フォーマットによる画
像信号の圧縮符号化がなされており、色信号に対する解
像度が高く得られる４：２：２画像フォーマットの信号
の記録再生、及び放送はなされていない。

【００４０】しかし、昨今の情報化社会において、コン
ピュータを用いて行う画像信号の生成も普及されてき
た。そして、従来のカメラ撮影によるような彩度のあま
り高くない画像を符号化する場合ではそれほど必要とさ
れなかったが、コンピュータなどで制作された彩度及び
解像度の高い信号の符号化に対しては符号化、及び復号
化を行って得られる画質に劣化が認められるなど、４：
２：２画像フォーマットなど彩度の高い色信号に対して
も解像度の低下しない信号の符号化が望まれるようにな
った。

【００４１】そのような、色信号成分の劣化を少なくし
た画像信号の符号化及び復号化に係り、特開平９−２３
８３６６号公報「画像符号化装置及び画像復号化装置及
び符号化・復号化システム」は、画像圧縮符号化及び復
号化時に生じる色差信号ブロックより発生されるブロッ
ク歪成分が、ブロック全体に波及するのを防ぐための符
号化方式を開示している。

【００４２】即ち、その符号化方式によれば、圧縮効率
を下げないでフォーマット変換を動的に切り替える符号
化器・復号化器として、ディジタル化入力画像をフォー
マット変換し、量子化し、符号化する画像符号化装置に
おいて、フォーマット変換に際して、複数の、所定の輝
度信号と色差信号による空間解像度の画像データに変換
する複数フォーマット変換部と、設定基準で上記入力画
像データまたは量子化画像データまたは他の画像データ
の状態変化を検出して、上記複数の空間解像度の画像デ
ータのどれを出力するかを選択して出力する画像状態判
定部とを設けるようにして、選択された空間解像度の画
像データを量子化部に供給する方法について開示してい
る。

【００４３】また、空間解像度を選択して符号化及び復
号化を行う、周波数領域の階層符号化を実現する技術と
して、ＭＰＥＧ２で定められたプロファイルの中に前述
のＳＮＲスケーラビリティプロファイルがある。

【００４４】そのＳＮＲスケーラビリティプロファイル
はメインプロファイルの上位にあるＳＮＲプロファイル
として上位互換を取りつつ使用することができるプロフ
ァイルであり、そのプロファイルでは、量子化が粗いレ
イヤを基本レイヤ（Base Layer）、量子化が細かいレイ
ヤを高位レイヤ（ Enhancement Layer ）として、最初
に基本レイヤによる符号化が行われる。

【００４５】次に符号化の行われる高位レイヤでは、基
本レイヤの画像を復号化し、復号化された画像信号と入
力画像との差分を計算し、得られた差分画像を基本レイ
ヤよりも小さい量子化スケールで量子化して符号化信号
を得るようにすることが規定されている。

【００４６】このような基本レイヤ及び高位レイヤによ
る２つの符号化信号を色差信号に対して得るような機能
として用いることにより、ＳＮＲスケーラビリティと同
様な手法を用いて色差信号のサイマルキャスト機能を実
現することは可能である。

【００４７】そのサイマルキャスト機能を用いて、例え
ば基本レイヤに４：２：０の画像の輝度信号と色差信号
を符号化し、高位レイヤでは４：２：２の色差信号のみ
を符号化するようにして得た２つのビットストリームを
サイマルキャスト方式で送信することにより、復号器側
では下位レイヤのみ用いて４：２：０信号の受信を、ま
た高位レイヤをも用いて４：２：２画像フォーマットに
よる画像を得ることが可能とされる。

【００４８】そのような基本レイヤと高位レイヤにより
符号化した２つのビットストリームは、符号化レイヤよ
りも上位の多重化システムレイヤにて同期が取られなが
ら多重化されて１つのビットストリームとされて伝送さ
れることとなるが、そのようにして伝送されたビットス
トリームの受信はその多重化された信号を分離し、分離
されて得られるそれぞれの２つのビットストリームの信
号を２つの復号器により復号し、復号して得られる２つ
の信号を基に４：２：２画像フォーマットによる復号信
号を得るような専用の復号機能を有する復号器を用いて
復号を行うこととなる。

【００４９】

【発明が解決しようとする課題】しかしながら、上記の
特開平９−２３８３６６号公報による場合の方式では、
複数の色信号フォーマットのうちのどれを選択するかを
判定する画像状態判定部が必要であり、またその判定に
従ったビットストリームのフォーマットには、複数が存
在することになり、既存の復号器では復号化ができなく
互換性確保の点で問題がある。

【００５０】そして、上記ＭＰＥＧ２のＳＮＲスケーラ
ビリティプロファイルを用いて２つのフォーマットの画
像信号を伝送する方法では、２つのビットストリームが
多重化されたストリームとする以外にビットストリーム
を伝送することができないため、階層構造をもたせた１
つのビデオストリームとしてのビットストリームを得る
ことができない。

【００５１】また、そのＳＮＲスケーラビリティプロフ
ァイルを用いて２つの４：２：０、及び４：２：２の画
像フォーマットによる符号化信号を伝送するためには、
ベースとなる４：２：０画像フォーマットにより生成さ
れるビットストリームを規定している所定のアプリケー
ションの規格、及びアプリケーションフォーマットを変
更せずに階層構造を持たせることができないため、既存
のアプリケーションと互換性を確保しながら４：２：２
画像フォーマットによる画像との差分信号を生成して多
重することはできない、といった程度のものでしかなか
った。

【００５２】そこで本発明は、例えば標準方式のメイン
プロファイルによって生成され、記録、ないしは伝送さ
れている、既存のデジタル放送及びＤＶＤなどでベース
とされるビットストリームに係る所定のアプリケーショ
ン規格、及び記録ないしは伝送フォーマットは変更せず
にそのままを用い、且つ階層構造をもたせることにより
既存のアプリケーションとの互換性を完全に保ちなが
ら、上位階層構造の画像データを記録、ないしは伝送す
る符号化ビットストリームを生成することにより、アプ
リケーションの機能拡張性を大きくした画像信号の符号
化、及び復号化の方法、そしてそれらの方法を搭載する
符号化及び復号化装置の構成、さらにはそのような符号
化信号を記録する記録媒体を提供しようとするものであ
る。

【００５３】

【課題を解決するための手段】本発明は、上記課題を解
決するために以下の１）〜９）の手段より成るものであ
る。すなわち、

【００５４】１） 供給される画像信号を直交変換して
変換画像信号を得、その得られた変換画像信号を可変長
符号化して圧縮符号化信号を得る第１のステップ（１
２）と、前記圧縮符号化信号又は前記変換画像信号を復
号して復号画像信号を得る第２のステップ（１３）と、
前記復号画像信号と、前記供給される画像信号とを演算
して差分画像信号を得る第３のステップ（１４）と、前
記差分画像信号を圧縮符号化して差分画像圧縮符号化信
号を得る第４のステップ（１６）と、前記差分画像圧縮
符号化信号を、前記圧縮符号化信号のユーザデータ記録
領域に挿入して拡張画像符号化信号を得る第５のステッ
プ（１７）と、を少なくとも有することを特徴とする拡
張画像の符号化方法。

【００５５】２） 前記第５のステップにおける差分画
像圧縮符号化信号の直前に、予め定めたユニークコード
を識別信号として付して前記ユーザデータ記録領域に挿
入することを特徴とする１）項記載の拡張画像の符号化
方法。

【００５６】３） 前記第１のステップおいて得られる
変換画像信号は４：２：０画像フォーマットによる信号
であり、且つ前記第３のステップにおいて得られる差分
画像信号は、前記４：２：０画像フォーマットよりも色
信号解像度の高い画像フォーマットによる信号であるこ
とを特徴とする１）項記載の拡張画像の符号化方法。

【００５７】４） 供給される画像信号を圧縮符号化し
て第１の圧縮符号化信号を得、その得られた第１の圧縮
符号化信号を復号して得た復号化信号と前記画像信号と
の差分画像信号を得、その得られた差分画像信号を圧縮
符号化して第２の圧縮符号化信号を得、その得られた第
２の圧縮符号化信号の頭部にユニークコードを付して前
記第１の圧縮符号化信号のユーザデータ記録領域に挿入
するようして得られた拡張画像符号化信号が供給され、
その拡張画像符号化信号の前記第１の圧縮符号化信号を
復号して第１の復号化画像信号を得ると共に、前記拡張
画像符号化信号のユーザデータ領域で伝送される第２の
圧縮符号化信号を復号して第２の復号化画像信号を得る
第１のステップと（３２、３３、３５）、その第１のス
テップで得られた、第１の復号化画像信号及び第２の復
号化画像信号の加算処理を行うことにより拡張復号化画
像を得る第２のステップ（３６）と、を少なくとも有す
ることを特徴とする拡張画像の復号化方法。

【００５８】５） 前記第１の圧縮符号化信号は４：
２：０画像フォーマットにより符号化された信号であ
り、且つ前記差分画像信号は前記４：２：０画像フォー
マットよりも色信号解像度の高い画像フォーマットによ
り符号化された信号であることを特徴とする４）項記載
の拡張画像の復号化方法。

【００５９】６） 供給される画像信号を直交変換して
変換画像信号を得、その得られた変換画像信号を可変長
符号化して圧縮符号化信号を得る第１の圧縮符号化手段
（１２）と、その第１の圧縮符号化手段より圧縮符号化
信号を得、又は前記第１の圧縮符号化手段より前記変換
画像信号を得、得られたそれらの信号の内少なくとも一
方の信号を復号して復号画像信号を得る復号化手段（１
３）と、その復号化手段より得られた復号画像信号と、
前記供給される画像信号とを比較演算することにより差
分画像信号を得る演算手段（１４）と、その演算手段に
より得られた差分画像信号を圧縮符号化して差分画像圧
縮符号化信号を得る第２の圧縮符号化手段（１６）と、
その第２の圧縮符号化手段により得られた差分画像圧縮
符号化信号を、前記第１の圧縮符号化信号のユーザデー
タ領域に挿入して拡張画像符号化信号を得るユーザデー
タ挿入手段（１７）と、を具備して構成することを特徴
とする拡張画像符号化装置。

【００６０】７） 前記第１の圧縮符号化手段により得
られる圧縮符号化信号は４：２：０画像フォーマットに
よる信号であり、且つ前記第２の圧縮符号化手段により
得られる差分画像圧縮符号化信号は前記４：２：０画像
フォーマットよりも色信号解像度の高い画像フォーマッ
トによる信号であることを特徴とする６）項記載の拡張
画像符号化装置。

【００６１】８） 供給される画像信号を圧縮符号化し
て第１の圧縮符号化信号を得、その得られた第１の圧縮
符号化信号を復号して得た復号化信号と前記供給される
画像信号との差分画像信号を得、その得られた差分画像
信号を圧縮符号化して第２の圧縮符号化信号を得、その
得られた第２の圧縮符号化信号の頭部にユニークコード
を付して前記第１の圧縮符号化信号のユーザデータ記録
領域に挿入するようして得られた拡張画像符号化信号が
供給され、その供給された拡張画像符号化信号を復号化
する拡張画像復号化装置であって、供給される拡張画像
符号化信号より前記第１の圧縮符号化信号を復号して第
１の復号化画像信号を得る第１の復号化手段（３２）
と、前記ユーザデータ記録領域で伝送される第２の圧縮
符号化信号を復号して第２の復号化画像信号を得る第２
の復号化手段（３３、３５）と、その第２の復号化画像
信号と、前記第１の復号化画像信号とを加算することに
より拡張復号化画像信号を得る加算手段（３６）と、を
具備して構成することを特徴とする拡張画像復号化装
置。

【００６２】９） 画像信号を４：２：０画像フォーマ
ットにより符号化して得られる第１の符号化信号のユー
ザデータ記録領域に、前記第１の符号化信号により符号
化した画像信号と前記符号化前の画像信号との差分に係
る差分画像信号を記録する拡張画像記録媒体であって、
前記差分画像信号は前記４：２：０画像フォーマットよ
りも色信号解像度の高い画像フォーマットにより符号化
した第２の符号化信号であることを特徴とする拡張画像
記録媒体。

【００６３】

【発明の実施の形態】以下、本発明の拡張画像の符号化
方法、拡張画像の復号化方法、拡張画像符号化装置、拡
張画像復号化装置、及び拡張画像記録媒体の実施形態に
つき好ましい実施例により説明する。図１は、その拡張
画像の符号化方法を搭載した拡張画像符号化装置の第１
の実施例による構成であり、以下図と共に説明する。

【００６４】同図に示す拡張画像符号化装置１０は、画
像データ入力端子１１、ＭＰＥＧ（moving picture exp
erts group）符号化器１２、ＭＰＥＧ復号化器１３、加
算器１４、遅延器１５、ＤＰＣＭ（differential pulse
code modulation )器１６、及びユーザデータ挿入器１
７より構成される。

【００６５】次に、このように構成される拡張画像符号
化装置１０の動作について述べる。まず、入力画像デー
タはＭＰＥＧ符号化器１２に供給されてＭＰＥＧのメイ
ンプロファイルに従った方法により符号化され、符号化
して得られる符号化信号は遅延器１５、及びＭＰＥＧ復
号化器１３に供給される。

【００６６】そのＭＰＥＧ復号化器１３では符号化され
た符号化信号は復号化されて加算器１４の一方の入力端
子に負極性の信号として供給されると共に、他方の入力
端子には入力画像データが正極性の信号として供給され
ており、その加算器１４からは２つの入力端子に供給さ
れた信号が加算された信号が得られ、その加算された信
号はＤＰＣＭ符号化器１６に供給される。

【００６７】そのＤＰＣＭ符号化器１６では、供給され
た信号のＤＰＣＭ符号化がなされてＤＰＣＭ符号化信号
が生成され、その生成されたＤＰＣＭ符号化信号はユー
ザデータ挿入器１７の一方の入力端子に供給されると共
に、他方の入力端子には遅延器１５により同期処理のた
めに遅延された符号化信号が供給されており、その符号
化信号のユーザデータ領域に前記ＤＰＣＭ符号化信号が
挿入され、挿入されて得られる符号化データは拡張画像
符号化装置１０の出力信号としてその装置より供給され
る。

【００６８】このようにして、ＭＰＥＧ符号化器１２で
符号化された信号はＭＰＥＧ復号化器１３で復号化さ
れ、復号化された信号と入力画像データとの差の信号が
ＤＰＣＭ符号化器１６でＤＰＣＭ符号化されてユーザデ
ータ領域に挿入される様にして符号化データが得られる
が、そのＭＰＥＧ符号化器１２とＭＰＥＧ復号化器１３
でなされる符号化及び復号化は、入力画像をＤＣＴ変
換、及び量子化を行った信号に対して復号化を局部復号
として行う場合、あるいは量子化を行った信号に対して
ＶＬＣ（variable length coding）を行って最終ビット
ストリームデータを得た後にＶＬＤ（variable length
decoding）を行うなどの信号処理が追加されて行われる
場合のいずれによってもよい。

【００６９】即ち、いずれの場合においてもＭＰＥＧ符
号化した信号を復号化して得られる符号化及び復号化に
基づく画像信号と入力画像データとが比較され、その比
較して得られる輝度信号、及び色差信号のそれぞれの差
分信号がＤＰＣＭ符号化されて伝送されるものである。

【００７０】次に、このようにしてなされる拡張画像符
号化装置１０の動作について更に述べる。図２に、輝度
信号に係る差分信号をＤＰＣＭ符号化するためのＤＰＣ
Ｍコード表を示す。

【００７１】同表において、差分値の範囲に対するＤＰ
ＣＭ符号の割り当てを示している。即ち、加算器１４よ
り得られる差分画像データは、画面に対して左上から右
下の方向へ、ラスタースキャンが行われるような順番に
従って画素データを得、得られた画像データの変化分の
みを差分値として演算して得る。

【００７２】そして、最初の画素の初期値は０とされ、
その０に対する差分値との差が横方向に演算されて求め
られると共に、その差の値がどの範囲の値であるかによ
ってＤＰＣＭ符号が割り当てられ、その符号の割り当て
は画面上の１ラインの画素データに対して行われる。

【００７３】図３に、色差信号に係る差分信号をＤＰＣ
Ｍ符号化するためのＤＰＣＭコード表を示す。同表にお
いて、色差信号の方が輝度信号より水平周波数帯域が小
さいので、色差信号に対するＤＰＣＭコードは低いレベ
ルの変化に対して異なるＤＰＣＭ符号が割り当てられる
ようにされている。

【００７４】これらの輝度信号用、及び色差信号用の両
方のコード表において、ＤＰＣＭコードが１１１１であ
るときはZeroRunESCとされており、そのときは差分画像
のＤＰＣＭ値で最も多く発生する０データを全て伝送せ
ずに、０の続いたラン長を伝送するときに使用するコー
ドである。即ち、１１１１の後に最大８ビット（２５６
画素）のビット数を伝送するようにして、複数の０に係
る個数情報を伝送するようになされている。

【００７５】差信号に係るＤＰＣＭ符号は、−２５５〜
＋２５５である９ビットの画素データをこれらの表を基
にして４ビットの値に変換されるが、通常の画像に係る
差信号の場合ではゼロが多く発生されるので、そのゼロ
を含めたＤＰＣＭ符号をゼロランレングス符号化するこ
とにより、更に短い圧縮コードとして得ることができ
る。

【００７６】このようにしてＤＰＣＭ符号化されたデー
タは、ユーザデータ挿入器１７に供給されるが、そのユ
ーザデータ挿入器１７には遅延器１５により所定の時間
遅延されたＭＰＥＧ符号化データが供給されるが、その
符号化されたピクチャと時間関係が同一であるピクチャ
データ領域にあるユーザデータ記録領域に、そのピクチ
ャに対応する差分画像のＤＰＣＭ符号化データを挿入す
る。

【００７７】図４に、ＭＰＥＧ２におけるビデオレイヤ
のシンタックスを示す。同図において、ＭＰＥＧ２ビデ
オ信号に係るビットストリームを生成するためのデータ
の順について規定してある。

【００７８】即ち、最初に３２ビットによる画像開始コ
ードpicture#start#codeを記述し、次に１０ビットのＩ
（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（B
idirectionally predictive-coded）ピクチャの伝送及
び表示順に係る情報をTemporal#referenceにより、そし
て３ビットによるＩ、Ｐ、及びＢピクチャなどの画像タ
イプに係る情報をpicture#coding#typeにより伝送する
ようにしてビットストリームが生成される。

【００７９】そして、このシンタックスの終わりの方に
ある３２ビットのユーザデータ開始コードUser#data#st
art#codeに続けて記述される８ビットのuser#dataを使
用してＤＰＣＭ符号化データの挿入記述を行う。

【００８０】即ち、user#data（ ）は、user#start#co
deなる位置決定を行うバイトアラインされたスタートコ
ードより記述が開始され、次に0x000001の３バイトの符
号が受信されるまでユーザデータを記述し続けることが
できるように定義されている。

【００８１】そのようにして、ビデオ信号レイヤのユー
ザデータ領域にＤＰＣＭ符号化した差分画像データを記
述することにより、符号化された画像データと同じ階層
のデータとして画像の差分情報を伝送、ないしはその信
号を媒体に記録することができる。

【００８２】なお、ここでそのユーザデータ領域は、ユ
ーザが定義して使用することが許可されたデータ領域で
あるので、例えば他のユーザ、ないしは他のアプリケー
ションでuser#data( )が使用される可能性もあるの
で、user#data( )のuser#start#codeのあとに、本方式
の差分画像データであることを示す、４バイト程度の識
別コード、ないしはユニークコード0x22220204を記述し
て後に、例えばＤＰＣＭ符号化された輝度信号、色差の
Ｃｂ信号（青信号−輝度信号）、及び色差のＣｒ信号
（赤信号−輝度信号）のコードを順に記述するようにす
る。

【００８３】このようにして、ＭＰＥＧ符号化器１２で
符号化された信号、及び符号化された信号を復号化し、
入力される信号との差の信号をＤＰＣＭ符号化した信号
を同一の画像レイヤ信号領域のユーザデータ領域に挿入
した符号化データとして生成して伝送することができ
る。

【００８４】次に、このようにして生成され、伝送され
た符号化データの復号化について述べる。図５に、通常
の符号化データを復号する通常画像復号化装置の構成を
示す。同図に示す通常画像復号化装置３０は、ＭＰＥＧ
復号化器３２により構成されている。

【００８５】そのＭＰＥＧ復号化器３２による符号化デ
ータの復号化は、記述されて伝送されるユーザデータの
検出を行わずに、即ち読み飛ばすようにして符号化デー
タの復号化を行なうため、ＭＰＥＧ符号化器１２で符号
化された符号化データのみの復号化を行うため、通常画
像復号化装置３０からは通常符号化データを復号化して
得られる通常復号化データが得られる。

【００８６】次に、通常符号化データに挿入されて伝送
されるユーザデータを共に復号化して高画質の画像デー
タである、拡張復号化データを得る拡張画像復号化装置
の第１の実施例について述べる。図６に、その拡張画像
復号化装置の構成を示す。

【００８７】同図に示す拡張画像復号化装置３０ａは、
データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザ
データ分離器３３、遅延器３４、ＤＰＣＭ復号化器３
５、及び加算器３６より構成される。

【００８８】次に、この様に構成される拡張画像復号化
装置３０ａの動作について述べる。まず、データ入力端
子３１に供給された符号化データはＭＰＥＧ復号化器３
２ａに供給され、そこでは通常の復号化データが得ら
れ、得られた復号化データは遅延器３４に供給されると
共に、ユーザデータの含まれる符号化データはユーザデ
ータ分離器３３に供給される。

【００８９】そのユーザデータ分離器３３では、供給さ
れる符号化データにおけるピクチャデータのシンタック
スにおけるUser#data#start#codeを検出し、そのUser#d
ata#start#codeに続いて伝送されるユニークコード0x22
220204の検出を行う。

【００９０】そのユニークコード0x22220204が検出され
ないときは、その後に伝送されるユーザデータは復号の
必要がないデータであるとしてそのユーザデータの読み
飛ばしを行う。

【００９１】そのユニークコードが検出されるときは、
高画質化のための拡張符号化データに拡張画像得るため
の差分画像データが記述してあると判定し、伝送される
ＤＰＣＭ符号化データをＤＰＣＭ復号器３５に供給す
る。

【００９２】そのＤＰＣＭ復号器３５では、供給された
ＤＰＣＭ符号化データを復号して輝度信号、色差のＣｂ
信号、及び色差のＣｒ信号を得、それらの得られたそれ
ぞれの信号は前述の図２、及び図３に示したＤＰＣＭ符
号化テーブルを基にＤＰＣＭ符号を復号し、それぞれの
差分画像データを得る。

【００９３】それらの得られた差分画像データは加算器
３６の一方の入力端子に供給されると共に、他方の入力
端子には遅延器３４で所定の時間遅延された通常ＭＰＥ
Ｇ復号画像データが供給され、それらの２つの入力端子
に供給されたそれぞれの画像データは加算されて拡張復
号化画像データが得られ、その得られた拡張復号化画像
データは拡張画像復号化装置３０ａより出力信号として
供給される。

【００９４】以上、差分画像データをＤＰＣＭ符号化し
て伝送する拡張画像符号化装置で生成された符号化デー
タを拡張画像復号化装置により復号化して拡張復号化画
像データを得る第１の実施例について述べたが、次に差
分画像データを異なるＭＰＥＧ符号化器で符号化して伝
送する第２の実施例について述べる。

【００９５】その第２の実施例による拡張画像符号化装
置は、第１の実施例に示した装置では差分画像データを
ＤＰＣＭ符号化して伝送していたが、この実施例では直
交変換技術を応用するＭＰＥＧ方式によって符号化する
点で異なっており、次に第１の実施例も参照しながら述
べる。図７に、拡張画像の符号化方法を搭載した拡張画
像符号化装置の第２の実施例による構成を示し、以下図
と共に説明する。

【００９６】同図に示す拡張画像符号化装置１０ａは、
画像データ入力端子１１、第１ＭＰＥＧ符号化器１２
ａ、ＭＰＥＧ復号化器１３、加算器１４、遅延器１５、
固定符号量指示器１８、第２ＭＰＥＧ符号化器１９、及
びユーザデータ挿入器１７より構成される。

【００９７】次に、このように構成される拡張画像符号
化装置１０ａの動作について述べる。まず、入力画像デ
ータは第１のＭＰＥＧ符号化器１２ａに供給されてＭＰ
ＥＧのメインプロファイルにより符号化されて得られる
符号化信号の一方は遅延器１５に供給されると共に、他
の一方はＭＰＥＧ復号化器１３に供給されて復号化され
る。

【００９８】その復号化された信号は加算器１４の一方
の極性反転動作を行う入力端子に供給されると共に、他
方の入力端子には入力画像データが供給されており、そ
の加算器１４からは２つの入力端子に供給された信号の
差の信号が差分画像データとして生成され、その生成さ
れた信号は固定符号量指示器１８により符号量が制御さ
れて動作している第２ＭＰＥＧ符号化器１９に供給され
る。

【００９９】その第２ＭＰＥＧ符号化器１９では、供給
された差分画像データに対して、従来のＭＰＥＧと同様
にしてマクロブロックごとの符号化がなされ、符号化さ
れて得られる符号化信号はユーザデータ挿入器１７の一
方の入力端子に供給される。

【０１００】そのユーザデータ挿入器１７の他方の入力
端子には遅延器１５により遅延された第１ＭＰＥＧ符号
化器１２ａにより符号化された信号が供給されており、
その信号のユーザデータ記録個所に前記第２ＭＰＥＧ符
号化器１９により符号化された信号が挿入され、挿入さ
れて得られる符号化データは拡張画像符号化装置１０ａ
の出力信号として供給される。

【０１０１】このようにして、差分画像データはＭＰＥ
Ｇ方式により符号化されてユーザデータ領域に挿入され
た符号化データとして供給されるが、そのユーザデータ
領域への差分画像データの挿入、記述方法は前述の第１
の実施例と同様にして行われる。

【０１０２】このようにして伝送された符号化データの
復号化は、前述の図５に示したような通常の復号化器を
用いて行われときは、そのＭＰＥＧ復号化器３２ではユ
ーザデータ記録領域に記録される符号化データが検出さ
れづに復号化が行われるため、通常画像復号化装置３０
からは通常の符号化データを復号化した画像データが得
られる。

【０１０３】次に、差分画像データを復号して高画質の
復号画像データを得る拡張復号化データを得るための、
拡張画像復号化装置の第２の実施例について述べる。図
８に、その拡張画像復号化装置３０ｂの構成を示し、そ
の動作について述べる。

【０１０４】同図に示す拡張画像復号化装置３０ｂは、
データ入力端子３１、第１ＭＰＥＧ復号化器３２ｂ、ユ
ーザデータ分離器３３、遅延器３４、第２ＭＰＥＧ復号
化器３７、及び加算器３６より構成される。

【０１０５】そのように構成される拡張画像復号化装置
３０ｂのデータ入力端子３１に供給された符号化データ
は、第１ＭＰＥＧ復号化器３２ｂで通常の復号化データ
が得られ、得られた復号化データは遅延器３４に供給さ
れると共に、ユーザデータの含まれる符号化データはユ
ーザデータ分離器３３に供給される。

【０１０６】そのユーザデータ分離器３３では、供給さ
れる符号化データにおけるピクチャデータのシンタック
スにおけるUser#data#start#codeを検出し、そのUser#d
ata#start#codeに続いて伝送されるユニークコード0x22
220204を検出するが、そのユニークコードが検出されな
いときはその後に伝送されるユーザデータの読み飛ばし
を行う。

【０１０７】そして、そのユニークコードが検出される
ときは、そのユニークコードに続いて伝送される拡張符
号化データは第２ＭＰＥＧ復号化器３７に供給され、そ
の第２ＭＰＥＧ復号化器３７では供給された符号化デー
タの復号化が行われることにより拡張画像を得るための
輝度信号、及び２種類の色差信号に係る差分画像データ
が得られる。

【０１０８】それらの得られた差分画像データは加算器
３６の一方の入力端子に供給されると共に、他方の入力
端子には遅延器３４で所定の時間遅延された通常ＭＰＥ
Ｇ復号画像データが供給され、それらの２つの入力端子
に供給されたそれぞれの画像データは加算されて拡張復
号化画像データが得られ、その得られた拡張復号化画像
データは拡張画像復号化装置３０ｂより出力信号として
供給される。

【０１０９】以上、差分画像データをＭＰＥＧ符号化し
て伝送する拡張画像符号化装置で生成された符号化デー
タを、拡張画像復号化装置により復号化して拡張復号化
画像データを得る第２の実施例について述べたが、次に
その差分画像データを異なる画像フォーマットにより符
号化して伝送する場合について述べる。

【０１１０】その異なる画像フォーマットによる場合の
差分画像は、輝度信号に対する２つの色差信号画素サン
プルの関係が４：２：０であるとして表現される画像フ
ォーマットにより符号化及び復号化して得られる画像信
号と、画像フォーマットが４：２：２である画像信号と
の差の信号を差分データ画像としてユーザデータ領域で
伝送する場合である。

【０１１１】図９に、４：２：０画像フォーマットによ
る輝度信号と色差信号の画素数の関係を示す。同図にお
いて、Ｙとして示す７２０画素×４８０画素の領域は輝
度信号に対する画素数を示しており、Ｕとして示す３６
０画素×２４０画素の領域は青信号Ｂから輝度信号Ｙを
減算して得られるＢ−Ｙの色差信号に対する画素数を、
そしてＶとして示す３６０画素×２４０画素の領域は赤
信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの色差
信号に対する画素数を示している。

【０１１２】図１０に、４：２：２画像フォーマットに
よる輝度信号と色差信号の画素数の関係を示す。同図に
おいて、Ｙとして示す７２０画素×４８０画素の領域は
輝度信号に対する画素数を示しており、Ｕとして示す３
６０画素×４８０画素の領域は青信号Ｂから輝度信号Ｙ
を減算して得られるＢ−Ｙの色差信号に対する画素数
を、そしてＶとして示す３６０画素×４８０画素の領域
は赤信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの
色差信号に対する画素数を示している。

【０１１３】このようにして、４：２：０による画像フ
ォーマットと、４：２：２による画像フォーマットでは
輝度信号に対する画素数は両者共７２０画素×４８０画
素であり同一であるが、Ｂ−Ｙ、及びＲ−Ｙの２つの色
差信号に対する画素数は、３６０画素×２４０画素に対
して３６０画素×４８０画素と垂直方向で２倍の値にな
っている。

【０１１４】そのようにして、４：２：０画像フォーマ
ットによる画質は４：２：２画像フォーマットによる画
質に対して色差信号の垂直方向の解像度が不足してお
り、例えば横方向に伸びる細い線を表現しようとすると
き、その線が白ないしは黒の輝度信号により表現できる
線の場合は両画像フォーマットにおいて同一の解像度で
表現できるが、青、あるいは赤などの彩度が高く表現さ
れる横線の場合は垂直方向の解像度が異なることにより
４：２：０画像フォーマットの場合では十分に表現する
ことができない。

【０１１５】そして、風景などをカメラで撮影した画像
の場合はこのような垂直方向での高い解像度はそれほど
必要とされないが、人工的に制作された画像、及びコン
ピュータで作成された、特に色文字を含むような画像の
場合は彩度の高い色差信号に対する解像度が必要とな
り、４：２：２画像フォーマットを用いる符号化方式の
方が好ましいこととなる。

【０１１６】次に、４：２：０の画像フォーマットによ
り符号化された符号化データに対し、４：２：２画像フ
ォーマットにより符号化したときに得られる画像との差
分画像データをユーザデータ領域で伝送する場合の例に
ついて述べる。

【０１１７】その第３の実施例による拡張画像符号化装
置は、ＤＰＣＭ符号化により差分データを伝送する第１
の実施例に対して、その差分画像データが４：２：２画
像フォーマットによる画像より４：２：０画像フォーマ
ットによる画像を減じた画像データを差分画像データと
して伝送するものであり、第１の実施例をも参照しなが
ら述べる。

【０１１８】図１１に、拡張画像の符号化方法を搭載し
た拡張画像符号化装置の第３の実施例による構成を示
し、その動作について述べる。同図に示す拡張画像符号
化装置１０ｂは、データ入力端子１１、４：２：０変換
器２１、ＭＰＥＧ符号化器１２、ＭＰＥＧ復号化器１
３、４：２：２変換器２２、色差データ差分器２３、遅
延器１５、ＤＰＣＭ符号化器１６、及びユーザデータ挿
入器１７より構成される。

【０１１９】次に、このように構成される拡張画像符号
化装置１０ｂの動作について述べる。まず、入力端子１
１に供給される４：２：２画像フォーマットの入力画像
データは、色差データ差分器２３及び４：２：０変換器
２１に供給される。

【０１２０】その４：２：０変換器２１では、供給され
た４：２：２画像フォーマットによる画像データは４：
２：０画像フォーマットのデータに、垂直画像フィルタ
リング処理などにより画像フォーマット変換が行われ
る。

【０１２１】そのようにして４：２：０画像フォーマッ
トの信号に変換された画像データはＭＰＥＧ符号化器１
２に供給され、例えば通常行われるメインプロファイル
の仕様に従った符号化がなされて符号化データが得ら
れ、その符号化データは遅延器１５及びＭＰＥＧ復号器
１３に供給される。

【０１２２】即ち、ＭＰＥＧのメインプロファイルによ
り符号化されて得られた符号化信号の一方は遅延器１５
に供給されて時間合わせのための遅延処理がなされると
共に、符号化信号の他の一方はＭＰＥＧ復号化器１３に
供給されて、復号化処理がなされる。

【０１２３】そのＭＰＥＧ復号器１３からは、復号化さ
れて４：２：０画像フォーマットによる画像データが得
られ、その画像データは４：２：２変換器２２に供給さ
れ、その４：２：２変換器２２では４：２：０画像フォ
ーマットで供給される信号は４：２：２画像フォーマッ
トの信号に変換されて４：２：２画像フォーマットの信
号として得られる。

【０１２４】なお、その４：２：２画像フォーマットの
信号は形式的には４：２：２画像フォーマットに対応し
た画素数を有する信号であるが、その信号が有する情報
量は４：２：０画像フォーマットの信号が有すると同じ
であり、垂直方向に彩度の高い色信号に対する解像度は
低い。

【０１２５】そのようにして４：２：２画像フォーマッ
トに変換された信号は色差データ差分器２３に供給さ
れ、そこでは供給される入力画像データとの差分画像デ
ータが演算により得られ、その得られた差分画像データ
はＤＰＣＭ符号化器１６に供給され、そこでは前述の第
１の実施例に示したと同様の方法によりＤＰＣＭ符号化
データが生成される。

【０１２６】その生成されたＤＰＣＭ符号化データはユ
ーザデータ挿入器１７に供給され、その供給された符号
化データは、遅延器１５により所定の遅延時間が与えら
れて同じ時間関係にある、ＭＰＥＧ符号化器１３で生成
された符号化データのユーザデータエリアに挿入され
る。

【０１２７】そのようにして挿入されたＤＰＣＭ符号化
データは、４：２：２画像フォーマットによる画像デー
タより４：２：０画像フォーマットによる画像データを
減じた差分画像データであり、その差分画像データは垂
直解像度の低下した４：２：０画像フォーマット画像デ
ータの解像度改善のために使用することができるもので
ある。

【０１２８】なお、このような解像度改善のための差分
画像データ生成における４：２：０画像フォーマットの
データ符号化及び復号化は、ＭＰＥＧ符号化器１２から
得られる、その符号化器１２における最終段でのビット
ストリームデータをＭＰＥＧ復号化器１３に供給して復
号化する方法と、ＭＰＥＧ符号化器１２で量子化までの
信号処理がなされた途中段で得られるデータを用いて、
逆量子化より復号化を開始する局部復号の方法などがあ
り、その符号化及び復号化はいずれの方法によっても構
わない。

【０１２９】このようにして、４：２：２画像フォーマ
ットの画像データと４：２：０画像フォーマットによる
画像データとの差分画像データはＤＰＣＭ符号化されて
ユーザデータ領域で伝送される符号化データとして生成
されるが、そのユーザデータ領域への差分画像データの
挿入、及び記述方法は前述の第１の実施例と同様にして
行われ、そのようにして生成された符号化データが伝送
信号として供給されるようになされる。

【０１３０】また、この実施例で示した拡張画像符号化
装置において、差分画像を生成するための回路構成を変
形させて同様の動作を行わせることができる。図１２
に、第３の実施例を変形させた拡張画像符号化装置の構
成を示す。

【０１３１】同図に示す拡張画像符号化装置１０ｃで
は、供給される４：２：２画像フォーマットの画像デー
タは色差データ差分器２３と４：２：０変換器２１に供
給されるが、その４：２：０変換器２１で画像フォーマ
ットの変換された信号はＭＰＥＧ符号化器１２と４：
２：２変換器２２に供給される。

【０１３２】４：２：２変換器より供給される信号は前
述の拡張画像符号化装置１０ｂと同様にして色差データ
差分器２３に供給され、その後は同様な処理動作がなさ
れる。ただし、その信号処理動作は、ＭＰＥＧ符号化器
１２で符号化時に生じる量子化雑音に対する補正画像信
号を含む差分画像データが生成されないことで異なって
いるが、その反面、差分画像データが情報量として有す
るデータのエントロピーが低い値となる。

【０１３３】そのようにして生成される差分画像データ
の符号化に係る符号量が少なくなり、それに伴いその後
段に配置される符号化器での符号化のための演算処理数
を減少させることができると共に、ユーザデータ領域に
挿入されて伝送される符号量も少なくできるため、ユー
ザデータ領域に差分画像データを挿入することにより符
号化データ全体の符号量の増加が少なく、差分画像デー
タの復号を行わない通常復号化を行うユーザに対する信
号処理の負担を少なくすることができる。

【０１３４】また、通常復号化を行うユーザに対する負
担を少なくする方法として４：２：０変換器２１の構成
が考慮されている。即ち、その４：２：０変換器２１に
供給される４：２：２画像フォーマットによる画像デー
タは４：２：０画像フォーマットによる画像データの信
号に変換される必要があり、そのための画像信号の垂直
方向のフィルタリングは、例えば２ライン分の色差信号
を加算することにより行い、両方の画像信号に対する特
性を合わせるようにする。

【０１３５】そして、そのようにフィルタリングされた
信号の４：２：２変換器２２における色差信号の垂直方
向へのオーバーサンプリングによる画像フォーマットの
変更は、例えば２つの走査線分の色差信号を加算して２
で割るような補間計算によって行われる。

【０１３６】このような補間計算による方法を用いるの
は、色差信号に対する特性をＭＰＥＧ符号化器１２に内
蔵される局部復号化器と同じ特性のものにしなければな
らないためであり、それは差分画像信号として加算され
る色差信号の差分データは通常符号化器により生成され
る色差信号と同じ特性を有していないときは、例えＤＰ
ＣＭ符号、復号器、ないしは第２ＭＰＥＧ符号化器、及
び復号化器による符号化復号化などで全く劣化がない場
合であっても、４：２：２画像フォーマットに基づく特
性の画像信号を得ることができなくなるからである。

【０１３７】従って、拡張画像符号化装置に用いられる
４：２：２変換器２２の特性と、拡張画像復号化装置に
用いられる４：２：２変換器３８とは、同一の色差信号
に対する垂直方向のオーバーサンプル方法を用いるよう
にして、４：２：０画像フォーマットにより符号化され
た画像データ部分は従来のメインプロファイルにより符
号化された画像データ部分と同一の特性となる様にし、
その同一特性の画像データの特性改善をユーザデータ領
域で伝送される信号を復号することにより得るようにし
ている。

【０１３８】次に、そのようにして前述の図１１、ない
しは図１２に示した拡張画像符号化装置により生成され
た符号化データを復号する拡張画像復号化装置について
述べる。図１３に、そのようにして伝送される符号化デ
ータを通常のＭＰＥＧ復号化器により復号する場合の例
を示す。

【０１３９】同図において、供給される符号化データ
を、前述の図５に示したと同様な通常のＭＰＥＧ復号化
器３２を用いて生成するときは、その４：２：０画像フ
ォーマットの符号化信号を復号化するＭＰＥＧ復号化器
３２ではユーザデータ記録領域に記録される符号化デー
タを検出せづに符号化を行うため、通常画像復号化装置
３０からは通常の符号化データが復号化されて４：２：
０画像フォーマットによる画像データが得られる。

【０１４０】そして、４：２：２画像フォーマットに係
る差分画像データを復号して垂直解像度の優れた高画質
な復号画像データを得る拡張画像復号化装置の第４の実
施例について更に述べる。図１４に、その拡張画像復号
化装置３０ｃの構成を示し、その動作について述べる。

【０１４１】同図に示す拡張画像復号化装置３０ｃは、
データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザ
データ分離器３３、遅延器３４、ＤＰＣＭ復号器３５、
４：２：２変換器３８、及び色差データ加算器３９より
構成される。

【０１４２】そのように構成される拡張画像復号化装置
３０ｃのデータ入力端子３１に供給された符号化データ
は、ＭＰＥＧ復号化器３２ａで復号されて通常の復号化
データが得られ、得られた復号化データは遅延器３４に
供給されると共に、ユーザデータの含まれる符号化デー
タはユーザデータ分離器３３に供給される。

【０１４３】そのユーザデータ分離器３３では、供給さ
れる符号化データにおけるピクチャデータのシンタック
スにおけるUser#data#start#codeが検出され、そのUser
#data#start#codeに続いて伝送されるユニークコード0x
22220204が検出されるが、そのユニークコードが検出さ
れないときはその後に伝送されるユーザデータは読み飛
ばしがなされる。

【０１４４】そして、そのユニークコードが検出される
ときは、そのユニークコードに続いて伝送される拡張符
号化データはＤＰＣＭ復号化器３５に供給され、そのＤ
ＰＣＭ復号化器３５では前述の図６に示した拡張画像復
号装置３０ａと同様にして、供給された符号化データの
復号化が行われることにより、４：２：２画像フォーマ
ットに係る垂直解像度を補正するための差分画像データ
が２種類の色差信号に対して得られる。

【０１４５】それらの得られた差分画像データは色差デ
ータ加算器３９の一方の入力端子に供給されると共に、
その他方の入力端子には遅延器３４で所定の時間遅延さ
れた通常ＭＰＥＧ復号画像データが供給され、それらの
２つの入力端子に供給されたそれぞれの画像データは加
算されて色信号の垂直解像度が改善された拡張復号化画
像データが得られ、その得られた拡張復号化画像データ
は拡張画像復号化装置３０ｃより出力信号として供給さ
れる。

【０１４６】以上、４：２：２画像フォーマットにより
伝送される画像データと、４：２：０画像フォーマット
により伝送される画像データとの差分画像データがＤＰ
ＣＭ符号化されてビットストリームのユーザデータ領域
に挿入されて伝送され、復号側では伝送された４：２：
０画像フォーマットにより伝送された画像データは復号
されると共に、ユーザデータ領域でＤＰＣＭ符号化され
て伝送される４：２：２画像フォーマットにより伝送さ
れる画像データを得るための差分画像データは復号して
得られ、その得られた差分画像データが用いられて解像
度の改善された画像データとして得ることができるもの
である。

【０１４７】そして、その４：２：２画像フォーマット
による画質を復号して得るための差分画像信号は、ＤＰ
ＣＭ符号化により符号化して伝送される他に、第２の実
施例で示した第２のＭＰＥＧ符号化器が用いられて符号
化信号が生成される方法、更には他の直交変換の手法に
より符号化される方法など、符号化側と複合化側で相補
的な手法が用いられて同様の拡張画像符号化装置、及び
拡張画像復号化装置を構成することができるものであ
る。

【０１４８】また、このようにして構成される拡張画像
符号化装置、及び拡張画像復号化装置は、対応する装置
間で高画質な画像信号の送信及び受信を行なうことがで
きる。そして、異なる方式により差分画像データの伝送
がなされるときは、お互いに異なるユニークコードを識
別コードとして用いることにより、同一特性の符号化装
置及び復号化装置により生成されて伝送された信号の受
信及び復号化ができるようになされる。

【０１４９】そして、これらの符号化及び復号化装置を
用いて記録媒体に拡張画像符号化信号を記録して、その
記録した信号を拡張画像復号化装置により再生すること
が出来る。その記録媒体として、ＲＡＭ形ＤＶＤなどの
円盤型記録媒体を用いる場合、及びデジタルビデオレコ
ーダのようなテープ型記録メディアを用いる場合などが
ある。

【０１５０】特にデジタルビデオテープを用いる記録装
置、例えばＤ−ＶＨＳでの記録信号は固定転送レートと
されており、特に固定レートで記録される場合での応用
性は高い。

【０１５１】即ち、そのＤ−ＶＨＳによる場合の標準記
録モードにおける転送レートは約１４Ｍｂｐｓとされて
いるが、通常のＮＴＳＣ程度の動画をＭＰＥＧ方式によ
り圧縮符号化を行う場合は約７〜９Ｍｂｐｓの転送レー
トによりかなり高画質に映像信号の記録ができる。

【０１５２】その場合は、１４Ｍｂｐｓよりその転送レ
ートを減じた約５〜７Ｍｂｐｓが信号の記録されない剰
余領域とされるが、剰余領域に前述のユーザデータを記
録することにより、例えばメインプロファイルで記録す
るときの４：２：０画像フォーマットに対する４：２：
２ないしは４：４：４画像フォーマットによる画像との
差分画像を記録して、色差信号の画素フォーマットを拡
張した画像情報を再生することができる。

【０１５３】即ち、そのための拡張画像符号化装置を搭
載するＭＰＥＧデータ記録装置は、ＭＰＥＧ符号化器
と、その符号化データを復号して原画像との差分データ
を作成する差分データ作成器と、差分データを前記符号
化器で符号化するストリーム中のユーザデータに記録す
るユーザデータ記録器とを有して構成するようになされ
る。

【０１５４】そしてまた、そのＭＰＥＧデータ記録装置
は、ＭＰＥＧ符号化器と、その符号化データを復号して
原画像との差分データを作成する差分データ作成器と、
差分データをビデオストリームのユーザデータに所定の
ユニークコードと共に記録するユーザデータ記録器とを
有して構成する方法がある。

【０１５５】さらにまた、ＭＰＥＧデータ再生装置にお
いては、ＭＰＥＧ復号器と、ビデオストリームのユーザ
データに所定のユニークコードと共に記録される差分デ
ータを復号して得ると共に、ＭＰＥＧ復号部で復号され
た復号化データにその差分データの加算を行う差分デー
タ加算器とを有するようにして構成する。

【０１５６】このようにして構成されるＭＰＥＧデータ
記録装置及びＭＰＥＧデータ再生装置を搭載するＭＰＥ
Ｇデータ記録再生装置を用いて、ユーザ個人がその装置
により記録したビデオテープはその装置により高画質な
再生ができると共に、その記録したテープを差分画像信
号の再生に対応していない他の再生装置で再生するよう
な場合であっても、通常の記録再生機能により標準的な
再生がなされることになる。

【０１５７】その標準的な記録再生機能は、ＭＰＥＧの
メインプロファイルによる符号化の場合は４：２：０画
像フォーマットによる伝送、ないしは記録がなされ、ユ
ーザデータ領域で伝送ないしは記録されるデータとして
４：２：２の原画像データのクロマ信号からＭＰＥＧ復
号された４：２：０のクロマ信号との差分画像信号を符
号化したものを用い、通常再生は４：２：０画像フォー
マットにより、また差分画像信号を復号可能な場合は
４：２：２画像フォーマットにより、色信号解像度の高
い画像信号の再生がなされるものである。

【０１５８】このようにして、ここに示した実施例にお
いてはＭＰＥＧ方式により符号化したビデオ信号ビデオ
ストリームのユーザデータ領域に所定のユニークコード
と差分画像情報を記録するに際し、前記ビットストリー
ム本体は符号化対象のビデオ符号化標準データとし、ユ
ーザデータ領域にのみ高画質化のための差分データ情報
を記録するようにした。

【０１５９】なお、記録媒体として固定レート記録によ
るデジタルＶＴＲを例として述べたが、記録媒体はＶＴ
Ｒテープに限ることなく、例えばＤＶＤ−ＲＷ、ＤＶＤ
−ＲＡＭを用いる記録媒体によっても構わない。

【０１６０】そのような円盤型記録媒体の場合であって
も、全体の記録容量に対して記録番組のデータ容量が小
さいような場合は、ビットストリーム中のユーザ領域に
差分画像データを記録する、ないしは空き領域に差分画
像データを記録するようにする。

【０１６１】そのユーザデータ領域への記録はユニーク
コードと共に行うため、仮に読み出し速度が遅いような
ＤＶＤプレーヤによる再生の場合でも、そのユーザ領域
に記録される信号は読み飛ばしながら再生されることに
より、通常のメインプロファイルによる再生が可能とさ
れる。

【０１６２】以上、ＶＴＲ、ＤＶＤに対する応用例につ
いて述べたが、この方法は例えば高速インターネット回
線を用いる画像伝送システムに応用できる。それは、伝
送速度を高く確保できるときは高画質化のための差分画
像データを伝送するようにするものである。

【０１６３】以上詳述した様に、拡張画像の符号化方法
を搭載する拡張画像符号化装置は、例えばＭＰＥＧなど
国際標準とされる符号化規格に対してはその規格に基づ
いた符号化ビットストリームを生成すると共に、そのビ
ットストリームに挿入が許可されている例えばユーザデ
ータ記録領域には、その規格により規定される所定のア
プリケーション規格ないしは伝送フォーマットの変更を
行うことなく階層構造を持たせた画像信号を伝送するた
めのビットストリームを生成することができ、市場に定
着しつつある既存の画像符号化システムとの互換性を完
全に保ちながら、上位階層構造の画像データを伝送でき
るので、アプリケーションの機能拡張性を大きくするシ
ステムを構成できる。

【０１６４】さらに、単体のビデオストリームに階層構
造をもたせることができるのでシンプルな構成で復号化
器の設計ができるため、高画質化などの機能拡張を低価
格で実現することができる。

【０１６５】特に、固定転送レートによるの記録媒体
で、記録レートが、本来の記録データより余裕があるよ
うな場合には、前述の実施例に示した方法により高画質
なビデオ信号の伝送ないしは記録を、また色信号の画像
フォーマットを４：２：０から４：２：２に拡張するよ
うな彩度及び精細度の高いビデオ信号を得ることが可能
となる。

【０１６６】また、上述の第３の実施例において４：
２：０画像フォーマットにより符号化した画像信号を復
号して得られる画像信号と、４：２：２画像フォーマッ
トにより供給される入力画像データとの差の信号を得、
その得られた差の信号を符号化してユーザデータ領域に
挿入した符号化信号として生成する手法について述べた
が、それらの画像フォーマットは４：２：０方式、及び
４：２：２方式に限ることなく、メインの符号化データ
に用いられる画像フォーマットは４：２：０方式の他に
例えば４：１：０方式、及び４：１：１方式などを、そ
してユーザデータ領域で差分画像信号として用いられる
画像フォーマットは４：２：２方式の他に例えば４：
４：４方式などの更に高解像度を与える画像フォーマッ
トの信号形式を使用できる。

【０１６７】いずれの場合においても、ユーザデータ領
域で差分画像信号として用いられる画像フォーマットは
メインの符号化データに用いられる画像フォーマットよ
りも色差信号などの解像度が高い方式のものが用いられ
る。

【０１６８】また、ユーザデータ領域で伝送される符号
化信号の符号化方式としてＤＰＣＭを用いる場合、及び
ＭＰＥＧで規定される符号化方式を用いる場合について
述べたが、その符号化方式はそれらに限ることはなく、
差分画像信号に対して効率の高い符号化がなされ、且つ
その符号化、及び復号化が比較的容易に行えるものであ
れば他の符号化方式であっても構わない。

【０１６９】

【発明の効果】請求項１記載の発明によれば、供給され
る画像信号を直交変換及び可変長符号化して標準的に使
用される圧縮符号化信号を得、その得られた圧縮符号化
信号と供給される画像信号とを演算して差分画像信号を
得、その得られた差分画像信号を圧縮符号化して圧縮符
号化信号のユーザデータ記録領域に挿入して拡張画像符
号化信号を得るようにしているため、その拡張画像符号
化信号を標準的な復号化により標準的な画質で復号化画
像信号を得ることができると共に、ユーザデータ領域で
伝送された差分画像信号を復号できる機能を有する復号
化装置で復号化する場合は更に高画質の復号信号を得る
ことができる拡張画像信号の符号化方法を提供できる効
果がある。

【０１７０】また、請求項２記載の発明によれば、特に
ユーザデータ領域で伝送される差分画像信号に予め定め
られたユニークコードを識別信号として付してユーザデ
ータ記録領域に挿入するようにしているため、請求項１
の効果に加え、ユーザデータ領域で所定の方式により伝
送される差分画像信号の有無を容易に識別することがで
きるため、ユーザデータ領域に目的とする差分画像デー
タが挿入されているときはその信号を検出することによ
り、更に高画質の復号信号を得ることができる拡張画像
信号の符号化方法を提供できる効果がある。

【０１７１】また、請求項３記載の発明によれば、特に
ユーザデータ領域で伝送される差分画像信号がメインプ
ロファイルとして規定される４：２：０画像フォーマッ
トにより符号化された符号化信号のユーザデータ記録領
域に４：２：２画像フォーマットなど更に高画質な画像
により符号化された信号に対する差分画像信号を符号化
し、挿入して伝送するようにしているため、請求項１の
効果に加え、ユーザデータ領域で伝送される差分画像信
号を復号化できる復号装置を用いて、更に色信号解像度
の高い高画質な画像信号を得ることができる拡張画像信
号の符号化方法を提供できる効果がある。

【０１７２】また、請求項４記載の発明によれば、画像
信号を直交変換及び可変長符号化して標準的に使用され
る圧縮符号化信号に、その圧縮符号化信号を高画質に復
号するための差分画像信号が圧縮符号化されて圧縮符号
化信号のユーザデータ記録領域に挿入されて供給される
拡張符号化信号を得、その得られた拡張符号化信号の圧
縮符号化信号を復号して復号化画像信号を得ると共に、
その圧縮符号化信号のユーザデータ領域に挿入されて伝
送される差分画像信号を復号化して復号化差分画像信号
を得、それらの得られた復号化画像信号と復号化差分画
像信号との加算処理を行うことにより、更に高画質の復
号化画像信号を得ることができる拡張画像信号の復号化
方法を提供できる効果がある。

【０１７３】また、請求項５記載の発明によれば、特に
ユーザデータ領域で伝送される差分画像信号が標準符号
化方式のメインプロファイルとして規定される４：２：
０画像フォーマットにより符号化された符号化信号のユ
ーザデータ記録領域に４：２：２画像フォーマットなど
更に高画質な画像により符号化された信号に対する差分
画像信号が符号化、挿入されて伝送される符号化信号を
得て復号化するようにしているため、請求項４の効果に
加え、更に色信号解像度の高い高画質な画像信号を復号
して得ることができる拡張画像信号の復号化方法を提供
できる効果がある。

【０１７４】また、請求項６記載の発明によれば、供給
される画像信号を直交変換及び可変長符号化して標準的
に使用される圧縮符号化信号を得、その得られた圧縮符
号化信号と、供給される画像信号とを演算して差分画像
信号を得、その得られた差分画像信号を圧縮符号化して
圧縮符号化信号のユーザデータ記録領域に挿入して拡張
画像符号化信号を得るようにしているため、その拡張画
像符号化信号を標準的な復号化により標準的な画質で復
号化画像信号を得ることができると共に、ユーザデータ
領域で伝送された差分画像信号を復号できる機能を有す
る復号化装置で復号化する場合は更に高画質な復号信号
を得ることができる拡張画像信号符号化装置の構成を提
供できる効果がある。

【０１７５】また、請求項７記載の発明によれば、特に
ユーザデータ領域で伝送される差分画像信号が標準方式
のメインプロファイルとして規定される４：２：０画像
フォーマットにより符号化された符号化信号のユーザデ
ータ記録領域に、４：２：２画像フォーマットなど更に
高画質な画像により符号化された信号に対する差分画像
信号を符号化して、挿入して伝送するため、請求項６の
効果に加え、ユーザデータ領域で伝送される差分画像信
号を復号化できるときは、更に色信号解像度の高い高画
質な画像信号を得ることができる拡張画像信号符号化装
置の構成を提供できる効果がある。

【０１７６】また、請求項８記載の発明によれば、画像
信号を直交変換及び可変長符号化して標準的に使用され
る圧縮符号化信号に、その圧縮符号化信号を高画質に復
号するための差分画像信号が圧縮符号化されて圧縮符号
化信号のユーザデータ記録領域に挿入されて供給される
拡張符号化信号を得、その得られた拡張符号化信号の圧
縮符号化信号を復号して復号化画像信号を得ると共に、
その圧縮符号化信号のユーザデータ領域に挿入されて伝
送された差分画像信号を復号化して復号化差分画像信号
を得、それらの得られた復号化画像信号と復号化差分画
像信号との加算処理を行うことにより、更に高画質な復
号化画像信号を得ることができる拡張画像信号復号化装
置の構成を提供できる効果がある。

【０１７７】また、請求項９記載の発明によれば、供給
される画像信号を直交変換及び可変長符号化して標準的
に使用される圧縮符号化信号を得、その得られた圧縮符
号化信号と供給される画像信号とを演算して差分画像信
号を得、その得られた差分画像信号を圧縮符号化して圧
縮符号化信号のユーザデータ記録領域に挿入して拡張画
像符号化信号を得る、などのようにして得られた拡張画
像復号化信号を記録媒体に記録するようにしているた
め、その記録媒体は拡張画像符号化信号を標準的な復号
化装置により標準的な画質で復号化することができると
共に、ユーザデータ領域で伝送された差分画像信号を復
号できる機能を有する復号化装置に対しては更に高画質
の復号信号を得るための拡張画像信号符号化信号を記録
した拡張画像記録媒体を提供できる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る拡張画像符号化装
置の構成図である。

【図２】本発明の第１の実施例に係る輝度信号に係るＤ
ＰＣＭコード表を示したものである。

【図３】本発明の第１の実施例に係る色差信号に係るＤ
ＰＣＭコード表を示したものである。

【図４】ＭＰＥＧ２で規定されるビデオレイヤの符号化
シンタックスを示したものである。

【図５】拡張画像符号化装置で生成した符号化データ
の、通常の画像復号化装置による復号を説明するための
図である。

【図６】本発明の第１の実施例に係る拡張画像復号化装
置の構成図である。

【図７】本発明の第２の実施例に係る拡張画像符号化装
置の構成図である。

【図８】本発明の第２の実施例に係る拡張画像復号化装
置の構成図である。

【図９】４：２：０画像フォーマットによる輝度信号と
色差信号の画素数の関係を示した図である。

【図１０】４：２：２画像フォーマットによる輝度信号
と色差信号の画素数の関係を示した図である。

【図１１】本発明の第３の実施例に係る拡張画像符号化
装置の構成図である。

【図１２】本発明の第３の実施例に係る拡張画像符号化
装置を変形させた構成図である。

【図１３】拡張画像符号化装置で生成した符号化データ
の、通常の画像復号化装置による復号を説明するための
図である。

【図１４】本発明の第３の実施例に係る拡張画像復号化
装置の構成図である。

【図１５】従来のＭＰＥＧ符号化器の構成を示した図で
ある。

【図１６】従来のＭＰＥＧ復号化器の構成を示した図で
ある。

【符号の説明】

１０、１０ａ、１０ｂ、１０ｃ 拡張画像符号化装置 １１ データ入力端子 １２ ＭＰＥＧ符号化器 １２ａ 第１ＭＰＥＧ符号化器 １３ ＭＰＥＧ復号化器 １４ 加算器 １５ 遅延器 １６ ＤＰＣＭ器 １７ ユーザデータ挿入器 １８ 固定符号量指示器 １９ 第２ＭＰＥＧ符号化器 ２１ ４：２：０変換器 ２２ ４：２：２変換器 ２３ 色差データ差分器 ３０ 通常画像復号化装置 ３０ａ、３０ｂ、３０ｃ 拡張画像復号化装置 ３１ データ入力端子 ３２、３２ａ ＭＰＥＧ復号化器 ３２ｂ 第１ＭＰＥＧ復号化器 ３３ ユーザデータ分離器 ３４ 遅延器 ３５ ＤＰＣＭ復号化器 ３６ 加算器 ３７ 第２ＭＰＥＧ復号化器 ３８ ４：２：２変換器 ３９ 色差データ加算器 ５０ ＭＰＥＧ符号化器 ５１ 入力端子 ５２ 加算器 ５３ ＤＣＴ器 ５４ 量子化器 ５５ ＶＬＣ器 ５６ バッファ ５７ 変換符号量制御器 ６１ 逆量子化器 ６２ 逆ＤＣＴ器 ６３ 加算器 ６４ 画像メモリ ６５ 動き補償予測器 ７０ ＭＰＥＧ復号化器 ７１ データ入力端子 ７２ バッファ ７３ ＶＬＤ器 ７４ 逆量子化器 ７５ 逆ＤＣＴ器 ７６ 加算器 ７７ 画像メモリ ７８ 動き補償予測器

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C057 AA08 AA09 DA06 EA02 EA06 EM09 EM11 EM13 EM16 FB03 5C059 MA00 MA23 MA35 MC11 MC31 ME01 ME05 PP05 PP06 PP07 PP16 SS01 SS06 SS13 SS20 UA02 UA05 UA38 5J064 AA01 BA04 BA09 BA16 BB01 BC02 BC08 BD02 BD03

Claims (9)

【特許請求の範囲】
1. 【請求項１】供給される画像信号を直交変換して変換画
   像信号を得、その得られた変換画像信号を可変長符号化
   して圧縮符号化信号を得る第１のステップと、 前記圧縮符号化信号又は前記変換画像信号を復号して復
   号画像信号を得る第２のステップと、 前記復号画像信号と、前記供給される画像信号とを演算
   して差分画像信号を得る第３のステップと、 前記差分画像信号を圧縮符号化して差分画像圧縮符号化
   信号を得る第４のステップと、 前記差分画像圧縮符号化信号を、前記圧縮符号化信号の
   ユーザデータ記録領域に挿入して拡張画像符号化信号を
   得る第５のステップと、 を少なくとも有することを特徴とする拡張画像の符号化
   方法。
2. 【請求項２】前記第５のステップにおける差分画像圧縮
   符号化信号の直前に、予め定めたユニークコードを識別
   信号として付して前記ユーザデータ記録領域に挿入する
   ことを特徴とする請求項１記載の拡張画像の符号化方
   法。
3. 【請求項３】前記第１のステップおいて得られる変換画
   像信号は４：２：０画像フォーマットによる信号であ
   り、且つ前記第３のステップにおいて得られる差分画像
   信号は、前記４：２：０画像フォーマットよりも色信号
   解像度の高い画像フォーマットによる信号であることを
   特徴とする請求項１記載の拡張画像の符号化方法。
4. 【請求項４】供給される画像信号を圧縮符号化して第１
   の圧縮符号化信号を得、その得られた第１の圧縮符号化
   信号を復号して得た復号化信号と前記画像信号との差分
   画像信号を得、その得られた差分画像信号を圧縮符号化
   して第２の圧縮符号化信号を得、その得られた第２の圧
   縮符号化信号の頭部にユニークコードを付して前記第１
   の圧縮符号化信号のユーザデータ記録領域に挿入するよ
   うして得られた拡張画像符号化信号が供給され、 その拡張画像符号化信号の前記第１の圧縮符号化信号を
   復号して第１の復号化画像信号を得ると共に、前記拡張
   画像符号化信号のユーザデータ領域で伝送される第２の
   圧縮符号化信号を復号して第２の復号化画像信号を得る
   第１のステップと、 その第１のステップで得られた、第１の復号化画像信号
   及び第２の復号化画像信号の加算処理を行うことにより
   拡張復号化画像を得る第２のステップと、 を少なくとも有することを特徴とする拡張画像の復号化
   方法。
5. 【請求項５】前記第１の圧縮符号化信号は４：２：０画
   像フォーマットにより符号化された信号であり、且つ前
   記差分画像信号は前記４：２：０画像フォーマットより
   も色信号解像度の高い画像フォーマットにより符号化さ
   れた信号であることを特徴とする請求項４記載の拡張画
   像の復号化方法。
6. 【請求項６】供給される画像信号を直交変換して変換画
   像信号を得、その得られた変換画像信号を可変長符号化
   して圧縮符号化信号を得る第１の圧縮符号化手段と、 その第１の圧縮符号化手段より圧縮符号化信号を得、又
   は前記第１の圧縮符号化手段より前記変換画像信号を
   得、得られたそれらの信号の内少なくとも一方の信号を
   復号して復号画像信号を得る復号化手段と、 その復号化手段より得られた復号画像信号と、前記供給
   される画像信号とを比較演算することにより差分画像信
   号を得る演算手段と、 その演算手段により得られた差分画像信号を圧縮符号化
   して差分画像圧縮符号化信号を得る第２の圧縮符号化手
   段と、 その第２の圧縮符号化手段により得られた差分画像圧縮
   符号化信号を、前記第１の圧縮符号化信号のユーザデー
   タ領域に挿入して拡張画像符号化信号を得るユーザデー
   タ挿入手段と、 を具備して構成することを特徴とする拡張画像符号化装
   置。
7. 【請求項７】前記第１の圧縮符号化手段により得られる
   圧縮符号化信号は４：２：０画像フォーマットによる信
   号であり、且つ前記第２の圧縮符号化手段により得られ
   る差分画像圧縮符号化信号は前記４：２：０画像フォー
   マットよりも色信号解像度の高い画像フォーマットによ
   る信号であることを特徴とする請求項６記載の拡張画像
   符号化装置。
8. 【請求項８】供給される画像信号を圧縮符号化して第１
   の圧縮符号化信号を得、その得られた第１の圧縮符号化
   信号を復号して得た復号化信号と前記供給される画像信
   号との差分画像信号を得、その得られた差分画像信号を
   圧縮符号化して第２の圧縮符号化信号を得、その得られ
   た第２の圧縮符号化信号の頭部にユニークコードを付し
   て前記第１の圧縮符号化信号のユーザデータ記録領域に
   挿入するようして得られた拡張画像符号化信号が供給さ
   れ、その供給された拡張画像符号化信号を復号化する拡
   張画像復号化装置であって、 供給される拡張画像符号化信号より前記第１の圧縮符号
   化信号を復号して第１の復号化画像信号を得る第１の復
   号化手段と、 前記ユーザデータ記録領域で伝送される第２の圧縮符号
   化信号を復号して第２の復号化画像信号を得る第２の復
   号化手段と、 その得られた第２の復号化画像信号と、前記第１の復号
   化画像信号とを加算することにより拡張復号化画像信号
   を得る加算手段と、 を具備して構成することを特徴とする拡張画像復号化装
   置。
9. 【請求項９】画像信号を４：２：０画像フォーマットに
   より符号化して得られる第１の符号化信号のユーザデー
   タ記録領域に、前記第１の符号化信号により符号化した
   画像信号と前記符号化前の画像信号との差分に係る差分
   画像信号を記録する拡張画像記録媒体であって、 前記差分画像信号は前記４：２：０画像フォーマットよ
   りも色信号解像度の高い画像フォーマットにより符号化
   した第２の符号化信号であることを特徴とする拡張画像
   記録媒体。