JPH0771251B2 - 画像の圧縮記録システム - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、動画像信号の予測符号化に、逆転再生を考
慮した工夫を施した画像の圧縮記録システムに関する。

［従来の技術］ カラー動画に画像圧縮を施し符号化して得られる画像デ
ータを、音声信号とともにCD−ROMに書き込み、教育用
或は娯楽用の対話方式映像源を提供する試みがなされて
いる。例えば記録容量に限界があってしかも大容量化が
困難であるCD−ROM等に１時間分のカラー画像を記憶さ
せる場合、通常１フレームの画像単位で平均5Kバイトま
での圧縮が必要であり、その場合の圧縮率は1/120に達
する。このため、通常のカラー画像は、１フレーム当た
り600Kバイト，約18Mバイト／秒の転送速度が要求さ
れ、記憶容量が540Mバイト程度のCD−ROMに、単純にデ
ィジタル画像データを格納した場合は、再生時間が僅か
30秒程度と、ほとんど実用に耐えないものとなってしま
う。

しかし、以下に示す予測符号化による予測誤差記録と不
等長符号記録等を骨子とする高能率符号化方式を導入す
ることで、再生装置の回転数を上げることなく、通常の
音声データ記録用のCD同様、約１時間の表示時間をもつ
カラー画像用CD−ROMが提案されるに至った。高能率符
号化方式は、元来、画像の１画素当たりの平均ビット数
を低減する目的で開発されたものであり、とりわけフレ
ーム間DPCM（差分パルス符号変調）を用いた予測符号化
（predictive coding）方式は、フレーム間の相関が高
く、フレーム差分信号の小さいテレビジョン信号の処理
に好適であるとされている。

この予測符号化方式は、Ｘ−Y2次元画像平面内の画素に
関する画像データから、１フレーム前のデータを用いて
予測した予測値を差し引き、その差分を予測誤差データ
として符号化することで圧縮する方式である。その場
合、予測誤差データがほぼラプラス分布で近似されるこ
とから、第３図に示す従来の圧縮画像データ記録・再生
システム１では、記録系に用いる符号器２内の量子化回
路３として、対数圧縮による非線形量子化回路を用いて
いる。符号器２は、入力画像データをその予測値との差
分をとる減算器４を介して量子化回路３に供給する。量
子化回路３にてレベル値からレベル番号に変換された予
測誤差データは、一つは符号変換回路５にて不等長符号
に変換され、CD−ROM6に記録される一方、局部復号器７
を介して減算器４に帰還される。この局部復号器７は、
量子化の逆処理すなわちレベル番号からレベル値への変
換を行う逆量子化回路８の出力を予測回路10を介して加
算器９に正帰還し、加算器９から得られる局部復号信号
を減算器４に供給する構成をとる。

ところで、予測回路10は、フレーム間予測を基調とする
も、フレーム内予測を織り交ぜることで、補完する構成
をとっている。すなわち、動画を形成する複数フレーム
の画像単位に対し、いずれのフレームも縦ｍ段の帯状の
スプリットに分割し、例えばｉ＋km（ｋ＝0,1,2...）番
目のフレームであれば、各スプリットごとの画像データ
Ｖ（1,i＋km）,V（2,i＋km）,..V（m,i＋km）のうち、
第ｉスプリットの画像データＶ（i,i＋km）について、
フレーム内予測による予測符号化を施すことで画質を改
善するスプリット・リフレッシュ方式を採用している。
フレーム内予測によりリフレッシュされるスプリット
は、予測回路10の予測モードを制御する符号化制御回路
11により、フレームごとに巡回され、リフレッシュ効果
が画像全体に均一化されるよう配慮されている。このた
め、CD−ROM6に記録される予測誤差データは、スプリッ
ト番号i,フレーム番号ｊの画像データＶ（i,j）に関
し、ｊ≠ｉ＋kmではフレーム間予測による予測誤差デー
タ Ｅ（i,j）＝Ｖ（i,j）−Ｖ（i,j） が生成され、ｊ＝ｉ＋kmでは、フレーム内予測による予
測誤差データ Ｅ（i,j）′＝Ｆ［Ｖ（i,j）］ が生成される。ただし、Ｖ（i,j）はＶ（i,j）の予測値
すなわち１フレーム前の画像データＶ（i,j-1）であ
り、Ｆはフレーム内符号化関数を表す。なお、ダッシュ
符号は、フレーム内予測によるものであることを示す。
第４図は、スプリット数ｍが４である場合の予測誤差デ
ータ列を例示したものである。

一方、CD−ROM6から読み出された予測誤差データＥ（i.
j）或はＥ（i,j）′を復号する復号器12は、不等長符号
化により符号変換された予測誤差データを逆変換し、等
長符号に戻す符号逆変換回路13と、符号逆変換回路13の
出力を逆量子化する逆量子化回路14と、逆量子化回路14
の出力予測誤差データから画像データＶ（i,j）を形成
する加算器15及び予測回路16からなる。加算器15は、逆
量子化回路14の出力に自身の出力にもとづく予測回路16
の出力を加算するものであり、予測誤差データに対する
予測回路16の出力の巡回加算によって、画像データＶ
（i.j）が再生される。予測回路16には、復号化制御回
路17が接続してあり、予測誤差データの生成過程で用い
られた予測モードに合わせた予測モード制御を実行す
る。なお、復号器12にて復号される画像データＶ（i,
j）は、ｊ≠ｉ＋kmにあっては予測値Ｖ（i,j）に予測誤
差データＥ（i,j）を加算することで得られ、 Ｖ（i,j）＝Ｖ（i,j）＋Ｅ（i,j） であり、ｊ＝ｉ＋kmでは、 Ｖ（i,j）＝Ｇ［Ｅ（i,j）′］ として得られる。ただし、Ｇはフレーム内復号化関数を
表す。

［発明が解決しようとする問題点］ 上記従来の圧縮画像データ記録・再生システム１は、CD
−ROM6を記録順序に従って再生する、いわゆる正転再生
だけを想定して構成されていたため、例えば予測誤差デ
ータの記録順序に逆行するかたちで再生する、いわゆる
逆転再生時には、復号器12内の予測回路16が初期値とし
て必要とする過去のデータが皆無であるために、画像途
中は勿論のこと、末尾画像からでさえ正規の逆転再生は
なし得ず、仮に逆転再生を試みたとしても、原画像から
およそ掛け離れた無意味な画像が再生されてしまい、フ
レーム間或はフレーム内の差分だけ減算を繰り返すだけ
では、画像信号を逆転再生できない等の問題点があっ
た。

［問題点を解決するための手段］ この発明は、上記問題点を解決したものであり、複数の
画像単位からなる動画像信号を、１画像単位ごとに画像
単位内予測符号化を織り交ぜつつ画像単位間予測符号化
により圧縮し、予測誤差データとして圧縮画像データ記
録媒体に記録する画像の圧縮記録システムであって、前
記画像単位内予測符号化により圧縮される画像部分につ
いては先に該画像単位内符号化を実行し、ついでこれを
復号した画像信号を用いて前記画像単位間符号化をも実
行し、これらの両符号化による符号化データを生成する
符号器を設けて構成したことを特徴とするものである。

［作用］ この発明は、複数の画像単位からなる動画像信号を、１
画像単位ごとに画像単位内予測符号化を織り交ぜつつ画
像単位間予測符号化により圧縮し、予測誤差データとし
て圧縮画像データ記録媒体に記録するとともに、画像単
位内予測符号化により圧縮した画像部分において、逆転
再生時の正確な画像再生に必要なデータを付加した予測
誤差データを生成することにより、任意の画像単位から
の逆転再生を可能とする。

［実施例］ 以下、この発明の実施例について、第1,2図を参照して
説明する。第１図は、この発明の画像の圧縮記録システ
ムを適用した圧縮画像データ記録・再生システムの一実
施例を示すシステム構成図、第２図は、第１図に示した
CD−ROMに記録される予測誤差データの内容を示す図で
ある。

第１図中、圧縮画像データ記録・再生システム20は、符
号器21を含む画像の圧縮記録システムの構成が従来とは
異なるものである。この符号器21は、CD−ROM6の逆転再
生を予想し、正転再生だけを考慮して記録していた従来
の記録方式に改良が加えてある。すなわち、フレーム内
予測符号化により圧縮した画像部分について、逆点再生
時の初期画像の形成に必要なデータを付加した予測誤差
データが生成されるよう、予測回路10や符号変換回路５
を符号化制御回路22により制御する構成としたものであ
る。

ここで、符号器21を用いてCD−ROM6に圧縮画像データを
記録する場合であるが、この場合、前述したごとく、第
ｊフレームの第ｉスプリット（ｊ≠ｉ＋km）に関する画
像データＶ（i,j）については、予測回路10に対しフレ
ーム間予測モードが設定される。

一方、フレーム内予測によりリフレッシュするスプリッ
トに関する画像データＶ（i,j）については、予測回路1
0に対しフレーム内予測モードが設定され、フレーム内
予測演算Ｆ［Ｖ（i,j）］により予測誤差データＥ（i,
j）′が得られる。しかし、ここで得られた予測誤差デ
ータＥ（i,j）′は直ちに記録せず、符号化制御回路22
が、まず予測誤差データＥ（i,j）′の局部復号出力す
なわちフレーム内予測値Ｇ［Ｅ（i,j）′］から、前フ
レームの画像データＶ（i,j-1）を減じて得られるデー
タＥ（i,j）を記録する。そして、データＥ（i,j）を記
録したあと、フレーム内予測誤差データＥ（i,j）′を
続けて記録する。すなわち、フレーム内予測誤差データ
Ｅ（i,j）′には、第２図に示したように、逆転再生時
の先頭画像に整合する次画像の形成に必要なデータＥ
（i,j）が必ず前置付記されることになる。

一方、復号器31についても、CD−ROM6の逆転再生に対処
できるよう、逆量子化回路13と予測回路15を復号化制御
回路32により制御し、第ｉ＋kmフレームにおいて逆転再
生時に記録順序に逆行して最初に読み出されたフレーム
内予測誤差データＥ（i,j）′に関しては、フレーム内
相関を利用した予測値Ｇ［Ｅ（i,j）′］を生成し、さ
らにデータＥ（i,j）に続いて読み出される予測誤差デ
ータＥ（i-1,j）,E（i-2,j）...に関しては、フレーム
間相関を利用した予測値を生成するよう構成してある。
また、フレーム内予測による復号とフレーム間予測によ
る復号における時制の違いを除去するため、逆量子化回
路14と加算器15の間に、１フレーム期間の遅延時間をも
つ遅延回路33が介在させてあり、フレーム内予測モード
時に復号化制御回路32が切り替えスイッチ34を切り替え
ることで、逆量子化回路14の出力を１フレーム期間遅延
する構成としてある。さらに、記録順序に逆行して再生
する場合、CD−ROM6から供給される予測誤差データＥ
（i,j）の極性を適宜反転しなければならず、このため
復号化制御回路32は、逆転再生当初に読み出されたスプ
リットに関する予測誤差データＥ（i,j）′以外は、逆
量子化回路13の出力に負号を付すよう働きかける構成と
してある。

ところで、CD−ROM6を逆転再生すると、復号器31は、最
初のフレーム内予測誤差データＥ（i,j）′が供給され
るまで復号を停止し、最初のフレーム内予測誤差データ
Ｅ（i,j）′が供給された時点で、復号化制御回路32が
予測回路16の予測モードをフレーム内予測モードに切り
替え、実質的な復号が開始される。この場合、最初に読
み出されたフレーム内予測符号化されたスプリットに関
する予測誤差データＥ（i,j）′は、負号を付さずにそ
のままフレーム内復号化が行われ、符号化の過程で得ら
れた局部復号出力と同じ画像データＧ［Ｅ（i,j）′］
が再生され、これが逆転再生時の先頭画像を形成する。

なお、上記先頭画像Ｇ［Ｅ（i,j）′］とこれに続いて
逆転再生される画像の間には、１フレーム分の時制の違
いが存在するため、前述のごとく、上記フレーム内予測
にもとづく復号化にさいしては、切り替えスイッチ34が
遅延回路33側に切り替わり、１フレーム期間分の信号遅
延により時制の統一がなされる。

一方、予測誤差データＥ（i,j）′に続いて送られてく
るデータＥ（i,j）からは、逆量子化回路13の出力に負
号を付すとともに、フレーム間予測による復号が行われ
る。このため、Ｇ［Ｅ（i,j）′］に続いては、Ｇ［Ｅ
（i,j）′］−Ｅ（i,j）すなわちＶ（i,j-1）が再生さ
れる。そして、Ｖ（i,j-1）に続いて、Ｖ（i-1,j-1）,V
（i-2,j-1）...のごとく、逐次フレーム間予測にもとづ
く復号化が実行され、続く他のフレームについても同様
の復号化が実行される。

このように、圧縮画像データ記録・再生システム20は、
複数のフレームからなる動画像信号を、１フレームごと
にフレーム内予測符号化を織り交ぜつつフレーム間予測
符号化により圧縮し、予測誤差データとしてCD−ROM6に
記録するとともに、フレーム内予測符号化により圧縮し
た画像部分Ｖ（i,j）において、逆転再生時の正確な画
像再生に必要不可欠であるデータＥ（i,j）すなわちＧ
［Ｅ（i,j）′］−Ｖ（i-1,j）を付加した予測誤差デー
タＥ（i,j）′を生成する構成としたから、逆転再生時
に、最初に読み出されたフレーム内予測誤差データＥ
（i,j）′から、復号に必要な初期画像を形成し、この
初期画像から付加データＥ（i,j）を減算することで、
次画像を再生することができ、さらに順次予測誤差デー
タを減算しつつ画像を再生することにより、フレーム間
での相関を利用した予測にもとづく予測誤差データの逆
方向復号を、正確に実行することができる。さらに、フ
レーム内予測により符号化した予測誤差データは、フレ
ームごとに挿入してあるため、複数のフレームからなる
一連の動画像を、その末尾に限らず、どのフレームから
も逆転再生することができる。

なお、上記実施例において、圧縮画像データ記録媒体と
しては、CD−ROM6に限定されず、他の例えばビデオテー
プ等であってもよい。

また、以上の説明において、画像単位間の相関を利用し
た予測符号化方式として、フレーム間差分符号化を例に
とったが、動き補償フレーム間予測などの他の方式を用
いることも可能である。また、これらの符号化過程で生
ずる予測誤差データに対し、直交変換符号化やベクトル
量子化を行うことも可能である。例えば直交変換符号化
を施す場合は、符号器21内の量子化回路３の前段に直交
変換回路が、また逆量子化回路８の後段に逆直交変換回
路がそれぞれ必要であり、さらに復号器31内の逆量子化
回路14の後段に逆直交変換回路が必要である。この場
合、記録媒体に記録されるのは、変換係数成分に変換さ
れた予測誤差データとなるが、符号器21や復号器31の本
質に変わりはない。また、ベクトル量子化を施す場合
は、符号器21内の量子化回路３の前段にベクトル量子化
のためのベクトル・インデックス回路が、また逆量子化
回路８の後段に逆ベクトル量子化のためのベクトル・イ
ンデックス逆変換回路がそれぞれ必要であり、さらに復
号器31内の逆量子化回路14の後段に逆ベクトル量子化の
ためのベクトル・インデックス逆変換回路が必要であ
る。この場合、記録媒体に記録されるのは、予測誤差デ
ータから変換されたベクトルインデックスとなるが、符
号器21や復号器31の本質に変わりはない。

［発明の効果］ 以上説明したように、この発明は、複数の画像単位から
なる動画像信号を、１画像単位ごとに画像単位内予測符
号化を織り交ぜつつ画像単位間予測符号化により圧縮
し、予測誤差データとして圧縮画像データ記録媒体に記
録するとともに、画像単位内予測符号化により圧縮した
画像部分において、逆転再生時の正確な画像再生に必要
なデータを付加した予測誤差データを生成する構成とし
たから、逆転再生時に、最初に読み出された画像単位内
予測誤差データから復号に必要な初期画像を形成し、こ
の初期画像から付加データを減算することで次画像を再
生することができ、さらに順次予測誤差データを減算し
つつ画像を再生することにより、画像単位間での相関を
利用した予測にもとづく予測誤差データの逆方向復号
を、正確に実行することができ、また画像単位内予測に
より符号化した予測誤差データは、画像単位ごとに挿入
してあるため、複数の画像単位からなる一連の動画像
を、その末尾に限らず、どの画像からも逆転再生するこ
とができる等の優れた効果を奏する。

【図面の簡単な説明】

第１図は、この発明の画像の圧縮記録システムを適用し
た圧縮画像データ記録・再生システムの一実施例を示す
システム構成図、第２図は、第１図に示したCD−ROMに
記録される予測誤差データの内容を示す図、第３図は、
従来の圧縮画像データ記録・再生システムの一例を示す
システム構成図、第４図は、第３図に示したCD−ROMに
記録される予測誤差データの内容を示す図である。 ３……量子化回路,4……減算器,5……符号変換回路,6…
…CD−ROM,7……局部復号器,10……予測回路,20……圧
縮画像データ記録・再生システム,21……符号器,22……
符号化制御回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 睦 東京都港区芝５丁目33番１号 日本電気株 式会社内 (72)発明者 國弘 秀人 大阪府大阪市淀川区宮原３丁目５番24号 日本電気ホームエレクトロニクス株式会社 内 (56)参考文献 特開 昭63−125071（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】複数の画像単位からなる動画像信号を、１
   画像単位ごとに画像単位内符号化を織り交ぜつつ画像単
   位間符号化により圧縮し、予測誤差データとして圧縮画
   像データ記録媒体に記録する画像の圧縮記録システムで
   あって、前記画像単位内符号化により圧縮される画像部
   分については先に該画像単位内符号化を実行し、ついで
   これを復号した画像信号を用いて前記画像単位間符号化
   をも実行し、これらの両符号化による符号化データを生
   成する符号器を設けてなる画像の圧縮記録システム。