JPH0642737B2 - 動画符号化方式 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、動画像信号の単位画像間予測符号化にほぼ
定期的に単位画像内予測符号化を織り交ぜるようにし、
正逆いずれの方向においても任意の時点から速やかな再
生信号を実現できる動画像符号化方式に関する。

［従来の技術］ カラー動画の圧縮記録に用いられる高能率符号化方式
は、画像の１画素当たりの平均ビット数低減に有効であ
り、とりわけ単位画像としてテレビ信号の１フレームを
とる時、フレーム間のDPCM（差分パルス符号変調）を用
いた予測符号化方式は、フレーム間相関が高いためにフ
レーム差分信号が小さいテレビジョン信号の処理に好適
であるとされている。同予測符号化方式は、Ｘ−Ｙ２次
元画像平面内の画素に関する画像データから、１フレー
ム前のデータを用いて予測した予測値を差し引き、その
差分を予測誤差データとして符号化することで圧縮する
方式である。

しかして、予測誤差データはほぼプラス分布で近似でき
ることから、第３図に示す従来の圧縮画像データ記録・
再生システム１では、記録系に用いる符号器２内の量子
化回路３として、対数圧縮による非線形量子化回路を用
いている。符号器２は、入力画像データをその予測値と
の差分をとる減算器４を介して量子化回路３に供給す
る。量子化回路３にてレベル値からレベル番号に変換さ
れた予測誤差データは、一つは符号変換回路５にて不等
長符号に変換され、ＣＤ−ＲＯＭ６に記録される一方、
局部復号器７を介して減算器４に帰還される。この局部
復号器７は、量子化の逆処理すなわちレベル番号をレベ
ル値に逆変換する逆量子化回路８の出力を予測器９を介
して減算器４に供給する一方、予測器９の入力側に設け
た加算器１０に正帰還する。

ところで、予測器９は、本例の場合、フレーム間予測回
路９ａとフレーム内予測回路９ｂを並列接続し、切り替
えスイッチ９ｃによりいずれか一方を選択的に減算器４
に接続する構成としてある。これは、シーンチェンジ
（場面転換）があった場合に、シーンチェンジ後の先頭
画像は前フレームの画像信号とは相関をもたないため、
フレーム間予測符号化を施すよりも、画像のフレーム内
相関を用いるフレーム内予測符号化を行う方が符号化効
率が良いからである。連続する単位画像を区切って得ら
れる一連の単位画像を例とする場合、シーンチェンジに
際し、シーンチェンジ情報発生回路１１ａからのシーン
チェンジ情報にもとづいて予測モード制御回路１１が作
動し、切り替えスイッチ９ｃをフレーム内予測回路９ｂ
側に切り替える。従って、シーンチェンジ後に初めてＣ
Ｄ−ＲＯＭ６に記録される予測誤差データＥ(1)′は、
予測器９に対しフレーム内予測モードが設定されること
で、 Ｅ(1)′＝Ｆ［Ｖ(1)］ となる。ただし、ダッシュ符号は、フレーム内予測によ
るものであることを示しており、Ｆはフレーム内予測符
号化のための符号化関数である。そして第１フレームに
続く第２フレームからは予測器９に対しフレーム間予測
モードが設定されるため、第ｉフレームの画像について
は、 Ｅ(i)＝Ｖ(i)−Ｖ(i)＝Ｖ(i)−Ｖ(i-1) なる演算により得られら予測誤差データＥ(i)が、ＣＤ
−ＲＯＭ６に記録される。ただし、Ｖ(i)はＶ(i)の予測
値すなわち１フレーム前の画像データＶ(i-1)である。

一方、ＣＤ−ＲＯＭ６から読み出された予測誤差データ
Ｅ(i)或はＥ(i)′を復号する復号器１２は、不等長符号
化により符号変換された予測誤差データを逆変換し、等
長符号に戻す符号逆変換回路１３と、符号逆変換回路１
３の出力を逆量子化する逆量子化回路１４と、逆量子化
回路１４の出力予測誤差データから画像データＶ(i)を
形成する加算器１５及び予測器１６からなる。逆量子化
回路１４の出力は、加算器１５を経て出力される一方、
予測器１６を介して加算器１５に正帰還され、予測誤差
データとその復号出力の巡回加算によって、画像データ
Ｖ(i)が再生される。予測器１６には、予測誤差データ
の生成過程で用いられた予測モードに合わせて予測モー
ドを切り替える予測モード制御回路１７が接続してあ
る。

なお、復号器具１２において復号される画像データＶ
(i)は、ｉ＝１にあっては、 Ｖ(i)＝Ｇ［Ｅ(i)′］ として生成され、ｉ≧２にあっては、予測値Ｖ(i)に予
測誤差データＥ(i)を加算することで、 Ｖ(i)＝Ｖ(i)＋Ｅ(i) として生成される。ただし、Ｇはフレーム内復号化関数
を表す。

［発明が解決しようとする問題点］ 上記従来の圧縮画像データ記録・再生システム１は、シ
ーンチェンジがあったかどうかは、製作に携わるオペレ
ータの判断に委ねられており、オペレータが独自の判断
でもってフレーム内予測符号化を実行することもできる
ようになっている。また、フレーム間予測にもとづく予
測誤差データとフレーム内予測にもとづく予測誤差デー
タを常時エネルギ比較し、パワーが少ない方の予測モー
ドを自動選択するといった方法の併用も可能である。し
かし、こうした方法でフレーム間予測にフレーム内予測
を切り換えて使用する方式は、フレーム内予測の実施が
散発的にしか行われない場合が大半を占める。例えば、
動きのない背景を背に人物を撮影したような画像では、
シーンチェンジもなく長時間にわたってほとんど同じ映
像が連続するため、第１フレームだけフレーム内予測が
行われたあとは、フレーム間予測が継続的に実行される
ことになる。そして、こうしたフレーム内予測誤差デー
タを殆ど含まない、フレーム間予測誤差データが大半を
占めるＣＤ−ＲＯＭ６を再生する場合、最初のシーンか
ら再生する場合は問題はないが、先頭画像からではなく
途中再生したような場合に、次にフレーム内予測による
予測誤差データが得られるまでにかなりの時間がかかっ
てしまい、その間およそ無意味な画像が再生され続け
る、また極端な例として、先頭画像のみがフレーム内予
測による場合に途中での再生は不可能といった問題点が
あった。

符号化技術を本発明のように記録・再生システムにて用
いる場合には、再生時のデータ誤りはシステム側で訂正
されるため、通信に利用する場合と異なって特に誤り対
策を講じる必要はないが、ここでフレーム内予測を用い
ることにより初めて途中再生が可能となる。

また、上記従来の圧縮画像データ記録・再生システム１
は、いわゆる正転再生だけを想定して構成されていたた
め、例えば予測誤差データの記録順序に逆行するかたち
で再生する、いわゆる逆転再生時には、復号器１２内の
予測器１６が初期値として必要とする過去のデータが皆
無であるために、画像途中は勿論のこと、末尾画像から
でさえ正規の逆転再生はなし得ず、仮に逆転再生を試み
たとしても、原画像からおよそ掛け離れた無意味な画像
が再生されてしまい、フレーム間或はフレーム内の差分
だけ減算を繰り返すだけでは、画像信号を逆転再生でき
ない等の問題点があった。

尚、末尾画像から正常な逆転再生が出来ない理由は、通
常は予測誤差に対して量子化が適用され、その時に発生
する量子化誤差が不可避的であることによる。

［問題点を解決するための手段］ この発明は、連続する単位画像からなる動画像信号を符
号化し、記録した記録媒体から該動画像信号を再生する
系において使用され、前記単位画像間の相関を利用する
第１の符号化方法、と前記単位画像内の相関を利用する
第２の符号化方法を切り換えて使用し符号化する方式で
あって、複数の前記単位画像毎に区切って得られる一連
の単位画像の先頭単位画像は前記第２の符号化方法によ
り、その他は前記第１の符号化方法により符号化するに
当たり、少なくとも該一連の単位画像の最終単位画像を
符号化する以前に次の一連の単位画像の先頭単位画像を
前記第２の符号化方法により符号化することを特徴とす
るものである。

［作用］ この発明は、単位画像間予測符号化に、ほぼ定期的に単
位画像内予測符号化を切り換えることにより動画像信号
を符号化しておき、シーン途中からの復号要求に対する
初期画像形成時間を短縮する。また、単位画像内予測符
号化に対する復号画像を利用して、正逆のいずれかの方
向での再生においても、初期画像形成時間を短縮する。

［実施例］ 以下、この発明の実施例について、第１，２図を参照し
て説明する。第１図は、この発明の動画符号化方式を適
用して圧縮画像データ記録・再生システムの一実施例を
示すシステム構成図、第２図は、第１図に示したＣＤ−
ＲＯＭに記録される予測誤差データの内容を示す図であ
る。

第１図中、圧縮画像データ記録・再生システム２１は、
符号器２２を含む画像の圧縮記録システムの構成が従来
とは異なるものである。この符号器２２は、シーン途中
からの復号要求に対する初期画像形成時間が短縮される
よう、フレーム間予測に定期的にフレーム内予測に切り
換えて使用する一方、フレーム内予測誤差データの記録
に工夫を施すことで、シーン途中からＣＤ−ＲＯＭ６が
逆転再生できるよう構成したものである。また、フレー
ム間、フレーム内予測により得られる予測誤差データに
ついては量子化が適用されているものとする。

２３は、予測モード制御回路１１に接続したカウンタ回
路で、予測モード制御回路１１が予測モードをフレーム
内からフレーム間に切り替えたあと、あらかじめ設定さ
れた所定の計数値から一定のクロックに従って１ずつ減
じ、計数値が零に一致したときに予測モード切り替えを
指示する構成をとる。勿論、減算動作中にシーンチエン
ジがあれば、シーンチエンジの時点で再び設定計数値か
らの減算を再開する。従って、シーンチエンジの有無に
関係なく、予測モード制御回路１１は、計数値減算に要
する期間Ｔをもって、定期的にフレーム内予測モードへ
の切り替えを実行することになる。このため、こうした
フレーム内予測誤差データを定期的に挿入記録したＣＤ
−ＲＯＭ６を再生すれば、先頭画像からではなく途中再
生したような場合、最大でも期間Ｔ以内にかならずフレ
ーム内予測による予測誤差データが得られ、その時点で
直ちに初期画像を再生することができることになる。

ところで、フレーム内予測による予測符号化対象となっ
た第ｊフレームの画像データＶ(j)については、フレー
ム内予測演算Ｆ［Ｖ(j)］により予測誤差データＥ(j)′
が得られるのは、言うまでもない。しかし、ここで得ら
れた予測誤差データＥ(j)′は、逆転再生時の次画像を
正しく復号する必要上、予測誤差データＥ(j)′の局部
復号出力すなわちフレーム内予測値Ｇ［Ｅ(j)′］か
ら、前フレームの画像データＶ(j-1)を減じて得られる
データＥ(j)を待って、その後に記録するような回路構
成としてある。すなわち、フレーム内予測モードによる
予測符号化の完了と同時に、予測モード制御回路１１
は、画像データの供給を一時停止し、かつ減算器４の前
段に接続してマルチプレックス回路２４の入力を、フレ
ーム間予測回路９ａに接続したフレーム遅延回路２５側
に切り替える。その結果、フレーム遅延回路２５の出力
である画像データＶ(j-1)を入力とするフレーム間符号
化 Ｇ［Ｅ(j)′］−Ｖ(j-1) が実行され、Ｅ(j)が得られる。ここでフレーム内予測
誤差E(j)′は量子化されており、量子化誤差を含んでい
るのでＧ［E(j)′］＝Ｖ(j)が成立せず、このような順
序での符号化が必要となる。

そして、このフレーム間予測符号化の完了後、予測モー
ド制御回路１１はこの間の画像入力の停止を解除して、
通常のフレーム間符号化を再開するわけであるが、予測
誤差データＥ(j)′とＥ(j)及びこれに続く予測誤差デー
タＥ(j+1)に関しては、Ｅ(j)，Ｅ(j)′，Ｅ(j+1)の順で
出力する必要がある。このため、実施例では、量子化回
路３の後段にフレーム遅延回路２６と２フレーム遅延回
路２７を側路にもつ線路２８を設け、これらを予測モー
ド制御回路１１により制御される３入力択一出力型のマ
ルチプレックス回路２９に接続してある。すなわち、フ
レーム内予測モードに切り替えたときは、マルチプレッ
クス回路２９の入力を線路２８から２フレーム遅延回路
２７側に切り替え、予測誤差データＥ(j)′を２フレー
ム期間分遅延する。次に、フレーム内予測モードからフ
レーム間予測モードに切り替えたときに、マルチプレッ
クス回路２９の入力を線路２８側に切り替え、予測誤差
データＥ(j)をそのまま出力する。そして、通常のフレ
ーム間予測の再開と同時に、マルチプレックス回路２９
をフレーム遅延回路２６側に切り替えることで、予測誤
差データＥ(j+1)を１フレーム期間遅延して出力する。

こうして、フレーム内予測誤差データＥ(j)′には、第
２図に示したように、逆転再生時の先頭画像に整合する
次画像の形成に必要なデータＥ(j)が必ず前置付記され
ることになる。一方、こうした符号器２２側での処理に
対応して、逆転再生を可能にする若干の工夫が復号器３
２にも要求される。すなわち、復号器３２は、逆転再生
当初に読み出される初期フレーム内予測誤差データＥ
(j)′に関しては、フレーム内相関を利用した予測値Ｇ
［Ｅ(j)′］を生成し、さらにデータＥ(j)に続いて読み
出される予測誤差データＥ(j-1)，Ｅ(j-2)…に関して
は、フレーム間相関を利用して予測値を生成すればよい
のであるが、フレーム内予測による復号とフレーム間予
測による復号における単位画像の時間順序を変更する回
路、或いは初期予測誤差データＥ(j)′に続くＥ(j)，Ｅ
(j-1)…の極性を反転する極性反転回路等を付加してお
く必要がある。

このように、圧縮画像データ記録・再生システム２１
は、フレーム内予測符号化に、ほぼ定期的にフレーム内
予測符号化を織り交ぜつつ動画像信号を符号化しておく
ことにより、シーン途中からの復号要求に対する初期画
像形成時間を短縮することができ、機械的な判定条件や
オペレータの意思等に関係なくフレーム内予測符号化を
強制することで、シーンを特定しないまったく任意の再
生要求にも、短時間で対応することができる。

また、圧縮画像データ記録・再生システム２１は、フレ
ーム内予測符号化により圧縮した画像部分Ｖ(j)におい
て、逆転再生に欠かせないデータＥ(j)すなわちＧ［Ｅ
(j)′］−Ｖ(j-1)を前置付加した予測誤差データＥ
(j)′を生成する構成としたから、逆転再生時に、最初
に読み出されたフレーム内予測誤差データＥ(j)′か
ら、復号に必要な初期画像を形成し、続いて付加データ
Ｅ(j)を減算することで、次画像を再生することがで
き、さらに順次予測誤差データを減算しつつ画像を再生
することにより、フレーム間での相関を利用した予測に
もとづく予測誤差データの逆方向復号を、正確に実行す
ることができる。

なお、上記実施例において、圧縮画像データ記録媒体と
しては、ＣＤ−ＲＯＭ６に限定されず、他のディジタル
記録可能なもの、例えばビデオテープ等であってもよ
い。

また、以上の説明において、単位画像間の相関を利用し
た予測符号化方式として、フレーム間差分符号化を例に
とったが、動き補償フレーム間予測などの他の方式を用
いることも可能である。また、これらの符号化過程で生
ずる予測誤差データに対し、直交変換符号化やベクトル
量子化を行うことも可能である。例えば直交変換符号化
を施す場合は、符号器２２内の量子化回路３の前段に直
交変換回路が、また逆量子化回路８の後段に逆直交変換
回路がそれぞれ必要である。この場合、記録媒体に記録
されるのは、変換係数成分に変換された予測誤差データ
となるが、符号器２２の本質に変わりはない。また、ベ
クトル量子化を施す場合は、符号器２２内の量子化回路
３の前段にベクトル量子化のためのベクトル・インデッ
クス回路を、また逆量子化回路８の後段に逆ベクトル量
子化のためのベクトル・インデックス逆変換回路を設け
るとよい。この場合、記録媒体に記録されるのは、予測
誤差データから変換されたベクトルインデックスとなる
が、符号器２２の本質に変わりはない。

［発明の効果］ 以上説明したように、この発明は、単位画像間予測符号
化に、ほぼ定期的に単位画像内予測符号化を切り換えて
使用することにより動画像信号を符号化しておくことに
より、シーン途中からの復号要求に対する初期画像形成
時間を短縮することができ、機械的な判定条件やオペレ
ータの意思等に関係なく単位画像内予測符号化を強制す
ることで、シーンを特定しないまったく任意の再生要求
にも、短時間で対応可能な動画再生システムを構築する
ことができる等の優れた効果を奏する。

また、この発明は、逆転再生時に、最初に読み出された
単位画像内予測誤差データから復号に必要な初期画像を
形成し、この初期画像から付加データを減算することで
次画像を再生することができ、さらに順次予測誤差デー
タを減算しつつ画像を再生することにより、単位画像間
における相関を利用した予測にもとづく予測誤差データ
の逆方向復号を、正確に実行することができる等の優れ
た効果を奏する。

【図面の簡単な説明】

第１図は、この発明の動画符号化方式を適用した圧縮画
像データ記録・再生システムの一実施例を示すシステム
構成図、第２図は、第１図に示したＣＤ−ＲＯＭに記録
される予測誤差データの内容を示す図、第３図は、従来
の動画符号化方式を適用した圧縮画像データ記録・再生
システムの一例を示すシステム構成図である。 ９ａ……フレーム間予測回路，９ｂ……フレーム内予測
回路，１１……予測モード制御回路，２１……圧縮画像
データ記録・再生回路，２２……符号器，２３……カウ
ンタ回路，２４，２９……マルチプレックス回路，２
５，２６……フレーム遅延回路，２７……２フレーム遅
延回路，２８……線路。

フロントページの続き (72)発明者 太田 睦 東京都港区芝５丁目33番１号 日本電気株 式会社内 (72)発明者 國弘 秀人 大阪府大阪市淀川区宮原３丁目５番24号 日本電気ホームエレクトロニクス株式会社 内 (56)参考文献 特開 昭60−66584（ＪＰ，Ａ)

Claims (3)

【特許請求の範囲】
1. 【請求項１】連続する単位画像からなる動画像信号を符
   号化し、記録した記録媒体から該動画像信号を再生する
   系において使用され、前記単位画像間の相関を利用する
   第１の符号化方法、と前記単位画像内の相関を利用する
   第２の符号化方法を切り換えて使用し符号化する方式で
   あって、複数の前記単位画像毎に区切って得られる一連
   の単位画像の先頭単位画像は前記第２の符号化方法によ
   り、その他は前記第１の符号化方法により符号化するに
   当たり、少なくとも該一連の単位画像の最終単位画像を
   符号化する以前に次の一連の単位画像の先頭単位画像を
   前記第２の符号化方法により符号化することを特徴とす
   る動画符号化方式。
2. 【請求項２】単位画像内の相関を利用する第２の符号化
   方法により一連の単位画像の先頭単位画像を符号化・復
   号化し、得られた復号単位画像と、直前にある該一連の
   単位画像の少なくとも最終単位画像との間で単位画像間
   の相関を利用する第１の符号化方法を実行して得られる
   予測誤差を表すデータを付加することを特徴とする特許
   請求の範囲第１項記載の動画符号化方式。
3. 【請求項３】単位画像間の相関を利用する第１の符号化
   方法又は単位画像内の相関を利用する第２の符号化方法
   を適用して得られる予測誤差を表すデータは量子化が適
   用されていることを特徴とする特許請求の範囲第１項記
   載の動画符号化方式。