JPH02192378A

JPH02192378A - フレーム間予測符号化装置及び復号装置

Info

Publication number: JPH02192378A
Application number: JP1011587A
Authority: JP
Inventors: Kenji Sugiyama; 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1989-01-20
Filing date: 1989-01-20
Publication date: 1990-07-30
Anticipated expiration: 2011-09-04
Also published as: JP2530217B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明はディジタル信号の信号処理を行なう記録、伝送
機器、その他の表示装置などの各種機器において、動画
像信号をより少ない符号量で効率的に符号化する高能率
符号化方式のうち、特にフレーム間予測符号化方式に関
する。

（従来の技術）動画像信号をより少ない符号量で符号化する高能率符号
化方式のうち、画像信号のフレーム間の相関を利用する
符号化方式としてフレーム間予測符号化がある。

これは通常の動画像が各フレーム間でかなり似ているの
で、符号化の済んだ前のフレームの信号から符号化しよ
うとするフレームの信号を予測して、予測誤差（残差）
のみを符号化するものである。

フレーム間予測符号化の代表的な従来構成を符号化器に
ついて第４図に、復号器について第５図にそれぞれ示す
。

第４図において、画像信号入力端子１より連続して入力
された動画像信号は、予測信号減算器２において予測信
号（予測値）が減算され、その予測誤差〈残差〉につい
て符号化される。なお、予測信号の形成方法については
後述する。

ここで、予測誤差（残差）はそのまま量子化しても良い
が、より高い符号化効率を得るために直交変換器３によ
り直交変換された後に量子化器４により量子化されるの
が一般的になっている。量子化された信号は、その分布
がＯ（ゼロ）近辺に集中するので、可変長符号化器５に
よりハフマン符号などの可変長符号に変換され、可変長
ディジタルデータとしてデータ出力端子６より出力され
、記録あるいは伝送される。

一方、復号器側においては、第５図に示すように、デー
タ入力端子２１より入力された可変長ディジタルデータ
は、可変長復号器２２により元の固定長のデータに変換
され、逆量子化器２３により代表値に置き換えられ（代
表値設定）、さらに直交逆変換器２４により直交変換の
逆変換処理が行なわれる。

このようにして得られた信号は、予測誤差（残差）であ
るので、符号化器での予測信号と同じものを加算器２５
で加算して再生画像信号として再生画像信号出力端子２
６より出力される。

なお、この予測信号は、再生画像信号を、フレームメモ
リ２７により１フレ一ム分だけ遅延し、これを符号化器
と同一な空間ローパスフィルタ（ＬＰＦ）２８に通すこ
とにより得られる。

一方、符号化器での予測信号は復号器側と同一の信号を
得る必要があり、量子化された信号より作られる必要が
ある。そうでないと第４図のようなフレーム巡回型の予
測処理では、符号化器と復号器での予測信号の違いがフ
レーム毎に蓄積され、大きなエラーとなる。

そのために、第４図の符号化器では、量子化された信号
を、第５図の復号器と同様に逆量子化器７により代表値
に青き換え（代表値設定）、さらに直交逆変換器８によ
り直交変換の逆変換処理を行なう。

このようにして得られた信号は、復号された予測誤差（
残差）に相当するので、これに１フレーム前の予測信号
が加算器９で加算されて復号された画像信号となる。さ
らに、この信号はフレームメモリ１０により１フレ一ム
分だけ遅延され、空間しｐｌ”１１を用いて空間周波数
によって異なった係数を掛けて予測信号を得る。

ここで空間Ｌ　Ｐ　Ｆ　１１を用いるのは、量子化誤差
が予測誤差（残差）に残留するのを軽減するためである
が、符号化処理において量子化誤差は空間周波数におけ
る高域に多く、一方、ノイズなどによりフレーム間相関
も高域では低下するので有効となる。

また、第４図のような巡回型のフレーム間予測符号化は
、伝送路で生じた符号誤りの波及や直交逆変換器８の送
信側と受信側でのミスマツチによる計算誤差累積が起こ
るので、適当な区間（３０〜１００フレーム）でフレー
ム間予測を一度リセットし、そのフレームは予測信号を
固定として実質上フレーム内符号化としている。この動
作は切換えスイッチ１２の定期的な切換えにより行なわ
れる。この場合、誤り対策の上からはリセットは短い区
間で行なった方が良いが、リセット時にフレーム内符号
化となるため、例えばテレビ会議などのフレーム間相関
の高い画像伝送では、符号化効率が低下する。

（発明が解決しようとする課題）このような前フレームによる巡回型のフレーム間予測符
号化方式は、あるフレームを復号しようとした場合、デ
ータが過去の積み重ねとなっているため、過去のすべて
のデータが必要となる。そのため、テレビ会議などのよ
うに連続して画像を送る場合には大きな不都合はないが
、情報記録ディスクや情報記録テープなどの蓄積系メデ
ィアにおいては、ランダムアクセスやサーチなどでメデ
ィア内の任意の場所から復号できるように、細かな単位
でフレーム間予測をリセットする必要がある。特にビジ
ュアルサーチを行なおうとした場合、数フレームおきに
復号する必要があるため、その度に予測をリセットする
ことになり、符号化効率の低下を一方的に招くことにな
る。

一方、通常の再生に対して時間的に逆順で再生する逆転
再生の場合、従来の前フレームによる予測では復号のた
めの予測信号が得られないために復号ができない。

また、前フレームからの予測は時間軸における片側方向
からの予測になり、予測効率の点からも十分ではなく、
特にシーンチェンジなど画像が大きく変化した場合には
適切な予測ができない。

さらに、予測信号は復号系と同じ復号器によって得なけ
ればならないので、符号化器系でも復号処理をする必要
があり、装置規模が大きくなる。

また、復号処理の演算精度などに違いがあった場合、予
測信号にずれが起こりそれが累積することも問題となっ
ている。

そこで、本発明は上記した従来の技術の課題を解決した
フレーム間予測符号化方式を提供することを目的とする
。

（課題を解決するための手段）本発明は上記の目的を達成するために、連続して入力さ
れる画像信号の連続フレームの中から一定間隔（数フレ
ーム）おきに独立フレームを設定し、この独立フレーム
をフレーム内で独立に符号化する第１の符号化手段と、
前記独立フレームの間の非独立フレームの予測信号を、
前後の独立フレームの信号をもとに形成する予測信号形
゛成年段と、前記非独立フレームの信号を、それに対応
する前記予測信号をもとに予測し、その予測誤差につい
て符号化する第２の符号化手段とを備えたことを特徴と
するフレーム間予測符号化方式を提供するものである。

（作　用）上記した構成のフレーム間予測符号化方式においては、
連続して入力される画像信号の連続フレームの中からフ
レーム間予測を用いないでフレーム内で独立に符号化す
る独立フレームを予め一定間隔（数フレーム）おきに設
定し、その間のフレームについては前後（新旧）の独立
に符号化された独立フレームにより予測して符号化する
。

この様子を第６図に示すが、Ａが従来例のフレーム間予
測方法で、Ｂが本発明の場合のフレーム間予測方法であ
る。同図で、四角形は連続して入力される動画像信号の
連続フレームであり、そのの中で陰を付けたものは独立
にフレーム内で符号化されるフレームで、Ａでは最初（
またはリセット時）のみが独立フレームとなっているが
、Ｂでは定期的に独立フレームがある。矢印はフレーム
間予測の方向関係を示しており、Ａでは各フレーム同様
に前フレームからのみ予測が行なわれるが、Ｂでは前後
の二つの独立フレームから予測される。

また、予測は独立フレームのみをもとに行なわれ、予測
されたフレームが別の予測に使われることはない。

（実　施　例）本発明になるフレーム間予測符号化方式の実施例につい
て以下に図面と共に説明する。

第１図および第２図は符号化器の構成を、第３図は復号
器の構成をそれぞれ示す。この符号化器および復号器の
基本的な構成は、従来例に準じたものとなっており、前
出の第４図および第５図中の同一構成部分には同一番号
を付す。

第１図および第２図においては、予測に使われる独立フ
レームの符号化が済んでから非独立フレームを符号化す
るための（Ｎ−１）フレームメモリ３１［Ｎは２以上の
整数］を持つ。

また、予測信号（予測値）を前後二つのフレームをもと
に形成するために、二つのフレームメモリ３２．３３と
、それぞれの信号に重み付けをする二つの係数掛は算器
（Ｘα、Ｘ（１−α）　）　３４．３５と、それらの加
算器３６とがある。［但し、０くαく１］さらに、切換えスイッチ３７を画像信号入力端子１と（
Ｎ−１＞フレームメモリ３１との間に、切換えスイッチ
３８を予測信号減算器２と直交変換器３との間に、切換
えスイッチ３９を型子化器４と逆量子化器７との間に、
切換えスイッチ４０を二つのフレームメモリ３２．３３
の間にそれぞれ設ける。

ここで、後に詳述するが、第１図は従来と同様に復号器
側と同じ予測信号を得るものであるが、第２図のものは
、符号化される元の画像信号から予測信号を得るもので
、予測信号は符号化器側と復号器側とで異なったものと
なる。なお、第２図の構成は、符号器側で復号処理を必
要としないが、本発明方式が従来例のように巡回型の処
理ではないために可能となるものである。

第３図においては、直交逆変換器２４から得られた信号
に予測信号を加算する予測信号加算器４１がある。

また、予測信号を前後二つのフレームをもとに形成する
ために、二つのフレームメモリ４２．４３と、それぞれ
の信号に重み付けをする二つの係数掛は算器（ｘα、　
ｘ　（１−１）４４．４５と、それらの加算器４Ｇとが
ある。

さらに、切換えスイッチ４７を直交逆変換器２４と予測
信号加算器４１との間に、切換えスイッチ４８を予測信
号加算器４１と再生画像信号出力端子２６との間に、切
換えスイッチ４９を二つのフレームメモリ４２、４３の
間にそれぞれ設ける。

第１図に示した実施例の構成において、画像信号入力端
子１より入力された動画像の信号（連続フレーム）は、
切換えスイッチ３７．３８で、独立に符号化されるフレ
ームではａ側に接続され、（Ｎ−１）フレームメモリ３
１や予測信号減算器２を介さずに直交変換器３へと導か
れる。

直交変換器３．量子化器４．可変長符号化器５の動作は
基本的に従来例と同様である。

一方、残りの非独立フレームはフレーム間予測されるの
で、予測信号を減算するが、本発明方式では独立フレー
ムを先に符号化しておく必要があるので、残りのフレー
ムについてその分遅延させる。

ここで、独立とするフレームをＮフレームに１フレーム
［Ｎは２以上の整数］とすると、その遅延ｆｉｌ（Ｎ−
１）フレーム分となる。すなわち、残りの非独立フレー
ムの時には切換えスイッチ３７゜３８をｂ側に接続し、
信号は（Ｎ−１）フレームメモリ３１で（Ｎ−１＞フレ
ーム分だけ遅延され、予測信号域ｎ器２で予測信号が減
算された後に直交変換器３に導かれ、その予測誤差（残
差）について符号化される。

ここで、切換えスイッチ３７．３８は定期的にＮフレー
ムに１フレームだけａ側に接続され、それ以外ではｂ側
に接続されることになる。以降の直交変換器３．量子化
器４．可変長符号化器５の動作は、独立フレームのとき
と同じである。以上の動作はもう一つの符号化器の実施
例である第２図の場合も同様である。

第２図に示す構成の符号化器の場合、予測信号を符号化
再生画像信号から得るのではなく、符号化する前の元の
画像信号より得ている。予測信号を形成する際の動作は
、符号化再生画像信号の代わりに元の画像信号を入力す
る以外は第１図の場合と同じである。

第２図の構成では、第１図における逆量子化器７や直交
逆変換器８が必要なくなる。この場合、予測信号が送信
側と受信側とで異なることになるが、本発明方式におい
ては、その誤差がフレーム毎に累積されることはない。

むしろ、量子化誤差が予測誤差（残差）に残留しなくな
るので、従来例における空間ＬＰＦの必要性がなくなり
、予測効率が向上する。

次に、本発明方式における予測信号の作り方について述
べる。まず、従来例と同様に符号化器側と復号器側とで
同じ予測信号を得る場合であるが、その例が第１図にな
る。ここで従来例と異なるのは、従来例ではすべてのフ
レームが予測信号を得るために使われているのに対し、
本発明方式では独立に符号化されたフレーム（独立フレ
ーム）のみによって予測信号が作られるため、切換えス
イッチ３９は独立フレームに対してのみａ側に接続され
、以降の処理が行なわれる。

量子化された信号は、従来例と同様に逆量子化器７によ
り代表値に置き換えられ（代表値設定）、さらに直交逆
変換器８により直交変換の逆変換処理を行なう。

このようにして得られた信号は、独立に符号化されてい
るので、前フレームなどと加算されることなく、そのま
ま予測信号の作成に使われるためにフレームメモリ３２
に書き込まれる。このとき、切換えスイッチ４０がａ側
に接続され、それまでフレームメモリ３２に保持されて
いた一つ前の独立フレームの信号がフレームメモリ３３
に入れ換えられる。このような動作により、独立フレー
ムの符号化処理と同時に予測で使われる再生フレーム信
号がフレームメモリ３２．３３に準備される。

この再生フレーム信号は、次の独立フレームの信号が供
給されるまで保持され、予測処理のために（Ｎ−１）回
繰り返して出力される。

予測信号は、この二つの再生フレーム信号に係数掛は算
器３４．３５により重み付は係数αおよび（１−α）が
掛けられ、加算器３６で加算されることにより得られる
。

ここで、重み付は係数は、符号化されるため予測信号減
算器２に入力されるフレームと、予測に使われるフレー
ムの時間関係により決められる。

最も一般的と考えられる手法は、２次線形予測による方
法で、次式により与えられる。

α＝（ｍ−ｍｌ）　）／Ｎただし、ｍは符号化対象フレームナンバー（１゜２．３
．・・・）、ｍｐは過去独立フレームナンバー（０，Ｎ
、２Ｎ、　・）で、ｍ＞ｍｐ　ｔ”あり、Ｎは２以上の
整数である。

このようにして作られる予測信号（予測値）の例をＮ＝
４の場合について第７図に示す。これにより時間的に近
い方のフレームに大きな重み付けがされ、信号がフレー
ム毎に線形に近い形で変化した場合に、より適切な予測
値が与えられる。

上記した第１図および第２図においては、入力画像信号
はスイッチ３７．３８により数フレームおきに独立なフ
レームが待られ、そこで、符号化されたデータのフレー
ム間相関が切れる形になる。したがって、その単位でラ
ンダムアクセスや、独立フレームのデータのみを復号す
ることによりビジュアルサーチが可能になる。

一方、非独立フレームの信号が（Ｎ−１）フレームメモ
リ３１により遅延され、非独立フレームの予測処理を行
なう前に、予測に使われる独立フレームの画像信号がフ
レームメモリ３２．３３により２フレーム分蓄えられる
ことにより、前後（新旧）のフレームから予測信号が得
られる。

また、係数掛は算器３４．３５で予測されるフレームと
独立フレームの時間関係により適切な係数を掛けるため
、画像の変化に適合した予測が可能となり、予測信号の
Ｓ／Ｎも向上するので、より高い予測効率が得られる。

また、このようにして得られた符号化データは時間軸上
で対称の構造となるので、逆転再生も容易に実現できる
。

次に、復号器側の処理は、第３図に示した実施例の構成
において、まず従来例と同様にデータ入力端子２１より
入力された可変長ディジタルデータは、可変長符号化器
２２．逆陽子化量２３．直交逆変換器２４により、独立
フレームでは再生画像信号が、非独立フレームでは予８
ＩＩｌ誤差（残差）信号が得られる。独立フレームの信
号は予測に使われるので、切換えスイッチ４７をａ側に
接続し、フレームメモリ４２に書き込まれる。このとき
、切換えスイッチ４８、４９もａ側に接続され、一つ前
の独立フレームの信号がフレームメモリ４３に入れ換え
られ、同時に再生画像出力端子２６より出力される。こ
のように、独立フレームの復号処理と同時に予測で使わ
れる再生フレーム信号がフレームメモリ４２．４３に準
備される。

一方、非独立フレームによる再生予測誤差（残差）信号
の時は、切換えスイッチ４４．４５をｂ側に接続し、予
測信号減算器４１で符号化器側と同じ予測信号（予測値
）を加算して、再生画像出力端子２６より出力される。

また、係数掛は算３４４．４５および加ｇ＄３４６によ
る予測信号の形成方法は符号化器側と同じである。

なお、符号化器側より伝送されるデータは、独立フレー
ムのものが先行して送られてくるので、復号器側ではそ
れを補正するため、独立フレームの再生画像信号は予測
処理が終了したときにフレームメモリ４２より出力され
る。すなわち、フレームメモリ４２は、時間補正を兼ね
ている。

（発明の効果）以上の如く、本発明方式では、連続して入力される画像
信号の連続フレームの中からフレーム間予測を用いない
でフレーム内で独立に符号化する独立フレームを予め一
定間隔（数フレーム）おぎに設定し、その間のフレーム
については前後（新旧）の独立に符号化された独立フレ
ームにより予測して符号化するため、一定間隔（数フレ
ーム）おきに独立なフレームが存在し、そこでデータの
フレーム閤相関が切れる形になるので、蓄積系メディア
においてその単位でランダムアクセスができ、すぐに復
号画像が得られる。一方、ビジュアルサーチを行なおう
とした場合には、独立フレームが一定間隔（数フレーム
）おきに存在するので、その独立フレームのデータのみ
を復号することによりデータの無駄がなく、スムーズな
サーチ画像が得られる。更に、逆転再生についても基本
的に時間軸で対称な符号化となっているので、逆順に復
号することで可能となる。ただし、独立フレームのデー
タは他のものより先行して記録されているので、逆転再
生時にはその補正は必要であるが、符号化され圧縮され
たデータを時間補正すれば良いので、小規模なデータ遅
延で良い。

一方、一定間隔（数フレーム）おきに独立に符号化され
るために、フレーム間相関の高い画像では、符号化効率
が落ちるといった面もあるが、そのようなフレーム間相
関の高い画像では基本的に良好な再生画像品質が得やす
く、あまり問題とならない。逆に、画像が動いた場合に
はフレーム間の予測誤差（残差）が大きくなるので、画
質が劣化しやすく、予測精度の向上が望まれる。

また、本発明方式では、独立フレームの間のフレームに
ついては前後（新旧）のフレームにより予測が行なわれ
るため、画像の変化に適合した予測が可能となり、符号
化効率が向上する。

また、複数のフレームの加算により予測信号が形成され
るので、予測信号のＳ／Ｎが向上し予測精度が向上する
。

さらに、符号化器と復号器側とで予測信号に誤差があっ
たとしても、それが累積されず、符号化器で符号化再生
画他信号からではなく、元の画像信号が予測を行なうこ
とも可能であり、この場合、符号化器において信号処理
が必要なくなる。

このように、本発明方式によれば、蓄積系メディアにお
いて、ランダムアクセスやビジュアルサーチ、逆転再生
などが可能となり、またシーンチェンジや動きを伴う画
像に対しても高い効率で符号化が可能となる。

【図面の簡単な説明】

第１図および第２図は本発明になるフレーム間予測符号
化方式の実施例の符号化器の構成を示すブロック図、第
３図は本発明になるフレーム間予測符号化方式の実施例
の復号器の構成を示すブロック図、第４図は従来例にお
けるフレーム間符号化の符号化器の構成を示すブロック
図、第５図は従来例におけるフレーム間符号化の復号器
の構成を示すブロック図、第６図は本発明と従来例のフ
レーム間予測方法を示す図、第７図は本発明のフレーム
間予測値の一例を示す図である。１・・・画像信号入力端子、２・・・予測信号減算器、
３・・・直交変換器、４・・・量子化器、５・・・可変
長符号化器、６・・・データ出力端子、７．２３・・・
逆量子化器、８．２４・・・直交逆変換固、２１・・・
データ入力端子、２２・・・可変長復号為、２６・・・
再生画像信号出力端子、２７、３２．３３．４２．４３・・・フレームメモリ、
２８・・・空間ＬＰＦ、３１・・・（Ｎ−１）フレーム
メモリ、３４、３５．４４．４５・・・係数掛は算器、
３６．４６・・・加算器、３７、３８．３９．４０．４
７．４８．４９・・・切換えスイッチ、４１・・・予測
信号加算器。特　許　出願人　日本ビクター株式会社代表者　垣木　
邦夫第図第図（）（”ｓ（＞（）（”’＊（１ｒ）ｒ）第図改＝０２５０．７５第図

Claims

【特許請求の範囲】連続して入力される画像信号の連続フレームの中から一
定間隔おきに独立フレームを設定し、この独立フレーム
をフレーム内で独立に符号化する第１の符号化手段と、前記独立フレームの間の非独立フレームの予測信号を、
前後の独立フレームの信号をもとに形成する予測信号形
成手段と、前記非独立フレームの信号を、それに対応する前記予測
信号をもとに予測し、その予測誤差について符号化する
第２の符号化手段とを備えたことを特徴とするフレーム
間予測符号化方式。