JPS60186179A - 画像信号の予測符号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （ｐｔ、業上の利用分野） 本発明は画ｆ♀″信号の時間軸方向の相関で用−る子側
符号化方式及びその装負に関する。

（従来技術とその問題点） 従来より画像信号とくにテレビジョン信号などに代表さ
ノする動画像信号の高能率予測符号化においては時間軸
方向の相関を利用した方法がよく知られている。たとえ
ばテレビジョン信号にχ・ｊするフレーム間打号化方式
がそうである。

しかしながらフレーム間符号化力弐斤どのように２枚の
連続するｌＩｌ］１而内の変化分をね月化する原卯に基
づいて（ねる符号化方式で（・す動きが大きくなるＬ不
可避的に省号化能率が低重−Ｊろ。こ力６克服するため
に画面内の動きを検出し、こｔ］を予ｊ）ｆｉｌに取、
シ入れだ動き補償と呼ばれる４９号号化法が開発された
。

この動き補償とけ、前両面を用いて次の両面を予６１１
１するにあたって、動いている部分についてはその動き
の速さと方向を示す動ベクトルをめ、前画面におけるそ
の動き部分の空間位置をめられた動ベクトル分だけ空間
的に変位させて得られた予測（ｆｉ号でもって予測符号
化を行なうものであり、求められた動ベク；・ルが動き
部分の実際の動きを正確に表わしている場合には理想的
には予測誤差はゼロとなる。

しかし実際の１ＩＩｌ像では予測誤差は完全にゼロにな
るとは限らず、若干輪郭刊近にゼロでない予測誤差が発
生することが多ｂＩｌ＋静止部分九ついては動きがない
ことを示す動ベクトルが検出され、この時の動き補償は
従来からの前画面を用いたいわゆるフレーム間予測方式
と一致する。

このようにして得られた予測誤差と動ベクトルは伝送に
際して不等長符号化されることが多い。

しかし、テレビ会議画像等に代表され石動きが比較的少
ない、そして複雑な模様が用いられることが比較的少な
い画像信号については予測誤差は余るにあたってはこの
性質を利用することが有利である。しかるに従来１−ｔ
ｌ走査紳単位に不等長符号化を行なっていた。たとえば
ゼロである予測誤差を能率良く符号化するためにランレ
ングス符号化を、ゼロでない有意な予測誤差の符号化に
はたとえばハフマン符号を、それぞれ組合せて１走査線
上の予測誤差を不等長符号化したー また動ベクトルについても実際は複数の走査紳にまたが
る２次元ブロック単位で検出されることが多く、隣接ブ
ロック間で同一となる場合が多い。

すなわち、隣接ブロック間で動ベクトルの差分をとると
ゼロとなる場合が多い。しかるに従来はこのゼロが多く
連続して発生するという特徴は活用されず、動き補償を
用いたことによる予６１］１能率の改善度が符号化能率
の改善のために充分に生かされていないという欠点があ
った。

（発明の目的） すなわち本発明は、画面内の動きを示す情報およびこの
情報を用いて予測符号化を行なって得られる予測誤差の
統計的および空間的偏よりを用いて能率の良い符号化方
式を実現することを目的とする。

（発明の構成） 本発明によれば、送信側においては、入力画像信号から
複数の画素からなり複数個の走査線にまたがるブロック
を単位として前記画像信号の動きを検出［７、前記動き
を補償した予測信号を発生し、前記入力画像信号と前記
予測信号とから前記入力画像信号と同一の時系列（時系
列Ａ）で得られる予測誤差を前記時系列Ａとは異なる時
系列（時系列Ｂ）にならひかえ、前記動きを示す情報を
符号化して伝送し７、かつ前記時系列Ｂにならひかえら
れた予測誤差をランレングス符号化を含む不等長符号化
を行なって伝送し、受信側においては・前記符号化さｒ
た動きを示す情報及び前記時系列Ｂに従う予測誤差を復
号し、復号された前記時系列ＢＫ従う予測誤差を前記時
系列人に並びかえ、前記動きを示す情報を用いて予測信
号を発生し、前記予測信号と前記時系列Ａに従う予測誤
差とから前記入力画像を予測復号化することを特徴とす
る画像Ｆ号の予測符号化方式が得られる。

才た本発明によれば、複数の１１１１素勺〉らな９複数
の走査線にまたかるブロックを単位として、入力画像信
号の動きを検出し動きを示す情報を出力する手段と、該
動きを示す情報を用いて予測信号を発生する手段と、前
記入力画像信号と前記予測信号とから予測誤差信号を入
力画像信号と同一の時系列（時系列Ａ）で得る手段と、
前記予測誤差信号を前記時系列Ａとは異なる時系列（時
系列Ｂ）圧並ひかえる手段と、並びかえられた予測誤差
信号をランレングス符号化を含む不符長符号に変換する
第１の符号化手段と、前記動きを示す情報を符号化する
第２の符号化手段とを具備することを特徴とする画像信
号の符号化装置が得られる。

さらに本発明によれば、入力画像信号から複数走査線に
またがる複数個の画素からなるブロック毎に前記画像信
号の動きを検出し、前記動きを補償した予６１１１信号
を発生し、前記入力画像ｑ＝号と前記予測信号とから得
られる予測誤差と前記動きを示す情報とをランレングス
符号化を含む不等長符号化することによシ前記ｉｌｊ像
信号を予測符号化する画像信号の予測符号化方式であっ
て、前記予測誤差を前記不等長符号化するにあたり、前
記入力画像信号と同じ時系列（時系列Ａ）に従う予測誤
差を前記時系列とは異なる時系列（時系列Ｂ）に並び換
え、並びかえられた予測誤差を前記不等長符号化するこ
とにより予測符号化された前記入力画像４８号を予測復
号化する予測復号化装置であって、前記不等長符号化さ
れた予測誤かを復号化し７、ｎｉｌ記時系列Ｂに従う予
測誤差を得る手段と、該予測誤差を並びかえ前記時系列
Ａに従う予測誤差を得る手段と、前記動きを示す情＊　
１に＋Ｔｉ号化骨化平膜と、該促号された動きを示す情
報とすでに予測復号比隣の前記入力画像信号とから予測
信号を得る手段と、該予測信号と前記時系列Ａに従う予
測誤差とから前記入力画像信号を予６１１１復号化する
ことを特徴とする画像信号の予測復号化装置が得られ、
る。

（発明の原理） つぎに本発明の原理について説明する１、動きの少ない
画像たとえばテレビ会飯画像を１．５Ｍｂ／Ｓ程度の速
度で伝送する場合には平均的にはせいぜい数多かそれ以
下の有意画素しか発生しないように符号化制御がなさね
る。つまシ逆に言えば９７〜９８チ　程度は予φり誤差
がゼロであることになる０このように圧倒的にゼロが多
い場合にはとくにランが長い程ランレングス符号化の効
率は高いという利点が発揮される。第１図に示すように
、・・・３つａｌ−ｐａｔ　、”’ａ７　ｔ”Ｒ、ａｊ
　ｙ”’＋ｂｕ　＋　ｂｌ　ｐ”’ｒｂｌ　＋’）８ｂ
、、・・・、というように各走査線毎に符号化を行う（
時系列Ａ）と最大のラン長は１走査線上にある画素数に
制限される。ところが、複数走査線たとえばＮラインを
まとめて符号化するようにしてやれば最大のラン長けＮ
倍になる。複数走ｆ、＃！単位でまとめて符号化する場
合にけたとえば第１図に示された画素配ｔ［−用いると
してａｌｌｙ”ｌｔ・・・ａｓ　。

ａｊ　、ｂ６　、ｂ２ｙ”’ｙｋ’６　、ｂ、　ｙｃｏ
　ｙＣｌ　）”’ｒｄｌｌ＋ｄｌ　＋・・・ｐ’６　ｙ
’Ｔ　ｙａ８　ｐａｔ　５・・・のようにブロック内画
素を順次に走査して終了したら次のブロックを同様に走
査（時系列Ｂ）するようにするとＮライン（本例ではＮ
−４）がまとめて符号化される。画像信号は、一般如時
間的相関のみならず空間的相関が強いので有意なあるい
はゼロでない予測誤差は空間的に集中して発生すること
が多い。すなわち圧倒的多数（前述の例では９７〜９８
％）のゼロなる予測誤差のごく一部に有意画素が付随し
た形態で発生するわけであるため、第１図のように２次
元的ブロックｆ構成するａゼロなる予測誤差で覆われた
領域内に多数のブロックがすっぽりと含まれることＶＣ
Ｉる。たとえばＭＩｉ］ｉｉ＊−×Ｎラインのブロック
がｍ個含１れているものとすると時系列ｌに従うとｍＸ
Ｍなる長さのランがＮ個できることになるが、時系列２
に従えば、ｍ　Ｘ　Ｍ　Ｘ　Ｎなる長さの１個のランで
表わされる。ランの長さをたとえばＣＣＩＴＴにて標準
化されたモディファイド・ハフマン（ＭＩ？）符号を用
りで表わすとすると、仮にランの長さが５０から２００
に４倍長くなったとしてもその符号表は８ビツトから１
７　ビットすなわち約２倍になる程度である。しかるに
５ｏなる長さのランが４個発生すると８Ｘ４＝３２ビツ
ト必要となり、逆に長さ２００なるランの場合の約２倍
の符号量が必要となる。

このようにランの符号化においてはランの数を減少させ
その長さを長くすることが有効である。

以上説明したよう如、予測誤差を並び換えることによシ
ゼロの連なυを長くすることができ、圧縮符号化の能率
が高くなる。ゼロでない予測誤差はハフマン符号などの
不等長符号を用いねば能率が良い。

（実施例） 以下図面を参照しながら本発明について詳細に説明する
。第２図に本発明に係る符号化・復号化装置の一実施例
を示す。送信ＩＩＩＩ（符号化装置）において、入力さ
れた動画像信号は線１０００により遅延回路２０と動き
検出回路１１１Ｃ供給さワ１、ここで動きがブロック単
位で検出される。動き検出回路１１　については後に詳
しく説明する。

ブロック毎に検出された動き情報は並びかえ回路１２に
おいて線１．０００を介して供給される入力動画像信号
と同じ時系列Ａになるように並ひかえが行なわれた後、
線１２００を介して可変遅延回路１３と符号圧縮回路１
８へ同時に供給される。可変遅延回路１３け、この動き
情報に応じてフレームメモリ１４から供給さオ］る動画
像信号の遅延時間を変化させて動きを補償した予測信号
を発生し１、これ？−線１３０’０を介し減銀器１５　
と加算器１７へ供給する。減算器１５け、可変遅延回路
１３の出力動画像信号と遅延回路２０において動き検出
（要する時間を補償した入力動画像信号との間で差分を
とり、その差すなわち予測誤差を量子化器１６へ供給す
る。量子化器１６は予測誤差を滑子化して線１６００　
を介（７て加算器１７と符号圧縮回路１８に供給する。

加算器１’７　ｄこの量子化された予測誤差と線１３０
０を介して供給される子細１イｂ号を用いて局部復号信
号を発生する２、この局部復号信号は動画像４６号のお
よそ１フレームを記憶するフレームメモリ１４に供給さ
れる。なお、動き情報が静止すなわち動き無しを表わし
ている場合罠は、フレームメモリ１４　と可変遅延回路
１３の遅延時間の和は、減算器１５、量子化器１６およ
び加算器１７の遅延が無いものとすると、丁度ｌフレー
ム時間と々る。

符号圧縮回路１８においては、糾１６００を介して供給
される量子化された予測誤差と、動き情報がいずれもた
とえばハフマン符号化などに代表される不等長符号化に
よシ同期、制御情報とともに符号化される。こわ忙つい
ては後に詳しく説明する。圧縮符号化された動画像信号
は、バッファメモリ１９において伝送路２ｏｏｏにおけ
る伝送速度との速度、整合の後に伝送路２０００におけ
る伝送速度との速度整合の後に伝送路２０００へ送り出
される＠なお、伝送路２０００の代シにたとえば磁気、
光学等記録媒体を用いることもできる。ここでは伝送路
２０００を通すこととして説明をつづける。

受信側（復号化装置）においては、ま−ｒ、受信・した
圧縮された動画像信号を−たん速度整合用のバッファメ
モリ５９に記憶し、復号化の速さに応じて符号伸長回路
５８へ供給する。符号伸長回路５８については後に詳述
する。符号伸長回路５８は送信号の符号圧縮回路１８の
逆の操作により圧縮符号化する前の動き情報、量子化さ
れた予測誤差、同期、制御情報などが再生される。再生
された予測誤差け＃　５８５７を介して加算器５７へ、
動き情報は紳５８５３を介して可変遅延回路５３へ、そ
れぞれ供給される。可変遅延回路５３け供給された動き
情報に応じてフレームメモリ５４　より供給される動画
像信号の遅延時間を変化させて予測信号を発生し、加算
器５７へ供給する。この可変遅延５３け送信側の可変遅
延回路】３と同一構成にて実現することができる。加算
器５７けこの予測信号と線５８５７を介して供給される
予測誤差を用いて動画像信号を復号し、誉３００Ｏｆ介
してフレームメモリ５４に供給するが、この動画像信号
が復号信号として復号化装置の外へ出力さ力る。

送信側（符号化装置）の場合と同じく、フレームメモリ
５４　と可変遅延回路５３における遅延時間の和は靜市
すなわち動きが無い場合には加算器５７の遅延は無いも
のとすると丁度１フレ一ム時間である。

ここで動き検出回路１１　について第３図を用いて詳細
に説明する。

線１０００を介して供給される入力動画像信号はおよそ
１フレ下ムの画像を記憶できるフレームメモリ１１１と
時系列Ａから時系列Ｂへ走査変換するブロックメモリ１
１３へ入力される。動き検出制御回路１１０は線１１０
０を介して試行ベクトルを次々に出力しアドレス変換回
路１１８と最適ベクトル決定回路１１７へ供給する。ア
ドレス変換回路１１８は供給された試行ベク）／しだけ
ブロックの位置を空間的に変位したメモリ・アドレスを
発生し、可変遅延回路１１２へ供給する。仮に試行ベク
トルが零であると、この時のフレームメモリ１１１ト可
変遅延回路１１２の遅延時間の和は丁度１フレームとな
っている。試行ベクトルだけ空間的に変位したブロック
内の画像信号は線１１２０を介して減算器１１４へ供給
され、ここで線１１３０を介して供給されるブロックメ
モリ１１３の出力画像信号との間で減算が行々われる。

ブロックメモリ１１３はＮライフ分のメモリを２個持っ
ておシ、一方のメモリに線１０００を介して供給される
入力動画像信号を時系列人に従って書き込んでいる間に
、他方のメモリから時系列Ｂに従って読み出し、線１１
３０を介して出力する機能を有する。またＮライン毎に
読み出しと書き込みが入れかわる。減算結果は線１１４
０を介して累積加算器１１５へ供給される。累積加算器
１１５は任意の１試行ベクトルに対するブロック当りの
差分量あるいけその変換結果を累積し、比較回路１１６
へ出力する。比較回路１１６では動き検出制御回路１１
０から次々と出力される試行ベクトルの各々に対する累
積結果を順次比較し、たとえばよシ小さな累積結果を発
生した試行ベクトルを最適ベクトル決定回路１１７に仮
の最適ベクトルとして一時記憶しておくように切換信号
を発する。

最適ベクトル決定回路１１７はこの切換信号に従って試
行ベクトルの一時記憶を行ない、線１１１７により供給
されるブロック毎の所定タイミングにおいて保持されて
いる仮の最適ベクトルをこの友適ベクトル検出回路１１
７における検出結果（動き情報）として出力する。この
出力は第２図における並びかえ回路１２　へ供給される
。可変遅延回路１１２は符号化回路の可変遅延回路１２
および復号化回路５３と同一構成にて実現できる。

この可変遅延回路１１２への書き込みはラスター走査（
時系列Ａ）に従い、読み出しはブロック単位に、すなわ
ち第１図に関して説明した走査変換後の時系列Ｂに従っ
て行なわれる。しかしながら実時間で動き情報を計算す
るのが、使用論理回路素子の動作スピードなどにより困
難である場合には、可変遅延回路１１２、ブロックメモ
リ１１３を並列出力可能な構成とし、同時に減算器１１
４、累積加算器１１５は並列入力、並列演算が可能な構
成とすると等何曲に高速演算が実行できるようになる。

符号圧縮回路１８では動き情報と予測誤差が各々ランレ
ングス符号化を含む不等長符号化がなされる。線１６０
０　を介して供給される予測誤差は走査変換回路１８１
によシ時系列Ｂに並びかえられた後に不等長符号器１８
２に供給される。不等長符号器１８２はゼロなる予測誤
差についてはランレングス符号化を行ない、ゼロでない
場合にはその振巾（ｆ＋を不等長符号化する。各長さの
ランと各振ｉＪ値を表わす符号が相互に区別できるよう
に構成され−ｔｒ　イｉ、　ｉ：正しく復刊されるため
、このようにランレングス符号化とゼロでない振巾値の
不等長符号化を混在させることが可能である。線１２０
０を介して供給される動き情報は時系列ＡＫ従っている
が、実質的には各ブロックに１個しか情報はないので差
分回路１８４ではこの性質を用いて隣接したブロックの
動き情報との差をとって、不等長符号化器１８５に供給
する。不等長符号器１８２．１８５の各出力はマルチプ
レクサ１８３に供給されあらかじめ定められた順序で選
択され、同期情報など復号時に必要な付加情報が加えら
れる。マルチプレクサ１８３の出力は符号圧縮回路１８
の出力として編！１８１９　を介してバッファメモリ１
９へ供給テれる。

受信側における符号伸長回路５８はこれと逆の操作によ
り動き情報と予測誤差を伸長する。すなわちバッファメ
モリ５９の出力は１５９５８ｉ介してデマルチブレフサ
５８３に供給され、動き情報、予測誤差、同期情報など
に分離される。分離された動き情報、予測誤差けそｆｌ
ぞれ不等長復号器５８５５８２へ供給されランレングス
復号化を含む不等長符号化により伸長される。伸長され
た予６１す誤差は時系列Ｂに従っているので走査逆変換
回路５８１により時系列Ａに変換され線５８５７　ｆ介
し−Ｃ出力される。伸長された動き情報は加ｒン１回路
５８４において差分の動き情報から加勢、により元の動
き情報を得て、時系列Ａに従ってｆ１５Ｊ５８５３　’
ｆｆｌ２て出力する。なお、本実施例において、動き情
報は動点検出回路１１の出力であるブロック単位に表わ
された動き情報を差分回路１８４に供給することもでき
る。なぜならば、並び方が異なるだけで、本質的には同
一の情報であるからである。

また、差分回路１８４を用いないで動き情報を直接不等
長符号化してもよい。なお、動き情報も上下左右等空間
的に近いブロックに関しては相関が強いので並びかえた
後に差分回路１８４に供給すると能率をさらに高めるこ
とができる。

（発明の効果） 以上詳しく説明したように本発明を実施するとブロック
Ｊ枦位で動きを検出する符号化能率がきわメチ高い動き
補償符号化が、通常のテし・ビジョン信号と同じラスタ
ー走査に従って実現されるため符号化能率が高くかつ構
成の簡単な符号化方式を実現でき、本発明を実用に供す
るその効果Ｉ−ｉ極めて犬でホ）る。

【図面の簡単な説明】

第１図は動画像信号の走査変換を説明する図、第２図は
本発明の実施例にお−ける符号化回路、復刊化回路を説
明する図、第３図は動き検出回路を説明する図、第４，
５図はそれぞれ符号圧縮回路、符−号伸長回路を説明す
る図である。 図中、１１は動き検出回路、１２は並びがえ回路、１３
と５３　け可変遅延回路、１４と５４け７Ｌ／−ムメモ
リ、１５は減算器、１６け量子化器、１７と５７は加３
）器、１８は符号圧縮回路、１９と５９はバッファメモ
リ、５８け符号伸長回路である。 案１図 竿２図 ５ｑ　５３ 第３図 １

Claims (3)

【特許請求の範囲】
1. （１）送信（１１１１において６１人力画像信号から複
   数の画素からなシ複数個の走査線にまたがるブロックを
   単位として前記画像信号の動きを検出し、前記動きを補
   償した予測信号を発生し、前記入力画像信号と前記予測
   信号とから前記人力画像信号と同一の時系列（時系列Ａ
   ）で得られる予測ａｈ差を前記時系列Ａとは異なる時系
   列（時系列Ｂ）にならひかえ、前記動きを示す情報を符
   号化して伝送し、かつ前記時系列Ｂにならひかえられた
   予測誤差をランレングス符号化を含む不等長符号化を行
   なって伝送し７、受（ｍ　’ｔｔｌｌ　ｋこおいては、
   前記符号化された動きを示す情報及び前記時系列Ｂに従
   う予＋ｎＩ＋誤差を復号し、復号された前記時系列Ｂに
   従う予測誤差を前記時系列Ａに並びかえ、前記動きを示
   す情報を用いて予測信号を発生し、前記予測信号と前記
   時系列Ａに従う予測誤差とから前記入力画像を予測復号
   化することを特徴とする画像信号の予測符号化方式。
2. （２）複数の画素からな９複数の走査線にまたかるブロ
   ックを単位として、入力画像１汀号の動きを検出し動き
   を示す情報を出力する手段と、該動きを示す情報を用い
   て予測信号を発生する手段と、前記入力画像信号と前記
   予測信号とから予測誤差（ｇ号を入力画像信号と同一の
   時系列（時系列Ａ）で得る手段と、前記予測誤差１６号
   を前記時系列Ａとは異なる時系列（時系列Ｂ）に並びか
   える手段と、並びかえられた予δ１り誤差１百号ｉラン
   レングス符号化を含む不等長符号に変換する；Ａ１の符
   号化手段と、前記動きを示す情報を符号化する第２の符
   号化手段とを具備することを％像とする画像信号の符号
   化装置。
3. （３）入力画像１汀から複数走査線にまたがる係数個の
   画素からなるブロック毎に前記画像信号の動きを検出し
   、前記動きを補償した予測信号を発生１、前記入力画像
   信号と前記予測信号とから得られる予測誤差と前記動き
   を示す情報と２ランレングス符号化を丼む不等長符号化
   することによシ前記画像イハ号を予測祠号化する画像信
   号の予測群−３化方式であって、前記予測誤差を前記不
   等長符号化するにあたり、前記入力画像信号り同じ時系
   列（時系列Ａ）に従う予測誤差を前記時系列とは昇なる
   時系列（時系列Ｂ）て並び換え、並びかえらねた予測誤
   差全前記不等長ね骨化することにより予測行１刊化され
   た前記入力画像信号を予測復号化する予測復号化装置で
   あって、前記不等長符号化された予測誤差を復号化し、
   前記時系列Ｂに従う予６１１１誤差を得る手段と、該予
   測誤差を並びかえ前記時系列Ａに従う予測誤差を得る手
   段と、ｎＩＪ記動きを示す情報を復号化する手段と、該
   復号された動きを示す情報とすでに予測復号化済の前記
   入力画像信号とから予測信号を得る手段と、該予測信号
   と前記萌系列Ａに従う予測誤差とから前記入、力画像信
   号を予測復号化することを特徴とする画像（Ｑ号の子側
   復号化装置。