JPS61114677A - 動画像信号の適応予測符号化復号化方式及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野）″ 本発明は、テレビジョン信号など動画像信号のデジタル
伝送に係わり、特に複数の予測方式を適応的に用いて高
能率な圧縮を実現する適応予測符号化技術に間するもの
である。

（従来技術と問題点） 従来、複数の予測方式を用いる適応予測符号化技術とし
ては、電子通信学会技術研究報告ＩＥ８４−３「動き補
償を用いたテレビ会議用符号化装置」にあるように、動
き補償付きフレーム間予測符号化方式とフレーム内予測
符号化方式を用いる方法が知られている。第５図にこの
方式のブロック図を示す。この方式では、予測しようと
する画素の近傍の複数の符号化済みの画素に対して、フ
レーム内予測と動き補償つきフレーム間予測のどちらが
予測方式として適しているか、即ち評価関数を小さくし
たか記憶しておく。この評価関数としては、例えば各予
測信号と局部復号信号との差分値の絶対値などが考えら
れる。第６図は記憶された最適な予測方式の組み合わせ
でありＳ　ａ、　Ｓ　ｂ。

・・、は各画素点における最適な予測の比較結果であり
、それぞれ、フレーム内予測あるいは動き補償フレーム
間予測に各々対応してＯまたは１を取る。この組み合わ
せを予め定められた選択規則Ｓｘ　＝ｆ　（ｓａ、Ｓｂ
、　’　６　）で選択して予測方式を決定する。たとえ
ば、Ｓ　ａ＝Ｓ　ｂ＝Ｓ　ｃ＝ｓ　ｄ＝０のときはフレ
ーム内予測が選択されるが、Ｓ　ａ＝Ｓ　ｂ＝０、ＳＣ
：５ｄ＝１のときは動き補償フレーム間予測が選択され
る。復号器は、符号器におけると同じく復号信号との比
較によりフレーム内予測と動き補′償付きフレーム間予
測のどちらが評価関数を小さくするかを算出し記憶して
おく、そして符号器が持つ選択規則と同じ規則を適用す
ることにより復号しようとする画素に対する予測方式を
得ることができる。あるいは、予測しようとする画素に
対して実際に複数の予測方式で予測誤差を求め、何れの
方式が評価間数を小さくするかを予め調べ、その結果使
用された予測方式を付加情報として伝送する方法もある
。これらの方式は、ひとつの予測関数に固定された予測
方式に比べて、効率の良い予測符号器、復号器を実現す
るが、被写体である動物体が動いたときに新に出現する
背景に対しては、有効な予測が出来なかった。即ち、動
き部分の予測には動き補償フレーム間予測が、静與部分
の予測にはフレーム間予測が最適であるが、動き物体の
蔭にある部分で動きにつれて見えてくる部分は前フレー
ムには存在しない画像部分であるため、予測不能であっ
た。そのため特に動物体の面積が大きい場合には予測能
率が低下する欠点があった。

（発明の目的） 本発明は、動物体の背景として新に表われる領域に対し
ても高い予測能率を実現する符号器、復号器を提供する
ことを目的とする。

（発明の構成） 本発明によれば、動画像信号を、複数の予測方式の中か
ら一つの方式を選択して適応予測符号化するにあたり、
動物体の背景からなる過去の画面を用いるフレーム間予
測による予測誤差と、動き補償つきフレーム間予測によ
る予測誤差の各々に対する定められた評価関数の値の比
較によりいずれの予測が適当であるかを定め、この評価
結果を記憶し、この記憶されている第一の評価結果の一
部を用いていずれか一方の予測方式を選択し、さらにフ
レーム内予測による予測誤差と前記の選択された予測方
式による予測誤差とから、第一の評価結果を得るのと同
様の手順で第二の評価結果を得、この一部を用いていず
れか一方の予測方式を選択する動画像信号の適応予測符
号化方式が得られる。

また本発明によれば、動画像信号を複数の予測方式を用
いて適応予測符号化するにあたり、過去の画面を記憶す
る手段と、符号化しようとする画素に対して、画素単位
にあるいはブロック単位にその勤ベクトルを算出する手
段と、該算出された勤ベクトルと前記の記憶された過去
の画面とを用いて第１の予測方式として動き補償予測を
行ない予測誤差を算出する手段と、動物体の背景からな
る画面を記憶する手段く背景メモリ）と、該背景メモリ
を用いて第２の予測方式としてフレーム間予測を行ない
予測誤差を算出する手段と、前記第　　　　　　　ゝｌ
の予測方式と第２の予測方式の予測誤差を比較し、いず
れの予測が適当であるかを評価する手段と、該評価結果
を記憶する手段と、該記憶された評価結果（第一の評価
結果）の一部を用いて予め定められた規則により２つの
予測方式の何れかを選択する手段と、第３の予測方式と
してフレーム内予測を行ない予測誤差を算出する手段と
、前記選択された予測方式と該第３の予測方式の予測誤
差を比較し、いずれの予測が適当であるかを評価する手
段と、該評価結果を記憶する手段と、該記憶された評価
結果（第二の評価結果）の一部を用いて予め定められた
規則に従い最終の予測方式を決定し選択する手段と、該
予測方式を用いて予測符号化を行なう手段、とを有する
動画像信号の適応予測符号化装置が得られる。

また本発明によれば、予測誤差信号を用いて、フレーム
内予測復号化する手段と動き補償予測復号化する手段と
背景予測復号化する手段を有し、予測方式として、動き
補償予測方式と背景予測方式のいずれを選択するか決定
する第一の決定手段、該決定された予測方式とフレーム
内予測方式のいずれを最終的な予測方式として選択する
か決定する第二の決定手段、該決定された予測方式によ
り復号化された局部復号信号を記憶する手段、とを有す
ることを特徴とする動画像信号の適応予測復号化装置が
得られ、第一の決定手段及び第二の決定手段は、記憶さ
れた復号信号を用いて、動き補償つきフレーム間予測値
、背景予測値、フレーム内予測値と復号信号との差分値
を求める手段と、前二者の差分値を比較しいずれ予測が
適当であったか評価する手段と、複数の画素に対する該
評価結果を記憶する手段と、記憶された該評価結果（第
一の評価結果）の一部を用いて予め定められた規則によ
り、動き補償つきフレーム間予測と背景予測の何れを選
択するか決定する手段と、該選択された予測方式による
前記差分値と、フレーム内予測による前記差分値を比較
しいずれの予測が適当であったか評価する手段と、複数
の画素に対する該評価結果を記憶する手段と、記憶され
た該評価結果（第二の評価結果）の一部を用いて予め定
められた規則により、該選択された予測方式とフレーム
内予測方式の何れを最終的な予測方式として選択するか
決定する手段、とからなる構成を成でいる。

（発明の原理） 第一図は、本発明の作用原理を説明する。静止した画面
内を動物体が右から左へ動いている。このとき画面は静
止領域（第一の領域）、動物体が存在する領域（第二の
領域）、動物体の背後に隠れていたが動物体が動いたの
で新たに出現した領域（第三の領域）、の３つの領域に
分けることができる。それぞれの領域に対して適した予
測方式を考えると、第一の領域に対しては、フレーム間
予測（あるいは動きが無いときの）動き補償予測、第二
の領域に対しては、動き補償予測または動き補償ができ
ないほどの速い動きのときはフレーム内予測、第三の領
域に対しては、背景部分の予測が可能な方式があげられ
る。即ち第一の領域と第二の領域に対しては、動き補償
予測とフレーム内予測の適応予測をもちいることで高い
予測能率を維持できるが、第三の領域に対してはこれら
の予測方式は予測に用いるべき有用な情報を持っていな
いため予測能率の低下が避けられない。第三の領域に対
しては、背景情報を予め背景メモリとして記憶しておき
これを用いてフレーム間予測を行なうことで予測能率を
上げることができる。背景メモリに背景情報を記憶する
技術については、画像工学研究会資料ＩＥ８３−１００
　ｒフレーム間符号化における背景予測アルゴリズム」
に詳しい。簡単に説明すると、フレーム間差分を用いて
画面を動領域と静止領域に分割し、動領域に対しては背
景メモリの内容はそのまま保持し、静止領域に対しては
背景メモリの内容を微小レベルだけ真の値に近ずける。

こうすることにより、背景部分に時折起こり得る変化に
対応して常にその時点での背景を抽出することが可能と
なる。

第二図は、上述の原理を応用した、本発明の適応予測符
号化方式のブロック図である。背景予測と動き補償予測
で得られる各々の予測値のうちとれを選択するかは以下
の方法で決定すればよい。

今符号化しようとする画素をＸ、既に符号化済みの周辺
の画素ａ、ｂ、ｃ、ｄ　　とする。画素ａ、ｂ、ｃ、ｄ
　　に対してそれぞれ背景予測と動き補償予測のいずれ
が予測誤差を小さくしたかを表わす状態間数Ｓ　ａ、　
Ｓ　ｂ、　Ｓ　ｃ、　Ｓ　ｄを動き補償予測の方が小で
あったときは０、そうでないときはｌで定義する。もち
ろん画素ａ、ｂＳｃ、ｄ、　　の配置およびその個数は
この例の配置個数に限らない、そして状態関数、Ｓ　ａ
、　Ｓ　ｂ、　Ｓ　ｃ、　Ｓ　ｄ、の値を変数とする選
択規則　　Ｓｔ　＝ｆ　（Ｓａ、Ｓｂ、Ｓｃ、Ｓｄ）に
より仮の予測方式を決定する０次に動き補償予測と背景
予測のいずれか選ばれた方と、フレーム内予測とで同様
にいずれかの方が予測方式として適しているかを表わす
状態間数　Ｓａ’、　Ｓｂ”。

Ｓｃ”、　Ｓｄ”をフレーム内予測の方が小であったと
きは１、そうでないときは、０で定義する。　やはり、
同様に選択規則　　Ｓ２　＝ｇ　（Ｓａ’、　Ｓｂ’＋
　Ｓｃ’、　Ｓｄ’）で最終的な予測方式を決定する。

復号器でも、同じ選択規則ｆ、ｇ、を持つことにより、
予測方式の選択情報を伝送することなく、符号化復号化
を支障なく実行することができる。

またこの選択規則ｆ２ｇを一緒にして、上記３種の能率
についてよく当たった順に順位をつけておいて、上記説
明に於けると同様に周囲の符号化済みの画素についてこ
の順位を比較参照することにより一度に予測に用いるべ
き方式を決定することもできる。以上は、予測方式の選
択情報を伝送しない場合であるが、符号化しようとする
画素に対して実際に予測誤差最小となる方式を検出し、
予測誤差と共に選択情報を伝送する方式も可能である。

（実施例） 次に第３図を用いて本発明の符号器の実施例を説明する
。

入力端１０００より人力される人力画像信号は減算器１
１へ供給され線１４１１を介して得られる予測値を減じ
られ、予測誤差として量子化器１２へ供給される。量子
化器１２は、これを量子化し、出力端子２０００へ出力
すると共に、加算器１３へ出力する。加算器１３は量子
化された予測誤差と線１４１２を介して供給される予測
値を加算し局部復号信号とし、ラインメモリ１５、フレ
ームメモリ２１、減算器２６へ出力する。ラインメモリ
１５はフレーム内予測値を作るものであり、必要な時間
分、例えば１画素（前値予測）あるいは１ライン時間（
前ライン予測）線１３１５を介して供給される局部復号
信号を遅延させてフレーム内子澗値として選択器１４、
及び、制御回路Ｉ６へ出力する。フレームメモリ２１の
は画像信号をおよそ１フレ一ム分記憶できるものであり
、線１３２１を介して供給される局部復号信号を約１フ
レーム時間遅延させて可変遅延回路２０へ出力する。可
変遅延回路２０は、線１７２０を介して供給される勤ベ
クトル情報に相当する遅延量だけフレームメモリ２１の
出力である周部復号信号を遅延させて、これを動き補償
予測値として選択器１９と制御回路１８へ出力する動ベ
クトル情報は勤ベクトル検出器１７で作られる。この動
ベクトル検出方法としては、例えば二宮によりｒフレー
ム間符号化における動き補正」　（電子通信学会画像工
学研究会、資料番号ＩＥ７Ｂ−６）と題して報告された
方法を用いることができ、検出された動ベクトルを可変
遅延回路２０へ出力する。減算器２６、制御回路２２、
加算器２３、遅延回路２４、背景メモリ２５は、背景予
測値を作る。まず減算器２６は線１３２６を介して供給
される局部復号信号と線２５２６を介して供給される背
景メモリ出力の差分を計算し、結果を制御回路２２へ出
力する。制御回路２２は、この差分をしきい値と比較し
て、しきい値の範囲内であれば０を、範囲外であれば前
述減算器２６から供給される差分値の極性に応じて定め
られた領土間を加算器２３へ出力する。加算器２３は、
制御回路２２における遅延時間だけ信号に遅延を与える
遅延回路２４から供給される背景メモリ出力の０、また
はｉ−Ｍを加え背景予測値として制御回路１８、選択器
１９背景メモリ２５へ出力する。背景メモリ２５は背景
予測値を１フレ一ム分記憶するものであり、１フレ一ム
時間遅延させて減算器２６、遅延回路：１ ２４へ出力する。なお、制御回路２２におけるしきい値
との比較において、勤ベクトル検出器１７より出力され
る動ベクトルを用いて静止部分を利用することもできる
。例えば、動ベクトルが零のブロックは、減算器２６の
出力値の如何にかかわらず制御回路２２からはＯを出力
することもできる。

線２３１９．２０１９を介して選択器１９へ供給される
背景予測値と動き補償予測値は、制御回路１８から線１
８１９を介して供給される選択信号に従っていずれか一
方が選択され、選択器１４へ出力される。制御回路１日
は、減算部、比較部、記憶部、判定部からなり線２３１
８．２０１８から供給される背景予測値、動き補償予測
値と線１３１６から供給される局部復号信号の差分、即
ち近似的には予測誤差を算出して大小比較し、より小と
なる方、すなわち有利な予測方式を記憶し、記憶結果を
用いて最適予測を判定し、得られた選択信号を選択器１
９へ出力する。判定の方法は前述のとうりである。この
時、背景予測値と動き補償予測値のうち、比較の結果、
より良い予測であった方を線１８１６をかいして制御回
路１６へ供給する。同じく選択器１４は線１５１４．１
９１４を介して供給されるフレーム内予測値と選択器１
９の出力のどちらかを制御回路１６の指示に従って選択
し予測信号として減算器１１と加算器１３へ出力する。

制御回路１６は制御回路１８と機能は同じであり、やは
り減算部、比較部、記憶部、判定部からなる。線１９１
０．１５１６から供給される２つの予測値と線１３１６
を介して供給される局部復号信号の差分を計算し絶対値
を大小比較していずれか小なるかの比較結果を記憶し、
その記憶の結果に応じて、選択信号を選択器１４へ出力
する、符号変換器２７は量子化器１２の出力である量子
化された予測誤差、線１７２７を介して供給される動ベ
クトル情報をそれぞれハフマン符号などの高能率符号に
符号変換し、出力端子２０００に出力する。

なお本発明では、比較結果に基ずいて、線１８１６を介
して背景予測値と動き補償予測値のいずれかを制御回路
１６へ供給しているが、このかわりに選択器１９の出力
を用いることも可能である。但しこの場合は後述のよう
に復号器においても同様の変更が必要である。

第４図は、本発明の復号器の実施例である。

入力端３０００からの入力は符号逆変換回路３゜て、予
測誤差信号、動ベクトル情報に分Ｍ復号され、予測誤差
信号は加算回路３１へ、動ベクトル情報は可変遅延回路
３７へ各々出力される。加算回路３１は線３２３７を介
して供給される最適予測値と線３０３１から供給される
予測誤差を加算して復号信号を作り、出力端子４０００
、ラインメモリ３４、フレームメモリ３８、減算器４２
、制御回路３３．３６へ出力する。ラインメモリ３４は
、復号信号を符号側と同一の予測となるように必要時間
分遅延させ、フレーム内予測値として選択器３２、制御
回路３３へ出力する。フレームメモリ３８は、やはり復
号信号を約ｌフレ、−ム時間遅延させて可変遅延回路３
７へ出力する。可変遅延回路３７は、この復号信号を線
３０３７を介して供給される勤ベクトル情報に相当する
時間分遅延させて、これを動き補償予測値として選択器
３５、制御回路３６へ出力する。減算器４２は、線４３
４２から供給される背景メモリ出力と線３１４２を介し
て供給される復号信号の差分を計算しこれを制御回路３
９は、この差分をしきい値と比較して、しきい値の範囲
内であればＯを、範囲外であれば線４２３９を介して供
給される前記差分値の極性に従って定められた値上Ｍを
背景メモリ更新値として加算器４０へ出力する。ここで
動ベクトルが利用できることは符号器について説明した
とうりである。遅延回路４１は減算器４２制御回路３９
ての演算に必要な時間分、背景メモリ出力を遅延させ、
背景メモリ更新値と時間位相を合わせて加算器４０に出
力する。加算器４０は線４１４０から供給される背景メ
モリ出力と線３９４０を介して供給され４背景メモリ更
新値を加算し、新に背景予測値として選択器３５、制御
回路３６、背景メモリ４３へ出力する。　背景メモリ４
３は背景予測値を１フレ一ム分記憶できるもてあ、、１
ヮＬ、−Ａ。！！’ｋｔｔｒＭ１□２□　　　　′回路
４１へ出力する。

制御回路３６は差分計算部、比較部記憶部、判定部から
なり、線４０３６から供給される背景予測値、線３７３
６から供給される、動き補償予測値と線３１３６から供
給される復号信号との差分を演算し、いずれが絶対値小
であるか比較し、この比較結果を複数画素記憶しておく
、そして記憶された比較結果の組み合わせを、予め定め
られた、即ち送信側と同様の原則により変換し、選択情
報として選択器３５へ出力するそして絶対値小であるほ
うの予測値を選択器３２へ出力する。また制御回路３６
は、背景予測値と動き補償予測値のうち、比較の結果よ
り良い予測であった方を線３６３３を介して制御回路３
３へ供給する。選択器３５は線３６３５から供給される
選択情報に従い背景予測値が動き補償予測値のいずれか
を選択して選択器３２へ出力する。制御回路３３は制御
回路３６と同様に差分計算部、比較部、記憶部、判定部
からなり、線３４３３から供給されるフレーム内予測値
、線３６３３から供給される背景予測値が動き補償予測
値と線３１３３から供給される復号信号の差分を計算し
、大小比較し、いずれが小なるかの比較結果を複数画素
記憶ａ憶し、記憶された比較結果の組み合わせと前述の
規則により選択情報を決定し、選択器３２へ出力する。

選択器３２は、線３３３２を介して供給される選択情報
に従い、選択器３５の出力か、線３４３２から供給され
るフレーム内予測値のいずれかを選択して、これを最適
予測値として加算器３１へ出力するなお第３図の説明で
述べた変更を符号器に対して行なう場合は、線３６３３
のかわりに選択器３５の出力を制御回路３３へ供給する
。

（発明の効果） 以上、本発明によれば、動物体の面積の大きい場合にも
最適な予測方式が選択されるため、予測能率の低下が少
なく、本発明を供給する意義は大である。

【図面の簡単な説明】

第１図は、動物体を含む両画を表わす図、第２図は、本
発明の概要を表わすブロック図、第３図は、符号器の実
施例を示すブロック図、第４図は、復号器の実施例を示
すブロック図、第５図は、動き補償付きフレーム間、フ
レーム内適応予測方式のブロック図、第６図は、適応予
測判定方法の例を表わす図である。 図中、１１，２６；減算器、１２；童子化器、１３．２
３；加算器、！４，１９；選沢器、１５；ラインメモリ
、１６．１８．２２；制御回路、１７：動ベクトル検出
回路、２０；可変遅延回路、２１；フレームメモリ、２
４；遅延回路、２５：背景メモリ、２７；符号変換器、
３０；符号逆変換器、３１，４０；加算器、３２．３５
；選択器、３３，３６，３９；制御回路、３４；ライン
メモリ、３７；可変遅延回路、３８；フレームメモリ、
４１；遅延回路、４２；減算器、４３：背景メモリ、を
それぞれ表わす。 弁哩士　内原晋］′　ミ ７１　図

Claims (1)

1. 【特許請求の範囲】 （１）動画像信号を、複数の予測方式の中から一つの方
   式を選択して適応予測符号化するにあたり、動物体の背
   景からなる過去の画面を用いるフレーム間予測による予
   測誤差と、動き補償つきフレーム間予測による予測誤差
   の各々に対する定められた評価関数の値の比較によりい
   ずれの予測が適当であるかを定め、この評価結果を記憶
   し、この記憶されている第一の評価結果の一部を用いて
   いずれか一方の予測方式を選択し、さらにフレーム内予
   測による予測誤差と前記の選択された予測方式による予
   測誤差とから、第一の評価結果を得るのと同様の手順で
   第二の評価結果を得、この一部を用いていずれか一方の
   予測方式を選択することを特徴とする、動画像信号の適
   応予測符号化方式（２）動画像信号を複数の予測方式を
   用いて適応予測符号化するにあたり、過去の画面を記憶
   する手段と、符号化しようとする画素に対して、画素単
   位にあるいはブロック単位にその動ベクトルを算出する
   手段と、該算出された動ベクトルと前記の記憶された過
   去の画面とを用いて第１の予測方式として動き補償予測
   を行ない予測誤差を算出する手段と、動物体の背景から
   なる画面を記憶する手段（背景メモリ）と、該背景メモ
   リを用いて第２の予測方式としてフレーム間予測を行な
   い予測誤差を算出する手段と、前記第１の予測方式と第
   ２の予測方式の予測誤差を比較し、いずれの予測が適当
   であるかを評価する手段と、該評価結果を記憶する手段
   と、該記憶された評価結果（第一の評価結果）の一部を
   用いて予め定められた規則により２つの予測方式の何れ
   かを選択する手段と、第３の予測方式としてフレーム内
   予測を行ない予測誤差を算出する手段と、前記選択され
   た予測方式と該第３の予測方式の予測誤差を比較し、い
   ずれの予測が適当であるかを評価する手段と、該評価結
   果を記憶する手段と、該記憶された評価結果（第二の評
   価結果）の一部を用いて予め定められた規則に従い最終
   の予測方式を決定し選択する手段と、該予測方式を用い
   て予測符号化を行なう手段、とを有することを特徴とす
   る動画像信号の適応予測符号化装置。 （３）予測誤差信号を用いて、フレーム内予測復号化す
   る手段と動き補償予測復号化する手段と背景予測復号化
   する手段を有し、予測方式として、動き補償予測方式と
   背景予測方式のいずれを選択するか決定する第一の決定
   手段、該決定された予測方式とフレーム内予測方式のい
   ずれを最終的な予測方式として選択するか決定する第二
   の決定手段、該決定された予測方式により復号化された
   局部復号信号を記憶する手段、とを有することを特徴と
   する動画像信号の適応予測復号化装置。 （４）第一の決定手段及び第二の決定手段は、記憶され
   た復号信号を用いて、動き補償つきフレーム間予測値、
   背景予測値、フレーム内予測値と復号信号との差分値を
   求める手段と、前二者の差分値を比較しいずれ予測が適
   当であったか評価する手段と、複数の画素に対する該評
   価結果を記憶する手段と、記憶された該評価結果（第一
   の評価結果）の一部を用いて予め定められた規則により
   、動き補償つきフレーム内予測と背景予測の何れを選択
   するか決定する手段と、該選択された予測方式による前
   記差分値と、フレーム内予測による前記差分値を比較し
   いずれの予測が適当であったか評価する手段と、複数の
   画素に対する該評価結果を記憶する手段と、記憶された
   該評価結果（第二の評価結果）の一部を用いて予め定め
   られた規則により、該選択された予測方式とフレーム内
   予測方式の何れを最終的な予測方式として選択するか決
   定する手段、とからなる特許請求の範囲第３項記載の、
   動画像信号の適応予測復号化装置。