JPH02171093A

JPH02171093A - 動画像の予測符号化方式

Info

Publication number: JPH02171093A
Application number: JP63326807A
Authority: JP
Inventors: Yoshihiro Miyamoto; 義弘宮本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-12-23
Filing date: 1988-12-23
Publication date: 1990-07-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、動画像の予測符号化方式に関するものである
。

（従来の技術）従来、動画像の高能率符号化方式に関しては、予測符号
化方式が知られている。その構成の一例を第８図に示す
。この方式は各画素の信号値８１から画像のフレーム間
相関または背景画像を利用して得た予測値を差し引き、
その差分値８５を符号化するもρで、予測回路としてフ
レーム間予測回路８８及び背景予測回路８９を並列接続
し、切り替えスイッチ９０により選択的にいずれかを接
続する構成となっている。また動きベクトル検出回路８
７で画像フレーム内の動領域とその動きベクトル８２を
検出し、フレーム間予測回路８８で動き補償したフレー
ム間予測値８３を出力する構成になっている。

上記の背景予測回路８９で用いられる背景画像の抽出方
式としては、画像フレーム内のある画素の信号レベルが
連続２フレーム間でほとんど変化しない場合には、この
画素が背景部分を表示していると考え、背景画像上の前
記画素の信号レベルをあらかじめ定められた大きさだけ
更新する方式がある（黒田、代用、橋本＝「動き補償、
背景予測を用いたフレーム間符号化方式」、電子情報通
信学会論文誌’８５／Ｉ　Ｖｏｌ、Ｊ６８−Ｂ　Ｎｏ、
１参照）。また、シーンチェンジと次なるシーンチェン
ジの間の一連の複数フレームで構成される画像シーケン
スにおいて、前記シーケンスの符号化に先だってその全
体を見渡した上で背景画像を抽出する方式もある（特願
昭６２゜１６５９５７号明細書「背景画像を用いた動画
像の符号化方式ｊ）。この方式では、まず画像フレーム
内のそれぞれの画素について、その信号レベルの時間変
動が少ない期間を平坦領域として抽出する。次に、画像
シーケンス全体から抽出された複数の平坦領域から適当
なものを選択して、その平均値として該当画素の背景レ
ベルを決定する。

これらの方法により抽出した背景画像を用いて背景予測
を行うことで、画像フレーム内の背景部分からの情報発
生を抑制した効率的な予測符号化を実現できることが従
来知られていた。

（発明が解決しようとする問題点）従来の方式では、背景の位置が画像フレームに対して固
定されていることを前提にして背景画像を抽出している
。従って、パンニングやカメラの振動等により画像フレ
ーム全体としての動きがある場合には、背景画像を抽出
することができず、かつ背景予測を適用することもでき
ない。

本発明の目的は、パンニング等が起こっている場合にも
背景画像の抽出または背景予測を可能とし、より発生情
報量を抑えた予測符号化方式を提供することにある。

（問題点を解決するための手段）本発明の背景予測を用いた動画像の予測符号化方式にお
いて、画像フレーム全体の動きを示すグローバル・ベク
トルを検出し、前記グローバル・ベクトルと背景画像を
用いて背景予測を行うとともに、符号化に同期して前記
グローバル・ベクトルを用いて前記背景画像を更新する
ことを特徴とする。

また、本発明の背景予測を用いた連続複数フレームで構
成される画像シーケンスの予測符号化方式において、一
連の符号化に先立って基準座標上に生成された背景画像
及び、画像シーケンス内の各画像毎に基準座標上での動
き位置を示すフレーム位置ベクトルとをあらかじめ与え
ておき、前記背景画像と前記フレーム位置ベクトルとを
用いて背景予測を行うことを特徴とする。

また、本発明の連続複数フレームで構成される画像シー
ケンスからの背景抽出方式において、画像シーケンス内
の各画像毎に基準座標上での動き位置を示すフレーム位
置ベクトルを検出し、前記画像シーケンスから前記フレ
・−人位置ベクトルを用いて基準座標上に背景画像を抽
出することを特徴とする。

（作用）本発明の背景予測を用いた動画像の予測符号化方式では
、まず入力画像の各画素毎もしくは複数、画素からなる
ブロック毎にフレーム間での動きベクトルを検出し、こ
れより画像フレーム全体としての動きを示すグローバル
・ベクトルを求める。

例として前記動きベクトルの最尤値をグローバル・ベク
トルに定める。次にフレーム間予測及び背景予測の両予
測モードから得られた予測値のうち、入力画像信号との
差分の絶対値が小さくなるものを選択して、その予測モ
ード信号及び予測差分値を符号化する。あるいは予測モ
ードの選択において、符号化済みの近傍画素における予
測差分の絶対値が最小である予測モードを参照して、こ
れから符号化する画素での最適な予測モードを推定する
。なお、グローバル・ベクトルＧＶ　＝　（ＧＶｘ、Ｇ
Ｖｙ）に対して、画素ｐ（ｘ、ｙ）の背景予測値は背景
画像の画素Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）の値であ
る。さらに、このグローバル、ベクトルを用いてフレー
ム毎に背景画像の更新を行う。第４図に示すように、第
ｉフレームでの第（ｉ−１）フレームに対するグローバ
ル・ベクトルがＧＶ　＝　（ＧＶｘ、ＧＶｙ）テある時
に、第ｉフレームテノ画素Ｐｉ（Ｘ、Ｙ）が表示してい
る位置は、第（ｉ−１）フレームでハＰｉ−１（Ｘ−Ｇ
Ｖｘ、Ｙ−ＧＶｙ）＆ニー相当する。従ッテ、画素Ｐｉ
（Ｘ、Ｙ）とＰｉ　−１（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）と
の値の差分があらかじめ設定したしきい値より小さい場
合には、Ｐｉ（Ｘ、Ｙ）は背景を表示していると判断し
て、背景画像の画素Ｐｂｇ（Ｘ、Ｙ）の値を、更新前の
Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）の値及びＰｉ（Ｘ、
Ｙ）の値を用いて更新する。前記場合に、更新前（７）
Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）ノ値が未設定であれ
ば、Ｐｉ（Ｘ、Ｙ）の値をＰｂｇ（Ｘ、Ｙ）の値に代入
する。なお、上記の更新が毎フレームで行われない場合
には、画素Ｐｉ（Ｘ、Ｙ）の背景予測値は背景画像の画
素Ｐｂｇ（Ｘ−ΣＧＶｘ、Ｙ−ΣＧＶｙ）（７）値トス
ル必要カアル。

ここでΣＧＶ＝（ΣＧＶｘ、ΣＧＶｙ）は、前回の背景
画像更新から現フレームまでのグローバル・ベクトルの
累積値である。

また、本発明の背景予測を用いた連続複数フレームで構
成される画像シーケンスの予測符号化方式では、まず一
連の符号化に先立って、画像シーケンス内の各画像が表
示する背景部分の全体をカバーする大きな背景画像を基
準座標上に設定する。同様にあらかじめ画像シーケンス
内の各画像毎に画像フレームの基準座標上での動き位置
を示すフレーム位置ベクトルを与えておき、前記背景画
像と前記フレーム位置ベクトルを用いて背景予測を行う
。いま第５図に示すように、第ｉフレームニオケルフレ
ーム位置ヘクトルがＦＶｉ　＝　（ＦＶｘｉ、ＦＶｙｉ
）テアルナラ、第ｉフレームテノ画素Ｐｉ（Ｘ−ＦＶｘ
ｉ、Ｙ−ＦＶｙｉ）の位置は、背景画像を設定している
基準座標上では（ｘ、ｙ）に相当する。従って、画素Ｐ
ｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ）の背景予測値は背景
画像の画素Ｐｂｇ（Ｘ、Ｙ）の値となる。

また、本発明の連続複数フレームで構成される画像シー
ケンスからの背景抽出方式では、まず各画像毎に画像フ
レームの基準座標上での動き位置を示すフレーム位置ベ
クトルを検出し、前記フレーム位置ベクトルを用いて基
準座標上に背景画像を生成する。いま第５図に示すよう
に、第ｉフレームにおけるフレーム位置ベクトルがＦＶｉ　＝　（ＦＶｘｉ、ＦＶｙｉ）テあるとする。コ
コテ、第ｉ７レームテノ画素Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−
ＦＶｙｉ）が背景を表示しテイルと判別された場合ニハ
、Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ）の値を基準座標
位置（ｘ、ｙ）の背景データとして抽出する。この具体
例として第５図に示すように第（ｉ−１）フレームでの
フレーム位置ベクトルがＦＶ（ｉ　−１）＝（ＦＶｘ（
ｉ−１）、ＦＶｙ（ｉ−１））である場合に、第（ｉ−
１）フｔｚ−ムチ（７）画素Ｐｉ−１（ＦＶｘ（ｉ−１
）、ＦＶｙ（ｉ−１））（７）位置と第ｉフレームテノ
画素Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ）（７’）位置
は共に基準座標上では（ｘ、ｙ）である。そこでＰｉ　
−１（Ｘ−ＦＶｘ（ｉ　−１）、Ｙ−ＦＶｙ（ｉ−１）
）とＰｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ））との値の差
分が、あらかじめ定めたしきい値よりも小さければ背景
を表示している判別して、Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−Ｆ
Ｖｙｉ）の値を基準座標上の位置（ｘ、ｙ）の背景デー
タとして抽出する。次に画像シーケンス全体から抽出さ
れた複数の背景データから背景画像を生成する。このと
き背景データの各要素の値に太きなばらつきが見られる
場合には、前記データの平均値との差分が大きなものを
不適当なデータと見なして排除する。これによりばらつ
きの小さい背景データからその平均値を求めて、画素Ｐ
ｂｇ（Ｘ、Ｙ）の値に代入することで背景画像を生成す
る。

以上に示した本発明の作用により、バンニング等が起こ
っている場合にも背景抽出及び背景予測を適用すること
でき、画像内の背景部分における発生情報量を抑え、符
号化効率の改善が可能となる。

（実施例）以下、本発明の実施例を第１〜７図を用いて説明する。

第１図は、第１の発明の動画像の予測符号化方式を実現
する一実施例のブロック図である。動きベクトル検出回
路８では入力画像信号１から、各フレーム毎に画像フレ
ーム全体の動きを表すグローバル・ベクトル３を検出す
る。ここでグローバル、ベクトルは画像内の各部分の動
きベクトルから検出する。その−例として、まず画素毎
あるいは複数の画素からなるブロック毎にフレーム間動
きベクトル２を検出し、前記ベクトルの最尤値をグロー
バル、ベクトル３とする。あるいは画像内の各部分につ
いて、各々の動きベクトル２で動き補償フレーム間差分
をとり、前記差分値があらかじめ定めたしきい値よりも
小さい部分が背景を表示していると考え、これらの部分
の動きベクトルの平均値をグローバル・ベクトル３とす
る。次に、フレーム間予測回路９は動きベクトル検出回
路８から供給された動きベクトル２を用いて動き補償フ
レーム間予測値４を出力する。また、背景予測・背景更
新回路１０は動きベクトル検出回路８から供給されたグ
ローバル・ベクトル３を用いて背景予測値５を出力する
。すなわち、第４図に示すように第ｉフレームにおける
グローバル・ベクトルＧＶ　＝　（ＧＶｘ、ＧＶｙ）に
対して、第ｉフレームの画素Ｐｉ（Ｘ、Ｙ）の背景予測
値として背景画像の画素Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶ
ｙ）（１）値を出力スル。ココチクローバル・ベクトル
は小数点以下に有効数値を持っていてもよい。グローバ
ル・ベクトルＧＶ　＝　（ＧＶｘ、ＧＶｙ）が小数成分を持つ場合に
は、背景予測・背景更新回路１０は画素Ｐｉ（Ｘ、Ｙ）
の背景予測値５を、背景画像上の位置（Ｘ−ＧＶｘ、Ｙ
−ＧＶｙ）の近傍の画素の値から内挿予測により算出し
て出力する。切り替えスイッチ１１は前記複数の子測値
のいずれが一つを選択し、入力信号１との差分値６をと
って符号変換回路１２で符号化する。また動きベクトル
２、グローバル・ベクトル３も符号化する。次に、第ｉ
フレームでの画素Ｐｉ（Ｘ、Ｙ）が背景を表示している
と判別された場合には、この画像の符号化後に背景予測
・背景更新回路１０でグローバル・ベクトル３を用いて
背景画像の画素Ｐｂｇ（Ｘ、Ｙ）の値を更新する。第４
図テハ、第（ｉ−１）７１ｚ　−ムチ（７）画素Ｐｉ　
−１（Ｘ−ＧＶｘ、Ｙ−Ｇｖｙ）の値と第ｉフレームで
の画素Ｐｉ（Ｘ、Ｙ）の値との差分絶対値が、あらかじ
め定めたしきい値よりも小さければ、Ｐｉ（Ｘ、Ｙ）は
背景を表示していると判別される。また更新方式の一例
として第４図に示すように、背景画像の画素Ｐｂｇ（Ｘ
、Ｙ）の値を、更新前の画素Ｐｉ（Ｘ、Ｙ）（７）背景
予測値であルＰｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）の値に
一定値αを加えたものに更新する。ここでαの符号は更
新値がＰｉ（Ｘ、Ｙ）の値により近くなるように正また
は負にとる。あるいは、Ｐｉ（Ｘ、Ｙ）の値と更新前ｃ
７）Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）ノ値トノ重み付
ケ平均値を更新後のＰｂｇ（Ｘ、Ｙ）の値に代入する。

また、Ｐｂｇ（Ｘ−ＧＶｘ、Ｙ−ＧＶｙ）（７）画素位
置が画像７レーム（７）外であり値を持たない場合には
、Ｐｉ（Ｘ、Ｙ）の値を更新値としてＰｂｇ（Ｘ、Ｙ）
に代入する。

第２図は、第２の発明の背景予測を用いた連続複数フレ
ームで構成される画像シーケンスの予測符号化方式を実
現する一実施例のブロック図である。ここでは一連の符
号化に先立ち、まず動きベクトル・背景画像出力回路２
９から供給された背景画像２２を背景予測回路３１に保
持する。次に、符号化に同期して動きベクトル・背景画
像出力回路２９はフレーム間予測回路３０に画素毎ある
いは複数画素からなるブロック毎に動きベクトル２４を
供給し、また背景予測回路３１にはフレーム毎にフレー
ム位置ベクトル２３を供給する。なお、前記動きベクト
ル２４はあらかじめ求めた値を動きベクトル・背景画像
出力回路２９に保持しておく必要は必ずしも無く、符号
化に同期して逐次求めてもよい。フレーム間予測回路３
０は動きベクトル２４により動き補償したフレーム間予
測値２５を出力し、また背景予測回路３１はフレーム位
置ベクトル２３と前記背景画像２２とから背景予測値２
６を求め出力する。−例として第５図のように、第ｉフ
レームでのフレーム位置ペクト、）Ｌｔ　カＦＶｉ＝（
ＦＶｘｉ、ＦＶｙｉ）テある場合には、第ｉ７　Ｌ／　
−ムテノ画素Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ）（７
）背景予測値として背景画像の画素Ｐｂｇ（Ｘ、Ｙ）の
値を出力する。切り替えスイッチ３２では前記複数の子
測値から一つを適応的に選択し、入力信号２１との差分
値２７を符号化する。また符号変換回路３３では、予測
差分値２７と共に背景画像２２、動きベクトル２４及び
フレーム位置ベクトル２３も符号化される。

第３図は、第３の本発明の連続した複数フレームで構成
される画像シーケンスから背景画像を抽出する方式を実
現する一実施例のブロック図である。まずフレーム位置
ベクトル検出回路４４では、フレーム毎に基準座標上で
の動き位置をフレーム位置ベクトル４２として検出し、
背景画像抽出回路４５に供給する。−例としてフレーム
位置ベクトル４２は、フレーム間での画像フレーム全体
の動きを示すグローバル・ベクトルＧＶの累積として表
すことができる。この場合には、第１フレームの原点位
置が基準座標の原点位置となる。次に背景画像抽出回路
では、第６図に示したフローチャートに従って入力画像
シーケンス４１から基準座標上に背景画像４３を抽出す
る。まず、ステップ（０２）でフレーム位置ベクトル検
出するが、第５図に示すように第ｉフレームにおイテＦ
ｖｉ＝（ＦｖＸｉ、Ｆｖｙｉ）テアッタトスル。ステッ
プ（０４）　テは第ｉフレームの画素Ｐｉ（Ｘ−ＦＶｘ
ｉ、Ｙ−ＦＶｙｉ）が背景を表示しているかを本明細書
作用の項に記述した様な方法で判別して、そうであるな
らばステップ（０５）でこの値は背景データとしてＤｂ
ｇ（Ｘ、Ｙ）の要素に組み込まれる。次にステップ（０
７）で、Ｄｂｇ（Ｘ、Ｙ）に抽出された複数の背景デー
タの平均値をＰｂｇ（Ｘ、Ｙ）とし、同時に前記データ
の分散ＣＦ（Ｘ、Ｙ）を求める。σ（ｘ、ｙ）の値があ
らかじめ定めたしきい値Ｔｈよりも大きければ、Ｄｂｇ
（Ｘ、Ｙ）の中に不適当なデータが含まれると考えられ
るので、ステップ（１０）でσ（Ｘ、Ｙ）の値が小さく
なるように、平均値との差分が最も大きなデータを排除
して平均値を再評価する。また、ｏ（Ｘ、Ｙ）の値がＴ
ｈより小さければ背景画像の画素Ｐｂｇ（Ｘ、Ｙ）の値
を確定する。

なお、第６図ではステップ（０５）において各画素の背
景データをフレーム単位で抽出しているが、時間方向に
見た信号レベルの平坦領域Ｈ（Ｘ、Ｙ）で抽出すること
もできる。この場合の背景画像抽出の手順を第７図のフ
ローチャートに示す。いま第５図に示した第（ｉ−１）
７１ｚ−ムテノ画素Ｐｉ　−１（Ｘ−ＦＶｘ（ｉ　−１
）、Ｙ−ＦＶｙ（ｉ−１））が、第ｊ番目の平坦領域Ｈ
ｊ（Ｘ、Ｙ）　ニ含まれているとする。ステップ（１０
４）で、第ｉフレームテノ画素Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ
−ＦＶｙｉ）Ｉ）値とＨｊ（Ｘ、Ｙ）ノｆ　−’）の平
均値Ｅ（Ｈｊ）との差分が、あらかじめ定めたしきい値
Ｔｈｌより小さければ、Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶ
ｙｉ）　ハ背景を表示していると判断して、ステップ（
１０５）でＰｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ）ｃ７）
値をＨｊ（Ｘ、Ｙ）ノｆ　−タＩｔ：組み込む。一方し
きい値よりも大きく、Ｈｊ（Ｘ、Ｙ）のデータが２フレ
一ム以上である場合には、ステップ（１０７）でＨｊ（
Ｘ、Ｙ）は確定し、Ｐｉ（Ｘ−ＦＶｘｉ、Ｙ−ＦＶｙｉ
）の値を次なる平坦領域Ｈｊ　＋　１（Ｘ、Ｙ）の初期
値とする。これを最終フレームまで繰り返して、全ての
平坦領域Ｈ１（Ｘ、Ｙ）〜Ｈｍ（Ｘ、Ｙ）を抽出し、ス
テップ（１１０）において各平坦領域の長さで重み付け
した平均値として背景画像の画素Ｐｂｇ（Ｘ、Ｙ）の値
を決定する。もし、抽出された平坦領域のデータのばら
つきが大きければ、ステップ（１１３）で前記平均値と
各平坦領域内での平均の値とを比較してその差分が最も
大きくなる平坦領域を排除し、再度Ｐｂｇ（Ｘ、Ｙ）の
値を計算する。

（発明の効果）本発明では、画像フレーム全体の動きを補償して背景抽
出または背景予測を行うので、パンニングやカメラの振
動等がある場合にも背景抽出または背景予測が可能とな
り、画像フレーム内の背景部分における情報発生を抑制
し、符号化効率の改善を可能とする。

【図面の簡単な説明】

第１図は、第１の発明を実現する一実施例のブロック図
、第２図は、第２の発明の一実施例のブロック図、第３図
は、第３の発明の一実施例のブロック図、第４図は、グ
ローバル・ベクトルを用いた背景更新の原理を説明する
ための図、第５図は、フレーム位置ベクトルを用いた背
景抽出の原理を説明するための図、第６図は、第３図で
の背景抽出の手順を示すフローチャート、第７図は、第
３図での背景抽出の手順を示すフローチャート、第８図
は、従来の背景予測を用いた予測符号化方式のブロック
図である。図において、８．８７・・・動きベクトル検出回路、９，３０．８８
・・・フレーム間予測回路、１０・・・背景予測・背景
更新回路、１１．３２．９０・・・切り替えスイッチ、
１２，３３．９１・・・符号変換回路、２９３０．動き
ベクトル・背景画像出力回路、３１．８９・・・背景予
測回路、４４・・・フレーム位置ベクトル検出回路、４
５・・・背景画像抽出回路。

Claims

【特許請求の範囲】１、）背景予測を用いて動画像を予測符号化するにおい
て、画像フレーム全体の動きを示すグローバル・ベクト
ルを検出し、前記グローバル・ベクトルと背景画像を用
いて背景予測を行うとともに、符号化に同期して前記グ
ローバル・ベクトルを用いて前記背景画像を更新するこ
とを特徴とする予測符号化方式。２、）背景予測を用いて連続した複数フレームで構成さ
れる画像シーケンスを予測符号化するにおいて、一連の
符号化に先立って基準座標上に生成された背景画像及び
、画像シーケンス内の各画像毎に基準座標上での動き位
置を示すフレーム位置ベクトルとをあらかじめ与えてお
き、前記背景画像と前記フレーム位置ベクトルとを用い
て背景予測を行うことを特徴とする予測符号化方式。３、）連続した複数フレームで構成される画像シーケン
スから背景画像を抽出するにおいて、画像シーケンス内
の各画像毎に基準座標上での動き位置を示す示すフレー
ム位置ベクトルを検出し、前記画像シーケンスから前記
フレーム位置ベクトルを用いて基準座標上に背景画像を
抽出する背景抽出方式。