JP2576771B2

JP2576771B2 - 動き補償予測装置

Info

Publication number: JP2576771B2
Application number: JP24098393A
Authority: JP
Inventors: 裕横山
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1993-09-28
Filing date: 1993-09-28
Publication date: 1997-01-29
Anticipated expiration: 2012-01-29
Also published as: JPH0799660A; US5572258A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像を符号化するため
の、動き補償予測装置に関する。

【０００２】

【従来の技術】従来、動き補償予測方式として一般に知
られているブロックマッチング法では、画像を固定サイ
ズの方形ブロックに分割し、ブロックごとに別々に動き
補償を行なっている。この方法では、動き補償処理によ
り物体の連続性が失われ、予測画像上にブロック歪みが
発生することがある。そこで、このようなブロック歪み
を発生させないために、例えば、１９９３年電子情報通
信学会春季全国大会Ｄ−２９２、ｐ７−５３の論文「等
濃度領域による領域分割に基づく動き補償方式の検討」
に記載された方式では、画像を等濃度領域に分割して領
域ごとに動き補償処理を行なっている。この方式では、
まず前フレーム画像を線形量子化し、等濃度でかつ隣接
し合う複数の画素を領域にまとめることで初期領域分割
を行なう。つぎに、微小領域の除去および完全に包含し
ている領域の統合をして、最終的な等濃度領域を抽出し
ている。その後に、前フレーム画像での前記抽出領域ご
とに現フレーム画像上でのマッチング処理を行ない、平
行移動ベクトルおよび４つの変形ベクトルを求めて領域
単位での動き補償に利用している。

【０００３】

【発明が解決しようとする課題】前記従来の領域ごとの
動き補償技術では、動領域、静止領域にかかわらず、す
べての領域を個別に動き推定するため、演算量が大き
い。さらに、領域統合処理では、初期分割領域から微小
領域の除去および完全に包含している領域の統合を行な
うだけで、それ以外の隣接領域間の統合を行なわないの
で、単一の動く被写体領域を多数の小領域に過分割した
ままとなる可能性がある。この場合には領域数増加に伴
う演算量と符号量の増加や、個々の領域が小さすぎてノ
イズの影響が相対的に大きくなり動き推定精度の低下が
問題となる。

【０００４】本発明の目的は、初期分割領域から動領域
だけを抽出し、かつ類似の隣接領域を統合した後に、統
合領域ごとに動き推定を行なうことで、少ない演算量と
符号量でより正確な動き補償を行なう動き補償予測装置
を提供することにある。

【０００５】

【課題を解決するための手段】本発明の動き補償予測装
置は、動画像の符号化に用いる動き補償フレーム間予測
において、参照画像を画像内容に従い領域分割し、領域
分割結果を出力する領域分割手段と、入力画像と参照画
像のフレーム間差分を出力する手段と、前記フレーム間
差分情報を参照して前記領域分割結果から動きのある領
域を検出し、動領域として出力する動領域検出手段と、
前記動領域情報と参照画像の領域分割結果および参照画
像の画素値情報を用いて前記動領域を統合し、動物体領
域として出力する領域統合手段と、前記動物体領域ごと
に入力画像と参照画像とのフレーム間での動きを推定
し、領域全体としての動きを記述する動きパラメータを
出力する動き推定手段と、前記動きパラメータに従い参
照画像の前記動物体領域ごとに動き補償を行い、入力画
像に対する動き補償予測画像を生成し出力する動き補償
手段を備えることを特徴とする。

【０００６】

【作用】本発明の動き補償予測装置における一連の処理
手順を説明する。図２は各処理での出力結果を摸式的に
表したものである。最初に参照画像を領域分割し、図２
（ａ）のような初期領域分割結果を得る。次に入力信号
と参照信号のフレーム間差分情報を参照して初期分割し
た領域から動領域を判定し図２（ｂ）の斜線で示される
結果を得る。さらに参照画像の画素値情報により類似し
た動領域を統合し、図２（ｃ）のような領域分割を得
る。次に、分割領域ごとにフレーム間での動きを推定
し、図２（ｄ）のような動き推定結果を得る。最後に参
照画像上の分割領域ごとに動き補償を行ない、図２
（ｅ）のような動き補償予測画像を得る。

【０００７】このように本発明では、画像内で動きがあ
りかつ類似画素値からなる領域を抽出し、この領域単位
に動き補償を行なうため、ブロック歪みが発生せず破綻
のない動き補償予測画像が生成できる。さらに、動いて
いる領域だけを抽出し、かつ抽出領域を統合することに
より領域数を減らすので、演算量および発生符号量も抑
制できる。領域統合は動領域の相互間のみで行なうの
で、静止領域との過統合も防ぐことができる。統合され
た領域は充分大きくノイズの影響が相対的に小さくなる
ので、高度な運動モデルを導入することができ、より正
確な動き推定が可能である。

【０００８】

【実施例】図１は本発明の一実施例を示すブロック図で
ある。領域分割手段１０１では、参照画像を領域分割す
る。参照画像には現入力画像の符号化に先だって符号側
と復号側との両方で既知の画像を用いる。具体例とし
て、前フレームの復号画像を参照画像として用いること
ができる。次にフレーム差分計算手段１０２において、
参照画像と入力画像とのフレーム間差分を計算する。動
領域検出手段１０３では、前記フレーム間差分の大きさ
を参照して、前記分割した複数の領域から動領域を検出
する。検出された動領域は、領域統合手段１０４によ
り、再び参照画像の情報を用いて統合し、複数の動物体
領域として抽出する。この動物体領域ごとに動き推定手
段１０５において、入力画像と参照画像との間の動き推
定を行ない、動きパラメータを求める。この動きパラメ
ータに従い、動き補償手段１０６において、動物体領域
ごとに動き補償を行ない、動き補償予測画像を生成す
る。

【０００９】以下では各構成手段について説明する。

【００１０】領域分割手段では、参照画像を複数の領域
に分割し、初期分割結果を得る。領域分割の方法として
は一般に知られている領域成長法などを用いることがで
きる。領域成長法は、注目している画素とそれに隣接し
ている画素とが互いに同じ特徴を持っている場合に、そ
れらを一つの領域に統合する処理を順次実行することに
よって、特徴が等しい領域を少しずつ成長させ、最終的
に画像全体の領域分割を行なう方法である。例えば、領
域成長法のよく知られた具体的な処理は、以下の手順で
行なう。ａ）まず、画面を走査し、まだ領域分けされていない画
素を探し、注目画素とする。この注目画素を起点として
新たな領域を生成する。ｂ）次に注目画素に隣接する複数の画素のなかで、まだ
領域分けされていない画素との画素値間距離を計算し、
その差がある閾値以下であれば一つの領域に統合する。ｃ）新たに統合された画素を注目画素としてｂ）の処理
をそれぞれ行なう。ｄ）上記ｂ）、ｃ）の操作をそれ以上領域が広げられな
くなるまで繰り返す。ｅ）領域拡張できなくなったらａ）に戻り、新たな領域
の出発点となる画素を探す。すべての画素がいずれかの
領域に分けられていれば、処理を終了する。

【００１１】ただし、この方法では、隣接する画素値間
距離が徐々に変化している部分がある場合には、同一領
域としてみなすことが適当でないような画素値間距離の
大きい画素同志でも、一つの領域に統合してしまうとい
う問題も指摘されている。このような領域の過統合を防
ぐために、前記画素値間距離の計算において、すでに統
合した領域内の画素の値の平均と隣接する画素の値とを
比較するという方法も知られており、これを用いてもよ
い。

【００１２】領域成長法で利用する画素値間距離には、
一例として、参照画像における注目画素と隣接画素との
輝度値の差を距離として定義し、これを用いる方法が知
られている。また、カラー画像を扱う場合には、色差情
報など輝度以外の色情報を利用することも広く行なわれ
ている。一例として、輝度と色差を利用する方法として
は、注目画素が統合されている領域の平均輝度の値を
Ｙ、平均色差の値をＣｒ、Ｃｂとし、比較対象としてい
る隣接画素の輝度の値をＹ’、色差の値をＣｒ’、Ｃ
ｂ’としたとき、２つの画素値間距離ｄをｄ＝（Ｙ’−Ｙ）²×ｋ₁＋（Ｃｒ’−Ｃｒ）²×ｋ₂＋（Ｃｂ’−Ｃｂ）²× ｋ₃ （１）と定義する。あるいは、

【００１３】

【００１４】と定義することもできる。ここで、ｋ₁、
ｋ₂、ｋ₃は各成分に対する重み付けを示す定数であ
る。色情報を利用する方法としては色差情報を使う以外
に、ＲＧＢ表現、ＸＹＺ表現、ＵＣＳ色度図表現による
値を利用してもよく、画素値間距離は式（１）または
（２）と同様な計算で求めることができる。

【００１５】前記方法では、参照画像上のノイズなどの
影響により、数画素程度の小さな領域が発生し過分割に
なってしまい、実効的な領域分割が得られないことがあ
る。そこで、領域分割の後処理として、ある閾値以下の
画素数から成る微小な領域の除去を行なうことが知られ
ており、これを実行してもよい。微小領域は、各分割領
域の画素数を計数し、閾値以下の画素数の領域として検
出する。検出された微小領域は隣接する最も画素値間距
離の小さい領域に統合する。画素値間距離は領域内画素
の値の平均を使って式（１）または（２）により計算す
る。画素の値としては、前記領域成長法において説明し
たようにさまざまな表現による値を用いることができ
る。

【００１６】なお、領域分割の方法としては、領域成長
法の他に、分割法、分割統合法、クラスタリングによる
方法、ヒストグラムによる方法、エッジ情報を用いる方
法などの既に一般に知られている方法を用いてもよい。

【００１７】動領域検出手段では、前記分割して得た複
数の領域からフレーム間差分の大きい領域を、動領域と
して検出する。具体例として、シグナル・プロセッシ
ング誌（ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）、ｖｏ
ｌ．１５、Ｎｏ．３、ｐｐ．３１５−３３４、（１９８
８年）の論文「イメージ・セグメンテーション・ベース
ド・オン・オブジェクト・オリエンテッド・マッピング
・パラメータ・エスティメーション」（Ｉｍａｇｅｓ
ｅｇｍｅｎｔａｔｉｏｎｂａｓｅｄｏｎｏｂｊｅｃ
ｔｏｒｉｅｎｔｅｄｍａｐｐｉｎｇｐａｒａｍｅ
ｔｅｒｅｓｔｉｍａｔｉｏｎ）に記載の方法がある。
この方法では、まず、現フレームの入力画像と参照画像
とのフレーム間差分信号を求めておきこれを参照する。
次に、フレーム間差分信号に閾値処理を施し、差分の大
きい画素を変化画素として取り出す。ここで閾値処理に
先だち、平均値フィルタなどでノイズ除去してもよい。
さらに誤抽出画素を除去するために、変化画素をメディ
アン・フィルタ（中央値フィルタ）などで平滑化しても
よい。つづいて、前述の領域分割結果から、各領域ごと
にその領域内に含まれている変化画素数を計数し、領域
の大きさに占める割合を求め、その割合が閾値以上であ
ればその領域を動領域として検出する。

【００１８】領域統合手段では前述の動領域検出の結果
得られた動領域を、参照画像を用いて統合する。統合方
法の一例として、既に知られているような、小領域の類
似性に基づき領域統合を行なう方法を用いることができ
る。すなわち、ここでは動領域として検出された領域相
互に隣接領域との類似性を測り一定値以上の類似度があ
ればそれらを１つの領域に統合する。類似度の尺度とし
ては、例えば、領域内画素値の平均値を使って式（１）
により距離を計算し、これを使うことができる。距離
測定に使う値としては、前記領域成長法において説明し
たようにさまざまな表現による値を用いるこができる。
さらに、領域内画素値のヒストグラムの類似性を調べる
方法を使ってもよく、ここで述べた方法に限られるわけ
ではない。

【００１９】動き推定手段では、前述の領域統合により
得られた動物体領域ごとに、動き推定を行ない、動きパ
ラメータを求める。動き推定の方法には、検出された動
物体領域をテンプレートとし、現フレーム画像に対して
マッチングをとり、動きベクトルを求める方法や、アフ
ィン変換モデルなどを使用し、２次元的な変形や３次元
的な動きの推定を行ない動きパラメータを算出する方法
など種々の方法が適用できる。

【００２０】動きパラメータ推定における３次元的な動
き推定法の一例として、シグナル・プロセッシング誌
（ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）、ｖｏｌ．１
５、Ｎｏ．３、ｐｐ．３１５−３３４、（１９８８年）
の論文「イメージ・セグメンテーション・ベースド・オ
ン・オブジェクト・オリエンテッド・マッピング・パラ
メータ・エスティメーション」（Ｉｍａｇｅｓｅｇｍ
ｅｎｔａｔｉｏｎｂａｓｅｄｏｎｏｂｊｅｃｔ
ｏｒｉｅｎｔｅｄｍａｐｐｉｎｇｐａｒａｍｅｔｅ
ｒｅｓｔｉｍａｔｉｏｎ）に記載の方法がある。この
方法では動物体領域の動き推定のために、物体のモデ
ル、運動のモデル、投影のモデルを定義している。物体
のモデルとして、３次元座標を（ｘ、ｙ、ｚ）とし、式
（３）で表される３次元空間内の平面剛体を用いる。

【００２１】ａｘ＋ｂｙ＋ｃｚ＝１（３）次に、運動モデルとして、運動による３次元位置の変移

【００２２】

【００２３】を式（４）のアフィン変換で定義する。

【００２４】

【００２５】最後に、３次元空間内の点を２次元平面に
投影するモデルとしては、図３のように中心投影を用い
る。このとき、３次元座標（ｘ、ｙ、ｚ）と２次元座標
（Ｘ、Ｙ）との対応は式（５）のようになる。

【００２６】

【００２７】以上、式（３）〜（５）のモデルを用いる
と、運動による画素位置の投影面上での移動

【００２８】

【００２９】は式（６）で表わされる。

【００３０】

【００３１】式（６）が３次元の動きを表わす式であ
り、ａ₁〜ａ₈、の８つのパラメータで動きが表現され
る。この８つのパラメータが動きパラメータとなる。

【００３２】次に、前記文献において、実画像からの動
きパラメータを推定する方法について説明する。

【００３３】まず、輝度値の変化は物体の移動によって
のみ起こると仮定する。このとき、２次元画面上の信号
値Ｓ（Ｘ、Ｙ）を２次式で近似すると、パラメータは
フレーム差分ＦＤ（Ｘ、Ｙ）とフレーム内の輝度勾配Ｇ
_x、Ｇ_yから次のように計算できる。

【００３４】

【００３５】動き補償手段では動き推定手段で求めた動
きパラメータに従い、動物体領域単位で動き補償を行な
う。動き補償方法の一例としては、参照画像上の動物体
領域ごとに対応する動きパラメータにしたがって移動お
よび変形を行ない、予測画像を作る。このとき、予測値
が与えられない画素や予測値が複数与えられる画素が生
じる場合がある。そこで、予測画像を作るとき、まず、
予測画像をあらかじめ指定した値に初期化しておき、移
動および変形させた動物体領域を順次上書きする。こう
することで、予測値が与えられない画素には指定の初期
値が与えられ、予測値が複数与えられる画素に対しては
最後に上書きされた値が選択される。また、予測値が与
えられない画素については、予測値が一意に決定してい
る複数の近傍画素の値から計算により求めてもよい。予
測値が複数与えられる画素に対しては、ある基準を定め
て一つの予測値を選択してもよいし、複数個の値から平
均値をとるなどの方法により一つの値を計算するという
方法でもよく、ここで述べた方法に限られるわけではな
い。

【００３６】

【発明の効果】以上のように本発明では、動物体領域を
検出して動き補償を行なうためにブロック分割の不連続
性に起因するような画像の破綻は発生しない。また、領
域を過不足のない大きさで正確に検出しているので、高
度な動き推定モデルを導入することができ、より正確な
動き補償をすることが可能である。

【００３７】さらに、動き補償予測画像には視覚的に不
自然な画像に破綻が発生しないので、予測誤差を符号化
する手段と組み合わせた場合に、少ない符号量を使うだ
けで視覚的に良好な画像を得ることができ、超低ビット
レートの動画像符号化装置を構成することが可能とな
る。

【図面の簡単な説明】

【図１】本発明における動き補償予測装置の一実施例を
示すブロック図

【図２】本発明における動き補償予測装置の各処理での
出力結果を摸式的に表した図

【図３】本発明における動き推定のモデルを説明するた
めの図

【符号の説明】

１初期分割情報２フレーム間差分３動領域情報４領域情報５動きパラメータ１０１領域分割手段１０２フレーム間差分計算手段１０３動領域検出手段１０４領域統合手段１０５動き推定手段１０６動き補償手段

Claims

(57)【特許請求の範囲】

【請求項１】動画像の符号化に用いる動き補償フレー
ム間予測において、参照画像を画像内容に従い領域分割
し、領域分割結果を出力する領域分割手段と、入力画像
と参照画像のフレーム間差分を出力する手段と、前記フ
レーム間差分情報を参照して前記領域分割結果から動き
のある領域を検出し、動領域として出力する動領域検出
手段と、前記動領域情報と参照画像の領域分割結果およ
び参照画像の画素値情報を用いて前記動領域を統合し、
動物体領域として出力する領域統合手段と、前記動物体
領域ごとに入力画像と参照画像とのフレーム間での動き
を推定し、領域全体としての動きを記述する動きパラメ
ータを出力する動き推定手段と、前記動きパラメータに
従い参照画像の前記動物体領域ごとに動き補償を行い、
入力画像に対する動き補償予測画像を生成し出力する動
き補償手段を備えることを特徴とする動き補償予測装
置。