JPH07212760A

JPH07212760A - 動画像の動き補償予測符号化方法

Info

Publication number: JPH07212760A
Application number: JP285794A
Authority: JP
Inventors: Hirotaka Jiyosawa; 裕尚如沢; Hiroshi Kodera; 博小寺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-01-14
Filing date: 1994-01-14
Publication date: 1995-08-11

Abstract

(57)【要約】【目的】無意味な領域分割を禁止して領域形状情報を
軽減し、全体の符号量削減を図る。【構成】領域分割オンオフ判定部２は、入力画像１を
複数の矩形ブロックに分割し、各ブロックごとに領域分
割を行うか否か判定する。領域分割部４は、入力画像１
に対し、領域分割オンと判定された領域について被写体
の形状等を考慮して領域分割を行い、領域形状情報５を
出力する。動き補償部１０では、領域形状情報５に従
い、局部復号画像９に対して小領域及び残りの矩形ブロ
ックごとに動き情報７を作用させ、動き補償予測画像１
１を生成する。多重化部２６は、差分画像符号化デー
タ、領域形状情報符号化データ、動き情報符号化データ
を多重化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像通信、画像記録、
画像編集等に利用される画像信号のディジタル圧縮符号
化方法に関し、詳しくは、動画像について、動き補償予
測画像と入力画像との差分（動き補償予測誤差）を符号
化する予測符号化方法に関する。

【０００２】

【従来の技術】従来、動画像のディジタル圧縮符号化に
おいて、動画像信号の時間冗長性を抑圧する手法とし
て、動き補償フレーム間予測がしばしば用いられる。こ
の予測符号化法では、通常、画像を１６画素×１６ライ
ン等の矩形ブロックに区切り、各ブロック毎に参照フレ
ームとの間の動き量（動きベクトル）を検出し、参照フ
レーム画像を動きベクトル分シフトして生成した予測画
像（動き補償予測画像）と入力画像との差分（動き補償
予測誤差）信号を符号化する。この動き補償により、動
画像のフレーム間の相関度は大幅に向上し、単純フレー
ム間予測に比べ大幅な情報圧縮が得られる。さらに、動
き補償予測誤差信号に対して離散コサイン変換（ＤＣ
Ｔ：Ｄiscrete Ｃosine Ｔransfrom）やサブバンド分割
を施こすことにより、空間方向の冗長性も抑圧され、一
層の情報圧縮が図られる。このため、テレビ電話／会議
用等のビデオ符号化標準ＩＴＵ−ＴＨ．２６１や、蓄
積メディア用のビデオ符号化標準ＩＳＯ／ＩＥＣ１１
１７２（ＭＰＥＧ）などでは、動き補償フレーム間予測
による残差信号をＤＣＴ符号化するハイブリッド符号化
構成が採用されている。

【０００３】ＩＴＵ−Ｔ（前ＣＣＩＴＴ）勧告Ｈ．２６
１は、「ｐ×６４ｋｂ／ｓオーディオビジュアルサービ
ス用ビデオ符号化方式」と題され、６４ｋｂ／ｓ（ｐ＝
１）から２Ｍｂ／ｓ（ｐ＝３０）までのビットレートを
用いる通信用のビデオ符号化標準で、勧告成立は１９９
０年１２月である。アプリケーションとしてはテレビ電
話、テレビ会議等が挙げられる。Ｈ．２６１は動画像信
号の時間的冗長度を動き補償（ＭＣ）予測により抑圧
し、各フレームの空間的冗長度を離散コサイン変換（Ｄ
ＣＴ）符号化により抑圧する。以下、図４を用いてＨ．
２６１の符号化アルゴリズムを説明する。

【０００４】まず、入力画像１は動き検出部６に入力さ
れ、１フレームが１６画素×１６ラインのマクロブロッ
クと称される複数の矩形ブロックに分割される。動き検
出部６では、入力画像中の各マクロブロックごとに、参
照フレーム（Ｈ．２６１ではフレームメモリ８に蓄積さ
れた直前の符号化済フレームを使用）との間の動き量を
検出する。ここで、各マクロブロックの動きは、参照フ
レーム中で着目マクロブロックとのまッチング度が最も
高いブロックの座標と、着目マクロブロックの座標との
変位（動きベクトル）として表される。動きの探索範囲
は、着目マクロブロックの座標とその周囲の±１５画素
×±１５ラインに制限される。得られた動き情報は、動
き補償部１０に送られると共に動き情報符号化部２４で
符号化される。

【０００５】動き補償部１０では、各マクロブロックの
動き情報（動きベクトル）とフレームメモリ８に蓄積さ
れた直前の符号化済フレームから予測画像（動き補償予
測画像）を生成する。ここで得られた予測画像が入力画
像１と共に減算器１２に入力され、両者の差分画像とし
て動き補償予測誤差信号が得られる。この動き補償予測
誤差信号に対して、空間的冗長度圧縮部１４でＤＣＴ／
量子化が施こされる。ここで、ＤＣＴのブロックサイズ
は８×８であり、各８×８ブロックのＤＣＴ係数が量子
化される。この空間的冗長度部１４で得られた多重化イ
ンデックスは、可変長符号化部２０でデータ圧縮された
後、多重化部２６において、動き情報符号化部２４の動
き情報の圧縮データと共に多重されて伝送される。

【０００６】一方、復号側と同じ復号画像を該符号側で
も得るため、空間的冗長度圧縮部１４で求まった量子化
インデックスは、差分画像伸長部１６において、まず、
逆量子化部で量子化代表値に戻され、さらに逆ＤＣＴ部
を通して復号差分画像となる。この復号差分画像と動き
補償予測画像は加算器１８で加算され、局部復号画像と
なる。この局部復号画像はフレームメモリ８に蓄積さ
れ、次の入力画像フレームの符号化時に参照画像として
用いられる。

【０００７】ＩＳＯ／ＩＥＣ１１１７２（ＭＰＥＧ
１）は、コンバクトディスク（ＣＤ）、ハードディスク
等のディジタル蓄積メディア用のビデオ符号化標準であ
り、国際標準（ＩＳ）としての成立は１９９２年１１月
である。アプリケーションとしては、ＣＤカラオケやＶ
ｉｄｅｏＣＤに代表されるＣＤ（転送速度１．５ＭＢ／
ｓ）へのアミューズメント画像の蓄積、マルチメディア
バーソナルコンピュータやワークステーションへの表示
を目的とした動画像蓄積などが挙げられる。

【０００８】ＭＰＥＧ１の符号化アルゴリズムは、動き
補償予測＋ＤＣＴ符号化で、基本的には上記ＩＴＵ−Ｔ
Ｈ．２６１と同様であるが、ランダムアクセス・高速再
生・リバース再生等の特殊機能を実現するため、独立再
生の単位であるＧroup ofＰictures（ＧＯＰ）構造が新
たに導入されている。ＧＯＰを構成するピクチャとし
て、以下の３つのピクチャタイプがある。

【０００９】Ｉ−Ｐicture フレーム内符号化画面Ｐ−Ｐicture 片向フレーム間予測符号化画面時間的に前に位置し、既に復号化されたＰ（またはＩ）
−Ｐictureを参照画像として動き補償を行う。マクロブ
ロックごとにフレーム内符号化モードとフレーム間予測
符号化モードが選択可能である。

【００１０】Ｂ−Ｐicture 両方向予測符号化画面時間的に前に位置する復号化済みのＰ（またはＩ）−Ｐ
icture、時間的に後に位置する復号化済みのＰ（または
Ｉ）−Ｐicture、両方の加算平均（内挿補間）の３種類
を参照画像として、それぞれに動き補償を行う。マクロ
ブロックごとにフレーム内／順方向フレーム間予測／逆
方向フレーム間予測／内挿補間フレーム間予測の４つの
符号化モードが選択可能である。

【００１１】Ｐ−およびＢ−Ｐictureで用いられる動き
補償方法はＨ．２６１と同様であるが、１／２画素精度
の補償を可能としている点が異なる。Ｂ−Ｐictureの両
方方向予測は、対象が蓄積用であるため符号化処理にリ
アルタイム性が要求されない点を利用したものである。

【００１２】

【発明が解決しようとする課題】上記従来技術における
動き補償は、１６画素×１６ライン等の矩形ブロックを
１つの剛体とみなし、各ブロックの平行移動の動きのみ
を補償するものである。従って、被写体の形状等は一切
考慮に入れておらず、１ブロック内に動きの異なる物体
が複数個存在すると、正確な動き補償はもはや不可能と
なる。すなわち、このような部分では予測効率は大幅に
低下する。また、特に動きの激しい部分では予測画像に
ブロック状の不連続歪みが顕著に発生する。この不連続
歪みは高周波成分を多分に含むため、符号化効率の低下
を招くという問題があった。

【００１３】上記問題を解決する手法として、本出願人
は、先に入力画像を被写体の形状に沿って領域分割し、
得られた小領域ごとに動き補償を行なう領域分割動き補
償予測符号化法を提案した（特願平５−１５６６２２
号）。この領域分割動き補償予測符号化法の構成例を図
５に示す。

【００１４】以下に、図５の動作を簡単に説明する。入
力画像１はフレーム単位に、領域分割部４において、被
写体の形状等を考慮して任意形状の複数の小領域に分割
される。動き検出部６では、領域分割部４で得られた領
域形状情報に従い、入力画像と参照フレーム画像との間
の動き量を各小領域ごとに検出し、得られた動き情報を
動き補償部１０に送る。動き補償部１０では、領域形状
情報に従い、フレームメモリ８に蓄積された直前の符号
化済フレーム（局部復号画像）に対して、小領域ごとの
動きを作用させて動き補償予測画像を生成する。これ以
外の動作は、ほぼ図４の場合と同様であるが、領域形状
情報は領域形状情報符号化部２２で符号化され、多重化
部２６において、差分画像符号化データの付属情報とし
て、動き情報符号化データと共に多重化される。

【００１５】この領域分割動き補償予測符号化により、
被写体の形状等を反映した任意形状の小領域ごとの動き
補償が可能となり、異なった動きを持つ複数の被写体が
動き補償の単位領域内に含まれることを回避できる。す
なわち、従来、複数の動物体を含んでいながら一つの領
域として扱われていたブロックが物体の形状に応じて複
数の領域に分割され、それぞれ別々の領域として動き補
償される。このため、特に被写体の境界やエッジにまた
がった部分での動き補償予測効率が向上し、フレーム間
差分信号の符号化に要する符号量を大幅に削減すること
ができる。

【００１６】しかし、上記手法では、一定の大きさに区
切られたブロックと異って任意形状の小領域を扱うた
め、領域形状情報を伝送する必要がある。領域形状情報
の符号化には例えばチェイン符号化などが用いられる
が、領域形状が複雑になると非常に莫大な符号量を発生
する。このため、任意形状小領域ごとの動き補償により
予測性能が向上し、フレーム間予測誤差信号の符号量が
削減されても、領域形状情報の符号化データがその削減
分を上回ることも頻繁に起こり得る。

【００１７】本発明の目的は、領域分割動き補償予測符
号化法の上記問題点を踏まえ、不要な、あるいは無意味
な領域分割を禁止することによって領域形状情報を節減
し、フレーム間予測誤差信号の符号化に要する符号量と
動き情報とを併せたトータルの符号量の削減を図ること
にある。

【００１８】

【課題を解決するための手段】上記目的達成のため、本
発明では、領域分割を行なうに先だって、入力画像を予
め一定の大きさの矩形等の複数ブロックに分割し、領域
分割を行なうか否かを各ブロックごとに判定する領域分
割オンオフ判定手段を設け、領域分割オンオフ判定手段
により領域分割オフと判定されたブロックを領域分割の
対象から除去してブロックごとに動き補償を行ない、そ
れ以外の領域について領域分割を行なって任意形状の小
領域ごとに動き補償することを特徴とする。

【００１９】

【作用】画面内には領域分割の不要な部分、あるいは領
域分割が得策でない部分が多々存在する。たとえば、ブ
ロック内分散の非常に小さいブロックは、空や無地の背
景など、領域分割の不要な部分がほとんどである。この
ような部分を敢えて絵領域分割することは無意味な領域
形状情報を増すのみであり、無駄である。逆に、ブロッ
ク内分散の非常に大きいブロックは絵柄が非常に細かい
部分であり、膨大な領域形状情報を必要とする。このた
め、このような部分での領域分割は避けた方が得策であ
る。また、従来の矩形ブロックごとの動き補償により十
分に予測が当たる部分においても、敢えて領域分割を行
なって領域形状情報を増やすことは望ましくない。

【００２０】本発明では、このような観点から領域分割
オンオフの判定基準を決めて、領域分割の不要な部分、
あるいは領域分割が得策でない部分は領域分割の対象か
ら除外して矩形等のブロックごとに動き補償を行う。こ
れにより、全画面を対象として領域分割する場合に比
べ、フレーム全体として領域形状情報を削減することが
でき、被写体の形状等を反映した任意形状の小領域ごと
の動き補償による符号量削減効果とあいまって、符号量
削減の一層の高効率化を図ることが可能となる。

【００２１】

【実施例】以下、図面により本発明の一実施例を詳細に
説明する。

【００２２】図１に本発明の一実施例の構成図を示す。
図１において、図４及び図５と同一あるいは似類の機能
の部分には同じ符号が付されている。以下に図１の動作
を説明する。

【００２３】まず始めに、入力画像（１フレーム分）１
は領域分割オンオフ判定部２に入力される。領域分割オ
ンオフ判定部２では、１フレーム分の入力画像を、例え
ば１ブロックが１６画素×１６ライン等の矩形からなる
複数ブロックに分割して、後述の判定基準に従って領域
分割を行なうか否かを各矩形ブロックごとに判定し、そ
の判定結果である領域分割オンオフ情報３を領域分割部
４に送る。領域分割オンオフ情報は各ブロックと１対１
に対応する複数ビットからなり、各ビットは該当ブロッ
クが領域分割可（領域分割オン）の場合は“１”、領域
分割否（領域分割オフ）の場合は“０”を示す（勿論、
この逆でもよい）。

【００２４】領域分割部４では、領域分割オンオフ判定
部２から送られる領域分割オンオフ情報３に基づき、入
力画像１中の領域分割の対象領域について、該入力画像
１に含まれる被写体の形状等を考慮して領域分割を行な
う。領域分割の手法段としては、Ｋ平均クラスタリング
やフィルタリング処理による領域抽出などを用いること
ができる（高木幹雄、下田陽久監修「画像解析ハンドブ
ック」、東京大学出版会）。

【００２５】Ｋ平均クラスタリングは、初期状態として
適当なクラスタを与え、そのメンバ（個体）を組替える
処理を反復的に繰り返すことにより、よりよいクラスタ
を求めていくクラス分け（分類）方法の１つです。以下
に、本処理を画像信号に対して適用し、領域分割を行う
場合の処理の流れを簡単に示す。

【００２６】ステップ１；任意の初期クラスタを与え
る。たとえば、画像信号の領域分割に応用する場合に
は、画像を１６画素×１６ライン等のブロックに分割
し、これを初期クラスタとする。ステップ２；初期クラスの重心を求める。ステップ３；個体（画素）と全クラスの重心との間のユ
ークリッド距離を計算し、それぞれの個体（画素）を距
離が最小となるクラスタに配置する。ＲＧＢ画像の領域
分割の際のユークリッド距離の計算式の一例を以下に示
す。

【００２７】

【数１】

【００２８】ここで、（Ｒ、Ｇ、Ｂ）は着目する個体の
濃淡値座標、（Ｒ_c、Ｇ_c、Ｂ_c）は距離計算の対象クラ
スタの重心座標を示す。この３次元ユークリッド距離を
用いることにより、明るさや色彩の似た個体（画素）が
１クラスタとして分類される。すなわち、明るさ・色彩
を用いた領域分割が可能となる。

【００２９】また、濃淡だけでなく、位置座標（ｘ、
ｙ）も考慮した距離計算もしばしば用いられる。その計
算式の一例を以下に示す。

【００３０】

【数２】

【００３１】ここで（ｘ_c、ｙ_c）は距離計算の対象クラ
スタの重心の位置座標である。この５次元ユークリッド
距離を用いることにより、明るさや色彩の似てかつ位置
的に近い個体（画素）が１クラスタとして分類される。
すなわち、明るさ・色彩・位置を用いた領域分割が可能
となる。ステップ４；再配置後の状態で各クラスタの重心を再計
算する。ステップ５；再配置のために移動した個体数（画素数）
がある閾値以下であれば収束したとみなし、処理を終了
する。それ以外の場合はステップ３に戻って処理を繰り
返す。

【００３２】フィルタリング処理はエッジ検出フィルタ
などを画像に施し、得られたエッジ情報から領域の境界
線を得る方法です。但し、エッジ検出フィルタから得ら
れるエッジは途切られたり、連続でないため、エッジの
つなぎあわせ処理が必要となる。エッジ検出フィルタの
一例を図６に示す。

【００３３】図１に戻り、領域分割部４より得られる領
域形状情報５は、動き検出部６および動き補償部１０に
入力される。動き検出部６では、領域形状情報５に従
い、入力画像１と参照フレーム画像との間の動き量を、
領域分割の対象領域では、各小領域ごとに検出し、それ
以外の領域では各矩形ブロックごとに検出する。

【００３４】動き検出部６で得られた各領域およびそれ
以外の各矩形ブロックごとの動き情報７は、動き補償部
１０に入力される。動き補償部１０では、領域形状情報
５に従い、フレームメモリ８に蓄積されている参照フレ
ームの局部復号画像９に対して小領域と矩形ブロックご
との動き情報７を作用させ、動き補償予測画像１１を生
成する。

【００３５】ここで、動き補償の方法としては、平行移
動補償、アフィン変換を用いた平行移動・回転・拡大／
縮小補償等が例として上げられる。

【００３６】平行移動補償は、物体の平行移動の動きの
みを補償するもので、現在フレームの座標を（ｘ，
ｙ）、参照フレーム中のマッチング先の座標を（ｘ′，
ｙ）とすると、以下の式により表現される。

【００３７】

【数３】

【００３８】これは、現在フレームの座標（ｘ，ｙ）に
ある物体は、参照フレーム中の座標を（ｘ，ｙ）から水
平方向にυ_x、垂直方向にυ_yだけ平行移動した点
（ｘ′，ｙ′）に存在するという意味である。（υ_x，
υ_y）は動きベクトルとも呼ばれる。フレーム間予測を
行なうに当たって、単純に前フレームの同じ位置の画像
を予測画像とするのでなく、動きベクトル分シフトした
位置の画像を予測画像とすることにより、予測誤差を大
幅に低減することができる。

【００３９】一方、アフイン変換を用いた平行移動・回
転・拡大／縮小補償は次式で表現される。

【００４０】

【数４】

【００４１】ここで、ａ＝ｄ＝１，ｂ＝ｃ＝０の時は、
上記の平行移動補償と全く同じである。ａ＞１の場合は
水平方向の拡大、０＜ａ＜１の場合は縮小となる。同様
に、ｄ＞１の場合は垂直方向の拡大、０＜ｄ＜１の場合
は縮小となる。また、次式

【００４２】

【数５】

【００４３】の場合には角度θによる回転を表すことが
できる。

【００４４】さらに、拡大／縮小、回転さらに平行移動
を組み合わせた補償ももちろん可能であり、平行移動だ
けでは表しきれなかった様々な物体の動きを表現するこ
とが可能となる。これにより、動き補償の性能を大幅に
向上させることができる。

【００４５】動き補償予測画像１１は入力画像１と共に
減算器１２に入力され、それらの差分データすなわち動
き補償予測誤差信号１３について、空間冗長度圧縮部１
４において空間冗長度の抑圧が行なわれる。該空間冗長
度圧縮部１４より出力される差分画像圧縮データ１５
は、現在符号化フレームの局部復号画像１９を得るた
め、１差分画像伸長部１６にて差分画像伸長データ１７
に戻される。この差分画像圧縮データ１７は空間冗長度
を抑圧された動き補償予測差信号である。該差分画像圧
縮データ１７は加算器１８にて動き補償予測画像１１と
加算されて、現符号化フレームの局部復号画像１９とな
り、これがフレームメモリ８に蓄積され、以降のフレー
ムの符号化にて参照される。

【００４６】一方、動き補償予測誤差信号１３に対する
差分画像圧縮データ１５は可変長冗符号化部（差分画像
符号化部）２０にて符号化され、差分画像符号データ２
１となる。領域形状情報５は領域形状情報符号化部２２
にて符号化され、領域形状情報符号化データ２３とな
る。また、動き情報７は動き情報符号化部２４にて符号
化され、動き情報符号化データ２５となる。これらの差
分画像符号化データ２１、領域形状情報符号化データ２
３、動き情報符号データ２５は多重化部２６において多
重化され、多重化データ２７として伝送または蓄積され
る。

【００４７】なお、図１では省略したが、入力画像１は
上記領域分割＋動き検出＋動き補償の各処理に要する時
間だけ遅延して演算器して入力する必要があり、この時
間調整のためのバッファ手段が演算器１２の前等に設け
られる。

【００４８】図２は、図１中の領域分割オンオフ判定部
２の第１の実施例を示す構成図である。入力画像１は、
まず、矩形ブロック化部２８にて１６画素×１６ライン
等の複数の矩形ブロックにブロック化され、ブロック情
報２９となる。ブロック情報２９は分散計算部３０に入
力され、各ブロックごとに濃淡値の分散すなわちブロッ
ク内分散値（ＶＡＲ）３１が求められる。座標（ｘ，
ｙ）、ブロックサイズをＭ画素×Ｎライン、着目するブ
ロックの濃淡値の平均をＡＶＥとした場合、ブロックの
濃淡値の分散ＶＡＲは次式で求められます。

【００４９】

【数６】

【００５０】ブロック内分散値（ＶＡＲ）３１は比較条
件３２と共に比較部３３に入力される。比較部３３の処
理は以下の条件式で表される。

【００５１】ｉｆ（ＶＡＲｃｏｎｄｔｈｒｅｓｈｏｌｄ）ｓｅｇｍｅｎｔ−ｏｆｆ（）ｅｌｓｅｓｅｇｍｅｎｔ−ｏｎ（）ここで、比較条件３２として、例えばcond≦threshold=
ＭＩＮＶＡＲとした場合、ブロック内分散値ＶＡＲが閾
値ＭＩＮＶＡＲより小さいブロックが領域分割の対象か
ら除去される。これは、空や壁等の濃淡変化が平坦な部
分すなわブロック内分散値の小さい部分を領域分割の対
象から除外する場合に有効である。すなわち、このよう
な平坦部分を領域分割しても、予測効率の向上は期待で
きない上、領域形状情報が増加するために逆効果となる
ことが多いためである。閾値ＭＩＮＶＡＲには、空や壁
等が領域分割から除外されるように経験的に得られた値
を「予め定められた閾値」として用いることができる。
但し、画像全体の分散が小さく、「予め定められた閾
値」ではほとんどの領域が領域分割の対象外となり、任
意形状小領域ごとの動き補償の効果が得られない場合が
起こり得る。また、逆に画像全体の分散が大きく、「予
め定められた閾値」ではほとんどの領域が領域分割の対
象外となり、領域形状情報が増え過ぎて任意形状小領域
ごとの動き補償の効果が相殺されてしまう場合も起こり
得る。このような場合、閾値を入力画像の統計的性質
（分散等）に応じて適宜調整し、常に最適なゲインが得
られるように調整すればよい。

【００５２】一方、比較条件３２として、cond≧thresh
old=ＭＡＸＶＡＲとした場合、ブロック内分散値ＶＡＲ
が閾値ＭＡＸＶＡＲより大きいブロックが領域分割の対
象から除去される。これは、絵柄が非常に細い部分すな
わちブロック内分散値の大きい部分を領域分割の対象か
ら除外する場合に有効である。すなわち、このような絵
柄の細かい部分を領域分割しても、領域形状が複雑にな
るため、領域形状情報が増え過ぎて、逆効果となること
が多いためである。閾値ＭＡＸＶＡＲには、絵柄の細か
い部分が領域分割から除去されるように経験的に得られ
た値を「予め定められた閾値」として用いることができ
る。但し画像全体の分散が小さく、「予め定められた閾
値」ではほとんどの領域が領域分割の対象となり、領域
形状情報が過ぎて任意形状小領域ごとの動き補償の効果
が相殺されてしまう場合が起こり得る。また、逆に画像
全体の分散が大きく、「予め定められた閾値」ではほと
んどの領域が領域分割の対象外となり、任意形状小領域
ごとの動き補償の効果が得られない場合も起こり得る。
このような場合、閾値を入力画像の統計的性質（分散
等）に応じて適宜調整し、常に最適なゲインが得られる
ように調整すればよい。

【００５３】上記のように、閾値ＭＩＮＶＡＲは空や壁
等の濃淡変化が平坦な部分すなわちブロック内分散値の
小さい部分を領域分割の対象から除去する場合、閾値Ｍ
ＡＸＶＡＲは絵柄が非常に細かい部分すなわちブロック
内分散値の大きい部分を領域分割の対象から除去する場
合に用いられる。したがって、閾値ＭＩＮＶＡＲは４，
８等の小さい値、閾値ＭＡＸＶＡＲは３００，５００等
の大きい値をとる。

【００５４】図３は、図１中の領域分割オンオフ判定部
２の第２の実施例を示す構成図である。入力画像（フレ
ーム分）１は、まず矩形ブロック化部２８にて図２と同
様にブロック化され、ブロック情報２９となる。ブロッ
ク情報２９は矩形ブロック動き補償部３４に入力され、
各ブロックごとに動き補償予測が行なわれる。ここで、
入力画像１と動き補償予測画像との間の平均２乗予測誤
差（ＭＳＥ）３５がブロックごとに求められて出力され
る。いま、入力画像の座標（ｘ，ｙ）の画素の濃淡値を
Ｉ（ｘ，ｙ）、参照画像の座標（ｘ，ｙ）の画素の濃淡
値をＩ′（ｘ，ｙ）、ブロックサイズをＭ画素×Ｎライ
ン、ブロックの動きベクトルを（ｖ_x，ｖ_y）とした場
合、ブロックの濃淡値の平均２乗予測誤差ＭＳＥは次式
で求められる。

【００５５】

【数７】

【００５６】平均２乗予測誤差３５は比較条件３６と共
に比較部３７に入力される。比較部３７の処理は次の条
件式で表される。

【００５７】ｉｆ（ＭＳＥｃｏｎｄｔｈｒｅｓｈｏｌｄ２）ｓｅｇｍｅｎｔ−ｏｆｆ（）ｅｌｓｅｓｅｇｍｅｎｔ−ｏｎ（）ここで、比較条件３６として、例えばcond≦threshold
２=ＭＩＮＭＳＥとした場合、矩形ブロックごとの動き
補償による平均２乗誤差ＭＳＥが閾値ＭＩＮＭＳＥより
小さいブロックが領域分割の対象から除去される。

【００５８】図２のブロック内分散値を利用する方法
は、画像の局所的な内容に応じて領域分割のオンオフを
制御する方法である。これは、平坦部や絵柄の泡かい部
分の領域分割を禁止することにより、無意味な形状情報
の増加を防ぐものである。一方、図３の矩形ブロックと
の動き補償予測による平均２乗誤差を利用する方法は、（ａ）矩形ブロックとの動き補償でも十分な予測性能が
得られる部分（ｂ）静止部分など、予測効率向上の意味では領域分割の不要な部分の
領域分割を禁止し、形状情報の増加を抑える方法であ
る。それぞれの制御が作用する（効果の現れる）部位は
異なるが、無意味な領域形状情報の増加を抑えるという
点で、いずれも同じ作用効果をもたらすものである。

【００５９】次に、図７乃至図１１に領域分割オフオン
判定部２および領域分割部４での処理の具体的イメージ
を示す。

【００６０】図７は入力画像（１フレーム分）１の一例
である。領域分割オフオン判定部２では、図７の入力画
像を図８のような複数の矩形ブロックに分割し、各矩形
ブロックごとに、図２や図３で説明したような判定基準
に従って領域分割を行うか否か判定する。図９は領域分
割オンオフ判定結果であり、領域分割オンのブロックに
は“１”、領域分割オフのブロックには“０”のビット
（フラグ）を立てる。この矩形ブロックごとの領域分割
オン／オフを示すビットの集合からなる領域分割オンオ
フ情報３が領域分割部４に送られる。

【００６１】領域分割部４では、領域分割オンオフ情報
３に基づき、図７の入力画像中、図１０に斜線で示す領
域について、入力画像に含まれる被写体の形状等を考慮
して任意形状の小領域に分割し、領域形状情報５を出力
する。図１１は最終の領域分割結果であり、図１０の斜
線領域が領域１〜４の４つに分割されることを示してい
る。また、図１３に、図１１の領域分割に対応する領域
形状情報の構成例を示す。図１３は領域の輪郭線をチエ
イン符号化した例である。ここで、チエイン符号化は、
２値画像のデータ圧縮法の１つで、白黒領域の境界のア
ドレスを符号化するものである。画像を領域の輪郭まま
たは線分要素に沿って追跡し、その方向を量子化して量
子化された数値を符号とする。通常は図１５の例に示す
ように８方向に量子化することが多く、この場合、符号
は０−７の数値列、符号長は３ビートとなる。

【００６２】図１３の領域形状情報を得る場合、領域分
割部４では、図１０の斜線部（領域分割オン領域）に着
目して、例えば画面左上からラスタスキャンしていき、
未符号化の境界線に当った位置から、領域の輪郭線のチ
エイン符号化を開始し、符号化済み境界線または画面の
端、もしくは領域分割オフの矩形ブロックにあたった所
で打ち切る。これを繰り返して、図１３のような領域形
状情報が得られる。矩形ブロックの大きさは予め分かっ
ており、動き検出部６では、図１３のような領域形状情
報が与えられれば、図１１のような領域分割結果を再現
できる。これは、復号側でも同様である。

【００６３】図１２は、図７の入力画像について、図５
の従来方法を適用した場合の領域分割結果であり、図１
４は、図１２に対応する領域形状情報の構成例である。
図１３と図１４を比較すれば明らかなように、本発明の
ように矩形ブロックを残すことによって（図１０、図１
１）、チエイン符号化しなければならない境界線が減少
し、領域形状情報を大幅に削減できる。

【００６４】次に、図１６に多重化データの構成例を示
す。（Ａ）は図４の場合の例で、ビクチャヘッダ（１画
面の先頭を示す情報）、１画面分の動き情報符号化デー
タ、１画面分の差分画像符号化データがシーケンシャル
に多重化される。（Ｂ）は図５の場合の例で、ビクチャ
ヘッダ（１画面の先頭を示す情報）、１画面分の動き情
報符号化データ、１画面分の差分画像符号化データがシ
ーケンシャルに多重化される。（Ｃ）は図１の本発明の
場合で、多重化データの構成は（Ｂ）と同様であるが、
形状情報符号化データの部分が（Ｂ）の場合に比較して
大幅に削減できる。

【００６５】

【発明の効果】請求項１の発明によれば、領域分割が不
要な部分あるいは領域分割が得策でない部分は矩形等の
ブロックごとの動き補償が行なわれ、チェイン符号等の
領域形状情報を必要としないため、全ブロックすなわち
全画面対象として領域分割する場合に比べ、フレーム全
体として領域形状情報を削減することができる。これに
より、被写体の形状等を反映した任意形状の小領域ごと
の動き補償による符号量削減効果とあいまって、符号量
削減の一層の高効率化を図ることが可能となる。

【００６６】請求項２の発明によれば、ブロック内分散
値が所定閾値より小さいブロックを領域分割の対象から
除外することにより、画面内の空や無地の背景などの部
分における符号量削減に大きく寄与する。

【００６７】請求項３の発明によれば、ブロック内分散
値の所定閾値より大きいブロックを領域分割の対象から
除外することにより、逆に、画面内の絵柄が非常に細か
い部分における符号化削減に大きく寄与する。

【００６８】請求項４の発明によれば、ブロックを単位
として動き補償予測を行なった際の平均二乗誤差が、あ
る閾値より小さいブロックを領域分割の対象から除外す
ることにより、ブロックごとの動き補償でも十分に予測
性能が得られる部分、静止部における符号量削減に大き
く寄与する。

【図面の簡単な説明】

【図１】本発明の動画像の動き補償予測符号化方法の一
実施例の構成図である。

【図２】図１中の領域分割オンオフ判定部の第１の実施
例の構成図である。

【図３】図１中の領域分割オンオフ判定部の第２の実施
例の構成図である。

【図４】従来の矩形ブロック分割による動画像の動き補
償予測符号化方法の構成図である。

【図５】従来の任意小領域分割による動画像の動き補償
予測符号化方法の構成図である

【図６】領域分割に用いるエッジ検出フィルタの一例で
ある。

【図７】入力画像の具体例である。

【図８】矩形ブロック分割の具体例である。

【図９】領域分割オンオフ判定結果の具体例である。

【図１０】領域分割オン領域の具体例である。

【図１１】最終の領域分割結果の具体例である。

【図１２】図４の従来方法による領域分割結果の具体例
である。

【図１３】図１１に対応する領域形状情報の構成例であ
る。

【図１４】図１２に対応する領域形状情報の構成例であ
る。

【図１５】チエイン符号化を説明する図である。

【図１６】図４、図５、図１に対応する多重化データの
構成例である。

【符号の説明】

１入力画像２領域分割オンオフ判定部４領域分割部６動き検出部８フレームメモリ１０動き補償部１２減算器１４空間冗長度圧縮部１６差分画像伸長部１８加算部２０差分画像符号化部２２領域形状情報符号化部２４動き情報符号化部２６多重化部

Claims

【特許請求の範囲】

【請求項１】入力画像を任意形状の小領域に分割し、
各小領域ごとに参照画像との間の動き量を検出し、該小
領域ごとの動き量により過去の局部復号画像に対して動
き補償を行って予測画像を生成し、該予測画像と入力画
像との差分を符号化する方法において、領域分割を行なうに先だって、入力画像を予め一定の大
きさの複数ブロックに分割し、領域分割を行なうか否か
各ブロックごとに判定し、領域分割オフと判定されたブ
ロックを領域分割の対象から除外してブロックごとに動
き補償を行ない、それ以外の領域について領域分割を行
なって任意形状の小領域ごとに動き補償することを特徴
とする動画像の動き補償予測符号化方法。
【請求項２】請求項１記載の動画像の動き補償予測符
号化方法において、ブロック内の画素の濃淡の分散値が
所定閾値より小さいブロックを領域分割の対象から除外
し、ブロックごとに動き補償を行うことを特徴とする動
画像の動き補償予測符号化方法。
【請求項３】請求項１記載の動画像の動き補償予測符
号化方法において、ブロック内の画素の濃淡の分散値
が、所定閾値より大きいブロックを領域分割の対象から
除外し、ブロックごとに動き補償を行うことを特徴とす
る動画像の動き補償予測符号化方法。
【請求項４】請求項１記載の動画像の領域分割符号化
方法において、各ブロックを単位として動き補償予測を
行なった際の平均二乗誤差が、所定閾値より大きいブロ
ックを領域分割の対象から除外し、ブロックごとに動き
補償を行なうことを特徴とする動画像の動き補償予測符
号化方法。