JPH10243401A

JPH10243401A - 適応動きベクトル補間による動き補償フレーム間予測方法

Info

Publication number: JPH10243401A
Application number: JP10092919A
Authority: JP
Inventors: Yutaka Yokoyama; 裕横山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1998-04-06
Filing date: 1998-04-06
Publication date: 1998-09-11

Abstract

(57)【要約】【課題】定められた複数個の代表点における動きベク
トルから、画面内のすべての画素位置での動きベクトル
を補間することにより、動画像の動き補償予測を行う方
法において、部分的に補間方式を変更することで動き補
償フレーム間予測性能を向上させる。【解決手段】画面を複数の領域に分割し、分割領域毎
に動きベクトルの補間方法を、従来のように、周囲の代
表点の全てを用いて線形内挿する方法に加え、分割領域
に対して、別途動きベクトルを与える方法、分割領域を
再分割する方法、代表点動きベクトルの値を動きベクト
ルの補間に使うために一時的に変換する方法、一定値を
予測値として与える方法などのなかから適応的に選択す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像の符号化に用
いられる、動画像の動き補償フレーム間予測方法につい
て、定められた複数個の代表点における動きベクトルか
ら、画面内の全ての画素位置での動きベクトルを補間
し、フレーム間予測を行う方法に関する。

【０００２】

【従来の技術】動画像の符号化で用いられる動き補償フ
レーム間予測の方法として、あらかじめ定められた複数
個の代表点における動きベクトルから、画面内の全ての
画素位置での動きベクトルを補間することで予測信号を
生成する方法が知られている。この方法の一例として、
ジョージ・キャンベル（Ｔ．ＧｅｏｒｇｅＣａｍｐｂ
ｅｌｌ）、「ベリー・ロー・ビット・レート・コーダー
・ユージング・ワーピング・プレディクション（Ｖｅｒ
ｙＬｏｗＢｉｔｒａｔｅＶｉｄｅｏＣｏｄｅ
ｒｕｓｉｎｇＷａｒｐｉｎｇＰｒｅｄｉｃｔｉｏ
ｎ）」、１９９３年第８回画像符号化シンポジウム（Ｐ
ＣＳＪ９３）、８−７、（文献１）に記載の方法や、グ
レイ・サリバン、リキャード・ベイカー（Ｇｒａｙ
Ｊ．ＳｕｌｌｉｖａｎａｎｄＲｉｃｈａｒｄＬ．
Ｂａｋｅｒ）、「モーション・コンペンセーション・フ
ォー・ビデオ・コンプレッション・ユージング・コント
ロール・グリッド・インターポーレイション（Ｍｏｔｉ
ｏｎＣｏｍｐｅｎｓａｔｉｏｎｆｏｒＶｉｄｅｏ
ＣｏｍｐｒｅｓｓｉｏｎｕｓｉｎｇＣｏｎｔｒｏ
ｌＧｒｉｄＩｎｔｅｒｐｏｌａｔｉｏｎ）」、ザ・
１９９１・インターナショナル・コンフェレンス・オン
・アコースティック・スピーチ・アンド・シグナル・プ
ロセッシング（Ｔｈｅ１９９１Ｉｎｔｅｒｎａｔｉ
ｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔ
ｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏ
ｃｅｓｓｉｎｇ：ＩＣＡＳＳＰ９１）、Ｍ９．１、（文
献２）に記載の方法や、中屋雄一郎、原島博、「３角パ
ッチによる動き補償の基礎検討」、電子情報通信学会画
像工学研究会技術研究報告ＩＥ９０−１０６、（文献
３）に記載の方法が知られている。これらの方法では、
まず、あらかじめ代表点を設定し、その点での動きベク
トルを検出したあと、代表点を結ぶ直線で画像を３角形
あるいは４角形の小区画に分割し、それぞれの区画内部
の画素位置での動きベクトルを、区画の頂点で検出され
た動きベクトルから、線形内挿により補間している。そ
して、求めた動きベクトルに従い、各画素のフレーム間
予測値を決定している。

【０００３】以上説明した従来の方法では、動きベクト
ルを連続的に変化するように補間するので、ブロック歪
を発生せず、しかも平行移動だけでなくズームや回転な
どの動きを表現できるという利点を持っている。しかし
ながら、局所的な速い動きや異なる動きをもつ被写体の
境界部分のように、動きベクトルの変化が急激である場
合には対応できない。そのため、このような場合に、被
写体が不自然に変形してしまうような歪が知覚されてい
た。

【０００４】

【発明が解決しようとする課題】本発明の目的は、局所
的な速い動きや、動きベクトルが急激に変化している部
分にも対応できるような、動きベクトル補間によるフレ
ーム間予測処理を実現することにある。

【０００５】

【課題を解決するための手段】第１の発明（請求項１に
対応）では、動画像の符号化に際し、画面内あるいは画
面内と画面枠の近傍の外側で複数個の代表点を設定し、
前記代表点における動きベクトルを検出し、画面内の全
ての画素位置での動きベクトルを、前記代表点での動き
ベクトルから補間することで求め、画素ごとに動き補償
フレーム間予測を行う方法において、画面を複数の領域
に分割し、領域ごとに境界上に位置する代表点または注
目領域と隣接領域に含まれる代表点を用いて画素ごとの
動きベクトルの補間を行う方法と、領域ごとに前記補間
で参照した代表点とは独立に動きベクトルを検出し、画
素ごとの動きベクトルの補間を行う方法とを、領域ごと
に適応的に選択することを特徴とする。

【０００６】第２の発明では、動画像の符号化に際し、
画面内あるいは画面内と画面枠の近傍の外側で複数個の
代表点を設定し、前記代表点における動きベクトルを検
出し、画面内の全ての画素位置での動きベクトルを、前
記代表点での動きベクトルから補間することで求め、画
素ごとに動き補償フレーム間予測を行う方法において、
画面を複数の領域に分割し、領域ごとに境界上に位置す
る代表点または注目領域と隣接領域に含まれる代表点を
用いて画素ごとの動きベクトルの補間を行う方法と、領
域ごとに注目領域をさらに細分割して、おのおのの細分
割領域内では、その領域が含むかあるいは接する代表点
を用いて、画素ごとの動きベクトルの補間を行う方法と
を、領域ごとに適応的に選択することを特徴とする。

【０００７】第３の発明では、動画像の符号化に際し、
画面内あるいは画面内と画面枠の近傍の外側で複数個の
代表点を設定し、前記代表点における動きベクトルを検
出し、画面内の全ての画素位置での動きベクトルを、前
記代表点での動きベクトルから補間することで求め、画
素ごとに動き補償フレーム間予測を行う方法において、
画面を複数の領域に分割し、領域ごとに境界上に位置す
る代表点または注目領域と隣接領域に含まれる代表点を
選定し、選定した代表点で検出された動きベクトルの値
を動きベクトルの補間処理に使用する値に一時的に変換
する複数の方法をあらかじめ用意し、領域ごとに動きベ
クトルの変換方法を適応的に選択し、領域ごとに選択し
た変換方法により、選定した代表点において検出された
動きベクトルの値を注目領域の動きベクトル補間処理に
使用する値に一時的に変換し、前記変換した動きベクト
ルを用い、あらかじめ定めた方法で画素ごとの動きベク
トルの補間を行うことを特徴とする。

【０００８】第４の発明（請求項２に対応）では、動画
像の符号化に際し、画面内あるいは画面内と画面枠の近
傍の外側で複数個の代表点を設定し、前記代表点におけ
る動きベクトルを検出し、画面内の全ての画素位置での
動きベクトルを、前記代表点での動きベクトルから補間
することで求め、画素ごとに動き補償フレーム間予測を
行う方法において、画面を複数の領域に分割し、領域ご
とに境界上に位置する代表点または注目領域と隣接領域
に含まれる代表点を用いて画素ごとの動きベクトルの補
間を行い、動き補償フレーム間予測値を求める方法と、
領域ごとにあらかじめ定めた一定の値を予測値とする方
法とを領域ごとに適応的に選択することを特徴とする。

【０００９】本発明によれば、動画像のフレーム間予測
において、部分的に動きベクトルの補間方法を適応的に
切替えるので、局所的な画像の性質に対応してフレーム
間予測処理を行うことができる。

【００１０】図１で本発明の作用を説明する。いま図１
（ａ）の参照画像から図１（ｂ）の現画像を動き補償フ
レーム間予測する方法を考える。前記文献１に記載の従
来方法では、現画像に対して図１（ｃ）に示す格子構造
を設定し、代表点を格子点上に設定し、その位置での動
きベクトルを検出する。その結果、例えば図１（ｄ）の
ように参照画像上で格子構造の対応付けがなされ、これ
に基づいて予測を行うと、図１（ｅ）に示す予測画像が
得られる。このとき、局所的な速い動きをもつ被写体の
予測は十分に行うことができず、予測誤差が大きくな
る。また、動きが異なる物体の境界部では、形状が変形
する歪を生じることがあった。

【００１１】第１の発明によれば、例えば図１（ｃ）の
ような格子構造を設定した場合に、この格子で区切られ
る区画を予測処理の単位領域とし、領域ごとに、前記従
来の技術で説明したように、線形内挿により動きベクト
ルを補間し動き補償フレーム予測を行うか、あるいは、
領域ごとに別途した動きベクトルを検出して、注目領域
内部は別途検出したベクトルだけで動き補償フレーム間
予測を行うが、領域ごとに適応選択する。図１（ｇ）で
は、網かけをした区画で、別途動きベクトルを検出し
て、それぞれ、図１（ｆ）の対応する部分を参照し動き
補償フレーム間予測をしている。この方式によれば、従
来問題であった局所的な速い動きをもつ被写体や、動き
が異なる物体の境界部においても高精度の予測が可能と
なる。

【００１２】また、第２の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、領域ごと
に、前記従来の技術で説明したように、線形内挿により
動きベクトルを補間し動き補償フレーム間予測を行う
か、あるいは、注目領域をさらに細分割し、細分領域ご
とにその領域が接する代表点動きベクトルを用いて動き
補償フレーム間予測を行なうかを領域ごとに適応選択す
る。例えば図２（ｂ）のように、ある領域を細分割領域
１４，１５および細分割領域１６，１７に分割する。こ
れらの領域ではその領域が接する代表点だけを用いて動
きベクトルの内挿処理を行う。この例では、細分割区画
１４では、点Ｃ、Ｅを、細分割領域１５では点Ｄ、Ｆの
動きベクトルをそれぞれ用いる。さらにこの場合第１の
発明と組み合せて、細分割領域１６では、点Ａ、Ｃを用
いて、細分割領域１７では別途動きベクトルを検出して
動き補償フレーム間予測を行う。この方式によれば、細
分割した境界部分での動きの急激な変化を表現させるこ
とができ、従来問題であった変形歪を抑制できる。

【００１３】また、第３の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、動きベクト
ルの補間に用いる代表点について、検出された動きベク
トルの値を動きベクトルの補間処理にだけ使用する値に
一時的に変換する複数の方法をあらかじめ用意してお
き、領域ごとに、その変換方法を適応選択する。例え
ば、動きベクトルの値を互いに置き換えるという変換方
法をあらかじめいくつか定めておく。このとき図２
（ｄ）のような場合、領域１８において、従来方法では
点Ａ，Ｂ，Ｃ，Ｄで検出された動きベクトルをそのまま
用いて動きベクトルの補間が行われる。一方、本発明で
は、点Ａおよび点Ｃでの補間処理に用いる動きベクトル
は、それらの点で検出された動きベクトルをそのまま用
い、点Ｂの補間処理に用いる動きベクトルは点Ａでの検
出動きベクトルで、点Ｄの補間処理に用いる動きベクト
ルは点Ｃでの検出動きベクトルで、それぞれ置き換える
変換方法を選択し、選択した方法により動きベクトルを
一時的に変換し、領域内の動きベクトルの補間を行う。
なお、この変換は注目領域内部の動きベクトルの補間処
理のためだけに一時的に用いられるものであり、変換さ
れた動きベクトルの値は、他の隣接領域での動きベクト
ルの補間処理には影響しない。また、領域１９の例でも
同様に、点Ｃおよび点Ｅでの補間処理に用いる動きベク
トルは、それらの点で検出された動きベクトルをそのま
ま用い、点Ｄの補間処理に用いる動きベクトルは点Ｃで
の検出動きベクトルで、点Ｆの補間処理に用いる動きベ
クトルは点Ｅでの検出動きベクトルで、それぞれ置き換
える変換方法を選択し、選択した方法により動きベクト
ルを一時的に変換し、領域内の動きベクトルの補間を行
う。この方式によれば、指定の領域で不適切な動きベク
トルを用いずに動きベクトルの補間が実現でき、高精度
の予測が可能となる。

【００１４】また、第４の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、領域ごとに
従来方法による動き補償フレーム間予測を行うか、ある
いは、注目領域内ではあらかじめ定めた一定の値を予測
値とするかを適応的に切替える。例えば図２（ｅ）のよ
うに、予測誤差の大きな部分は予測不可能と判定し、そ
の区画の予測値を指定したある値にする。この予測処理
のあとに、予測誤差を符号化することで動画像の符号化
方式を実現する場合、前記指定値を予測値とする領域で
は、原画像の信号値そのものを符号化することにより、
より正確な画像の再現を行うことが可能となる。

【００１５】

【発明の実施の形態】図３は第１の発明の処理手順であ
る。まず代表点を設定する手段１０１では、動きベクト
ルを検出する代表点の設定を行う。次に代表点での動き
ベクトルを検出する手段１０２では、前記設定した代表
点位置での動きベクトルを検出する。そのあと、画面を
複数の領域に分割する手段１０３では、動きベクトルの
補間方法を適応的に切替えるための単位領域への分割を
行う。領域ごとに代表点で検出した動きベクトルを用い
て動きベクトルの補間をする手段１０４では、前記従来
技術で記した方法に従い、前記分割領域ごとに領域の境
界線上に位置するすべての代表点または注目領域と隣接
領域に含まれるすべての代表点を用いて動きベクトルの
補間を行う。また注目する領域だけに適用する動きベク
トルを検出する手段１０５では、前記補間に使用する代
表点とは独立に動きベクトルを別途検出する。注目する
領域ごとに別途検出した動きベクトルを用いた方法で動
きベクトルの補間をする手段１０６では、前記の別途検
出した動きベクトルを用いて、動きベクトルの補間を行
う。領域ごとに動きベクトルの補間方法を選択する手段
１０７では、前記２つの方法のいずれで動きベクトルの
補間を行うかを領域ごとに適応的に判定する。最後に領
域内部の動き補償フレーム間予測をする手段１０８にお
いて、前記手段１０７で選択された方法に従いフレーム
間予測画像を生成する。

【００１６】図４は第２の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに代表点で検出した動きベクトルを用いて動きベ
クトルの補間をする手段１０４では、前記従来技術で記
した方法に従い、前記分割領域ごとに領域の境界線上に
位置するすべての代表点または注目領域と隣接領域に含
まれるすべての代表点を用いて動きベクトルの補間を行
う。また、注目領域をさらに細分割する手段２０１で
は、注目領域をあらかじめ定めた分割パタンによって細
分する。そして細分割領域ごとに、領域が接する動きベ
クトルを用いた方法で動きベクトルの補間をする手段２
０２で、前記手段２０１で細分した領域ごとにその領域
に関わる動きベクトルだけを用いてそれぞれ動きベクト
ルの補間を行う。領域ごとに動きベクトルの補間方法を
選択する手段１０７では、前記２つの方法のいずれで動
きベクトルの補間を行うかを領域ごとに適応的に判定す
る。最後に領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段１０７で選択された方法に
従いフレーム間予測画像を生成する。

【００１７】図５は第３の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに検出動きベクトルの変換方法を選択し、補間処
理に使用する動きベクトルの値に変換する手段３０１で
は、注目領域の動きベクトル補間で用いられる代表点に
ついて、検出された動きベクトルの値を動きベクトルの
補間処理にだけ使用する値に変換する方法をあらかじめ
用意されている複数の方法から領域ごとに変換方法を適
応選択し、前記代表点で検出された動きベクトルを当該
領域の補間処理に使用する動きベクトルの値に一時的に
変換する。領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段で一時的に変換された動き
ベクトルを用いてフレーム間予測画像を生成する。

【００１８】図６は第４の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに代表点で検出した動きベクトルを用いて動きベ
クトルの補間をする手段１０４では、前記従来技術で記
した方法に従い、前記分割領域ごとに領域の境界線上に
位置するすべての代表点または注目領域と隣接領域に含
まれるすべての代表点を用いて動きベクトルの補間を行
う。そして領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段１０４の方法に従いフレー
ム間予測画像を生成する。また、領域ごとにあらかじめ
定めた一定の値を予測値とする手段４０１では、検出動
きベクトルには関わらず、ある値で注目領域を埋め尽く
す。領域ごとに予測値を定める方法を選択する手段４０
２では、前記２つの方法のいずれで予測値を定めるかを
領域ごとに適応的に判定し、選択した方法に従いフレー
ム間予測画像を生成する。

【００１９】以下では、各処理手段を個別に詳しく説明
する。

【００２０】（代表点配置）代表点を設定する手段１０
１における、動きベクトルの検出が行われる代表点の配
置を決定する方法について説明する。当該処理で設定さ
れる代表点の配置の例を図７に示す。図７（ａ）（ｂ）
は矩形ブロックの頂点に代表点を配置した例である。代
表点を結んで構成される区画分けは、図７（ａ）のよう
に、４角形でもよいし、図７（ｂ）のように４角形に対
角線を追加した３角形としてもよい。あるいは図７
（ｃ）のような３角形の格子状に代表点配置をしてもよ
い。また、前記に述べた方法で配置した代表点位置を初
期配置とし、さらに修正処理を加えて変形させた区画構
造を持った配置を用いてもよい。例えば図７（ｄ）のよ
うに、画面から輪郭線を検出し、区画の境界線が検出輪
郭に適合するように、代表点位置を修正しておいてもよ
い。このように、配置は全ての処理画像に対して固定で
もよいし、画像ごとに個別に設定してもよい。また、図
８（ａ）、（ｂ）、（ｃ）のように、画面の外にも代表
点を配置してもよい。

【００２１】（動き検出）代表点での動きベクトルを検
出する手段１０２における、上記設定した代表点位置で
の動きベクトルを検出する方法について説明する。動き
ベクトル検出には、ブロック・マッチング法を用いるこ
とができる。マッチングの対象領域には固定サイズの矩
形ブロックを用いることができる。また、代表点位置を
フレーム間で追跡してマッチングをとる場合には、代表
点近傍ほど重み付けしたブロック・マッチングを用いる
こともできる。たとえば、代表点の位置を（ｘ0 ，ｙ0
）、マッチング評価範囲ＲをＲ＝｛（ｘ，ｙ）｜ｘ1
≦ｘ≦ｘ2 ，ｙ1 ≦ｙ≦ｙ2 ｝としたとき、評価位置
（ｘ，ｙ）での重みｗは、ｗ（ｘ，ｙ）＝ｂS −（｜ｘ−ｘ0 ｜＋｜ｙ−ｙ0 ｜）（１）と定義する。ここでｂS はｂS ＝ｍａｘ｛｜ｘ1 −ｘ0
｜＋｜ｙ1 −ｙ0 ｜，｜ｘ1 −ｘ0 ｜＋｜ｙ2 −ｙ0
｜，｜ｘ2 −ｘ0 ｜＋｜ｙ1 −ｙ0 ｜，｜ｘ2 −ｘ0 ｜
＋｜ｙ2 −ｙ0 ｜｝である。重み付けの方法としては、
マッチング評価範囲の領域で任意の重み係数マップを設
定することができ、ここに述べた方法に限られない。

【００２２】動きベクトル検出は、所定の候補ベクトル
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル（ｖx ，ｖy ）を選
んだときの予測誤差量Ｅｒｒ（ｖx ，ｖy ）は、現フレ
ーム画像をＣ（ｘ，ｙ）、参照フレーム画像をＰ（ｘ，
ｙ）とすると、

【００２３】

【数１】

【００２４】で評価する。評価は計算の負荷軽減のため
に２乗和ではなく絶対値和を用いて、以下のように計算
してもよい。

【００２５】

【数２】

【００２６】あるいは、３角形の区画を用いている場合
には、上記ブロック・マッチングの評価対象領域とし
て、注目代表点に隣接する３角形の区画領域を結合した
６角形領域を使うことができる。ただし、画面周辺部で
は６角形とは限らない。また同様に、４角形の区画を用
いている場合でも、注目代表点に隣接する４角形の区画
領域を結合した領域を使ってもよい。また、画面の外の
値を参照したい場合は、画面の端の値を繰り返して補間
するなどの手法で実現できる。

【００２７】さらに、マッチング法で検出した動きベク
トルを予測結果を参照して再修正することも可能であ
る。例えば、まずマッチング法で検出した動きベクトル
を中心として動きベクトルの再探索範囲を設定する。再
探索範囲内の候補ベクトルに対し、注目代表点に隣接す
る全ての区画領域における動き補償予測誤差を評価し、
誤差が最小となる候補ベクトルを動きベクトルとして検
出する。

【００２８】なお、画面の外に配置された代表点での動
きベクトルについては、常にベクトルの大きさを０とし
てもよいし、最も端に位置する近傍の動きベクトルと同
じ値にしてもよいし、前記の方法で同じように動き検出
を行ってもよい。ただし、前記の方法で動き検出する場
合は、評価範囲は画面内部の画素を十分含む程度に大き
くとる必要がある。

【００２９】（画面の分割）画面を複数の領域に分割す
る手段１０３では、動きベクトルの補間方法を適応的に
決定する単位領域の設定を行う。例えば、図７のよう
に、代表点を結んで構成される４角形あるいは３角形の
区画をそのままひとつの領域として画面を分割する。あ
るいは図７（ｂ）のとき斜辺を共有する二つの直角３角
形を結合した正方形領域を単位領域として、図７（ａ）
の区画と同じ分割をしてもよい。あるいは、図８
（ａ）、（ｂ）のような配置の場合には、図８（ｄ）、
（ｅ）のように代表点を中心とした領域で画面を分割し
てもよい。ここで、図８（ｄ）、（ｅ）では、点線で区
切られた４角形領域がひとつの分割領域を示す。また、
図８（ｃ）のように代表点配置を変更した場合は、代表
点を母点とするボロノイ分割をしてもよい。

【００３０】（動きベクトル補間）領域ごとに、代表点
で検出した動きベクトルを用いて動きベクトルの補間を
する手段１０４における方法について説明する。ここで
は使う補間方法では、代表点を結んだ線分で分けられる
区画ごとに補間処理を行う。たとえば、３角形の区画を
用いている場合には、３つの頂点の動きベクトルから、
区画内部の各画素の動きベクトルを線形補間で求める。
例えば図９のように、ある３角形ＡＢＣの内部の点Ｐに
おける動きベクトル

【００３１】

【外１】

【００３２】は、３つの頂点での動きベクトル

【００３３】

【外２】

【００３４】から、

【００３５】

【数３】

【００３６】により求めることができる。このように区
画内部の全ての画素位置での動きベクトルを補間し、画
素毎に動き補償位置を求める。

【００３７】画素毎の動き補償位置を求める別の方法を
図１０を用いて説明する。この方法では、フレーム間で
対応する３角形のマッピングをとり、対応をアフィン変
換で表現する。この方法によれば、まず、注目する３角
形の区画について、対応する３組の頂点位置の関係か
ら、アフィン変換パラメータを計算する。３角形内部の
画素の動き補償位置は、前記アフィン変換パラメータか
ら算出する。

【００３８】アフィン変換を利用する場合の、動き補償
位置の計算法について説明する。２次元のアフィン変換
は式（５）のように６つのパラメータａ〜ｆにより、あ
る位置（ｘ，ｙ）に対応した参照画像上の動き補償位置
（ｘ′，ｙ′）を表現する。

【００３９】

【数４】

【００４０】ここで、ある３角形の３頂点の位置を（ｘ
1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3，ｙ3 ）とし、こ
の３角形に対応する参照画像上での３頂点の位置を
（ｘ′1 ，ｙ′1 ），（ｘ′2 ，ｙ′2 ），（ｘ′3 ，
ｙ′3 ）とすると、

【００４１】

【数５】

【００４２】が成立する。この式を以下のように解くこ
とによりパラメータを計算することができる。

【００４３】

【数６】

【００４４】３角形内部の画素の動き補償位置は、求め
たアフィン変換パラメータから式（５）により計算す
る。

【００４５】また、長方形の区画を用いる場合には、区
画内部の画素位置での動きベクトルは、４つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図１１のように、ある長方形Ａ
ＢＤＣの内部の点Ｐにおける動きベクトル

【００４６】

【外３】

【００４７】は、４つの頂点での動きベクトル

【００４８】

【外４】

【００４９】から、

【００５０】

【数７】

【００５１】により求めることができる。

【００５２】前記のようにして画素毎に動き補償位置を
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は（ｘ′，
ｙ′）での画素値をＰ（ｘ′，ｙ′）とし、ｘ0 ＝
［ｘ′］，ｙ0 ＝［ｙ′］，α＝ｘ′−［ｘ′］、β＝
ｙ′−［ｙ′］とおいて、Ｐ（ｘ′，ｙ′）＝（１−α）・（１−β）・Ｐ（ｘ0 ，ｙ0 ）＋α・（１ −β）・Ｐ（ｘ0 ＋１，ｙ0 ）＋（１−α）・β・Ｐ（ｘ0 ，ｙ0 ＋１）＋α・ β・Ｐ（ｘ0 ＋１，ｙ0 ＋１）（９）により計算する。ここで、［ｘ］はｘを越えない最大の
整数を示す。

【００５３】このように区画内の全ての画素位置での予
測値を計算し、区画内の予測信号を生成して出力する。

【００５４】なお、図８（ｄ）（ｅ）のように代表点を
結んだ線分で区切られた区画と分割領域が一致しない場
合でも、動き補償フレーム間予測については、代表点を
結んでできる線分で区切られた区画を単位として処理す
る。例えば、図１５（ａ）のように、破線で示された格
子で区画分けされている画面に対して、点線の４角形で
示される領域分割をしているとき、注目の領域は破線で
領域ア、イ、ウ、エに４等分され、それぞれが属する区
画に対応した動きベクトルの補間方法に従って処理され
る。すなわち、領域アは代表点Ａ、Ｂ、Ｄ、Ｅでの動き
ベクトルを用いて、領域イは代表点Ｂ、Ｃ、Ｅ、Ｆでの
動きベクトルを用いて、領域ウは代表点Ｄ、Ｅ、Ｇ、Ｈ
での動きベクトルを用いて、領域エは代表点Ｅ、Ｆ、
Ｈ、Ｉでの動きベクトルを用いて、それぞれ動きベクト
ルの補間が実現される。

【００５５】（第１の発明の動きベクトル補間方法）注
目領域だけに適用する動きベクトルの検出をする手段１
０５における方法を説明する。動き検出の方法として
は、前記代表点での動きベクトルの検出する手段１０２
と同様な方法を用いることができる。このとき予測誤差
の評価領域を、当該領域にすることで注目領域に適した
動きベクトルを検出する。

【００５６】注目領域ごとに別途検出した動きベクトル
を用いた方法で動きベクトルの補間をする手段１０６に
ついて説明する。まず、図７の代表点配置で、代表点を
結ぶ線分で領域分けを行う場合について説明する。この
場合以下のような方法がある。（１）別途検出した動きベクトルで、当該領域内の画素
位置での動きベクトルを均一に補間する。（２）別途検出した動きベクトルを、当該領域の重心位
置での動きベクトルと仮定し、重心位置と領域の各頂点
を結ぶ直線で、あるいは重心位置と各辺の中点とを結ぶ
線分で領域を区画分けし、分割小区画ごとに区画の頂点
の動きベクトルから線形内挿処理により、動きベクトル
の補間を行う。この方式の実現例を図１３（ｂ）、図１
４（ｂ）に示す。それぞれ図１３（ａ）、図１４（ａ）
の形状の分割領域に対して、重心位置に代表点を追加し
区画を細分している。（３）別途検出した動きベクトルで、当該領域の頂点の
動きベクトルの一部を置き換えて、動きベクトルの内挿
補間処理を行う。

【００５７】次に、図８の代表点配置で、代表点を領域
の中心に配置するように領域分けを行う構成の場合につ
いて説明する。この場合には以下のような方法がある。（１）別途動きベクトルをひとつだけ検出し、当該領域
内の画素位置での動きベクトルを均一に補間する。（２）別途動きベクトルを複数個検出し、当該領域内の
画素位置での動きベクトルを内挿補間する。例えば、当
該領域の頂点位置での動きベクトルを検出して、内部の
動きベクトルは内挿計算により求める。あるいは、４角
形領域の場合に４等分に細分割し、それぞれの細分割領
域の中央の位置での動きベクトルを検出して、内部の動
きベクトルは内挿計算により求める。この方式の実現例
を図１５（ｂ）に示す。白い点は始めに動きベクトルを
検出した代表点であるが、注目の領域内の動きベクトル
の補間には使用されないことを示す。図１５（ｂ）の黒
い点は新たに動きベクトルを検出する代表点であり、こ
の位置での動きベクトルが注目の領域内の動きベクトル
の補間には使用される。

【００５８】ここで、２点の代表点ベクトルだけで、線
形補間を行う場合には、２点からの距離に応じた重み付
け平均を計算することで実現できる。例えば図１２のよ
うに、ある代表点Ａ、Ｂの動きベクトル

【００５９】

【外５】

【００６０】から、点Ｐにおける動きベクトル

【００６１】

【外６】

【００６２】を求める場合、

【００６３】

【数８】

【００６４】により求めることができる。また、１点の
代表点ベクトルだけで、補間を行う場合には、そのベク
トルで均一に補間することとする。

【００６５】（第２の発明の動きベクトル補間方法）注
目領域をさらに細分割する手段２０１における方法を説
明する。分割の方法については、図１３（ｃ）、図１４
（ｃ）で示したように、あらかじめ用意した特定の分割
パタンを使用しても良い。このときパタンの表現につい
ては、それぞれを識別する符号を与えて、それにより表
現する。あるいは、図１３（ｅ）、図１４（ｅ）に示す
ように、特定のパタンをパラメータによって変形させた
パタンを使っても構わない。これらの図では、それぞれ
の分割パタンにおいて、境界線を矢印で示したように移
動させることで、様々な分割パタンを形成する方法を示
している。この場合、基本のパタンと移動の方向と移動
量をパラメータをして表現することができ、分割状態を
表現できる。また、これらの方法とは別に、画素単位の
任意な分割を行い分割線をチェイン・コードで記述する
方法を使うこともできる。

【００６６】細分割領域ごとに、領域が接する動きベク
トルを用いた方法で動きベクトルの補間をする手段２０
２における方法を説明する。この場合以下のような方法
がある。（１）それぞれの細分割された領域は隣接している代表
点を用いて、内部の動きベクトルの補間を行う。この方
式の実現例を図１３（ｃ）、図１４（ｃ）に示す。この
場合、接している代表点の数が４点、３点、２点とさま
ざまであるが、それぞれ図１１（式（８））、図９、７
（式（４）、式（５））、図１２（式（１０））に従い
予測を行えばよい。接している代表点の数が１点の場合
はその位置での動きベクトルで領域内を均一に補間すれ
ばよい。（２）第１の発明と組合せて、それぞれの細分割された
領域に対して領域の頂点位置で検出された動きベクトル
とは別に、当該領域の動きを示す動きベクトルを別途検
出して、検出動きベクトルにより均一に補間する。この
方式の実現例を図１３（ｄ）、図１４（ｄ）、図１５
（ｃ）に示す。図では白い点は始めに動きベクトルを検
出した代表点であるが、注目の領域内の動きベクトルの
補間には使用されないことを示す。また黒い点は新たに
動きベクトルを検出する領域を示しており、細分領域の
それぞれについて、ベクトル検出を行う。（３）細分割領域ごとに、検出したベクトルを用いて内
挿により動きベクトルを補間する。この方式の実現例を
図１５（ｄ）に示す。ベクトルは複数個検出し、細分割
領域ごとに、そのなかから一つを選択して補間処理に用
いる。図の矢印は内挿処理に使用される領域の方向を示
している。例えば図１５（ｄ）の一番左の場合、点Ｅの
位置で２つの動きベクトルを検出し、それぞれ領域ア、
ウ用、領域イ、エ用の動きベクトルとして割り当て、動
きベクトルの補間を行う。なお図の例では２分割の場合
だけを示しているが、それ以上の個数に分割してもよ
い。（４）それぞれの細分割された領域に対して上記項目の
（１）、（２）、（３）を細分領域ごとに適応的に選択
する。

【００６７】（適応判定）注目領域ごとに動きベクトル
の補間方法を選択する手段１０７では、前記で説明した
選択方法のなかから、注目領域のベクトル補間方法を適
応的に選択する。選択の方法としては、当該領域につい
て、それぞれの選択し得る場合の予測誤差を比較して、
最も誤差の少ないベクトルの補間方法を選択する。ある
いは符号化効率を考慮した基準で選択する方法を用いて
もよい、すなわち、従来方法ではない他のベクトル補間
方法を選択する場合には、補間方法の種類の指定のため
や、追加代表点の動きベクトルを追加する場合や細分割
を行う場合には分割のパタンを示すためなどに付加符号
が必要となる。そのため付加符号量の増加に見合うだけ
の予測性能の改善があると思われる場合だけ、他の補間
方法の選択を行うという判定方法を使う。例えば、それ
ぞれの場合の領域内の画素あたり平均２乗予測誤差を計
算し、その最小のものについて、従来の方式に比べた改
善量があらかじめ指定したしきい値以上の他の補間方法
の選択を行う方法を使うという方法で実現できる。ある
いは、付加符号量の抑制のため、検出した動きベクトル
に基づいて予測の方法を選択する方法を用いてもよい。
この方法によれば、動きベクトル情報から予測方法の決
定ができるので、付加符号量が必要無い。なお、選択す
る補間方法はここで述べた方法の全てを選択候補として
扱ってもよいし、その一部を候補としてもよい。

【００６８】（動き補償フレーム間予測）領域内部の動
き補償フレーム間予測をする手段１０８では、前記のよ
うに選択された動きベクトル補間方法に基づいて、領域
ごとに当該領域内の各画素の動きベクトルを求め、その
値に従って参照画像上の動き補償位置を計算し、フレー
ム間予測値を決定する。

【００６９】なお、動き検出、動き補償処理で参照する
画像としては、動画像符号化システムにおいて、直前に
符号化した画像の局所復号画像を用いてもよいし、過去
に符号化した画像の復号画像から生成できる画像を保持
して用いてもよい。

【００７０】（第３の発明の動きベクトル補間方法）次
に、第３の発明で用いられる、領域ごとに検出動きベク
トルの変換方法を選択し、補間処理に使用する動きベク
トルの値に変換する手段３０１における方法を説明す
る。

【００７１】まず、図９の３角形格子の区画で領域分割
されている場合を考える。このとき、動きベクトルの補
間は、代表点Ａ、Ｂ、Ｃでそれぞれ検出された動きベク
トル

【００７２】

【外７】

【００７３】を用いて式（４）に従い補間される。本発
明では、補間に用いる動きベクトルの値を検出動きベク
トル

【００７４】

【外８】

【００７５】を用いて変換する。いま変換動きベクトル
を

【００７６】

【外９】

【００７７】とし、ベクトルの変換を以下の式により定
義する。

【００７８】

【数９】

【００７９】ここでＷ₃ は３×３の行列である。この行
列の具体的な例と意味を以下に列挙する。

【００８０】

【数１０】

【００８１】次に、図１１の４角形格子の区画で領域分
割されている場合を考える。このとき、動きベクトルの
補間は、代表点Ａ、Ｂ、Ｃ、Ｄでそれぞれ検出された動
きベクトル

【００８２】

【外１０】

【００８３】を用いて式（８）に従い補間される。本発
明では、この場合も前記３角形格子の区画と同様に、補
間に用いる動きベクトルの値を検出動きベクトル

【００８４】

【外１１】

【００８５】を用いて変換する。いま変換動きベクトル
を

【００８６】

【外１２】

【００８７】とし、ベクトルの変換を以下の式により定
義する。

【００８８】

【数１１】

【００８９】ここでＷ₄ は４×４の行列である。この行
列の具体的な例と意味を以下に列挙する。

【００９０】

【数１２】

【００９１】次に、図１５のように、４角形格子を用い
て格子点が領域の中央に配置されるように領域分割され
ている場合を考える。このとき、動きベクトルの補間
は、代表点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉでそれ
ぞれ検出された動きベクトル

【００９２】

【外１３】

【００９３】を用いて補間される。本発明では、補間に
用いる動きベクトルの値を検出動きベクトルを用いて変
換する。いま変換動きベクトルを

【００９４】

【外１４】

【００９５】とし、ベクトルの変換を以下の式により定
義する。

【００９６】

【数１３】

【００９７】ここでＷ₉ は９×９の行列である。この行
列の具体的な例と意味を以下に列挙する。

【００９８】

【数１４】

【００９９】なお、変換を定義する行列Ｗ₃ ，Ｗ₄ ，Ｗ
₉ は、任意な行列を定義することができ、ここで示した
ものだけに限られない。

【０１００】また、変換方法の選択基準としては、前記
手段１０７と同様な処理を用いることで実現できる。

【０１０１】（第４の発明の方法）次に、第４の発明で
用いられる手段について説明する。まず、注目領域ごと
にあらかじめ定めた一定の値を予測値とする手段４０１
における方法を説明する。ここでは、検出動きベクトル
には関わらず、ある値で当該領域を埋め尽くす。例えば
値０で予測値を定める。あるいは信号値の取り得る値の
中央値を予測値として定める。

【０１０２】注目領域ごとに予測値を定める方法を選択
する手段４０２では、前記手段１０８と前記手段４０１
によって予測される結果に基づき、２つの方法のいずれ
で予測値を定めるかを領域ごとに適応的に判定し、選択
した方法に従いフレーム間予測画像を生成する。

【０１０３】

【発明の効果】以上説明したように本発明では、画面を
複数の領域に分割し、分割領域単位に最適な予測方法が
選択できる。そのため、局所的な画像の性質に従い処理
が行えるので、より精度の高い予測処理を行うことが可
能である。

【図面の簡単な説明】

【図１】本発明の作用を説明する図。

【図２】本発明の作用を説明する図。

【図３】第１の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。

【図４】第２の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。

【図５】第３の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。

【図６】第４の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。

【図７】代表点の配置を示す図。

【図８】代表点の配置方法を示す図。

【図９】３角形区画内部の動きベクトルを線形補間で計
算する方法を示す図。

【図１０】３角形区画のマッピングにより動き補償予測
をする方法を説明する図。

【図１１】４角形区画内部の動きベクトルを線形補間で
計算する方法を示す図。

【図１２】２点の動きベクトルからその他の画素の動き
ベクトルを線形補間で計算する方法を示す図。

【図１３】補間方法を説明する図。

【図１４】補間方法を説明する図。

【図１５】補間方法を説明する図。

【符号の説明】

１１動き検出ベクトル１２別途検出した動きベクトル１３適応的に予測方式を切替えた領域１４適応的に分割された領域１５適応的に分割された領域１６適応的に分割された領域１７適応的に分割された領域１８適応的に予測方式を切替えた領域１９適応的に予測方式を切替えた領域２０適応的に一定値を予測値とすると判定された領域２１画面枠２２代表点２３輪郭線２４注目被写体１０１代表点を設定する手段１０２代表点での動きベクトルを検出する手段１０３画面を小領域に分割する手段１０４領域ごとに代表点で検出した動きベクトルを用
いて動きベクトルの補間をする手段１０５注目領域だけに適用する動きベクトルを別途検
出する手段１０６注目領域ごとの別途検出した動きベクトルを用
いた方法で動きベクトルを補間する手段１０７領域ごとに動きベクトルの補間方法を選択する
手段１０８領域内部の動き補償フレーム間予測をする手段２０１注目領域をさらに細分割する手段２０２細分割領域ごとに領域が接する動きベクトルを
用いた方法で動きベクトルの補間をする手段３０１領域ごとに検出動きベクトルの変換方法を選択
し、補間処理に使用する動きベクトルの値に変換する手
段４０１領域ごとにあらかじめ定めた一定の値を予測値
とする手段４０２領域ごとに予測値を定める方法を選択する手段

Claims

【特許請求の範囲】

【請求項１】動画像の符号化に際し、画面内あるいは画
面内と画面枠の近傍の外側で複数個の代表点を設定し、
前記代表点における動きベクトルを検出し、画面内の全
ての画素位置での動きベクトルを、前記代表点での動き
ベクトルから補間することで求め、画素ごとに動き補償
フレーム間予測を行う方法において、画面を複数の領域
に分割し、領域ごとに境界上に位置する代表点または注
目領域と隣接領域に含まれる代表点を用いて画素ごとの
動きベクトルの補間を行う方法と、領域ごとに前記補間
で参照した代表点とは独立に動きベクトルを検出し、画
素ごとの動きベクトルの補間を行う方法とを、領域ごと
に適応的に選択することを特徴とする動き補償フレーム
間予測方法。
【請求項２】動画像の符号化に際し、画面内あるいは画
面内と画面枠の近傍の外側で複数個の代表点を設定し、
前記代表点における動きベクトルを検出し、画面内の全
ての画素位置での動きベクトルを、前記代表点での動き
ベクトルから補間することで求め、画素ごとに動き補償
フレーム間予測を行う方法において、画面を複数の領域
に分割し、領域ごとに境界上に位置する代表点または注
目領域と隣接領域に含まれる代表点を用いて画素ごとの
動きベクトルの補間を行い、動き補償フレーム間予測値
を求める方法と、領域ごとにあらかじめ定めた一定の値
を予測値とする方法とを領域ごとに適応的に選択するこ
とを特徴とする動き補償フレーム間予測方法。