JP2980810B2 - 動きベクトル探索方法と装置 - Google Patents
動きベクトル探索方法と装置Info
- Publication number
- JP2980810B2 JP2980810B2 JP10444094A JP10444094A JP2980810B2 JP 2980810 B2 JP2980810 B2 JP 2980810B2 JP 10444094 A JP10444094 A JP 10444094A JP 10444094 A JP10444094 A JP 10444094A JP 2980810 B2 JP2980810 B2 JP 2980810B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- pixel
- processed
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、動画像符号化における
動きベクトル探索方法と装置に関する。具体的には、ク
ワッド・トリー（Quad-Tree）を用いることにより、動
きベクトル場をより少数の代表動きベクトルにより表現
し、動きベクトル場の情報量を削減する新規な方法と装
置を提供しようとするものである。
動きベクトル探索方法と装置に関する。具体的には、ク
ワッド・トリー（Quad-Tree）を用いることにより、動
きベクトル場をより少数の代表動きベクトルにより表現
し、動きベクトル場の情報量を削減する新規な方法と装
置を提供しようとするものである。
【０００２】
【従来の技術】動画像符号化では、動き情報の推定によ
るフレーム間予測と、予測誤差の符号化の組み合わせに
よる方式が多く用いられている。より低いレート（少な
い画像データ）での符号化のためには、動き情報をいか
に推定し、利用するかが重要である。従来より動画像符
号化で多用されてきたブロック・マッチング法による動
きベクトル推定では、ブロック内に異なる動きを有する
ものが存在するとき、推定精度が著しく劣化するという
問題がある。このような問題を解決する方式を示したい
くつかの文献がある。
るフレーム間予測と、予測誤差の符号化の組み合わせに
よる方式が多く用いられている。より低いレート（少な
い画像データ）での符号化のためには、動き情報をいか
に推定し、利用するかが重要である。従来より動画像符
号化で多用されてきたブロック・マッチング法による動
きベクトル推定では、ブロック内に異なる動きを有する
ものが存在するとき、推定精度が著しく劣化するという
問題がある。このような問題を解決する方式を示したい
くつかの文献がある。
【０００３】文献１．J.L.Barron, D.J.Fleet, S.S.Bea
uchemin,T.A.Burkitt: “Performance of Optical Flow
Techniques", Proceeding CVPR June, 1992, pp. 236-
242
uchemin,T.A.Burkitt: “Performance of Optical Flow
Techniques", Proceeding CVPR June, 1992, pp. 236-
242
【０００４】文献２．大綱 亮磨、佐藤 真樹、相澤
清晴、羽鳥 光俊：“１画素マッチングに基づく動き推
定の基礎検討”，テレビ学技法，ICS94-38(1994)
清晴、羽鳥 光俊：“１画素マッチングに基づく動き推
定の基礎検討”，テレビ学技法，ICS94-38(1994)
【０００５】文献１では、コンピュータ・ビジョン等の
分野で、高次の処理のためにより密なベクトル場を推定
している。密な動きベクトル場が利用できれば、異なる
動きの境界領域においても推定精度が著しく劣化するこ
とがない。
分野で、高次の処理のためにより密なベクトル場を推定
している。密な動きベクトル場が利用できれば、異なる
動きの境界領域においても推定精度が著しく劣化するこ
とがない。
【０００６】文献２では、密なベクトル場の生成に際し
ては、１画素単位のマッチングによる誤差情報を利用す
る方式を用いている。この方式によれば、１画素毎に有
している誤差平面が、計算に有効に利用できる。
ては、１画素単位のマッチングによる誤差情報を利用す
る方式を用いている。この方式によれば、１画素毎に有
している誤差平面が、計算に有効に利用できる。
【０００７】文献２の内容を以下に説明する。
【０００８】１画素マッチングに基づく動き推定
【０００９】一般に、ブロック・マッチング法により動
き推定を行う場合は、画素ｘを中心としたマッチング・
ウインドウＷm と、探索範囲Ｗs を設定し、式（１）に
示すように誤差関数ｅB（Δｘ） を最小にする動きベク
トルΔｘを求める。 ｅB（Δｘ）＝Σ｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ （１） ここでΣは、マッチング・ウィンドウＷm 内に含まれた
すべての画素ｘについての累和を、Ｉk+1（ｘ＋Δｘ）
は参照画像を、Ｉk（ｘ）は原画像を示している。
き推定を行う場合は、画素ｘを中心としたマッチング・
ウインドウＷm と、探索範囲Ｗs を設定し、式（１）に
示すように誤差関数ｅB（Δｘ） を最小にする動きベク
トルΔｘを求める。 ｅB（Δｘ）＝Σ｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ （１） ここでΣは、マッチング・ウィンドウＷm 内に含まれた
すべての画素ｘについての累和を、Ｉk+1（ｘ＋Δｘ）
は参照画像を、Ｉk（ｘ）は原画像を示している。
【００１０】このマッチング・ウインドウＷm に含まれ
る画素数を１画素まで減らした場合、すなわちブロック
でなく１画素でマッチングをとる場合には、式（１）は
式（２）となる。 ｅx（Δｘ）＝｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ （２） これを画素ｘにおける１画素マッチングの誤差関数 ｅx
（Δｘ）として定義する。
る画素数を１画素まで減らした場合、すなわちブロック
でなく１画素でマッチングをとる場合には、式（１）は
式（２）となる。 ｅx（Δｘ）＝｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ （２） これを画素ｘにおける１画素マッチングの誤差関数 ｅx
（Δｘ）として定義する。
【００１１】図７には１画素マッチングの誤差関数ｅx
（Δｘ）に、画素 ｘ0 を含む領域Ｒｘ0 （図中の黒塗
り）内に含まれた多くの画素ｘについて、オペレータＦ
を作用させて、画素ｘ0 における動きベクトルΔｘ0 を
求める様子を示しており、仮定する動きモデルとして
は、平行移動のモデルやアフィン・モデルなどがある。
ここで１画素マッチングの基本的な枠組では、まず、１
画素でマッチンクを行い、その結果に何等かのオペレー
タＦを作用させて動きを求める。このとき、画素毎に誤
差関数ｅx（Δｘ）を予め計算し、その値（画素単位で
の distortion plane：誤差平面）を保持しておくた
め、処理の自由度が増し、オペレータＦとして非線形関
数等を用いることにより、より柔軟な動き推定が可能に
なる。
（Δｘ）に、画素 ｘ0 を含む領域Ｒｘ0 （図中の黒塗
り）内に含まれた多くの画素ｘについて、オペレータＦ
を作用させて、画素ｘ0 における動きベクトルΔｘ0 を
求める様子を示しており、仮定する動きモデルとして
は、平行移動のモデルやアフィン・モデルなどがある。
ここで１画素マッチングの基本的な枠組では、まず、１
画素でマッチンクを行い、その結果に何等かのオペレー
タＦを作用させて動きを求める。このとき、画素毎に誤
差関数ｅx（Δｘ）を予め計算し、その値（画素単位で
の distortion plane：誤差平面）を保持しておくた
め、処理の自由度が増し、オペレータＦとして非線形関
数等を用いることにより、より柔軟な動き推定が可能に
なる。
【００１２】具体的には、画素ｘ0 の動きベクトルΔｘ
0 を求める場合、１画素マッチングに基づく動き推定の
基本的な枠組は、 1) まず、ある閾値Ｔに対し、ｅx0（Δｘ0 ）≦Ｔとな
るΔｘ0 を動きベクトルの候補として選ぶ。この動きベ
クトルの集合を、 Ｖx0＝｛Δｘ0 ｜ｅx0（Δｘ0 ）≦Ｔ｝ で表わす。 2) ｘ0 を含む領域Ｒx0に対し、何等かの動きモデルの
仮定のもとに、 ｅx（Δｘ）（ただし、ｘは領域Ｒx0に
含まれている）に評価関数となるオペレータＦ［・］を
作用させる。 3) Δｘ0 ＝arg min Ｆ［ｅx（Δｘ0），ただし、ｘは
領域Ｒx0に含まれている］となるベクトルＶx0に含まれ
た動きベクトルΔｘ0を求める。
0 を求める場合、１画素マッチングに基づく動き推定の
基本的な枠組は、 1) まず、ある閾値Ｔに対し、ｅx0（Δｘ0 ）≦Ｔとな
るΔｘ0 を動きベクトルの候補として選ぶ。この動きベ
クトルの集合を、 Ｖx0＝｛Δｘ0 ｜ｅx0（Δｘ0 ）≦Ｔ｝ で表わす。 2) ｘ0 を含む領域Ｒx0に対し、何等かの動きモデルの
仮定のもとに、 ｅx（Δｘ）（ただし、ｘは領域Ｒx0に
含まれている）に評価関数となるオペレータＦ［・］を
作用させる。 3) Δｘ0 ＝arg min Ｆ［ｅx（Δｘ0），ただし、ｘは
領域Ｒx0に含まれている］となるベクトルＶx0に含まれ
た動きベクトルΔｘ0を求める。
【００１３】この枠組の中では、オペレータＦ、領域Ｒ
x0の指定に対して自由度があるため、画像の各領域の性
質に適した動き推定が可能になる。
x0の指定に対して自由度があるため、画像の各領域の性
質に適した動き推定が可能になる。
【００１４】このように、１画素マッチングによるベク
トル場の導出には、オペレータＦの選択や領域Ｒx0の制
御により、様々な手法が考えられるが、最終的に代表動
きベクトルを抽出するためには、適度に領域分割される
ことが望ましい。ここでは、距離変換とクラスタリング
に類似した手法により、動きと領域の推定を同時に行
う。
トル場の導出には、オペレータＦの選択や領域Ｒx0の制
御により、様々な手法が考えられるが、最終的に代表動
きベクトルを抽出するためには、適度に領域分割される
ことが望ましい。ここでは、距離変換とクラスタリング
に類似した手法により、動きと領域の推定を同時に行
う。
【００１５】この手法は、“１”または“０”にラベル
付けした２値のラベル画像の作成と、その画像の距離変
換の繰り返しからなる。まず、閾値Ｔm で１画素マッチ
ングの誤差関数 ｅx（Δｘ）を２値化し、これを式
（３）の２値化誤差関数ｆ（Δｘ）で表わす。 ｅx（Δｘ）≦Ｔm のときは、 ｆ（Δｘ）＝１ ｅx（Δｘ）＞Ｔm のときは、 ｆ（Δｘ）＝０ （３）
付けした２値のラベル画像の作成と、その画像の距離変
換の繰り返しからなる。まず、閾値Ｔm で１画素マッチ
ングの誤差関数 ｅx（Δｘ）を２値化し、これを式
（３）の２値化誤差関数ｆ（Δｘ）で表わす。 ｅx（Δｘ）≦Ｔm のときは、 ｆ（Δｘ）＝１ ｅx（Δｘ）＞Ｔm のときは、 ｆ（Δｘ）＝０ （３）
【００１６】各動きベクトルΔｘに対し２値化誤差関数
ｆ（Δｘ）により得られるラベル画像の距離変換を行
い、その距離変換値ｄx（Δｘ）を指標として用いる。
ｆ（Δｘ）により得られるラベル画像の距離変換を行
い、その距離変換値ｄx（Δｘ）を指標として用いる。
【００１７】図８には各動きベクトルΔｘに対応して分
類されたラベル画像の距離変換を示している。そこにお
ける黒塗り部分はマッチングのとれなかった画素ｘを表
わしている。点Ａからの距離変換値ｄはその値を大きく
していったときマッチングのとれなかったいくつかの画
素のうちのある画素７９に最初に接するまでの距離ｄに
相当し、画素ｘから距離 ｄx（Δｘ）の円７１の範囲内
にはマッチングのとれた画素のみが存在する。よってこ
の ｄx（Δｘ）の値が大きくなるΔｘが、真の動きベク
トルである可能性が高いと考えられることから、距離
ｄx（Δｘ）の最大値を与えるΔｘを動きベクトルとす
る。すなわち、 ｄx max＝maxｄx（Δｘ） （４） を与えるΔｘを動きベクトルとする。
類されたラベル画像の距離変換を示している。そこにお
ける黒塗り部分はマッチングのとれなかった画素ｘを表
わしている。点Ａからの距離変換値ｄはその値を大きく
していったときマッチングのとれなかったいくつかの画
素のうちのある画素７９に最初に接するまでの距離ｄに
相当し、画素ｘから距離 ｄx（Δｘ）の円７１の範囲内
にはマッチングのとれた画素のみが存在する。よってこ
の ｄx（Δｘ）の値が大きくなるΔｘが、真の動きベク
トルである可能性が高いと考えられることから、距離
ｄx（Δｘ）の最大値を与えるΔｘを動きベクトルとす
る。すなわち、 ｄx max＝maxｄx（Δｘ） （４） を与えるΔｘを動きベクトルとする。
【００１８】具体的には、雑音等の影響も考慮し、以下
の手順に従う。 １．各動きベクトルΔｘのラベル画像に対して距離変換
を行う。距離の最大値ｄx max がある値ｄ0 より大きく
なる画素には、ｄx max を与えるΔｘを動きベクトルと
して割り当てる。 ２．動きベクトルの確定した画素ｘについては、２値化
誤差関数ｆ（Δｘ）は、動きベクトルΔｘが距離ｄx
max を与えるとき、 ｆ（Δｘ）＝１ 動きベクトルΔｘが距離ｄx max を与えないとき、 ｆ（Δｘ）＝０ （５） としてラベル付けをし、ラベル画像を更新する。 ３．以上のことを距離ｄ0 を少しづつ小さくしながら繰
り返す。
の手順に従う。 １．各動きベクトルΔｘのラベル画像に対して距離変換
を行う。距離の最大値ｄx max がある値ｄ0 より大きく
なる画素には、ｄx max を与えるΔｘを動きベクトルと
して割り当てる。 ２．動きベクトルの確定した画素ｘについては、２値化
誤差関数ｆ（Δｘ）は、動きベクトルΔｘが距離ｄx
max を与えるとき、 ｆ（Δｘ）＝１ 動きベクトルΔｘが距離ｄx max を与えないとき、 ｆ（Δｘ）＝０ （５） としてラベル付けをし、ラベル画像を更新する。 ３．以上のことを距離ｄ0 を少しづつ小さくしながら繰
り返す。
【００１９】このようにして求められたベクトル場は、
領域Ｒx0単位で動きベクトルΔｘが一様となり、代表動
きベクトルによる補間近似に適したものとなる。以上が
文献２に開示された概要である。
領域Ｒx0単位で動きベクトルΔｘが一様となり、代表動
きベクトルによる補間近似に適したものとなる。以上が
文献２に開示された概要である。
【００２０】動きベクトル抽出に用いるブロック・マッ
チング法には、しばしばクワッド・トリー（Quad-Tre
e） が用いられる。このクワッド・トリーはそのブロッ
クの予測誤差がある閾値よりも大きな場合には４分割を
行い、４分割された各ブロックのブロック・マッチング
を行い予測誤差を調べ、それがある閾値よりも大きな場
合には、その閾値を越えたブロックについて、さらに４
分割してブロック・マッチングを行い予測誤差を調べて
いる。しかし、その閾値は画像に依存し、閾値が小さい
場合、必要以上に分割が進み付加情報の増大と、小さい
ブロック・サイズに伴う雑音等の影響のため、動きの誤
推定を引き起こす可能性がある。また、閾値を大きくし
た場合には、小領域の抽出が難しくなり、動きベクトル
場の再現性と予測誤差の劣化が生ずる。このため従来の
クワッド・トリーの分割では、画像を予め小さなサブブ
ロックに分割し、同じベクトルを持つブロックを統合す
るという統合手順をとっている。
チング法には、しばしばクワッド・トリー（Quad-Tre
e） が用いられる。このクワッド・トリーはそのブロッ
クの予測誤差がある閾値よりも大きな場合には４分割を
行い、４分割された各ブロックのブロック・マッチング
を行い予測誤差を調べ、それがある閾値よりも大きな場
合には、その閾値を越えたブロックについて、さらに４
分割してブロック・マッチングを行い予測誤差を調べて
いる。しかし、その閾値は画像に依存し、閾値が小さい
場合、必要以上に分割が進み付加情報の増大と、小さい
ブロック・サイズに伴う雑音等の影響のため、動きの誤
推定を引き起こす可能性がある。また、閾値を大きくし
た場合には、小領域の抽出が難しくなり、動きベクトル
場の再現性と予測誤差の劣化が生ずる。このため従来の
クワッド・トリーの分割では、画像を予め小さなサブブ
ロックに分割し、同じベクトルを持つブロックを統合す
るという統合手順をとっている。
【００２１】
【発明が解決しようとする課題】文献１および２に開示
された手法で求められたベクトル場は、１画素単位の密
なもので、動きの境界領域における精度も確保されてい
る。しかし、超低レート符号化におけるフレーム間予測
情報として伝送する場合、まだ情報量が大きいという解
決されねばならない課題があった。また、ブロック・マ
ッチング法を用いる場合には、そのブロック・サイズを
大きくすることにより、ベクトル数の減少を実現した場
合、付加情報が不要で、簡単に情報量の減少が可能とな
るが、ブロック内でベクトルが一様となり、予測誤差が
増大し、ベクトル場の再現性の劣化が生ずる。
された手法で求められたベクトル場は、１画素単位の密
なもので、動きの境界領域における精度も確保されてい
る。しかし、超低レート符号化におけるフレーム間予測
情報として伝送する場合、まだ情報量が大きいという解
決されねばならない課題があった。また、ブロック・マ
ッチング法を用いる場合には、そのブロック・サイズを
大きくすることにより、ベクトル数の減少を実現した場
合、付加情報が不要で、簡単に情報量の減少が可能とな
るが、ブロック内でベクトルが一様となり、予測誤差が
増大し、ベクトル場の再現性の劣化が生ずる。
【００２２】そこで従来のクワッド・トリーの分割によ
り画像を予め小さなサブブロックに分割し、そのサブブ
ロックの中で同じベクトルを持つサブブロックを統合す
るという統合手順をとる場合には、この統合手順に付随
して処理量が増大してしまうという未解決の課題が残さ
れていた。
り画像を予め小さなサブブロックに分割し、そのサブブ
ロックの中で同じベクトルを持つサブブロックを統合す
るという統合手順をとる場合には、この統合手順に付随
して処理量が増大してしまうという未解決の課題が残さ
れていた。
【００２３】
【課題を解決するための手段】本発明はこのような課題
を解決するためになされたものである。すなわち、ブロ
ックをクワッド・トリーにより分割する場合には、ま
ず、１画素単位の１画素マッチングの誤差関数ｅx（Δ
ｘ） を予め計算し、１画素単位の密なベクトル場を持
つことにより、そのベクトル場から計算される予測誤差
値をブロック分割の閾値とし、分割に伴う付加情報につ
いては、分割順を予め定めておくことにより、分割の階
層レベルのみを伝達することによってベクトル場を再現
できるように構成した。
を解決するためになされたものである。すなわち、ブロ
ックをクワッド・トリーにより分割する場合には、ま
ず、１画素単位の１画素マッチングの誤差関数ｅx（Δ
ｘ） を予め計算し、１画素単位の密なベクトル場を持
つことにより、そのベクトル場から計算される予測誤差
値をブロック分割の閾値とし、分割に伴う付加情報につ
いては、分割順を予め定めておくことにより、分割の階
層レベルのみを伝達することによってベクトル場を再現
できるように構成した。
【００２４】
【作用】ブロックの分割に先立って、１画素マッチング
の誤差関数 ｅx（Δｘ）を計算し、密なベクトル場を得
ているから、そのベクトル場から計算される予測誤差値
を、分割を行うか否かを決定する閾値とすることができ
る。そのために、分割を行うブロックに対応して、閾値
が適応的に変化し、最も符号化効率の良い最適なブロッ
ク分割が可能となった。さらに、画像全体からブロック
分割を開始できるので、代表動きベクトルを大局的に抽
出することが可能となり、従来問題となっていた統合手
順が不要となる。また、閾値の計算は、１画素単位の誤
差関数ｅx（Δｘ）を予め計算しておくために、予測誤
差に対する再計算の必要がない。このようにして、クワ
ッド・トリーの生成手順を決めておくことにより、領域
記述のための付加情報が階層レベルだけですみ、代表ベ
クトルの抽出順が、位置的な連続性を保持しているの
で、ベクトルの連続性を利用した差分符号化による情報
量の減少が可能となった。
の誤差関数 ｅx（Δｘ）を計算し、密なベクトル場を得
ているから、そのベクトル場から計算される予測誤差値
を、分割を行うか否かを決定する閾値とすることができ
る。そのために、分割を行うブロックに対応して、閾値
が適応的に変化し、最も符号化効率の良い最適なブロッ
ク分割が可能となった。さらに、画像全体からブロック
分割を開始できるので、代表動きベクトルを大局的に抽
出することが可能となり、従来問題となっていた統合手
順が不要となる。また、閾値の計算は、１画素単位の誤
差関数ｅx（Δｘ）を予め計算しておくために、予測誤
差に対する再計算の必要がない。このようにして、クワ
ッド・トリーの生成手順を決めておくことにより、領域
記述のための付加情報が階層レベルだけですみ、代表ベ
クトルの抽出順が、位置的な連続性を保持しているの
で、ベクトルの連続性を利用した差分符号化による情報
量の減少が可能となった。
【００２５】
【実施例】図１には本発明の一実施例の回路構成を示し
ている。ここで１１は誤差平面計算器、１２はメモリ、
１３は原ベクトル場生成器、１４は閾（しきい）値生成
器、１５は分割判断器、１６はブロック選択器、１７は
ブロック・マッチング器、１８はクワッド・トリー生成
器、３１〜４５は各種の情報をやりとりするための信号
線である。各信号線３１〜４４でやりとりされる種々の
情報を列挙すると、信号線３１は原画像Ｉk（ｘ）を、 信号線３２は参照画像Ｉk+1（ｘ）を、 信号線３３は１画素マッチングの誤差関数ｅx（Δｘ）
を、 信号線３４はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線３５はベクトル場Ｖ（ｘ）を、 信号線３６は１画素単位の平均予測誤差ｅr と閾値Ｔq
の和を、 信号線３７はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線３８は分割命令を、 信号線３９はブロックｂN,M を、 信号線４０はベクトルＶbN,M を、 信号線４１は１画素単位の平均予測誤差ｅbN,Mを、 信号線４２はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線４３はブロック位置Ｍ（Ｎ）を、 信号線４４は代表ベクトル成分ＶRを、 信号線４５は階層レベルＮをそれぞれ表わしている。
ている。ここで１１は誤差平面計算器、１２はメモリ、
１３は原ベクトル場生成器、１４は閾（しきい）値生成
器、１５は分割判断器、１６はブロック選択器、１７は
ブロック・マッチング器、１８はクワッド・トリー生成
器、３１〜４５は各種の情報をやりとりするための信号
線である。各信号線３１〜４４でやりとりされる種々の
情報を列挙すると、信号線３１は原画像Ｉk（ｘ）を、 信号線３２は参照画像Ｉk+1（ｘ）を、 信号線３３は１画素マッチングの誤差関数ｅx（Δｘ）
を、 信号線３４はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線３５はベクトル場Ｖ（ｘ）を、 信号線３６は１画素単位の平均予測誤差ｅr と閾値Ｔq
の和を、 信号線３７はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線３８は分割命令を、 信号線３９はブロックｂN,M を、 信号線４０はベクトルＶbN,M を、 信号線４１は１画素単位の平均予測誤差ｅbN,Mを、 信号線４２はメモリ１２から読出した１画素マッチング
の誤差関数ｅx（Δｘ）を、 信号線４３はブロック位置Ｍ（Ｎ）を、 信号線４４は代表ベクトル成分ＶRを、 信号線４５は階層レベルＮをそれぞれ表わしている。
【００２６】図２には図１の回路構成のクワッド・トリ
ーによる代表ベクトルの抽出動作の原理を示している。
同図（ａ）は円８２や方形８３を含む原ベクトル場８０
を示し、破線で示した８４は分割したブロックを、８５
は分割したブロック８４と方形８３とのオーバラップ部
分を示しており、そこに示された矢印は原ベクトル場８
０内に存在する多数のベクトルのうちの一部を表わして
いる。
ーによる代表ベクトルの抽出動作の原理を示している。
同図（ａ）は円８２や方形８３を含む原ベクトル場８０
を示し、破線で示した８４は分割したブロックを、８５
は分割したブロック８４と方形８３とのオーバラップ部
分を示しており、そこに示された矢印は原ベクトル場８
０内に存在する多数のベクトルのうちの一部を表わして
いる。
【００２７】同図（ｂ）は、（ａ）に示した分割したブ
ロック８４と斜線をつけたオーバラップ部分８５を示
し、そこに示された矢印は分割したブロック８４でブロ
ック・マッチングをして求めたベクトルを表わしている
が、同図（ｂ）のオーバラップ部分８５のベクトルを表
わすものとはなっておらず、この分割の階層レベルにお
いては誤差が大きいことを表わしている。
ロック８４と斜線をつけたオーバラップ部分８５を示
し、そこに示された矢印は分割したブロック８４でブロ
ック・マッチングをして求めたベクトルを表わしている
が、同図（ｂ）のオーバラップ部分８５のベクトルを表
わすものとはなっておらず、この分割の階層レベルにお
いては誤差が大きいことを表わしている。
【００２８】同図（ｃ）は、（ｂ）の分割したブロック
８４を４分割した場合を示しているが、この４分割にお
いてはオーバラップ部分８５を含む右上のブロックのベ
クトルは、なおオーバラップ部分８５のベクトルを正確
に表わすものとなっておらずこの分割したブロック８４
の（ｃ）に示した４分割の階層レベルにおいては誤差が
大きいことを表わしている。
８４を４分割した場合を示しているが、この４分割にお
いてはオーバラップ部分８５を含む右上のブロックのベ
クトルは、なおオーバラップ部分８５のベクトルを正確
に表わすものとなっておらずこの分割したブロック８４
の（ｃ）に示した４分割の階層レベルにおいては誤差が
大きいことを表わしている。
【００２９】同図（ｄ）には（ｃ）においてオーバラッ
プ部分８５を含んだブロックのベクトルが正確ではな
く、その誤差（１画素マッチングの誤差関数（信号線３
７）の、オーバラップ部分８５を含んだブロック内の平
均誤差）が閾値を越えているところから、そのブロック
をさらに４分割して各分割したブロックのベクトルを求
めている。ここではじめて、オーバラップ部分８５の正
確なベクトルが得られることを示している。
プ部分８５を含んだブロックのベクトルが正確ではな
く、その誤差（１画素マッチングの誤差関数（信号線３
７）の、オーバラップ部分８５を含んだブロック内の平
均誤差）が閾値を越えているところから、そのブロック
をさらに４分割して各分割したブロックのベクトルを求
めている。ここではじめて、オーバラップ部分８５の正
確なベクトルが得られることを示している。
【００３０】同図（ｅ）には、同図（ａ）のベクトル場
８０による最終的な分割結果９０が示されている。そこ
では、各ブロック内のベクトルがほぼ一様になるまで分
割がなされて、同図（ａ）の円８２および方形８３にそ
れぞれ対応する円９２および方形９３が示されている。
８０による最終的な分割結果９０が示されている。そこ
では、各ブロック内のベクトルがほぼ一様になるまで分
割がなされて、同図（ａ）の円８２および方形８３にそ
れぞれ対応する円９２および方形９３が示されている。
【００３１】図３ないし図５には図１に示した回路構成
の動作の流れが示されているので、図１を参照しながら
説明する。
の動作の流れが示されているので、図１を参照しながら
説明する。
【００３２】信号線３１からは原画像Ｉk（ｘ）が、信
号線３２からは参照画像Ｉk+1（ｘ）が誤差平面計算器
１１に入力され、１画素単位の誤差平面を表わす１画素
マッチングの誤差関数ｅx（Δｘ）を、 ｅx（Δｘ）＝｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ により求めて、信号線３３によりメモリ１２に送り格納
する。
号線３２からは参照画像Ｉk+1（ｘ）が誤差平面計算器
１１に入力され、１画素単位の誤差平面を表わす１画素
マッチングの誤差関数ｅx（Δｘ）を、 ｅx（Δｘ）＝｜Ｉk+1（ｘ＋Δｘ）−Ｉk（ｘ）｜ により求めて、信号線３３によりメモリ１２に送り格納
する。
【００３３】原ベクトル場生成器１３はメモリ１２から
信号線３４により１画素マッチングの誤差関数ｅx（Δ
ｘ）を読出して、１画素マッチングにより原画像のベク
トル場Ｖ（ｘ）を求めて信号線３５に出力する（Ｓ１、
図３）。
信号線３４により１画素マッチングの誤差関数ｅx（Δ
ｘ）を読出して、１画素マッチングにより原画像のベク
トル場Ｖ（ｘ）を求めて信号線３５に出力する（Ｓ１、
図３）。
【００３４】各回路の構成要素は条件設定がなされてい
る。すなわち、クワッド・トリー生成器１８において
は、ブロックの分割手順が定められている。
る。すなわち、クワッド・トリー生成器１８において
は、ブロックの分割手順が定められている。
【００３５】図６にはクワッド・トリーによるブロック
の分割手順の一例が示されている。クワッド・トリーの
階層レベルをＮとし分割ブロックの生成順による現在の
ブロック位置をＭ（Ｎ）で表わす。Ｎ＝０は無分割の画
面全体を表わし、そのブロック位置はＭ（０）＝０とす
る。階層レベルＮ＝１では、画面全体を４分割し、同図
のように左上がＭ（１）＝０、右上がＭ（１）＝１（図
示されてはいない）、左下がＭ（１）＝２、右下がＭ
（１）＝３に条件設定されている。ここで、Ｍ（１）＝
１の分割ブロックの誤差が閾値以上であるときには階層
レベルＮ＝２として更に４分割して、左上がＭ（２）＝
０、右上がＭ（２）＝１、左下がＭ（２）＝２、右下が
Ｍ（２）＝３とするように条件設定されている（Ｓ
２）。最低の階層レベルはＮ＝ＮL とする。また、得ら
れたｍ番目の代表ベクトルをＶm とし、その代表ベクト
ルをＶm を得た階層をＮVmと表わす。
の分割手順の一例が示されている。クワッド・トリーの
階層レベルをＮとし分割ブロックの生成順による現在の
ブロック位置をＭ（Ｎ）で表わす。Ｎ＝０は無分割の画
面全体を表わし、そのブロック位置はＭ（０）＝０とす
る。階層レベルＮ＝１では、画面全体を４分割し、同図
のように左上がＭ（１）＝０、右上がＭ（１）＝１（図
示されてはいない）、左下がＭ（１）＝２、右下がＭ
（１）＝３に条件設定されている。ここで、Ｍ（１）＝
１の分割ブロックの誤差が閾値以上であるときには階層
レベルＮ＝２として更に４分割して、左上がＭ（２）＝
０、右上がＭ（２）＝１、左下がＭ（２）＝２、右下が
Ｍ（２）＝３とするように条件設定されている（Ｓ
２）。最低の階層レベルはＮ＝ＮL とする。また、得ら
れたｍ番目の代表ベクトルをＶm とし、その代表ベクト
ルをＶm を得た階層をＮVmと表わす。
【００３６】まず、階層レベルＮ＝０、Ｍ（Ｎ）＝０、
ｍ＝０に初期設定し、クワッド・トリー生成器１８は信
号線４３に現在のブロック位置Ｍ（Ｎ）を、信号線４５
に階層Ｎ（Ｎ＝０）を出力する（Ｓ３）。このブロック
位置Ｍ（Ｎ）と階層Ｎとの指示を受けたブロック選択器
１６では、代表ベクトルの抽出対象となるブロックｂ
N,M を決定し、これを信号線３９に出力する（Ｓ４）。
ｍ＝０に初期設定し、クワッド・トリー生成器１８は信
号線４３に現在のブロック位置Ｍ（Ｎ）を、信号線４５
に階層Ｎ（Ｎ＝０）を出力する（Ｓ３）。このブロック
位置Ｍ（Ｎ）と階層Ｎとの指示を受けたブロック選択器
１６では、代表ベクトルの抽出対象となるブロックｂ
N,M を決定し、これを信号線３９に出力する（Ｓ４）。
【００３７】図５にはブロックｂN,M の決定手順の詳細
が示されている。ブロック位置Ｍ（Ｎ）＝３でブロック
決定手順の再帰処理を指示するフラグｆｌ（ｆｌ＝１で
再帰処理）が“１”になっているときには（Ｓ２１Ｙ、
図５）、階層レベルＮをＮ＝Ｎ−１に設定し（Ｓ２
２）、Ｎ＝０になっていなければ（Ｓ２３Ｎ）、ステッ
プＳ２１に戻り、Ｎ＝０になっていれば分割がすべて終
了したことを意味するので処理を終了する（Ｓ２３
Ｙ）。
が示されている。ブロック位置Ｍ（Ｎ）＝３でブロック
決定手順の再帰処理を指示するフラグｆｌ（ｆｌ＝１で
再帰処理）が“１”になっているときには（Ｓ２１Ｙ、
図５）、階層レベルＮをＮ＝Ｎ−１に設定し（Ｓ２
２）、Ｎ＝０になっていなければ（Ｓ２３Ｎ）、ステッ
プＳ２１に戻り、Ｎ＝０になっていれば分割がすべて終
了したことを意味するので処理を終了する（Ｓ２３
Ｙ）。
【００３８】ブロック位置Ｍ（Ｎ）＝３でないか、もし
くは、フラグｆｌ＝１でないときには（Ｓ２１Ｎ）、フ
ラグｆｌ＝０とし（Ｓ２５）、処理すべきブロックｂ
N,M を設定して、ブロック選択器１６は信号線３９にブ
ロックｂN,M を出力してブロックｂN,M 設定のサブルー
チンを出る（Ｓ２６）。
くは、フラグｆｌ＝１でないときには（Ｓ２１Ｎ）、フ
ラグｆｌ＝０とし（Ｓ２５）、処理すべきブロックｂ
N,M を設定して、ブロック選択器１６は信号線３９にブ
ロックｂN,M を出力してブロックｂN,M 設定のサブルー
チンを出る（Ｓ２６）。
【００３９】信号線３９により処理の対象とするブロッ
クｂN,M の指示を受けたブロック・マッチング器１７で
は信号線４２によりメモリ１２から１画素マッチングの
誤差関数 ｅx（Δｘ）を読出してブロック・マッチング
を行い、得た動きベクトルＶbN,Mを信号線４０によって
出力する（Ｓ５）。さらにブロック・マッチング器１７
および閾値生成器１４では、ベクトルＶbN,M および原
画像Ｉk（ｘ）のブロックｂN,M （信号線３９）に対応
する画素ｘのベクトルＶ（ｘ）（信号線３５）とから、
ブロックｂN,M （信号線３９）に含まれる画素の総数を
Ｓ（ｂN,M ）として、１画素単位の平均予測誤差ｅ
bN,M およびｅrを次の２つの式から求める。 ｅbN,M ＝（１／Ｓ（ｂN,M ））Σｅx（ＶbN,M ） ｅr＝（１／Ｓ（ｂN,M ））Σｅx（Ｖ（ｘ）） ここでｘはブロックｂN,M （信号線３９）に含まれた画
素のすべての点であり、ｅx（ＶbN,M ）は点ｘのベクト
ルＶbN,M に対する予測誤差であり、ｅx（Ｖ（ｘ））は
点ｘのベクトルＶ（ｘ）に対する予測誤差であり、Σは
ブロックｂN,M に含まれたすべての点ｘについての累和
を表わしている。１画素単位の平均予測誤差 ｅbN,M は
ブロック・マッチング器１７で算出され信号線４１によ
り出力され、原画像に関する平均予測誤差 ｅrは、処理
の対象とするブロックｂ N,M （信号線３９）の指示とベ
クトル場Ｖ（ｘ）（信号線３５）と１画素マッチングの
誤差関数 ｅ x （Δｘ）（信号線３７）とを受けた閾値生
成器１４で算出されそれに閾値Ｔq を加えて信号線３６
によって出力される（Ｓ６）。
クｂN,M の指示を受けたブロック・マッチング器１７で
は信号線４２によりメモリ１２から１画素マッチングの
誤差関数 ｅx（Δｘ）を読出してブロック・マッチング
を行い、得た動きベクトルＶbN,Mを信号線４０によって
出力する（Ｓ５）。さらにブロック・マッチング器１７
および閾値生成器１４では、ベクトルＶbN,M および原
画像Ｉk（ｘ）のブロックｂN,M （信号線３９）に対応
する画素ｘのベクトルＶ（ｘ）（信号線３５）とから、
ブロックｂN,M （信号線３９）に含まれる画素の総数を
Ｓ（ｂN,M ）として、１画素単位の平均予測誤差ｅ
bN,M およびｅrを次の２つの式から求める。 ｅbN,M ＝（１／Ｓ（ｂN,M ））Σｅx（ＶbN,M ） ｅr＝（１／Ｓ（ｂN,M ））Σｅx（Ｖ（ｘ）） ここでｘはブロックｂN,M （信号線３９）に含まれた画
素のすべての点であり、ｅx（ＶbN,M ）は点ｘのベクト
ルＶbN,M に対する予測誤差であり、ｅx（Ｖ（ｘ））は
点ｘのベクトルＶ（ｘ）に対する予測誤差であり、Σは
ブロックｂN,M に含まれたすべての点ｘについての累和
を表わしている。１画素単位の平均予測誤差 ｅbN,M は
ブロック・マッチング器１７で算出され信号線４１によ
り出力され、原画像に関する平均予測誤差 ｅrは、処理
の対象とするブロックｂ N,M （信号線３９）の指示とベ
クトル場Ｖ（ｘ）（信号線３５）と１画素マッチングの
誤差関数 ｅ x （Δｘ）（信号線３７）とを受けた閾値生
成器１４で算出されそれに閾値Ｔq を加えて信号線３６
によって出力される（Ｓ６）。
【００４０】分割判断器１５では、信号線４１により受
けた１画素単位の平均予測誤差 ｅb N,M と信号線３６に
より受けた原画像に関する１画素単位の平均予測誤差
ｅrに閾値Ｔq を加算したｅr＋Ｔqとを比較して、 ｅ
bN,M ＞ｅr＋Ｔq、かつ、階層レベルＮが最低階層レベ
ルＮL になっていないときには（Ｓ７Ｎ）、階層レベル
Ｎをインクリメント（Ｎ＝Ｎ＋１）し、分割命令を信号
線３８により出力し、４分割ブロックの左上のブロック
をＭ（Ｎ）＝０として位置指定してクワッド・トリー生
成器１８においてブロックｂN,M を分割してステップＳ
４の動作に戻る（Ｓ８）。
けた１画素単位の平均予測誤差 ｅb N,M と信号線３６に
より受けた原画像に関する１画素単位の平均予測誤差
ｅrに閾値Ｔq を加算したｅr＋Ｔqとを比較して、 ｅ
bN,M ＞ｅr＋Ｔq、かつ、階層レベルＮが最低階層レベ
ルＮL になっていないときには（Ｓ７Ｎ）、階層レベル
Ｎをインクリメント（Ｎ＝Ｎ＋１）し、分割命令を信号
線３８により出力し、４分割ブロックの左上のブロック
をＭ（Ｎ）＝０として位置指定してクワッド・トリー生
成器１８においてブロックｂN,M を分割してステップＳ
４の動作に戻る（Ｓ８）。
【００４１】クワッド・トリー生成器１８においては、
ｅbN,M ≦ｅr＋ＴqまたはＮ＝ＮLとなっているときには
（Ｓ７Ｙ）、代表ベクトルＶm をＶbN,Mとし、その階層
レベルＮVmをＮとし、代表ベクトル成分ＶR を信号線４
４に、階層レベルＮを信号線４５に出力する。そして、
ｍ番目の代表ベクトルを示す数をｍ＋１とし（Ｓ９、図
４）、ブロック位置Ｍ（Ｎ）をＭ（Ｎ）＋１に進め（Ｓ
１０）、Ｍ（Ｎ）＝４であれば（Ｓ１１Ｙ）、Ｎ＝Ｎ−
１にし、フラグｆｌ＝１にして、ブロック決定処理に再
帰処理が必要であることを示し（Ｓ１２）、Ｍ（Ｎ）が
４にはなっていないとき（Ｓ１１Ｎ）とともに、階層レ
ベルＮが０であるか否かを調べ（Ｓ１３）、０でなけれ
ばステップＳ４の動作に戻り（Ｓ１３Ｎ）、０であれ
ば、分割が全て終了したことを意味するので、処理を終
了する。
ｅbN,M ≦ｅr＋ＴqまたはＮ＝ＮLとなっているときには
（Ｓ７Ｙ）、代表ベクトルＶm をＶbN,Mとし、その階層
レベルＮVmをＮとし、代表ベクトル成分ＶR を信号線４
４に、階層レベルＮを信号線４５に出力する。そして、
ｍ番目の代表ベクトルを示す数をｍ＋１とし（Ｓ９、図
４）、ブロック位置Ｍ（Ｎ）をＭ（Ｎ）＋１に進め（Ｓ
１０）、Ｍ（Ｎ）＝４であれば（Ｓ１１Ｙ）、Ｎ＝Ｎ−
１にし、フラグｆｌ＝１にして、ブロック決定処理に再
帰処理が必要であることを示し（Ｓ１２）、Ｍ（Ｎ）が
４にはなっていないとき（Ｓ１１Ｎ）とともに、階層レ
ベルＮが０であるか否かを調べ（Ｓ１３）、０でなけれ
ばステップＳ４の動作に戻り（Ｓ１３Ｎ）、０であれ
ば、分割が全て終了したことを意味するので、処理を終
了する。
【００４２】
【発明の効果】以上の説明から明らかなように、本発明
によるならば、クワッド・トリーの生成順を決めておく
ことにより、領域記述のための付加情報が階層レベルだ
けですみ、代表ベクトルの抽出順が、位置的な連続性を
保持しているので、ベクトルの連続性を利用した差分符
号化による情報量の減少が可能となったから、本発明の
効果は極めて大きい。
によるならば、クワッド・トリーの生成順を決めておく
ことにより、領域記述のための付加情報が階層レベルだ
けですみ、代表ベクトルの抽出順が、位置的な連続性を
保持しているので、ベクトルの連続性を利用した差分符
号化による情報量の減少が可能となったから、本発明の
効果は極めて大きい。
【図１】本発明の一実施例を示す回路構成図である。
【図２】図１の回路構成のクワッド・トリーによる代表
ベクトルの抽出動作の原理を説明するための代表ベクト
ル抽出図である。
ベクトルの抽出動作の原理を説明するための代表ベクト
ル抽出図である。
【図３】図１の回路構成のクワッド・トリーによる代表
ベクトルの抽出動作の流れを示すフローチャートであ
る。
ベクトルの抽出動作の流れを示すフローチャートであ
る。
【図４】図３とともに図１の回路構成のクワッド・トリ
ーによる代表ベクトルの抽出動作の流れを示すフローチ
ャートである。
ーによる代表ベクトルの抽出動作の流れを示すフローチ
ャートである。
【図５】図３の動作の一部の詳細を示すフローチャート
である。
である。
【図６】図３の動作におけるクワッド・トリーによるブ
ロックの分割図である。
ロックの分割図である。
【図７】従来の１画素マッチングに基づく動き推定図で
ある。
ある。
【図８】従来のラベル画像の距離変換図である。
１１ 誤差平面計算器 １２ メモリ １３ 原ベクトル場生成器 １４ しきい値生成器 １５ 分割判断器 １６ ブロック選択器 １７ ブロック・マッチング器 １８ クワッド・トリー生成器 ３１〜４５ 信号線 ７０ 画面 ７１ 円 ７９ マッチングのとれなかった画素 ８０ 原ベクトル場 ８２ 円 ８３ 方形 ８４ 分割したブロック ８５ オーバラップ部分 ９０ 原ベクトル場８０の最終的な分割結果 ９２ 円８２に対応する円 ９３ 方形８３に対応する方形 ｂN,M ブロック ｄ 距離 ｅbN,M ，ｅr １画素単位の平均予測誤差 ｅx（Δｘ） １画素マッチングの誤差関数 Ｆ オペレータ ｆｌ フラグ Ｍ（１），Ｍ（２），Ｍ（Ｎ） ブロック位置 Ｎ，ＮVm 階層レベル ＮL 最低階層レベル Ｔq 閾値 Ｖ（ｘ） ベクトル場（もしくは点ｘの位置のベクト
ル） Ｖm ｍ番目の代表ベクトル ｘ 位置
ル） Ｖm ｍ番目の代表ベクトル ｘ 位置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽鳥 光俊 東京都文京区千石１丁目６番24−808号 (56)参考文献 特開 平１−69182（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (6)
- 【請求項１】 動画像のフレーム間の１画素単位の動き
ベクトル場（３５）を得るための動きベクトル生成処理
をし（１１，１２，１３）、処理すべきブロック（３９）における 前記１画素単位の
動きベクトル場（３５）と１画素マッチングの誤差関数
（３７）とから得られる予測誤差を用いて処理すべきそ
れぞれのブロック内で計算された原画像に関する１画素
単位での平均予測誤差を求めその平均予測誤差に応じて
変化する閾値（３６）を生成する閾値生成処理をし（１
４）、処理すべきブロックの位置（４３）と階層レベル（４
５）とから前記処理すべきブロック（３９）を選択する
ためのブロック選択処理をし（１６）、 前記処理すべきブロック（３９）を指示されて、この指
示されたブロックに対応する１画素マッチングの誤差関
数（４２）により動きベクトル（４０）と１画素単位の
平均予測誤差（４１）とを求めるブロック・マッチング
処理をし（１７）、 前記ブロック・マッチング処理（１７）において求めた
平均予測誤差（４１） が前記閾値（３６）を越えている
ときにはクワッド・トリーによる動きベクトル場の分割
を行いながら、代表動きベクトル（４４）を選択して前
記分割の階層レベル（４５）を前記代表ベクトル（４
４）の付加情報とするクワッド・トリー処理をする（１
５，１８）動きベクトル探索方法。 - 【請求項２】 動画像符号化のフレーム間予測により１
画素マッチングの誤差関数（３３，３４，３７，４２）
と１画素単位の動きベクトル場（３５）を得るための動
きベクトル生成処理をし（１１，１２，１３）、 処理すべきブロックの位置（４３）と階層レベル（４
５）とから処理すべきブロック（３９）を選択するため
のブロック選択処理をし（１６）、 前記処理すべきブロック（３９）を指示されて、この指
示されたブロックに対応する前記１画素マッチングの誤
差関数（４２）により動きベクトル（４０）と１画素単
位の平均予測誤差（４１）とを求めるブロック・マッチ
ング処理をし（１７）、 前記処理すべきブロック（３９）を指示されて前記１画
素マッチングの誤差関数（３７）と前記１画素単位の動
きベクトル場（３５）とから予測誤差の平均を求めその
平均予測誤差に応じて適応閾値（３６）を生成する閾値
生成処理をし（１４）、 前記１画素単位の平均予測誤差（４１）と前記適応閾値
（３６）とを比較してクワッド・トリー分割すべきか否
かの判断をして分割命令（３８）を出すための分割判断
処理をし（１５）、 前記分割命令（３８）と、前記動きベクトル（４０）と
を受けてクワッド・トリー生成のための前記処理すべき
ブロックの位置（４３）と前記階層レベル（４５）と前
記クワッド・トリー分割の最後に受けた前記動きベクト
ル（４０）を代表動きベクトル（４４）として出力する
クワッド・トリー生成処理をする（１８）動きベクトル
探索方法。 - 【請求項３】 前記閾値生成処理（１４）が、 前記処理すべきブロック（３９）をｂN,M とし、前記１
画素マッチングの誤差関数（３７）をｅx（Δｘ）と
し、前記１画素単位の動きベクトル場（３５）をＶ
（ｘ）とし、前記動きベクトル場Ｖ（ｘ）の予測誤差を
ｅx（Ｖ（ｘ））とし、任意の閾値定数をＴq とし、ｘ
を前記処理すべきブロックｂN,M に含まれる画素の位置
とし、前記処理すべきブロックｂN,M に含まれる画素の
総数をＳ（ｂN,M ）とし、前記適応閾値（３６）をｅr
＋Ｔqとしたとき、 ｅr＝（１／Ｓ（ｂN,M ））Σｅx（Ｖ（ｘ）） ここでΣは前記処理すべきブロックｂN,M に含まれる画
素の位置ｘについての累和として表わされる計算処理を
含んでいる請求項２の動きベクトル探索方法。 - 【請求項４】 動画像のフレーム間の１画素単位の動き
ベクトル場（３５）を得るための動きベクトル手段（１
１，１２，１３）と、処理すべきブロック（３９）における 前記１画素単位の
動きベクトル場（３５）と１画素マッチングの誤差関数
（３７）とから得られる予測誤差を用いて処理すべきそ
れぞれのブロック内で計算された原画像に関する１画素
単位での平均予 測誤差を求めその平均予測誤差に応じて
変化する閾値（３６）を生成する閾値生成手段（１４）
と、処理すべきブロックの位置（４３）と階層レベル（４
５）とから前記処理すべきブロック（３９）を選択する
ためのブロック選択手段（１６）と、 前記処理すべきブロック（３９）を指示されて、この指
示されたブロックに対応する１画素マッチングの誤差関
数（４２）により動きベクトル（４０）と１画素単位の
平均予測誤差（４１）とを求めるブロック・マッチング
手段（１７）と、 前記ブロック・マッチング手段（１７）において求めた
平均予測誤差（４１）が前記閾値（３６）を越えている
ときには クワッド・トリーによる動きベクトル場の分割
を行いながら、代表動きベクトル（４４）を選択して前
記分割の階層レベル（４５）を前記代表ベクトル（４
４）の付加情報とするクワッド・トリー手段（１５，１
８）とを含む動きベクトル探索装置。 - 【請求項５】 動画像符号化フレーム間の１画素マッチ
ングの誤差関数（３３，３４，３７，４２）と１画素単
位の動きベクトル場（３５）を得るための動きベクトル
生成手段（１１，１２，１３）と、 処理すべきブロックの位置（４３）と階層レベル（４
５）とから処理すべきブロック（３９）を選択するため
のブロック選択手段（１６）と、 前記処理すべきブロック（３９）を指示されて、この指
示されたブロックに対応する前記１画素マッチングの誤
差関数（４２）により動きベクトル（４０）と１画素単
位の平均予測誤差（４１）とを求めるブロック・マッチ
ング手段（１７）と、 前記処理すべきブロック（３９）を指示されて前記１画
素マッチングの誤差関数（３７）と前記１画素単位の動
きベクトル場（３５）とから予測誤差の平均を求めその
平均予測誤差に応じて適応閾値（３６）を生成する閾値
生成手段（１４）と、 前記１画素単位の平均予測誤差（４１）と前記適応閾値
（３６）とを比較してクワッド・トリー分割すべきか否
かの判断をして分割命令（３８）を出すための分割判断
手段（１５）と、 前記分割命令（３８）と、前記動きベクトル（４０）と
を受けてクワッド・トリー生成のための前記処理すべき
ブロックの位置（４３）と前記階層レベル（４５）と前
記クワッド・トリー分割の最後に受けた前記動きベクト
ル（４０）を代表動きベクトル（４４）として出力する
クワッド・トリー生成手段（１８）とを含む動きベクト
ル探索装置。 - 【請求項６】 前記閾値生成手段（１４）が、 前記処理すべきブロック（３９）をｂN,M とし、前記１
画素マッチングの誤差関数（３７）をｅx（Δｘ）と
し、前記１画素単位の動きベクトル場（３５）をＶ
（ｘ）とし、前記動きベクトル場Ｖ（ｘ）の予測誤差を
ｅx（Ｖ（ｘ））とし、任意の閾値定数をＴq とし、ｘ
を前記処理すべきブロックｂN,M に含まれる画素の位置
とし、前記処理すべきブロックｂN,M に含まれる画素の
総数をＳ（ｂN,M ）とし、前記適応閾値（３６）をｅr
＋Ｔqとしたとき、 ｅr＝（１／Ｓ（ｂN,M ））Σｅx（Ｖ（ｘ）） ここでΣは前記処理すべきブロックｂN,M に含まれる画
素の位置ｘについての累和として表わされる計算動作を
する請求項５の動きベクトル探索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10444094A JP2980810B2 (ja) | 1994-04-20 | 1994-04-20 | 動きベクトル探索方法と装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10444094A JP2980810B2 (ja) | 1994-04-20 | 1994-04-20 | 動きベクトル探索方法と装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07298265A JPH07298265A (ja) | 1995-11-10 |
| JP2980810B2 true JP2980810B2 (ja) | 1999-11-22 |
Family
ID=14380727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10444094A Expired - Lifetime JP2980810B2 (ja) | 1994-04-20 | 1994-04-20 | 動きベクトル探索方法と装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2980810B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2872975A1 (fr) | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | Procede et dispositif pour choisir un mode de codage |
| FR2872989A1 (fr) * | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | Procede et dispositif pour choisir un vecteur mouvement pour le codage d'un ensemble de blocs |
| FR2872974A1 (fr) * | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | Procede ou dispositif de codage adaptatif |
-
1994
- 1994-04-20 JP JP10444094A patent/JP2980810B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07298265A (ja) | 1995-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100446235B1 (ko) | 다중 후보를 이용한 움직임 벡터 병합 탐색 방법 | |
| EP0720377B1 (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| US7046850B2 (en) | Image matching | |
| US6301385B1 (en) | Method and apparatus for segmenting images prior to coding | |
| US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
| US5572258A (en) | Motion compensation estimating device and method achieving improved motion compensation | |
| KR100583902B1 (ko) | 이미지세그멘테이션 | |
| US8773595B2 (en) | Image processing | |
| JPH07154784A (ja) | 分類されたベクトルの量子化による映像信号のチャネルエラー訂正方法 | |
| EP2221763A1 (en) | Image generation method, device, its program and recording medium stored with program | |
| CN111583138A (zh) | 视频增强方法及装置、电子设备、存储介质 | |
| JP2002522836A (ja) | 静止画像生成方法および装置 | |
| KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
| Cho et al. | Temporal incoherence-free video retargeting using foreground aware extrapolation | |
| US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| JP3979768B2 (ja) | デジタル映像分割方法及びその装置 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
| US20050129312A1 (en) | Unit for and method of segmentation | |
| CN110519597B (zh) | 一种基于hevc的编码方法、装置、计算设备和介质 | |
| CA2173888C (en) | System and method for focused-based image segmentation for video signals | |
| JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
| JP2934151B2 (ja) | 動きベクトル探索方法と装置 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 |