JP2798035B2 - 適応動きベクトル補間による動き補償フレーム間予測方法 - Google Patents

適応動きベクトル補間による動き補償フレーム間予測方法

Info

Publication number
JP2798035B2
JP2798035B2 JP549296A JP549296A JP2798035B2 JP 2798035 B2 JP2798035 B2 JP 2798035B2 JP 549296 A JP549296 A JP 549296A JP 549296 A JP549296 A JP 549296A JP 2798035 B2 JP2798035 B2 JP 2798035B2
Authority
JP
Japan
Prior art keywords
motion vector
area
motion
interpolation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP549296A
Other languages
English (en)
Other versions
JPH09200770A (ja
Inventor
裕 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP549296A priority Critical patent/JP2798035B2/ja
Priority to US08/782,659 priority patent/US6058212A/en
Publication of JPH09200770A publication Critical patent/JPH09200770A/ja
Application granted granted Critical
Publication of JP2798035B2 publication Critical patent/JP2798035B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動画像の符号化に用
いられる、動画像の動き補償フレーム間予測方法につい
て、定められた複数個の代表点における動きベクトルか
ら、画面内の全ての画素位置での動きベクトルを補間
し、フレーム間予測を行う方法に関する。
【０００２】
【従来の技術】動画像の符号化で用いられる動き補償フ
レーム間予測の方法として、あらかじめ定められた複数
個の代表点における動きベクトルから、画面内の全ての
画素位置での動きベクトルを補間することで予測信号を
生成する方法が知られている。この方法の一例として、
ジョージ・キャンベル（Ｔ．Ｇｅｏｒｇｅ Ｃａｍｐｂ
ｅｌｌ）、「ベリー・ロー・ビット・レート・コーダー
・ユージング・ワーピング・プレディクション（Ｖｅｒ
ｙ Ｌｏｗ Ｂｉｔ ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｅ
ｒ ｕｓｉｎｇ Ｗａｒｐｉｎｇ Ｐｒｅｄｉｃｔｉｏ
ｎ）」、１９９３年第８回画像符号化シンポジウム（Ｐ
ＣＳＪ９３）、８−７、（文献１）に記載の方法や、グ
レイ・サリバン、リキャード・ベイカー（Ｇｒａｙ
Ｊ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｒｉｃｈａｒｄ Ｌ．
Ｂａｋｅｒ）、「モーション・コンペンセーション・フ
ォー・ビデオ・コンプレッション・ユージング・コント
ロール・グリッド・インターポーレイション（Ｍｏｔｉ
ｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ
Ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ Ｃｏｎｔｒｏ
ｌ Ｇｒｉｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、ザ・
１９９１・インターナショナル・コンフェレンス・オン
・アコースティック・スピーチ・アンド・シグナル・プ
ロセッシング（Ｔｈｅ １９９１ Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔ
ｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏ
ｃｅｓｓｉｎｇ：ＩＣＡＳＳＰ９１）、Ｍ９．１、（文
献２）に記載の方法や、中屋雄一郎、原島博、「３角パ
ッチによる動き補償の基礎検討」、電子情報通信学会画
像工学研究会技術研究報告ＩＥ９０−１０６、（文献
３）に記載の方法が知られている。これらの方法では、
まず、あらかじめ代表点を設定し、その点での動きベク
トルを検出したあと、代表点を結ぶ直線で画像を３角形
あるいは４角形の小区画に分割し、それぞれの区画内部
の画素位置での動きベクトルを、区画の頂点で検出され
た動きベクトルから、線形内挿により補間している。そ
して、求めた動きベクトルに従い、各画素のフレーム間
予測値を決定している。
【０００３】以上説明した従来の方法では、動きベクト
ルを連続的に変化するように補間するので、ブロック歪
を発生せず、しかも平行移動だけでなくズームや回転な
どの動きを表現できるという利点を持っている。しかし
ながら、局所的な速い動きや異なる動きをもつ被写体の
境界部分のように、動きベクトルの変化が急激である場
合には対応できない。そのため、このような場合に、被
写体が不自然に変形してしまうような歪が知覚されてい
た。
【０００４】
【発明が解決しようとする課題】本発明の目的は、局所
的な速い動きや、動きベクトルが急激に変化している部
分にも対応できるような、動きベクトル補間によるフレ
ーム間予測処理を実現することにある。
【０００５】
【課題を解決するための手段】第１の発明では、動画像
の符号化に際し、画面内あるいは画面内と画面枠の近傍
の外側で複数個の代表点を設定し、前記代表点における
動きベクトルを検出し、画面内の全ての画素位置での動
きベクトルを、前記代表点での動きベクトルから補間す
ることで求め、画素ごとに動き補償フレーム間予測を行
う方法において、画面を複数の領域に分割し、領域ごと
に境界上に位置する代表点または注目領域と隣接領域に
含まれる代表点を用いて画素ごとの動きベクトルの補間
を行う方法と、領域ごとに前記補間で参照した代表点と
は独立に動きベクトルを検出し、画素ごとの動きベクト
ルの補間を行う方法とを、領域ごとに適応的に選択する
ことを特徴とする。
【０００６】第２の発明(請求項１に対応）では、動画
像の符号化に際し、画面内あるいは画面内と画面枠の近
傍の外側で複数個の代表点を設定し、前記代表点におけ
る動きベクトルを検出し、画面内の全ての画素位置での
動きベクトルを、前記代表点での動きベクトルから補間
することで求め、画素ごとに動き補償フレーム間予測を
行う方法において、画面を複数の領域に分割し、領域ご
とに境界上に位置する代表点または注目領域と隣接領域
に含まれる代表点を用いて画素ごとの動きベクトルの補
間を行う方法と、領域ごとに注目領域をさらに細分割し
て、おのおのの細分割領域内では、その領域が含むかあ
るいは接する代表点を用いて、画素ごとの動きベクトル
の補間を行う方法とを、領域ごとに適応的に選択するこ
とを特徴とする。
【０００７】第３の発明（請求項２に対応）では、動画
像の符号化に際し、画面内あるいは画面内と画面枠の近
傍の外側で複数個の代表点を設定し、前記代表点におけ
る動きベクトルを検出し、画面内の全ての画素位置での
動きベクトルを、前記代表点での動きベクトルから補間
することで求め、画素ごとに動き補償フレーム間予測を
行う方法において、画面を複数の領域に分割し、領域ご
とに境界上に位置する代表点または注目領域と隣接領域
に含まれる代表点を選定し、選定した代表点で検出され
た動きベクトルの値を動きベクトルの補間処理に使用す
る値に一時的に変換する複数の方法をあらかじめ用意
し、領域ごとに動きベクトルの変換方法を適応的に選択
し、領域ごとに選択した変換方法により、選定した代表
点において検出された動きベクトルの値を注目領域の動
きベクトル補間処理に使用する値に一時的に変換し、前
記変換した動きベクトルを用い、あらかじめ定めた方法
で画素ごとの動きベクトルの補間を行うことを特徴とす
る。
【０００８】第４の発明では、動画像の符号化に際し、
画面内あるいは画面内と画面枠の近傍の外側で複数個の
代表点を設定し、前記代表点における動きベクトルを検
出し、画面内の全ての画素位置での動きベクトルを、前
記代表点での動きベクトルから補間することで求め、画
素ごとに動き補償フレーム間予測を行う方法において、
画面を複数の領域に分割し、領域ごとに境界上に位置す
る代表点または注目領域と隣接領域に含まれる代表点を
用いて画素ごとの動きベクトルの補間を行い、動き補償
フレーム間予測値を求める方法と、領域ごとにあらかじ
め定めた一定の値を予測値とする方法とを領域ごとに適
応的に選択することを特徴とする。
【０００９】本発明によれば、動画像のフレーム間予測
において、部分的に動きベクトルの補間方法を適応的に
切替えるので、局所的な画像の性質に対応してフレーム
間予測処理を行うことができる。
【００１０】図１で本発明の作用を説明する。いま図１
（ａ）の参照画像から図１（ｂ）の現画像を動き補償フ
レーム間予測する方法を考える。前記文献１に記載の従
来方法では、現画像に対して図１（ｃ）に示す格子構造
を設定し、代表点を格子点上に設定し、その位置での動
きベクトルを検出する。その結果、例えば図１（ｄ）の
ように参照画像上で格子構造の対応付けがなされ、これ
に基づいて予測を行うと、図１（ｅ）に示す予測画像が
得られる。このとき、局所的な速い動きをもつ被写体の
予測は十分に行うことができず、予測誤差が大きくな
る。また、動きが異なる物体の境界部では、形状が変形
する歪を生じることがあった。
【００１１】第１の発明によれば、例えば図１（ｃ）の
ような格子構造を設定した場合に、この格子で区切られ
る区画を予測処理の単位領域とし、領域ごとに、前記従
来の技術で説明したように、線形内挿により動きベクト
ルを補間し動き補償フレーム予測を行うか、あるいは、
領域ごとに別途した動きベクトルを検出して、注目領域
内部は別途検出したベクトルだけで動き補償フレーム間
予測を行うが、領域ごとに適応選択する。図１（ｇ）で
は、網かけをした区画で、別途動きベクトルを検出し
て、それぞれ、図１（ｆ）の対応する部分を参照し動き
補償フレーム間予測をしている。この方式によれば、従
来問題であった局所的な速い動きをもつ被写体や、動き
が異なる物体の境界部においても高精度の予測が可能と
なる。
【００１２】また、第２の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、領域ごと
に、前記従来の技術で説明したように、線形内挿により
動きベクトルを補間し動き補償フレーム間予測を行う
か、あるいは、注目領域をさらに細分割し、細分領域ご
とにその領域が接する代表点動きベクトルを用いて動き
補償フレーム間予測を行なうかを領域ごとに適応選択す
る。例えば図２（ｂ）のように、ある領域を細分割領域
１４，１５および細分割領域１６，１７に分割する。こ
れらの領域ではその領域が接する代表点だけを用いて動
きベクトルの内挿処理を行う。この例では、細分割区画
１４では、点Ｃ、Ｅを、細分割領域１５では点Ｄ、Ｆの
動きベクトルをそれぞれ用いる。さらにこの場合第１の
発明と組み合せて、細分割領域１６では、点Ａ、Ｃを用
いて、細分割領域１７では別途動きベクトルを検出して
動き補償フレーム間予測を行う。この方式によれば、細
分割した境界部分での動きの急激な変化を表現させるこ
とができ、従来問題であった変形歪を抑制できる。
【００１３】また、第３の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、動きベクト
ルの補間に用いる代表点について、検出された動きベク
トルの値を動きベクトルの補間処理にだけ使用する値に
一時的に変換する複数の方法をあらかじめ用意してお
き、領域ごとに、その変換方法を適応選択する。例え
ば、動きベクトルの値を互いに置き換えるという変換方
法をあらかじめいくつか定めておく。このとき図２
（ｄ）のような場合、領域１８において、従来方法では
点Ａ，Ｂ，Ｃ，Ｄで検出された動きベクトルをそのまま
用いて動きベクトルの補間が行われる。一方、本発明で
は、点Ａおよび点Ｃでの補間処理に用いる動きベクトル
は、それらの点で検出された動きベクトルをそのまま用
い、点Ｂの補間処理に用いる動きベクトルは点Ａでの検
出動きベクトルで、点Ｄの補間処理に用いる動きベクト
ルは点Ｃでの検出動きベクトルで、それぞれ置き換える
変換方法を選択し、選択した方法により動きベクトルを
一時的に変換し、領域内の動きベクトルの補間を行う。
なお、この変換は注目領域内部の動きベクトルの補間処
理のためだけに一時的に用いられるものであり、変換さ
れた動きベクトルの値は、他の隣接領域での動きベクト
ルの補間処理には影響しない。また、領域１９の例でも
同様に、点Ｃおよび点Ｅでの補間処理に用いる動きベク
トルは、それらの点で検出された動きベクトルをそのま
ま用い、点Ｄの補間処理に用いる動きベクトルは点Ｃで
の検出動きベクトルで、点Ｆの補間処理に用いる動きベ
クトルは点Ｅでの検出動きベクトルで、それぞれ置き換
える変換方法を選択し、選択した方法により動きベクト
ルを一時的に変換し、領域内の動きベクトルの補間を行
う。この方式によれば、指定の領域で不適切な動きベク
トルを用いずに動きベクトルの補間が実現でき、高精度
の予測が可能となる。
【００１４】また、第４の発明によれば、例えば図１
（ｃ）のような格子構造を設定した場合に、この格子で
区切られる区画を予測処理の単位領域とし、領域ごとに
従来方法による動き補償フレーム間予測を行うか、ある
いは、注目領域内ではあらかじめ定めた一定の値を予測
値とするかを適応的に切替える。例えば図２（ｅ）のよ
うに、予測誤差の大きな部分は予測不可能と判定し、そ
の区画の予測値を指定したある値にする。この予測処理
のあとに、予測誤差を符号化することで動画像の符号化
方式を実現する場合、前記指定値を予測値とする領域で
は、原画像の信号値そのものを符号化することにより、
より正確な画像の再現を行うことが可能となる。
【００１５】
【発明の実施の形態】図３は第１の発明の処理手順であ
る。まず代表点を設定する手段１０１では、動きベクト
ルを検出する代表点の設定を行う。次に代表点での動き
ベクトルを検出する手段１０２では、前記設定した代表
点位置での動きベクトルを検出する。そのあと、画面を
複数の領域に分割する手段１０３では、動きベクトルの
補間方法を適応的に切替えるための単位領域への分割を
行う。領域ごとに代表点で検出した動きベクトルを用い
て動きベクトルの補間をする手段１０４では、前記従来
技術で記した方法に従い、前記分割領域ごとに領域の境
界線上に位置するすべての代表点または注目領域と隣接
領域に含まれるすべての代表点を用いて動きベクトルの
補間を行う。また注目する領域だけに適用する動きベク
トルを検出する手段１０５では、前記補間に使用する代
表点とは独立に動きベクトルを別途検出する。注目する
領域ごとに別途検出した動きベクトルを用いた方法で動
きベクトルの補間をする手段１０６では、前記の別途検
出した動きベクトルを用いて、動きベクトルの補間を行
う。領域ごとに動きベクトルの補間方法を選択する手段
１０７では、前記２つの方法のいずれで動きベクトルの
補間を行うかを領域ごとに適応的に判定する。最後に領
域内部の動き補償フレーム間予測をする手段１０８にお
いて、前記手段１０７で選択された方法に従いフレーム
間予測画像を生成する。
【００１６】図４は第２の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに代表点で検出した動きベクトルを用いて動きベ
クトルの補間をする手段１０４では、前記従来技術で記
した方法に従い、前記分割領域ごとに領域の境界線上に
位置するすべての代表点または注目領域と隣接領域に含
まれるすべての代表点を用いて動きベクトルの補間を行
う。また、注目領域をさらに細分割する手段２０１で
は、注目領域をあらかじめ定めた分割パタンによって細
分する。そして細分割領域ごとに、領域が接する動きベ
クトルを用いた方法で動きベクトルの補間をする手段２
０２で、前記手段２０１で細分した領域ごとにその領域
に関わる動きベクトルだけを用いてそれぞれ動きベクト
ルの補間を行う。領域ごとに動きベクトルの補間方法を
選択する手段１０７では、前記２つの方法のいずれで動
きベクトルの補間を行うかを領域ごとに適応的に判定す
る。最後に領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段１０７で選択された方法に
従いフレーム間予測画像を生成する。
【００１７】図５は第３の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに検出動きベクトルの変換方法を選択し、補間処
理に使用する動きベクトルの値に変換する手段３０１で
は、注目領域の動きベクトル補間で用いられる代表点に
ついて、検出された動きベクトルの値を動きベクトルの
補間処理にだけ使用する値に変換する方法をあらかじめ
用意されている複数の方法から領域ごとに変換方法を適
応選択し、前記代表点で検出された動きベクトルを当該
領域の補間処理に使用する動きベクトルの値に一時的に
変換する。領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段で一時的に変換された動き
ベクトルを用いてフレーム間予測画像を生成する。
【００１８】図６は第４の発明の処理手順である。まず
代表点を設定する手段１０１では、動きベクトルを検出
する代表点の設定を行う。次に代表点での動きベクトル
を検出する手段１０２では、前記設定した代表点位置で
の動きベクトルを検出する。そのあと、画面を複数の領
域に分割する手段１０３では、動きベクトルの補間方法
を適応的に切替えるための単位領域への分割を行う。領
域ごとに代表点で検出した動きベクトルを用いて動きベ
クトルの補間をする手段１０４では、前記従来技術で記
した方法に従い、前記分割領域ごとに領域の境界線上に
位置するすべての代表点または注目領域と隣接領域に含
まれるすべての代表点を用いて動きベクトルの補間を行
う。そして領域内部の動き補償フレーム間予測をする手
段１０８において、前記手段１０４の方法に従いフレー
ム間予測画像を生成する。また、領域ごとにあらかじめ
定めた一定の値を予測値とする手段４０１では、検出動
きベクトルには関わらず、ある値で注目領域を埋め尽く
す。領域ごとに予測値を定める方法を選択する手段４０
２では、前記２つの方法のいずれで予測値を定めるかを
領域ごとに適応的に判定し、選択した方法に従いフレー
ム間予測画像を生成する。
【００１９】以下では、各処理手段を個別に詳しく説明
する。
【００２０】（代表点配置）代表点を設定する手段１０
１における、動きベクトルの検出が行われる代表点の配
置を決定する方法について説明する。当該処理で設定さ
れる代表点の配置の例を図７に示す。図７（ａ）（ｂ）
は矩形ブロックの頂点に代表点を配置した例である。代
表点を結んで構成される区画分けは、図７（ａ）のよう
に、４角形でもよいし、図７（ｂ）のように４角形に対
角線を追加した３角形としてもよい。あるいは図７
（ｃ）のような３角形の格子状に代表点配置をしてもよ
い。また、前記に述べた方法で配置した代表点位置を初
期配置とし、さらに修正処理を加えて変形させた区画構
造を持った配置を用いてもよい。例えば図７（ｄ）のよ
うに、画面から輪郭線を検出し、区画の境界線が検出輪
郭に適合するように、代表点位置を修正しておいてもよ
い。このように、配置は全ての処理画像に対して固定で
もよいし、画像ごとに個別に設定してもよい。また、図
８（ａ）、（ｂ）、（ｃ）のように、画面の外にも代表
点を配置してもよい。
【００２１】（動き検出）代表点での動きベクトルを検
出する手段１０２における、上記設定した代表点位置で
の動きベクトルを検出する方法について説明する。動き
ベクトル検出には、ブロック・マッチング法を用いるこ
とができる。マッチングの対象領域には固定サイズの矩
形ブロックを用いることができる。また、代表点位置を
フレーム間で追跡してマッチングをとる場合には、代表
点近傍ほど重み付けしたブロック・マッチングを用いる
こともできる。たとえば、代表点の位置を（ｘ0 ，
ｙ0 ）、マッチング評価範囲ＲをＲ＝｛（ｘ，ｙ）｜ｘ
1 ≦ｘ≦ｘ2 ，ｙ1 ≦ｙ≦ｙ2 ｝としたとき、評価位置
（ｘ，ｙ）での重みｗは、 ｗ（ｘ，ｙ）＝ｂS −（｜ｘ−ｘ0 ｜＋｜ｙ−ｙ0 ｜） （１） と定義する。ここでｂS はｂS ＝ｍａｘ｛｜ｘ1 −ｘ0
｜＋｜ｙ1 −ｙ0 ｜，｜ｘ1 −ｘ0 ｜＋｜ｙ2 −ｙ
0 ｜，｜ｘ2 −ｘ0 ｜＋｜ｙ1 −ｙ0 ｜，｜ｘ2 −ｘ0
｜＋｜ｙ2 −ｙ0 ｜｝である。重み付けの方法として
は、マッチング評価範囲の領域で任意の重み係数マップ
を設定することができ、ここに述べた方法に限られな
い。
【００２２】動きベクトル検出は、所定の候補ベクトル
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル（ｖx ，ｖy ）を選
んだときの予測誤差量Ｅｒｒ（ｖx ，ｖy ）は、現フレ
ーム画像をＣ（ｘ，ｙ）、参照フレーム画像をＰ（ｘ，
ｙ）とすると、
【００２３】
【数１】
【００２４】で評価する。評価は計算の負荷軽減のため
に２乗和ではなく絶対値和を用いて、以下のように計算
してもよい。
【００２５】
【数２】
【００２６】あるいは、３角形の区画を用いている場合
には、上記ブロック・マッチングの評価対象領域とし
て、注目代表点に隣接する３角形の区画領域を結合した
６角形領域を使うことができる。ただし、画面周辺部で
は６角形とは限らない。また同様に、４角形の区画を用
いている場合でも、注目代表点に隣接する４角形の区画
領域を結合した領域を使ってもよい。また、画面の外の
値を参照したい場合は、画面の端の値を繰り返して補間
するなどの手法で実現できる。
【００２７】さらに、マッチング法で検出した動きベク
トルを予測結果を参照して再修正することも可能であ
る。例えば、まずマッチング法で検出した動きベクトル
を中心として動きベクトルの再探索範囲を設定する。再
探索範囲内の候補ベクトルに対し、注目代表点に隣接す
る全ての区画領域における動き補償予測誤差を評価し、
誤差が最小となる候補ベクトルを動きベクトルとして検
出する。
【００２８】なお、画面の外に配置された代表点での動
きベクトルについては、常にベクトルの大きさを０とし
てもよいし、最も端に位置する近傍の動きベクトルと同
じ値にしてもよいし、前記の方法で同じように動き検出
を行ってもよい。ただし、前記の方法で動き検出する場
合は、評価範囲は画面内部の画素を十分含む程度に大き
くとる必要がある。
【００２９】（画面の分割）画面を複数の領域に分割す
る手段１０３では、動きベクトルの補間方法を適応的に
決定する単位領域の設定を行う。例えば、図７のよう
に、代表点を結んで構成される４角形あるいは３角形の
区画をそのままひとつの領域として画面を分割する。あ
るいは図７（ｂ）のとき斜辺を共有する二つの直角３角
形を結合した正方形領域を単位領域として、図７（ａ）
の区画と同じ分割をしてもよい。あるいは、図８
（ａ）、（ｂ）のような配置の場合には、図８（ｄ）、
（ｅ）のように代表点を中心とした領域で画面を分割し
てもよい。ここで、図８（ｄ）、（ｅ）では、点線で区
切られた４角形領域がひとつの分割領域を示す。また、
図８（ｃ）のように代表点配置を変更した場合は、代表
点を母点とするボロノイ分割をしてもよい。
【００３０】（動きベクトル補間）領域ごとに、代表点
で検出した動きベクトルを用いて動きベクトルの補間を
する手段１０４における方法について説明する。ここで
は使う補間方法では、代表点を結んだ線分で分けられる
区画ごとに補間処理を行う。たとえば、３角形の区画を
用いている場合には、３つの頂点の動きベクトルから、
区画内部の各画素の動きベクトルを線形補間で求める。
例えば図９のように、ある３角形ＡＢＣの内部の点Ｐに
おける動きベクトル
【００３１】
【外１】
【００３２】は、３つの頂点での動きベクトル
【００３３】
【外２】
【００３４】から、
【００３５】
【数３】
【００３６】により求めることができる。このように区
画内部の全ての画素位置での動きベクトルを補間し、画
素毎に動き補償位置を求める。
【００３７】画素毎の動き補償位置を求める別の方法を
図１０を用いて説明する。この方法では、フレーム間で
対応する３角形のマッピングをとり、対応をアフィン変
換で表現する。この方法によれば、まず、注目する３角
形の区画について、対応する３組の頂点位置の関係か
ら、アフィン変換パラメータを計算する。３角形内部の
画素の動き補償位置は、前記アフィン変換パラメータか
ら算出する。
【００３８】アフィン変換を利用する場合の、動き補償
位置の計算法について説明する。２次元のアフィン変換
は式（５）のように６つのパラメータａ〜ｆにより、あ
る位置（ｘ，ｙ）に対応した参照画像上の動き補償位置
（ｘ′，ｙ′）を表現する。
【００３９】
【数４】
【００４０】ここで、ある３角形の３頂点の位置を（ｘ
1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3，ｙ3 ）とし、こ
の３角形に対応する参照画像上での３頂点の位置を
（ｘ′1 ，ｙ′1 ），（ｘ′2 ，ｙ′2 ），（ｘ′3 ，
ｙ′3 ）とすると、
【００４１】
【数５】
【００４２】が成立する。この式を以下のように解くこ
とによりパラメータを計算することができる。
【００４３】
【数６】
【００４４】３角形内部の画素の動き補償位置は、求め
たアフィン変換パラメータから式（５）により計算す
る。
【００４５】また、長方形の区画を用いる場合には、区
画内部の画素位置での動きベクトルは、４つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図１１のように、ある長方形Ａ
ＢＤＣの内部の点Ｐにおける動きベクトル
【００４６】
【外３】
【００４７】は、４つの頂点での動きベクトル
【００４８】
【外４】
【００４９】から、
【００５０】
【数７】
【００５１】により求めることができる。
【００５２】前記のようにして画素毎に動き補償位置を
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は（ｘ′，
ｙ′）での画素値をＰ（ｘ′，ｙ′）とし、ｘ0 ＝
［ｘ′］，ｙ0 ＝［ｙ′］，α＝ｘ′−［ｘ′］、β＝
ｙ′−［ｙ′］とおいて、 Ｐ（ｘ′，ｙ′）＝（１−α）・（１−β）・Ｐ（ｘ0 ，ｙ0 ）＋α・（１ −β）・Ｐ（ｘ0 ＋１，ｙ0 ）＋（１−α）・β・Ｐ（ｘ0 ，ｙ0 ＋１）＋α・ β・Ｐ（ｘ0 ＋１，ｙ0 ＋１） （９） により計算する。ここで、［ｘ］はｘを越えない最大の
整数を示す。
【００５３】このように区画内の全ての画素位置での予
測値を計算し、区画内の予測信号を生成して出力する。
【００５４】なお、図８（ｄ）（ｅ）のように代表点を
結んだ線分で区切られた区画と分割領域が一致しない場
合でも、動き補償フレーム間予測については、代表点を
結んでできる線分で区切られた区画を単位として処理す
る。例えば、図１５（ａ）のように、破線で示された格
子で区画分けされている画面に対して、点線の４角形で
示される領域分割をしているとき、注目の領域は破線で
領域ア、イ、ウ、エに４等分され、それぞれが属する区
画に対応した動きベクトルの補間方法に従って処理され
る。すなわち、領域アは代表点Ａ、Ｂ、Ｄ、Ｅでの動き
ベクトルを用いて、領域イは代表点Ｂ、Ｃ、Ｅ、Ｆでの
動きベクトルを用いて、領域ウは代表点Ｄ、Ｅ、Ｇ、Ｈ
での動きベクトルを用いて、領域エは代表点Ｅ、Ｆ、
Ｈ、Ｉでの動きベクトルを用いて、それぞれ動きベクト
ルの補間が実現される。
【００５５】（第１の発明の動きベクトル補間方法）注
目領域だけに適用する動きベクトルの検出をする手段１
０５における方法を説明する。動き検出の方法として
は、前記代表点での動きベクトルの検出する手段１０２
と同様な方法を用いることができる。このとき予測誤差
の評価領域を、当該領域にすることで注目領域に適した
動きベクトルを検出する。
【００５６】注目領域ごとに別途検出した動きベクトル
を用いた方法で動きベクトルの補間をする手段１０６に
ついて説明する。まず、図７の代表点配置で、代表点を
結ぶ線分で領域分けを行う場合について説明する。この
場合以下のような方法がある。 （１）別途検出した動きベクトルで、当該領域内の画素
位置での動きベクトルを均一に補間する。 （２）別途検出した動きベクトルを、当該領域の重心位
置での動きベクトルと仮定し、重心位置と領域の各頂点
を結ぶ直線で、あるいは重心位置と各辺の中点とを結ぶ
線分で領域を区画分けし、分割小区画ごとに区画の頂点
の動きベクトルから線形内挿処理により、動きベクトル
の補間を行う。この方式の実現例を図１３（ｂ）、図１
４（ｂ）に示す。それぞれ図１３（ａ）、図１４（ａ）
の形状の分割領域に対して、重心位置に代表点を追加し
区画を細分している。 （３）別途検出した動きベクトルで、当該領域の頂点の
動きベクトルの一部を置き換えて、動きベクトルの内挿
補間処理を行う。
【００５７】次に、図８の代表点配置で、代表点を領域
の中心に配置するように領域分けを行う構成の場合につ
いて説明する。この場合には以下のような方法がある。 （１）別途動きベクトルをひとつだけ検出し、当該領域
内の画素位置での動きベクトルを均一に補間する。 （２）別途動きベクトルを複数個検出し、当該領域内の
画素位置での動きベクトルを内挿補間する。例えば、当
該領域の頂点位置での動きベクトルを検出して、内部の
動きベクトルは内挿計算により求める。あるいは、４角
形領域の場合に４等分に細分割し、それぞれの細分割領
域の中央の位置での動きベクトルを検出して、内部の動
きベクトルは内挿計算により求める。この方式の実現例
を図１５（ｂ）に示す。白い点は始めに動きベクトルを
検出した代表点であるが、注目の領域内の動きベクトル
の補間には使用されないことを示す。図１５（ｂ）の黒
い点は新たに動きベクトルを検出する代表点であり、こ
の位置での動きベクトルが注目の領域内の動きベクトル
の補間には使用される。
【００５８】ここで、２点の代表点ベクトルだけで、線
形補間を行う場合には、２点からの距離に応じた重み付
け平均を計算することで実現できる。例えば図１２のよ
うに、ある代表点Ａ、Ｂの動きベクトル
【００５９】
【外５】
【００６０】から、点Ｐにおける動きベクトル
【００６１】
【外６】
【００６２】を求める場合、
【００６３】
【数８】
【００６４】により求めることができる。また、１点の
代表点ベクトルだけで、補間を行う場合には、そのベク
トルで均一に補間することとする。
【００６５】（第２の発明の動きベクトル補間方法）注
目領域をさらに細分割する手段２０１における方法を説
明する。分割の方法については、図１３（ｃ）、図１４
（ｃ）で示したように、あらかじめ用意した特定の分割
パタンを使用しても良い。このときパタンの表現につい
ては、それぞれを識別する符号を与えて、それにより表
現する。あるいは、図１３（ｅ）、図１４（ｅ）に示す
ように、特定のパタンをパラメータによって変形させた
パタンを使っても構わない。これらの図では、それぞれ
の分割パタンにおいて、境界線を矢印で示したように移
動させることで、様々な分割パタンを形成する方法を示
している。この場合、基本のパタンと移動の方向と移動
量をパラメータをして表現することができ、分割状態を
表現できる。また、これらの方法とは別に、画素単位の
任意な分割を行い分割線をチェイン・コードで記述する
方法を使うこともできる。
【００６６】細分割領域ごとに、領域が接する動きベク
トルを用いた方法で動きベクトルの補間をする手段２０
２における方法を説明する。この場合以下のような方法
がある。 （１）それぞれの細分割された領域は隣接している代表
点を用いて、内部の動きベクトルの補間を行う。この方
式の実現例を図１３（ｃ）、図１４（ｃ）に示す。この
場合、接している代表点の数が４点、３点、２点とさま
ざまであるが、それぞれ図１１（式（８））、図９、７
（式（４）、式（５））、図１２（式（１０））に従い
予測を行えばよい。接している代表点の数が１点の場合
はその位置での動きベクトルで領域内を均一に補間すれ
ばよい。 （２）第１の発明と組合せて、それぞれの細分割された
領域に対して領域の頂点位置で検出された動きベクトル
とは別に、当該領域の動きを示す動きベクトルを別途検
出して、検出動きベクトルにより均一に補間する。この
方式の実現例を図１３（ｄ）、図１４（ｄ）、図１５
（ｃ）に示す。図では白い点は始めに動きベクトルを検
出した代表点であるが、注目の領域内の動きベクトルの
補間には使用されないことを示す。また黒い点は新たに
動きベクトルを検出する領域を示しており、細分領域の
それぞれについて、ベクトル検出を行う。 （３）細分割領域ごとに、検出したベクトルを用いて内
挿により動きベクトルを補間する。この方式の実現例を
図１５（ｄ）に示す。ベクトルは複数個検出し、細分割
領域ごとに、そのなかから一つを選択して補間処理に用
いる。図の矢印は内挿処理に使用される領域の方向を示
している。例えば図１５（ｄ）の一番左の場合、点Ｅの
位置で２つの動きベクトルを検出し、それぞれ領域ア、
ウ用、領域イ、エ用の動きベクトルとして割り当て、動
きベクトルの補間を行う。なお図の例では２分割の場合
だけを示しているが、それ以上の個数に分割してもよ
い。 （４）それぞれの細分割された領域に対して上記項目の
（１）、（２）、（３）を細分領域ごとに適応的に選択
する。
【００６７】（適応判定）注目領域ごとに動きベクトル
の補間方法を選択する手段１０７では、前記で説明した
選択方法のなかから、注目領域のベクトル補間方法を適
応的に選択する。選択の方法としては、当該領域につい
て、それぞれの選択し得る場合の予測誤差を比較して、
最も誤差の少ないベクトルの補間方法を選択する。ある
いは符号化効率を考慮した基準で選択する方法を用いて
もよい、すなわち、従来方法ではない他のベクトル補間
方法を選択する場合には、補間方法の種類の指定のため
や、追加代表点の動きベクトルを追加する場合や細分割
を行う場合には分割のパタンを示すためなどに付加符号
が必要となる。そのため付加符号量の増加に見合うだけ
の予測性能の改善があると思われる場合だけ、他の補間
方法の選択を行うという判定方法を使う。例えば、それ
ぞれの場合の領域内の画素あたり平均２乗予測誤差を計
算し、その最小のものについて、従来の方式に比べた改
善量があらかじめ指定したしきい値以上の他の補間方法
の選択を行う方法を使うという方法で実現できる。ある
いは、付加符号量の抑制のため、検出した動きベクトル
に基づいて予測の方法を選択する方法を用いてもよい。
この方法によれば、動きベクトル情報から予測方法の決
定ができるので、付加符号量が必要無い。なお、選択す
る補間方法はここで述べた方法の全てを選択候補として
扱ってもよいし、その一部を候補としてもよい。
【００６８】（動き補償フレーム間予測）領域内部の動
き補償フレーム間予測をする手段１０８では、前記のよ
うに選択された動きベクトル補間方法に基づいて、領域
ごとに当該領域内の各画素の動きベクトルを求め、その
値に従って参照画像上の動き補償位置を計算し、フレー
ム間予測値を決定する。
【００６９】なお、動き検出、動き補償処理で参照する
画像としては、動画像符号化システムにおいて、直前に
符号化した画像の局所復号画像を用いてもよいし、過去
に符号化した画像の復号画像から生成できる画像を保持
して用いてもよい。
【００７０】（第３の発明の動きベクトル補間方法）次
に、第３の発明で用いられる、領域ごとに検出動きベク
トルの変換方法を選択し、補間処理に使用する動きベク
トルの値に変換する手段３０１における方法を説明す
る。
【００７１】まず、図９の３角形格子の区画で領域分割
されている場合を考える。このとき、動きベクトルの補
間は、代表点Ａ、Ｂ、Ｃでそれぞれ検出された動きベク
トル
【００７２】
【外７】
【００７３】を用いて式（４）に従い補間される。本発
明では、補間に用いる動きベクトルの値を検出動きベク
トル
【００７４】
【外８】
【００７５】を用いて変換する。いま変換動きベクトル
を
【００７６】
【外９】
【００７７】とし、ベクトルの変換を以下の式により定
義する。
【００７８】
【数９】
【００７９】ここでＷ3 は３×３の行列である。この行
列の具体的な例と意味を以下に列挙する。
【００８０】
【数１０】
【００８１】次に、図１１の４角形格子の区画で領域分
割されている場合を考える。このとき、動きベクトルの
補間は、代表点Ａ、Ｂ、Ｃ、Ｄでそれぞれ検出された動
きベクトル
【００８２】
【外１０】
【００８３】を用いて式（８）に従い補間される。本発
明では、この場合も前記３角形格子の区画と同様に、補
間に用いる動きベクトルの値を検出動きベクトル
【００８４】
【外１１】
【００８５】を用いて変換する。いま変換動きベクトル
を
【００８６】
【外１２】
【００８７】とし、ベクトルの変換を以下の式により定
義する。
【００８８】
【数１１】
【００８９】ここでＷ4 は４×４の行列である。この行
列の具体的な例と意味を以下に列挙する。
【００９０】
【数１２】
【００９１】次に、図１５のように、４角形格子を用い
て格子点が領域の中央に配置されるように領域分割され
ている場合を考える。このとき、動きベクトルの補間
は、代表点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉでそれ
ぞれ検出された動きベクトル
【００９２】
【外１３】
【００９３】を用いて補間される。本発明では、補間に
用いる動きベクトルの値を検出動きベクトルを用いて変
換する。いま変換動きベクトルを
【００９４】
【外１４】
【００９５】とし、ベクトルの変換を以下の式により定
義する。
【００９６】
【数１３】
【００９７】ここでＷ9 は９×９の行列である。この行
列の具体的な例と意味を以下に列挙する。
【００９８】
【数１４】
【００９９】なお、変換を定義する行列Ｗ3 ，Ｗ4 ，Ｗ
9 は、任意な行列を定義することができ、ここで示した
ものだけに限られない。
【０１００】また、変換方法の選択基準としては、前記
手段１０７と同様な処理を用いることで実現できる。
【０１０１】（第４の発明の方法）次に、第４の発明で
用いられる手段について説明する。まず、注目領域ごと
にあらかじめ定めた一定の値を予測値とする手段４０１
における方法を説明する。ここでは、検出動きベクトル
には関わらず、ある値で当該領域を埋め尽くす。例えば
値０で予測値を定める。あるいは信号値の取り得る値の
中央値を予測値として定める。
【０１０２】注目領域ごとに予測値を定める方法を選択
する手段４０２では、前記手段１０８と前記手段４０１
によって予測される結果に基づき、２つの方法のいずれ
で予測値を定めるかを領域ごとに適応的に判定し、選択
した方法に従いフレーム間予測画像を生成する。
【０１０３】
【発明の効果】以上説明したように本発明では、画面を
複数の領域に分割し、分割領域単位に最適な予測方法が
選択できる。そのため、局所的な画像の性質に従い処理
が行えるので、より精度の高い予測処理を行うことが可
能である。
【図面の簡単な説明】
【図１】本発明の作用を説明する図。
【図２】本発明の作用を説明する図。
【図３】第１の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。
【図４】第２の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。
【図５】第３の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。
【図６】第４の発明の動き補償フレーム間予測方法の実
施例を示す流れ図の詳細部分を示す図。
【図７】代表点の配置を示す図。
【図８】代表点の配置方法を示す図。
【図９】３角形区画内部の動きベクトルを線形補間で計
算する方法を示す図。
【図１０】３角形区画のマッピングにより動き補償予測
をする方法を説明する図。
【図１１】４角形区画内部の動きベクトルを線形補間で
計算する方法を示す図。
【図１２】２点の動きベクトルからその他の画素の動き
ベクトルを線形補間で計算する方法を示す図。
【図１３】補間方法を説明する図。
【図１４】補間方法を説明する図。
【図１５】補間方法を説明する図。
【符号の説明】
１１ 動き検出ベクトル １２ 別途検出した動きベクトル １３ 適応的に予測方式を切替えた領域 １４ 適応的に分割された領域 １５ 適応的に分割された領域 １６ 適応的に分割された領域 １７ 適応的に分割された領域 １８ 適応的に予測方式を切替えた領域 １９ 適応的に予測方式を切替えた領域 ２０ 適応的に一定値を予測値とすると判定された領域 ２１ 画面枠 ２２ 代表点 ２３ 輪郭線 ２４ 注目被写体 １０１ 代表点を設定する手段 １０２ 代表点での動きベクトルを検出する手段 １０３ 画面を小領域に分割する手段 １０４ 領域ごとに代表点で検出した動きベクトルを用
いて動きベクトルの補間をする手段 １０５ 注目領域だけに適用する動きベクトルを別途検
出する手段 １０６ 注目領域ごとの別途検出した動きベクトルを用
いた方法で動きベクトルを補間する手段 １０７ 領域ごとに動きベクトルの補間方法を選択する
手段 １０８ 領域内部の動き補償フレーム間予測をする手段 ２０１ 注目領域をさらに細分割する手段 ２０２ 細分割領域ごとに領域が接する動きベクトルを
用いた方法で動きベクトルの補間をする手段 ３０１ 領域ごとに検出動きベクトルの変換方法を選択
し、補間処理に使用する動きベクトルの値に変換する手
段 ４０１ 領域ごとにあらかじめ定めた一定の値を予測値
とする手段 ４０２ 領域ごとに予測値を定める方法を選択する手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−22296（ＪＰ，Ａ) 特開 平８−65680（ＪＰ，Ａ) 1995年電子情報通信学会情報・システ ムソサイエティ大会講演論文集、Ｄ− 109（1995）、Ｐ．111 1992年電子情報通信学会秋季大会講演 論文集、分冊６、Ｄ−132（1992）Ｐ. 133 (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】 動画像の符号化に際し、画面内あるいは
    画面内と画面枠の近傍の外側で複数個の代表点を設定
    し、前記代表点における動きベクトルを検出し、画面内
    の全ての画素位置での動きベクトルを、前記代表点での
    動きベクトルから補間することで求め、画素ごとに動き
    補償フレーム間予測を行う方法において、画面を複数の
    領域に分割し、領域ごとに境界上に位置する代表点また
    は注目領域と隣接領域に含まれる代表点を用いて画素ご
    との動きベクトルの補間を行う方法と、領域ごとに注目
    領域をさらに細分割して、おのおのの細分割領域内で
    は、その領域が含むかあるいは接する代表点を用いて、
    画素ごとの動きベクトルの補間を行う方法とを、領域ご
    とに適応的に選択することを特徴とする動き補償フレー
    ム間予測方法。
  2. 【請求項２】 動画像の符号化に際し、画面内あるいは
    画面内と画面枠の近傍の外側で複数個の代表点を設定
    し、前記代表点における動きベクトルを検出し、画面内
    の全ての画素位置での動きベクトルを、前記代表点での
    動きベクトルから補間することで求め、画素ごとに動き
    補償フレーム間予測を行う方法において、画面を複数の
    領域に分割し、領域ごとに境界上に位置する代表点また
    は注目領域と隣接領域に含まれる代表点を選定し、選定
    した代表点で検出された動きベクトルの値を動きベクト
    ルの補間処理に使用する値に一時的に変換する複数の方
    法をあらかじめ用意し、領域ごとに動きベクトルの変換
    方法を適応的に選択し、領域ごとに選択した変換方法に
    より、選定した代表点において検出された動きベクトル
    の値を注目領域の動きベクトル補間処理に使用する値に
    一時的に変換し、前記変換した動きベクトルを用い、あ
    らかじめ定めた方法で画素ごとの動きベクトルの補間を
    行うことを特徴とする動き補償フレーム間予測方法。
JP549296A 1996-01-17 1996-01-17 適応動きベクトル補間による動き補償フレーム間予測方法 Expired - Lifetime JP2798035B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP549296A JP2798035B2 (ja) 1996-01-17 1996-01-17 適応動きベクトル補間による動き補償フレーム間予測方法
US08/782,659 US6058212A (en) 1996-01-17 1997-01-14 Motion compensated interframe prediction method based on adaptive motion vector interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP549296A JP2798035B2 (ja) 1996-01-17 1996-01-17 適応動きベクトル補間による動き補償フレーム間予測方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP10092919A Division JPH10243401A (ja) 1998-04-06 1998-04-06 適応動きベクトル補間による動き補償フレーム間予測方法

Publications (2)

Publication Number Publication Date
JPH09200770A JPH09200770A (ja) 1997-07-31
JP2798035B2 true JP2798035B2 (ja) 1998-09-17

Family

ID=11612746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP549296A Expired - Lifetime JP2798035B2 (ja) 1996-01-17 1996-01-17 適応動きベクトル補間による動き補償フレーム間予測方法

Country Status (2)

Country Link
US (1) US6058212A (ja)
JP (1) JP2798035B2 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6571016B1 (en) * 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US6141382A (en) * 1998-09-18 2000-10-31 Sarnoff Corporation Using estimated distortion values
US6553069B1 (en) * 1999-06-17 2003-04-22 Samsung Electronics Co., Ltd. Digital image segmenting method and device
US20020012471A1 (en) * 2000-06-14 2002-01-31 Wildform, Inc. Multimedia compression/decompression and compressed data representation
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US6885765B2 (en) * 2001-04-04 2005-04-26 Mitsubishi Electric Research Laboratories, Inc. Method for determining compactness ratios of multiple data and signal sets
CN1976472A (zh) * 2001-09-18 2007-06-06 松下电器产业株式会社 图像的译码方法
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
CN100591126C (zh) * 2002-10-21 2010-02-17 Nxp股份有限公司 操纵压缩视频信号的子图像
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
DE602004016774D1 (de) * 2003-12-23 2008-11-06 Nxp Bv Verfahren und system zum stabilisieren von videodaten
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20060110048A1 (en) * 2004-10-18 2006-05-25 Laurent Charlin System and method for characterizing 2-dimensional shapes by compactness measurements
JP4489033B2 (ja) 2005-03-25 2010-06-23 三洋電機株式会社 フレームレート変換装置、パン・チルト判定装置および映像装置
US7668366B2 (en) * 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
TWI326187B (en) * 2006-02-22 2010-06-11 Huper Lab Co Ltd Method of multidirectional block matching computing
JP4804238B2 (ja) * 2006-06-20 2011-11-02 三菱電機株式会社 動きベクトル検出装置
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
JP2010524383A (ja) * 2007-04-09 2010-07-15 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US8600189B2 (en) * 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
FR2933565A1 (fr) * 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
CN104159111B (zh) * 2009-05-29 2018-11-06 三菱电机株式会社 图像解码装置以及图像解码方法
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
WO2011077632A1 (ja) * 2009-12-22 2011-06-30 Ｊｖｃ・ケンウッド・ホールディングス株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム
WO2011145282A1 (ja) * 2010-05-21 2011-11-24 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム
JP5686019B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法および画像復号プログラム
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
JP5686018B2 (ja) * 2010-05-21 2015-03-18 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
JP5661359B2 (ja) 2010-07-16 2015-01-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP2685717A4 (en) 2011-03-09 2014-08-27 Toshiba Kk METHOD FOR CODING VIDEO IMAGES AND METHOD FOR DECODING VIDEO IMAGES
JP5682454B2 (ja) * 2011-05-30 2015-03-11 株式会社Ｊｖｃケンウッド 映像処理装置及び補間フレーム生成方法
JP6128113B2 (ja) * 2012-02-22 2017-05-24 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11379695B2 (en) 2016-10-24 2022-07-05 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
EP0721287A1 (en) * 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
US5623313A (en) * 1995-09-22 1997-04-22 Tektronix, Inc. Fractional pixel motion estimation of video signals

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
１９９２年電子情報通信学会秋季大会講演論文集、分冊６、Ｄ−１３２（１９９２）Ｐ．１３３
１９９５年電子情報通信学会情報・システムソサイエティ大会講演論文集、Ｄ−１０９（１９９５）、Ｐ．１１１

Also Published As

Publication number Publication date
US6058212A (en) 2000-05-02
JPH09200770A (ja) 1997-07-31

Similar Documents

Publication Publication Date Title
JP2798035B2 (ja) 適応動きベクトル補間による動き補償フレーム間予測方法
JP4242656B2 (ja) 動きベクトル予測方法及び動きベクトル予測装置
US6226050B1 (en) Signal adaptive filtering method for reducing ringing noise and signal adaptive filter
JPH08205194A (ja) 動き補償フレーム間予測装置
EP0734177A2 (en) Method and apparatus for encoding/decoding a video signal
US5068722A (en) Motion vector estimating apparatus
US20080013835A1 (en) Image processing apparatus and method, program recording medium, and program
JP2798120B2 (ja) 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
US20060098886A1 (en) Efficient predictive image parameter estimation
JP3426092B2 (ja) 動画像符号化装置における動き補償フレーム間予測方法
US6021230A (en) Interpolation method for binary image
JP4709074B2 (ja) 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体
KR100208375B1 (ko) 동화상 부호화 방법 및 장치
JPH10243401A (ja) 適応動きベクトル補間による動き補償フレーム間予測方法
KR100393063B1 (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
JP2009048487A (ja) 画像処理装置及び画像処理プログラム
JP3654664B2 (ja) 画像符号化装置及び画像復号装置
JP4490351B2 (ja) 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体
KR101556625B1 (ko) 영상 확대 보간 방법
US5715006A (en) apparatus for and method of motion compensation with boundarycorrection for moving picture
JP3867346B2 (ja) 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法
JP3700230B2 (ja) 動画像符号化における動き補償方法
JP4245587B2 (ja) 動き補償予測方法
JP6171584B2 (ja) 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム
JP3513277B2 (ja) 映像符号化装置及び映像復号化装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070703

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080703

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090703

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100703

Year of fee payment: 12