JPH09214899A - 画像予測処理方法および装置 - Google Patents
画像予測処理方法および装置Info
- Publication number
- JPH09214899A JPH09214899A JP8015345A JP1534596A JPH09214899A JP H09214899 A JPH09214899 A JP H09214899A JP 8015345 A JP8015345 A JP 8015345A JP 1534596 A JP1534596 A JP 1534596A JP H09214899 A JPH09214899 A JP H09214899A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- motion vector
- uncovered
- interpolated image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 連続する４画像を用いて内挿画像上のアンカ
バー領域の予測と動きベクトルの決定を行う従来技術を
改善する。 【解決手段】 連続した２つの画像ｆ（ｔ），ｆ（ｔ＋
１）間で双方向に動きベクトルを検出して両画像上のア
ンカバー領域と非アンカバー領域を特定する。次いで、
双方向動きベクトルに基づき、内挿画像上に非アンカバ
ー領域を割り付けていき、最後まで割り付けが行われな
かった穴あき領域を内挿画像上のアンカバー領域として
予測する。動きベクトルの決定は、両画像上のアンカバ
ー領域近傍に存在する動きベクトルを上記方法で予測し
た内挿画像上のアンカバー領域の動きベクトルの候補と
して、内挿画像上に上記両画像のアンカバー領域を移動
させ、検出された内挿画像上のアンカバー領域と重なる
場合に、候補ベクトルを順方向の場合はそのまま、逆方
向の場合は向きを反転させて内挿画像上のアンカバー領
域の動きベクトルに決定する。
バー領域の予測と動きベクトルの決定を行う従来技術を
改善する。 【解決手段】 連続した２つの画像ｆ（ｔ），ｆ（ｔ＋
１）間で双方向に動きベクトルを検出して両画像上のア
ンカバー領域と非アンカバー領域を特定する。次いで、
双方向動きベクトルに基づき、内挿画像上に非アンカバ
ー領域を割り付けていき、最後まで割り付けが行われな
かった穴あき領域を内挿画像上のアンカバー領域として
予測する。動きベクトルの決定は、両画像上のアンカバ
ー領域近傍に存在する動きベクトルを上記方法で予測し
た内挿画像上のアンカバー領域の動きベクトルの候補と
して、内挿画像上に上記両画像のアンカバー領域を移動
させ、検出された内挿画像上のアンカバー領域と重なる
場合に、候補ベクトルを順方向の場合はそのまま、逆方
向の場合は向きを反転させて内挿画像上のアンカバー領
域の動きベクトルに決定する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像予測処理方法
および装置に係り、特に動き補正型画像内挿処理装置
（例えば、動き補正型テレビジョン方式変換装置、動き
補正型スローモーション装置など）において、内挿画像
上において、物体が移動することにより現れる領域（ア
ンカバード・バックグラウンド領域）、および物体が移
動することにより隠れる領域（カバード・バックグラウ
ンド領域）であるアンカバー領域の予測と、その予測領
域における動きベクトルの決定を行う方法および装置に
関する。
および装置に係り、特に動き補正型画像内挿処理装置
（例えば、動き補正型テレビジョン方式変換装置、動き
補正型スローモーション装置など）において、内挿画像
上において、物体が移動することにより現れる領域（ア
ンカバード・バックグラウンド領域）、および物体が移
動することにより隠れる領域（カバード・バックグラウ
ンド領域）であるアンカバー領域の予測と、その予測領
域における動きベクトルの決定を行う方法および装置に
関する。
【０００２】
【従来の技術】テレビジョン信号の時間軸方向にサンプ
リングされた動画像の時間軸方向の内挿処理を行う場
合、内挿画像上における動きベクトルを決定する必要が
あるが、アンカバー領域と、そうでない領域とでは、同
様の手段で動きベクトルを決定することができない。現
実の動き物体の移動に適合した画像内挿を行うために
は、内挿画像におけるアンカバー領域の正確な予測とア
ンカバー領域の妥当な動きベクトルの決定が必要であ
る。
リングされた動画像の時間軸方向の内挿処理を行う場
合、内挿画像上における動きベクトルを決定する必要が
あるが、アンカバー領域と、そうでない領域とでは、同
様の手段で動きベクトルを決定することができない。現
実の動き物体の移動に適合した画像内挿を行うために
は、内挿画像におけるアンカバー領域の正確な予測とア
ンカバー領域の妥当な動きベクトルの決定が必要であ
る。
【０００３】いま、時間的に連続した４つの画像をｆ
（ｔ−１），ｆ（ｔ），ｆ（ｔ＋１），ｆ（ｔ＋２）と
し、内挿画像を時間的にｆ（ｔ）とｆ（ｔ＋１）の間に
位置する画像とする。また、内挿画像の時間的位置は内
挿比に従うものとする。動き補正型画像内挿処理を行う
ためには、内挿画像上で動きベクトルを決定する必要が
ある。その理由は、ｆ（ｔ）およびｆ（ｔ＋１）上の動
きベクトルだけでは内挿画像を作成するために使用する
領域が定まらない場合があるためである。例えば、図１
５は、静止した背景の前を、ボールが移動する場合を示
している。時刻ｔにおいてＳの位置にあったボールが時
刻ｔ＋１ではＴの位置に移動し、時刻ｔにおいてＵの位
置の背景は時刻ｔ＋１でＶの位置にある（静止してい
る）とき、動きベクトル検出の結果、Ｖ５で示すボール
の動きベクトルと、Ｖ６で示す背景の動きベクトルが検
出される。
（ｔ−１），ｆ（ｔ），ｆ（ｔ＋１），ｆ（ｔ＋２）と
し、内挿画像を時間的にｆ（ｔ）とｆ（ｔ＋１）の間に
位置する画像とする。また、内挿画像の時間的位置は内
挿比に従うものとする。動き補正型画像内挿処理を行う
ためには、内挿画像上で動きベクトルを決定する必要が
ある。その理由は、ｆ（ｔ）およびｆ（ｔ＋１）上の動
きベクトルだけでは内挿画像を作成するために使用する
領域が定まらない場合があるためである。例えば、図１
５は、静止した背景の前を、ボールが移動する場合を示
している。時刻ｔにおいてＳの位置にあったボールが時
刻ｔ＋１ではＴの位置に移動し、時刻ｔにおいてＵの位
置の背景は時刻ｔ＋１でＶの位置にある（静止してい
る）とき、動きベクトル検出の結果、Ｖ５で示すボール
の動きベクトルと、Ｖ６で示す背景の動きベクトルが検
出される。
【０００４】このとき、内挿画像上の領域Ｒにおいて、
動きベクトルＶ５を使用する領域Ｓと領域Ｔを用いた画
像内挿と、動きベクトルＶ６を使用する領域Ｕと領域Ｖ
を用いた画像内挿の、いずれを行うかを決定する必要が
ある。そのため、動き補正型画像内挿処理装置では、内
挿画像上の動きベクトルを決定することが必要となる。
動きベクトルＶ５を使用する領域Ｓと領域Ｔを用いた画
像内挿と、動きベクトルＶ６を使用する領域Ｕと領域Ｖ
を用いた画像内挿の、いずれを行うかを決定する必要が
ある。そのため、動き補正型画像内挿処理装置では、内
挿画像上の動きベクトルを決定することが必要となる。
【０００５】内挿画像上のアンカバー領域における動き
ベクトルを決定する従来の方法は、ｆ（ｔ−１）とｆ
（ｔ）の間でｆ（ｔ−１）を基準として、例えば勾配法
やブロックマッチング法により検出した動きベクトル、
ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ）を基準として検
出した動きベクトル、およびｆ（ｔ＋１）とｆ（ｔ＋
２）の間でｆ（ｔ＋１）を基準として検出した動きベク
トルの合計３つの動きベクトル場を用いる手法である。
ベクトルを決定する従来の方法は、ｆ（ｔ−１）とｆ
（ｔ）の間でｆ（ｔ−１）を基準として、例えば勾配法
やブロックマッチング法により検出した動きベクトル、
ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ）を基準として検
出した動きベクトル、およびｆ（ｔ＋１）とｆ（ｔ＋
２）の間でｆ（ｔ＋１）を基準として検出した動きベク
トルの合計３つの動きベクトル場を用いる手法である。
【０００６】この従来の手法においては、まず、ｆ
（ｔ）とｆ（ｔ＋１）上のアンカバー領域の検出を以下
の手順で行う。すなわち、図１６でＡとＢで示す領域の
ように、ｆ（ｔ）を基準として検出した動きベクトルで
ｆ（ｔ＋１）上に移動したときに対応する位置（領域
Ｅ）が重なっているｆ（ｔ）上の複数の領域を検出し、
カバード・バッググラウンド領域（ｆ（ｔ＋１）上で隠
れる領域）の候補とする。これら候補の領域のうち、ｆ
（ｔ＋１）上の対応する領域との間で画像情報の相関が
小さいものを、ｆ（ｔ）上のカバード・バックグラウン
ド領域とする。相関としては２つの領域に含まれる画素
の輝度レベルの差の絶対値の総和（以下、ＤＦＤとい
う）を用いる（ＤＦＤが小さいほど２つの領域の相関が
高い）。図１６の例では、ＡとＥの相関およびＢとＥの
相関を求め、相関の小さい（ＤＦＤの大きい）方の領域
をｆ（ｔ）上のカバード・バックグラウンド領域とす
る。また、図１６のｆ（ｔ＋１）上の領域Ｆのように、
ｆ（ｔ）上の領域をその動きベクトルによってｆ（ｔ＋
１）上に割り付けていったとき、ｆ（ｔ＋１）上に割り
付けが行われない領域、すなわちｆ（ｔ）と対応をもた
ないｆ（ｔ＋１）上のいわば穴あき領域を、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域（ｆ（ｔ
＋１）上で現れる領域）とする。
（ｔ）とｆ（ｔ＋１）上のアンカバー領域の検出を以下
の手順で行う。すなわち、図１６でＡとＢで示す領域の
ように、ｆ（ｔ）を基準として検出した動きベクトルで
ｆ（ｔ＋１）上に移動したときに対応する位置（領域
Ｅ）が重なっているｆ（ｔ）上の複数の領域を検出し、
カバード・バッググラウンド領域（ｆ（ｔ＋１）上で隠
れる領域）の候補とする。これら候補の領域のうち、ｆ
（ｔ＋１）上の対応する領域との間で画像情報の相関が
小さいものを、ｆ（ｔ）上のカバード・バックグラウン
ド領域とする。相関としては２つの領域に含まれる画素
の輝度レベルの差の絶対値の総和（以下、ＤＦＤとい
う）を用いる（ＤＦＤが小さいほど２つの領域の相関が
高い）。図１６の例では、ＡとＥの相関およびＢとＥの
相関を求め、相関の小さい（ＤＦＤの大きい）方の領域
をｆ（ｔ）上のカバード・バックグラウンド領域とす
る。また、図１６のｆ（ｔ＋１）上の領域Ｆのように、
ｆ（ｔ）上の領域をその動きベクトルによってｆ（ｔ＋
１）上に割り付けていったとき、ｆ（ｔ＋１）上に割り
付けが行われない領域、すなわちｆ（ｔ）と対応をもた
ないｆ（ｔ＋１）上のいわば穴あき領域を、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域（ｆ（ｔ
＋１）上で現れる領域）とする。
【０００７】次に、以下の手順で内挿画像上のアンカバ
ー領域を予測する。上述のｆ（ｔ）上のカバード・バッ
クグラウンド領域をその位置で検出した動きベクトルで
内挿比に応じて内挿画像上に移動したときに内挿画像上
の対応する位置の領域を、内挿画像上のカバード・バッ
クグラウンド領域とする。また、ｆ（ｔ）上の非アンカ
バー領域をその位置で検出した動きベクトルで内挿比に
応じて内挿画像上に移動したときに内挿画像上の対応す
る位置の領域を内挿画像上の非アンカバー領域とする。
この内挿画像上の非アンカバー領域が内挿画像上のカバ
ード・バックグラウンド領域に重なった部分は、非アン
カバー領域とする。このようにして求めた、内挿画像上
のカバード・バックグラウンド領域および非アンカバー
領域以外の内挿画像上のいわば穴あき領域を内挿画像上
のアンカバード・バックグラウンド領域とする。
ー領域を予測する。上述のｆ（ｔ）上のカバード・バッ
クグラウンド領域をその位置で検出した動きベクトルで
内挿比に応じて内挿画像上に移動したときに内挿画像上
の対応する位置の領域を、内挿画像上のカバード・バッ
クグラウンド領域とする。また、ｆ（ｔ）上の非アンカ
バー領域をその位置で検出した動きベクトルで内挿比に
応じて内挿画像上に移動したときに内挿画像上の対応す
る位置の領域を内挿画像上の非アンカバー領域とする。
この内挿画像上の非アンカバー領域が内挿画像上のカバ
ード・バックグラウンド領域に重なった部分は、非アン
カバー領域とする。このようにして求めた、内挿画像上
のカバード・バックグラウンド領域および非アンカバー
領域以外の内挿画像上のいわば穴あき領域を内挿画像上
のアンカバード・バックグラウンド領域とする。
【０００８】例えば、図１７では、ｆ（ｔ）上の領域Ｂ
がｆ（ｔ）上のカバード・バックグラウンド領域である
とする。このとき、領域Ｂをその動きベクトルで内挿画
像上に移動したときに対応する位置の領域Ｂ′を求め、
その求めた領域Ｂ′を内挿画像上のカバード・バックグ
ラウンド領域とする。ｆ（ｔ）上の非アンカバー領域Ａ
を、その動きベクトルで内挿画像上に移動したときに対
応する位置の領域Ａ′を求め、その領域Ａ′を内挿画像
上の非アンカバー領域とする。また、非アンカバー領域
Ａ′が内挿画像上のカバード・バックグラウンド領域
Ｂ′と重なる部分は、非アンカバー領域とする。さら
に、ｆ（ｔ）と対応をもたないいわば穴あき領域の領域
Ｈを、内挿画像上のアンカバード・バックグラウンド領
域とする。
がｆ（ｔ）上のカバード・バックグラウンド領域である
とする。このとき、領域Ｂをその動きベクトルで内挿画
像上に移動したときに対応する位置の領域Ｂ′を求め、
その求めた領域Ｂ′を内挿画像上のカバード・バックグ
ラウンド領域とする。ｆ（ｔ）上の非アンカバー領域Ａ
を、その動きベクトルで内挿画像上に移動したときに対
応する位置の領域Ａ′を求め、その領域Ａ′を内挿画像
上の非アンカバー領域とする。また、非アンカバー領域
Ａ′が内挿画像上のカバード・バックグラウンド領域
Ｂ′と重なる部分は、非アンカバー領域とする。さら
に、ｆ（ｔ）と対応をもたないいわば穴あき領域の領域
Ｈを、内挿画像上のアンカバード・バックグラウンド領
域とする。
【０００９】次に、内挿画像上のアンカバー領域におけ
る動きベクトルを決定する。ここでは、ｆ（ｔ−１），
ｆ（ｔ）の間でｆ（ｔ−１）を基準として検出した動き
ベクトルを用いる。すなわち、ｆ（ｔ−１）上の領域を
内挿画像上に移動したときに対応する位置の領域もしく
は対応する位置の領域の一部が、内挿画像上のカバード
・バックグラウンド領域と重なるとき、その動きベクト
ルを重なった内挿画像上のカバード・バックグラウンド
領域の動きベクトルとする。また、ｆ（ｔ＋１），ｆ
（ｔ＋２）の間でｆ（ｔ＋１）を基準として検出した動
きベクトルを用い、ｆ（ｔ＋１）上の領域を逆向きに内
挿画像上に移動したときに対応する位置の領域もしくは
対応する位置の領域の一部が、内挿画像上のアンカバー
ド・バックグラウンド領域と重なるとき、その動きベク
トルを重なった内挿画像上のアンカバード・バックグラ
ウンド領域の動きベクトルとする。
る動きベクトルを決定する。ここでは、ｆ（ｔ−１），
ｆ（ｔ）の間でｆ（ｔ−１）を基準として検出した動き
ベクトルを用いる。すなわち、ｆ（ｔ−１）上の領域を
内挿画像上に移動したときに対応する位置の領域もしく
は対応する位置の領域の一部が、内挿画像上のカバード
・バックグラウンド領域と重なるとき、その動きベクト
ルを重なった内挿画像上のカバード・バックグラウンド
領域の動きベクトルとする。また、ｆ（ｔ＋１），ｆ
（ｔ＋２）の間でｆ（ｔ＋１）を基準として検出した動
きベクトルを用い、ｆ（ｔ＋１）上の領域を逆向きに内
挿画像上に移動したときに対応する位置の領域もしくは
対応する位置の領域の一部が、内挿画像上のアンカバー
ド・バックグラウンド領域と重なるとき、その動きベク
トルを重なった内挿画像上のアンカバード・バックグラ
ウンド領域の動きベクトルとする。
【００１０】例えば、図１８の、内挿画像上の領域Ｉを
アンカバード・バックグラウンド領域（ｆ（ｔ＋１）上
で現れる領域）、領域Ｊをカバード・バックグラウンド
領域（ｆ（ｔ＋１）上で隠れる領域）とする。ｆ（ｔ−
１）上の領域Ｇ１をその位置で検出した動きベクトルＶ
１１で、内挿画像上に移動したときに対応する位置の領
域Ｇ１′は、内挿画像上のカバード・バックグラウンド
領域とは重ならないため、Ｖ１１は内挿画像上のカバー
ド・バックグラウンド領域の動きベクトルとはならな
い。ｆ（ｔ−１）上の領域Ｇ２をその位置で検出した動
きベクトルＶ１２で、内挿画像上に移動したときに対応
する位置の領域Ｇ２′は、内挿画像上のカバード・バッ
クグラウンド領域Ｊと重なるため、重なった部分Ｊ′
（図１８の斜線の領域）の動きベクトルをＶ１２とす
る。同様に、ｆ（ｔ＋１）とｆ（ｔ＋２）の間でｆ（ｔ
＋１）を基準として検出した動きベクトルを用い、ｆ
（ｔ＋１）上の領域を内挿画像上に移動したときに対応
する位置の領域もしくは対応する位置の領域の一部が、
内挿画像上のアンカバード・バックグラウンド領域Ｉと
重なる場合、その動きベクトルを、重なった領域Ｉの動
きベクトルとする。
アンカバード・バックグラウンド領域（ｆ（ｔ＋１）上
で現れる領域）、領域Ｊをカバード・バックグラウンド
領域（ｆ（ｔ＋１）上で隠れる領域）とする。ｆ（ｔ−
１）上の領域Ｇ１をその位置で検出した動きベクトルＶ
１１で、内挿画像上に移動したときに対応する位置の領
域Ｇ１′は、内挿画像上のカバード・バックグラウンド
領域とは重ならないため、Ｖ１１は内挿画像上のカバー
ド・バックグラウンド領域の動きベクトルとはならな
い。ｆ（ｔ−１）上の領域Ｇ２をその位置で検出した動
きベクトルＶ１２で、内挿画像上に移動したときに対応
する位置の領域Ｇ２′は、内挿画像上のカバード・バッ
クグラウンド領域Ｊと重なるため、重なった部分Ｊ′
（図１８の斜線の領域）の動きベクトルをＶ１２とす
る。同様に、ｆ（ｔ＋１）とｆ（ｔ＋２）の間でｆ（ｔ
＋１）を基準として検出した動きベクトルを用い、ｆ
（ｔ＋１）上の領域を内挿画像上に移動したときに対応
する位置の領域もしくは対応する位置の領域の一部が、
内挿画像上のアンカバード・バックグラウンド領域Ｉと
重なる場合、その動きベクトルを、重なった領域Ｉの動
きベクトルとする。
【００１１】また、内挿画像上のカバード／アンカバー
ド・バックグラウンド領域（／は、「および」を意味す
る、以下同じ）に複数の異なる動きベクトルが候補とな
る場合には、以下の手順で内挿画像上のカバード／アン
カバード・バックグラウンド領域における動きベクトル
を決定する。すなわち、図１９に示すように、内挿画像
上のカバード・バックグラウンド領域をＪとし、ｆ（ｔ
−１）上の領域Ｊ′t- 1 で検出した動きベクトルＶ９
と、ｆ（ｔ−１）上の領域Ｊ″t-1 で検出した動きベク
トルＶ１０が、領域Ｊの候補となったとき、動きベクト
ルＶ９で領域Ｊ′ t-1 をｆ（ｔ）上に移動したときに対
応する位置の領域Ｊ′t と、動きベクトルＶ１０で領域
Ｊ″t-1 をｆ（ｔ）上に移動したときに対応する位置の
領域Ｊ″tを求め、Ｊ′t-1 とＪ′t の画像情報の相関
と、Ｊ″t-1 とＪ″t の画像情報の相関を求め、相関の
大きい方の動きベクトルを、領域Ｊの動きベクトルとす
る。アンカバード・バックグラウンド領域に異なる複数
の動きベクトルが候補となるときも同様に、内挿画像上
のアンカバード・バックグラウンド領域をＩとし、ｆ
（ｔ＋１）上の領域Ｉ′t+1 で検出した動きベクトルＶ
７と、ｆ（ｔ＋１）上の領域Ｉ″t+1 で検出した動きベ
クトルＶ８が、領域Ｉの候補となったとき、動きベクト
ルＶ７で領域Ｉ′t+1 をｆ（ｔ＋２）上に移動したとき
に対応する位置の領域Ｉ′t+2 と、動きベクトルＶ８で
領域Ｉ″t+1 をｆ（ｔ＋２）上に移動したときに対応す
る位置の領域Ｉ″t+2 を求め、Ｉ′t+1 とＩ′t+2 の画
像情報の相関と、Ｉ″t+1 とＩ″t+2 の画像情報の相関
を求め、相関の大きい方の動きベクトルを、領域Ｉの動
きベクトルとする。以上が、従来技術における内挿画像
上のアンカバー領域の予測、およびそのアンカバー領域
における動きベクトルの決定の方法であった。
ド・バックグラウンド領域（／は、「および」を意味す
る、以下同じ）に複数の異なる動きベクトルが候補とな
る場合には、以下の手順で内挿画像上のカバード／アン
カバード・バックグラウンド領域における動きベクトル
を決定する。すなわち、図１９に示すように、内挿画像
上のカバード・バックグラウンド領域をＪとし、ｆ（ｔ
−１）上の領域Ｊ′t- 1 で検出した動きベクトルＶ９
と、ｆ（ｔ−１）上の領域Ｊ″t-1 で検出した動きベク
トルＶ１０が、領域Ｊの候補となったとき、動きベクト
ルＶ９で領域Ｊ′ t-1 をｆ（ｔ）上に移動したときに対
応する位置の領域Ｊ′t と、動きベクトルＶ１０で領域
Ｊ″t-1 をｆ（ｔ）上に移動したときに対応する位置の
領域Ｊ″tを求め、Ｊ′t-1 とＪ′t の画像情報の相関
と、Ｊ″t-1 とＪ″t の画像情報の相関を求め、相関の
大きい方の動きベクトルを、領域Ｊの動きベクトルとす
る。アンカバード・バックグラウンド領域に異なる複数
の動きベクトルが候補となるときも同様に、内挿画像上
のアンカバード・バックグラウンド領域をＩとし、ｆ
（ｔ＋１）上の領域Ｉ′t+1 で検出した動きベクトルＶ
７と、ｆ（ｔ＋１）上の領域Ｉ″t+1 で検出した動きベ
クトルＶ８が、領域Ｉの候補となったとき、動きベクト
ルＶ７で領域Ｉ′t+1 をｆ（ｔ＋２）上に移動したとき
に対応する位置の領域Ｉ′t+2 と、動きベクトルＶ８で
領域Ｉ″t+1 をｆ（ｔ＋２）上に移動したときに対応す
る位置の領域Ｉ″t+2 を求め、Ｉ′t+1 とＩ′t+2 の画
像情報の相関と、Ｉ″t+1 とＩ″t+2 の画像情報の相関
を求め、相関の大きい方の動きベクトルを、領域Ｉの動
きベクトルとする。以上が、従来技術における内挿画像
上のアンカバー領域の予測、およびそのアンカバー領域
における動きベクトルの決定の方法であった。
【００１２】
【発明が解決しようとする課題】以上説明したように、
内挿画像上のカバード／アンカバード・バックグラウン
ド領域の予測、およびカバード／アンカバード・バック
グラウンド領域における動きベクトルを決定するため
に、従来の技術では時間的に連続する４つの画像間でし
かも順方向に検出した３つの動きベクトル場を用い、か
つ時間的に連続する画像間で検出した動きベクトルを使
用して内挿画像上のアンカバー領域における動きベクト
ルを決定していたため、動きベクトル決定のための装置
が大規模となり、また、決定された動きベクトルの正確
さにも欠けるという問題があった。
内挿画像上のカバード／アンカバード・バックグラウン
ド領域の予測、およびカバード／アンカバード・バック
グラウンド領域における動きベクトルを決定するため
に、従来の技術では時間的に連続する４つの画像間でし
かも順方向に検出した３つの動きベクトル場を用い、か
つ時間的に連続する画像間で検出した動きベクトルを使
用して内挿画像上のアンカバー領域における動きベクト
ルを決定していたため、動きベクトル決定のための装置
が大規模となり、また、決定された動きベクトルの正確
さにも欠けるという問題があった。
【００１３】
【課題を解決するための手段】上記従来技術の問題点を
解決するために、本発明は、時間的に連続した２つの画
像間で双方向に検出した２つの動きベクトル場を用い、
かつ空間的に隣接する領域で検出した動きベクトルを使
用して内挿画像上のアンカバー領域を予測し、またその
アンカバー領域における動きベクトルを決定するもので
ある。
解決するために、本発明は、時間的に連続した２つの画
像間で双方向に検出した２つの動きベクトル場を用い、
かつ空間的に隣接する領域で検出した動きベクトルを使
用して内挿画像上のアンカバー領域を予測し、またその
アンカバー領域における動きベクトルを決定するもので
ある。
【００１４】まず、本発明による内挿画像上のアンカバ
ー領域を予測する方法は、連続した２つの画像ｆ
（ｔ），ｆ（ｔ＋１）間で双方向に動きベクトルを検出
してｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域と非ア
ンカバー領域を特定する。次いで、双方向動きベクトル
に基づき、内挿画像上に非アンカバー領域を割り付けて
いき、最後まで割り付けが行われなかったいわば穴あき
領域を内挿画像上のアンカバー領域として予測する。
ー領域を予測する方法は、連続した２つの画像ｆ
（ｔ），ｆ（ｔ＋１）間で双方向に動きベクトルを検出
してｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域と非ア
ンカバー領域を特定する。次いで、双方向動きベクトル
に基づき、内挿画像上に非アンカバー領域を割り付けて
いき、最後まで割り付けが行われなかったいわば穴あき
領域を内挿画像上のアンカバー領域として予測する。
【００１５】次に、本発明による内挿画像上のアンカバ
ー領域における動きベクトルを決定する方法は、上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍に存在す
る動きベクトルを上記方法によって予測した内挿画像上
のアンカバー領域の動きベクトルの候補として選ぶ。そ
して、この候補ベクトルを用いて内挿画像上に上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を移動させて
みて、予測した内挿画像上のアンカバー領域と重なる場
合に、この候補ベクトルを順方向動きベクトルについて
はそのまま、逆方向動きベクトルについては向きを反転
させて内挿画像上のそのアンカバー領域における動きベ
クトルとして決定する。
ー領域における動きベクトルを決定する方法は、上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍に存在す
る動きベクトルを上記方法によって予測した内挿画像上
のアンカバー領域の動きベクトルの候補として選ぶ。そ
して、この候補ベクトルを用いて内挿画像上に上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を移動させて
みて、予測した内挿画像上のアンカバー領域と重なる場
合に、この候補ベクトルを順方向動きベクトルについて
はそのまま、逆方向動きベクトルについては向きを反転
させて内挿画像上のそのアンカバー領域における動きベ
クトルとして決定する。
【００１６】すなわち、本発明画像予測処理方法は、内
挿画像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ
（ｔ＋１）間で、あらかじめ定められた一定の大きさを
有するブロック毎に、双方向に各別に動きベクトルを検
出し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測する画像
予測処理方法において、前記ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域に基づき前記内挿画像上のアンカバー
領域を予測する方法は、それぞれ、前記画像ｆ（ｔ），
ｆ（ｔ＋１）上でアンカバー領域以外の領域を各別に抽
出し、該抽出した抽出領域のそれぞれに含まれ、対応す
る前記動きベクトルが相互に逆向きで対応する一部領域
であって、前記画像ｆ（ｔ）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ＋１）上
に移動した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含
まれ、かつ、前記画像ｆ（ｔ＋１）上の前記一部領域
を、対応する前記動きベクトルに基づき前記画像ｆ
（ｔ）上に移動した範囲が、前記ｆ（ｔ）上の抽出領域
に含まれる、前記抽出領域の一部領域を各別に検出し、
該検出した一部領域を、対応する前記動きベクトルに基
づき内挿比に従い前記内挿画像上に予測画像として割り
付け、該割り付けた領域以外の前記内挿画像上の領域を
前記内挿画像上のアンカバー領域と判定するという順次
のステップを含んでいることを特徴とするものである。
挿画像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ
（ｔ＋１）間で、あらかじめ定められた一定の大きさを
有するブロック毎に、双方向に各別に動きベクトルを検
出し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測する画像
予測処理方法において、前記ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域に基づき前記内挿画像上のアンカバー
領域を予測する方法は、それぞれ、前記画像ｆ（ｔ），
ｆ（ｔ＋１）上でアンカバー領域以外の領域を各別に抽
出し、該抽出した抽出領域のそれぞれに含まれ、対応す
る前記動きベクトルが相互に逆向きで対応する一部領域
であって、前記画像ｆ（ｔ）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ＋１）上
に移動した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含
まれ、かつ、前記画像ｆ（ｔ＋１）上の前記一部領域
を、対応する前記動きベクトルに基づき前記画像ｆ
（ｔ）上に移動した範囲が、前記ｆ（ｔ）上の抽出領域
に含まれる、前記抽出領域の一部領域を各別に検出し、
該検出した一部領域を、対応する前記動きベクトルに基
づき内挿比に従い前記内挿画像上に予測画像として割り
付け、該割り付けた領域以外の前記内挿画像上の領域を
前記内挿画像上のアンカバー領域と判定するという順次
のステップを含んでいることを特徴とするものである。
【００１７】また、本発明画像予測処理方法は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出
し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測し、該予
測した内挿画像上のアンカバー領域の動きベクトルを決
定する画像予測処理方法において、前記内挿画像上のア
ンカバー領域の動きベクトルを決定する方法は、それぞ
れ、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域に対応する複数の前記動きベクトルを前記
内挿画像上のアンカバー領域の動きベクトルの候補とし
て選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカ
バー領域を前記複数の候補ベクトルに基づき内挿比に従
い前記内挿画像上に予測画像として割り付け、該割り付
けた複数の予測画像のうち、１つの予測画像のみが前記
内挿画像上のアンカバー領域と重複を生じる場合は、前
記１つの予測画像に対応する前記候補ベクトルを、順方
向動きベクトルについてはそのまま、逆方向動きベクト
ルについては向きを反転させて、前記内挿画像上のアン
カバー領域のうち、前記予測画像との重複範囲に対応す
る前記内挿画像上のアンカバー領域の動きベクトルとし
て決定し、前記割り付けた複数の予測画像のうち、２つ
以上の予測画像が前記内挿画像上のアンカバー領域と重
複を生じる場合は、前記各候補ベクトルに対応する前記
画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画
像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそ
れぞれ前記内挿画像の時間的に反対側に位置する画像ｆ
（ｔ−１），ｆ（ｔ＋２）上の領域であって、前記各候
補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の
対応アンカバー領域を逆向きに移動させた範囲に対応す
る領域の画像情報との相関を算出して、相関が最大とな
る前記候補ベクトルを、順方向動きベクトルについては
そのまま、逆方向動きベクトルについては向きを反転さ
せて、前記内挿画像上のアンカバー領域のうち、前記２
つ以上の予測画像との重複範囲に対応する前記内挿画像
上のアンカバー領域の動きベクトルとして決定するとい
う順次のステップを含んでいることを特徴とするもので
ある。
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出
し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測し、該予
測した内挿画像上のアンカバー領域の動きベクトルを決
定する画像予測処理方法において、前記内挿画像上のア
ンカバー領域の動きベクトルを決定する方法は、それぞ
れ、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域に対応する複数の前記動きベクトルを前記
内挿画像上のアンカバー領域の動きベクトルの候補とし
て選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカ
バー領域を前記複数の候補ベクトルに基づき内挿比に従
い前記内挿画像上に予測画像として割り付け、該割り付
けた複数の予測画像のうち、１つの予測画像のみが前記
内挿画像上のアンカバー領域と重複を生じる場合は、前
記１つの予測画像に対応する前記候補ベクトルを、順方
向動きベクトルについてはそのまま、逆方向動きベクト
ルについては向きを反転させて、前記内挿画像上のアン
カバー領域のうち、前記予測画像との重複範囲に対応す
る前記内挿画像上のアンカバー領域の動きベクトルとし
て決定し、前記割り付けた複数の予測画像のうち、２つ
以上の予測画像が前記内挿画像上のアンカバー領域と重
複を生じる場合は、前記各候補ベクトルに対応する前記
画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画
像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそ
れぞれ前記内挿画像の時間的に反対側に位置する画像ｆ
（ｔ−１），ｆ（ｔ＋２）上の領域であって、前記各候
補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の
対応アンカバー領域を逆向きに移動させた範囲に対応す
る領域の画像情報との相関を算出して、相関が最大とな
る前記候補ベクトルを、順方向動きベクトルについては
そのまま、逆方向動きベクトルについては向きを反転さ
せて、前記内挿画像上のアンカバー領域のうち、前記２
つ以上の予測画像との重複範囲に対応する前記内挿画像
上のアンカバー領域の動きベクトルとして決定するとい
う順次のステップを含んでいることを特徴とするもので
ある。
【００１８】また、本発明画像予測処理方法は、前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。
【００１９】また、本発明画像予測処理装置は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部とを少なくとも有する画像予測処理装置において、前
記内挿画像上のアンカバー領域予測部は、前記画像ｆ
（ｔ），ｆ（ｔ＋１）上でアンカバー領域以外の領域を
各別に抽出する非アンカバー領域抽出手段と、前記抽出
した領域のそれぞれに含まれ、対応する前記動きベクト
ルが相互に逆向きで対応する一部領域であって、前記画
像ｆ（ｔ）上の前記一部領域を、対応する前記動きベク
トルに基づき前記画像ｆ（ｔ＋１）上に移動した範囲
が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、かつ、前
記画像ｆ（ｔ＋１）上の前記一部領域を、対応する前記
動きベクトルに基づき前記画像ｆ（ｔ）上に移動した範
囲が、前記ｆ（ｔ）上の抽出領域に含まれる前記抽出領
域の一部領域を各別に検出し、該検出した一部領域を、
対応する前記動きベクトルに基づき内挿比に従い前記内
挿画像上に予測画像として割り付ける領域比較手段と、
該領域比較手段において割り付けた領域以外の前記内挿
画像上の領域を前記内挿画像上のアンカバー領域と判定
する内挿画像上のアンカバー領域抽出手段とを含んでい
ることを特徴とするものである。
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部とを少なくとも有する画像予測処理装置において、前
記内挿画像上のアンカバー領域予測部は、前記画像ｆ
（ｔ），ｆ（ｔ＋１）上でアンカバー領域以外の領域を
各別に抽出する非アンカバー領域抽出手段と、前記抽出
した領域のそれぞれに含まれ、対応する前記動きベクト
ルが相互に逆向きで対応する一部領域であって、前記画
像ｆ（ｔ）上の前記一部領域を、対応する前記動きベク
トルに基づき前記画像ｆ（ｔ＋１）上に移動した範囲
が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、かつ、前
記画像ｆ（ｔ＋１）上の前記一部領域を、対応する前記
動きベクトルに基づき前記画像ｆ（ｔ）上に移動した範
囲が、前記ｆ（ｔ）上の抽出領域に含まれる前記抽出領
域の一部領域を各別に検出し、該検出した一部領域を、
対応する前記動きベクトルに基づき内挿比に従い前記内
挿画像上に予測画像として割り付ける領域比較手段と、
該領域比較手段において割り付けた領域以外の前記内挿
画像上の領域を前記内挿画像上のアンカバー領域と判定
する内挿画像上のアンカバー領域抽出手段とを含んでい
ることを特徴とするものである。
【００２０】また、本発明画像予測処理装置は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部と、該アンカバー領域予測部において予測した内挿画
像上のアンカバー領域の動きベクトルを決定するアンカ
バー領域動きベクトル決定部とを少なくとも有する画像
予測処理装置において、前記アンカバー領域動きベクト
ル決定部は、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域近傍の領域に対応する複数の前記動きベクト
ルを前記内挿画像上のアンカバー領域の動きベクトルの
候補として選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域を前記複数の候補ベクトルに基づき内
挿比に従い前記内挿画像上に予測画像として割り付け、
該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、前記割り付けた複数の予測画像のう
ち、２つ以上の予測画像が前記内挿画像上のアンカバー
領域と重複を生じる場合は、前記各候補ベクトルに対応
する前記画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー
領域の画像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に
対してそれぞれ前記内挿画像の時間的に反対側に位置す
る画像ｆ（ｔ−１），ｆ（ｔ＋２）上の領域であって、
前記各候補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋
１）上の対応アンカバー領域を逆向きに移動させた範囲
に対応する領域の画像情報との相関を算出して、相関が
最大となる前記候補ベクトルを、順方向動きベクトルに
ついてはそのまま、逆方向動きベクトルについては向き
を反転させて、前記内挿画像上のアンカバー領域のう
ち、前記２つ以上の予測画像との重複範囲に対応する前
記内挿画像上のアンカバー領域における動きベクトルと
して決定する手段を含んでいることを特徴とするもので
ある。
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部と、該アンカバー領域予測部において予測した内挿画
像上のアンカバー領域の動きベクトルを決定するアンカ
バー領域動きベクトル決定部とを少なくとも有する画像
予測処理装置において、前記アンカバー領域動きベクト
ル決定部は、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域近傍の領域に対応する複数の前記動きベクト
ルを前記内挿画像上のアンカバー領域の動きベクトルの
候補として選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域を前記複数の候補ベクトルに基づき内
挿比に従い前記内挿画像上に予測画像として割り付け、
該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、前記割り付けた複数の予測画像のう
ち、２つ以上の予測画像が前記内挿画像上のアンカバー
領域と重複を生じる場合は、前記各候補ベクトルに対応
する前記画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー
領域の画像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に
対してそれぞれ前記内挿画像の時間的に反対側に位置す
る画像ｆ（ｔ−１），ｆ（ｔ＋２）上の領域であって、
前記各候補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋
１）上の対応アンカバー領域を逆向きに移動させた範囲
に対応する領域の画像情報との相関を算出して、相関が
最大となる前記候補ベクトルを、順方向動きベクトルに
ついてはそのまま、逆方向動きベクトルについては向き
を反転させて、前記内挿画像上のアンカバー領域のう
ち、前記２つ以上の予測画像との重複範囲に対応する前
記内挿画像上のアンカバー領域における動きベクトルと
して決定する手段を含んでいることを特徴とするもので
ある。
【００２１】また、本発明画像予測処理装置は、前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。
【００２２】
【発明の実施の形態】以下に添付図面を参照し、実施の
形態に基づいて本発明を詳細に説明する。図１は、本発
明画像予測処理方法の実施に、具体的には、内挿画像上
のアンカバー領域の予測、およびそのアンカバー領域に
おける動きベクトルの決定を実施するために使用される
本発明画像予測処理装置の一例のブロック図である。図
１において、当該装置は、その動きベクトル決定のため
の手順に従って、それぞれ破線にて囲んで示す双方向動
きベクトル検出部１、アンカバー領域検出部２、内挿画
像上のアンカバー領域予測部３、および内挿画像上のア
ンカバー領域における動きベクトル決定部４が順次に接
続されている。
形態に基づいて本発明を詳細に説明する。図１は、本発
明画像予測処理方法の実施に、具体的には、内挿画像上
のアンカバー領域の予測、およびそのアンカバー領域に
おける動きベクトルの決定を実施するために使用される
本発明画像予測処理装置の一例のブロック図である。図
１において、当該装置は、その動きベクトル決定のため
の手順に従って、それぞれ破線にて囲んで示す双方向動
きベクトル検出部１、アンカバー領域検出部２、内挿画
像上のアンカバー領域予測部３、および内挿画像上のア
ンカバー領域における動きベクトル決定部４が順次に接
続されている。
【００２３】まず、双方向動きベクトル検出部１におい
ては、遅延回路５（遅延回路１７とともに時間調整用の
遅延回路である）に縦続接続された遅延回路６のそれぞ
れ入・出力両端から取り出される時間的に連続した２つ
の画像信号ｆ（ｔ）、ｆ（ｔ＋１）を、検出回路の基準
入力端子と比較入力端子への供給が互いに入れ違いにな
るように、それぞれ動きベクトル検出回路（Ｉ）７およ
び同（II）８に供給する。これらの動きベクトル検出回
路（Ｉ），（II）は、勾配法やブロックマッチング法な
どによる従来の動きベクトル検出回路である。動きベク
トル検出はあらかじめ定められた一定の大きさを有する
ブロックごとに行われる。２つの動きベクトル検出回路
を用い、ｆ（ｔ）とｆ（ｔ＋１）の間で双方向動きベク
トル検出を行う。即ち、動きベクトル検出回路（Ｉ）７
はｆ（ｔ）を基準とし、ｆ（ｔ）中の領域がｆ（ｔ＋
１）で対応する領域の位置を求めることで、ｆ（ｔ）を
基準とした時間的に順方向の動きベクトルを求める。ま
た、動きベクトル検出回路(II)８はｆ（ｔ＋１）を基準
とし、ｆ（ｔ＋１）中の領域がｆ（ｔ）で対応する領域
の位置を求めることで、ｆ（ｔ＋１）を基準とした時間
的に逆方向の動きベクトルを求める。
ては、遅延回路５（遅延回路１７とともに時間調整用の
遅延回路である）に縦続接続された遅延回路６のそれぞ
れ入・出力両端から取り出される時間的に連続した２つ
の画像信号ｆ（ｔ）、ｆ（ｔ＋１）を、検出回路の基準
入力端子と比較入力端子への供給が互いに入れ違いにな
るように、それぞれ動きベクトル検出回路（Ｉ）７およ
び同（II）８に供給する。これらの動きベクトル検出回
路（Ｉ），（II）は、勾配法やブロックマッチング法な
どによる従来の動きベクトル検出回路である。動きベク
トル検出はあらかじめ定められた一定の大きさを有する
ブロックごとに行われる。２つの動きベクトル検出回路
を用い、ｆ（ｔ）とｆ（ｔ＋１）の間で双方向動きベク
トル検出を行う。即ち、動きベクトル検出回路（Ｉ）７
はｆ（ｔ）を基準とし、ｆ（ｔ）中の領域がｆ（ｔ＋
１）で対応する領域の位置を求めることで、ｆ（ｔ）を
基準とした時間的に順方向の動きベクトルを求める。ま
た、動きベクトル検出回路(II)８はｆ（ｔ＋１）を基準
とし、ｆ（ｔ＋１）中の領域がｆ（ｔ）で対応する領域
の位置を求めることで、ｆ（ｔ＋１）を基準とした時間
的に逆方向の動きベクトルを求める。
【００２４】双方向動きベクトル検出部１からの出力で
ある順方向動きベクトルおよび逆方向動きベクトルを、
次段のアンカバー領域検出部２のそれぞれアンカバード
・バックグラウンド領域検出回路９およびカバード・バ
ックグラウンド領域検出回路１０に供給して、ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を求める。ア
ンカバー領域は、例えば、本出願人に係わる公開特許公
報（特開平７−３３６６８８号「アンカバー領域の検出
方法」）に記載されている第４の実施例を用いて、アン
カバード・バックグラウンド領域検出回路９でｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域Ｕ
t+1 を、またカバード・バックグラウンド領域検出回路
１０でｆ（ｔ）上のカバード・バックグラウンド領域Ｕ
t を検出する。
ある順方向動きベクトルおよび逆方向動きベクトルを、
次段のアンカバー領域検出部２のそれぞれアンカバード
・バックグラウンド領域検出回路９およびカバード・バ
ックグラウンド領域検出回路１０に供給して、ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を求める。ア
ンカバー領域は、例えば、本出願人に係わる公開特許公
報（特開平７−３３６６８８号「アンカバー領域の検出
方法」）に記載されている第４の実施例を用いて、アン
カバード・バックグラウンド領域検出回路９でｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域Ｕ
t+1 を、またカバード・バックグラウンド領域検出回路
１０でｆ（ｔ）上のカバード・バックグラウンド領域Ｕ
t を検出する。
【００２５】さらに、内挿画像上のアンカバー領域予測
部３において内挿画像上のアンカバー領域を予測して求
める。これには、まず、非アンカバー領域抽出回路１
１，１２で、ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域以外の領域を求める。それらの領域を用い、領域比較
回路１３で、図２にＸとＹで示す領域のように、動きベ
クトル検出回路（Ｉ）７で検出した順方向動きベクトル
と動きベクトル検出回路(II)８で検出した逆方向動きベ
クトルが対応する領域をそれぞれ検出し、検出したそれ
ぞれの領域の内挿画像上で対応する領域（図２でＺで示
す領域）を内挿画像上の非アンカバー領域とする。
部３において内挿画像上のアンカバー領域を予測して求
める。これには、まず、非アンカバー領域抽出回路１
１，１２で、ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域以外の領域を求める。それらの領域を用い、領域比較
回路１３で、図２にＸとＹで示す領域のように、動きベ
クトル検出回路（Ｉ）７で検出した順方向動きベクトル
と動きベクトル検出回路(II)８で検出した逆方向動きベ
クトルが対応する領域をそれぞれ検出し、検出したそれ
ぞれの領域の内挿画像上で対応する領域（図２でＺで示
す領域）を内挿画像上の非アンカバー領域とする。
【００２６】内挿画像上アンカバー領域予測回路１４で
このような対応関係の成立しないそれ以外の領域を求
め、これを、それが求められることが本発明の１つの目
的である内挿画像上のアンカバー領域とする。
このような対応関係の成立しないそれ以外の領域を求
め、これを、それが求められることが本発明の１つの目
的である内挿画像上のアンカバー領域とする。
【００２７】次に、アンカバー領域動きベクトル決定部
４で、本発明で、その決定を最終の目的とする内挿画像
上のアンカバー領域における動きベクトルを決定する。
まず内挿画像上のカバード・バックグラウンド領域にお
ける動きベクトル決定回路１５の動作について説明す
る。ｆ（ｔ）上のカバード・バックグラウンド領域の空
間的に近傍の領域で検出した複数の順方向動きベクトル
を内挿画像上のカバード・バックグラウンド領域の候補
とし、候補の動きベクトルのうち、ｆ（ｔ）上のカバー
ド・バックグラウンド領域を候補ベクトルを用いて内挿
画像上に移動したときに対応する位置の領域の全部また
は一部が、内挿画像上のアンカバー領域に重なるとき、
その順方向動きベクトルを重なった内挿画像上のアンカ
バー領域における動きベクトルとする。
４で、本発明で、その決定を最終の目的とする内挿画像
上のアンカバー領域における動きベクトルを決定する。
まず内挿画像上のカバード・バックグラウンド領域にお
ける動きベクトル決定回路１５の動作について説明す
る。ｆ（ｔ）上のカバード・バックグラウンド領域の空
間的に近傍の領域で検出した複数の順方向動きベクトル
を内挿画像上のカバード・バックグラウンド領域の候補
とし、候補の動きベクトルのうち、ｆ（ｔ）上のカバー
ド・バックグラウンド領域を候補ベクトルを用いて内挿
画像上に移動したときに対応する位置の領域の全部また
は一部が、内挿画像上のアンカバー領域に重なるとき、
その順方向動きベクトルを重なった内挿画像上のアンカ
バー領域における動きベクトルとする。
【００２８】例えば、図３で、それぞれ領域Ｋをｆ
（ｔ）上のカバード・バックグラウンド領域、領域Ｌを
内挿画像上のアンカバー領域とする。領域Ｋの近傍領域
で図３のＶ１，Ｖ２で示す動きベクトルが検出されたと
する。このとき、図４に示すように、領域Ｋを動きベク
トルＶ２を用いて内挿画像上に移動すると、内挿画像上
のアンカバー領域Ｌに重なるので、内挿画像上の領域Ｌ
の動きベクトルをＶ２とする。
（ｔ）上のカバード・バックグラウンド領域、領域Ｌを
内挿画像上のアンカバー領域とする。領域Ｋの近傍領域
で図３のＶ１，Ｖ２で示す動きベクトルが検出されたと
する。このとき、図４に示すように、領域Ｋを動きベク
トルＶ２を用いて内挿画像上に移動すると、内挿画像上
のアンカバー領域Ｌに重なるので、内挿画像上の領域Ｌ
の動きベクトルをＶ２とする。
【００２９】もし、内挿画像上のアンカバー領域に、複
数の順方向動きベクトルが候補となるときは、それぞれ
の動きベクトルによりｆ（ｔ）上のカバード・バックグ
ラウンド領域を逆向きにｆ（ｔ−１）上に移動したとき
に対応する位置のｆ（ｔ−１）上の領域の画像情報と、
ｆ（ｔ）上の着目カバード・バックグラウンド領域の画
像情報との間の相関が最も大きくなる順方向動きベクト
ルを、内挿画像上のアンカバー領域における動きベクト
ルとする。
数の順方向動きベクトルが候補となるときは、それぞれ
の動きベクトルによりｆ（ｔ）上のカバード・バックグ
ラウンド領域を逆向きにｆ（ｔ−１）上に移動したとき
に対応する位置のｆ（ｔ−１）上の領域の画像情報と、
ｆ（ｔ）上の着目カバード・バックグラウンド領域の画
像情報との間の相関が最も大きくなる順方向動きベクト
ルを、内挿画像上のアンカバー領域における動きベクト
ルとする。
【００３０】例えば、図５で、静止した背景の前を、時
刻ｔでＯt にあった物体が時刻ｔ＋１でＯt+1 に移動し
たとする。このとき、背景の動きベクトルをＶ１４、物
体の動きベクトルをＶ１３、ｆ（ｔ）上のカバード・バ
ックグラウンド領域をＭ、内挿画像上のアンカバー領域
をＮとし、ｆ（ｔ）上のカバード・バックグラウンド領
域Ｍの近傍の領域では、背景の動きベクトルＶ１４と、
物体の動きベクトルＶ１３が検出されたとする。いま、
図６に示すように、ｆ（ｔ）上のカバード・バックグラ
ウンド領域Ｍを動きベクトルＶ１４で内挿画像上に移動
したとき、ｆ（ｔ）上のカバード・バックグラウンド領
域の一部Ｍ１が内挿画像上のアンカバー領域Ｎと重なる
ため、動きベクトルＶ１４は、領域Ｎの動きベクトルの
候補となる。また、図７に示すように、ｆ（ｔ）上のカ
バード・バックグラウンド領域Ｍを動きベクトルＶ１３
で内挿画像上に移動したとき、ｆ（ｔ）上のカバード・
バックグラウンド領域の一部Ｍ２が内挿画像上のアンカ
バー領域Ｎと重なるため、動きベクトルＶ１３も領域Ｎ
の動きベクトルの候補となる。
刻ｔでＯt にあった物体が時刻ｔ＋１でＯt+1 に移動し
たとする。このとき、背景の動きベクトルをＶ１４、物
体の動きベクトルをＶ１３、ｆ（ｔ）上のカバード・バ
ックグラウンド領域をＭ、内挿画像上のアンカバー領域
をＮとし、ｆ（ｔ）上のカバード・バックグラウンド領
域Ｍの近傍の領域では、背景の動きベクトルＶ１４と、
物体の動きベクトルＶ１３が検出されたとする。いま、
図６に示すように、ｆ（ｔ）上のカバード・バックグラ
ウンド領域Ｍを動きベクトルＶ１４で内挿画像上に移動
したとき、ｆ（ｔ）上のカバード・バックグラウンド領
域の一部Ｍ１が内挿画像上のアンカバー領域Ｎと重なる
ため、動きベクトルＶ１４は、領域Ｎの動きベクトルの
候補となる。また、図７に示すように、ｆ（ｔ）上のカ
バード・バックグラウンド領域Ｍを動きベクトルＶ１３
で内挿画像上に移動したとき、ｆ（ｔ）上のカバード・
バックグラウンド領域の一部Ｍ２が内挿画像上のアンカ
バー領域Ｎと重なるため、動きベクトルＶ１３も領域Ｎ
の動きベクトルの候補となる。
【００３１】このとき図８に示すように、動きベクトル
Ｖ１４により領域Ｍ１を逆向きにｆ（ｔ−１）上に移動
したときに対応する位置のｆ（ｔ−１）上の領域Ｍ
１′、および動きベクトルＶ１３により領域Ｍ２を逆向
きにｆ（ｔ−１）上に移動したときに対応する位置のｆ
（ｔ−１）上の領域Ｍ２′を求め、Ｍ１とＭ１′の画像
情報の相関、およびＭ２とＭ２′の画像情報の相関を求
め、相関が大きくなる方の動きベクトルを、内挿画像上
のアンカバー領域Ｎにおける動きベクトルとする。
Ｖ１４により領域Ｍ１を逆向きにｆ（ｔ−１）上に移動
したときに対応する位置のｆ（ｔ−１）上の領域Ｍ
１′、および動きベクトルＶ１３により領域Ｍ２を逆向
きにｆ（ｔ−１）上に移動したときに対応する位置のｆ
（ｔ−１）上の領域Ｍ２′を求め、Ｍ１とＭ１′の画像
情報の相関、およびＭ２とＭ２′の画像情報の相関を求
め、相関が大きくなる方の動きベクトルを、内挿画像上
のアンカバー領域Ｎにおける動きベクトルとする。
【００３２】また、内挿画像上のアンカバード・バック
グラウンド領域における動きベクトル決定回路１６の動
作は、上述のカバード・バックグラウンド領域における
動きベクトル決定回路１５の動作と同様、ｆ（ｔ＋１）
上のアンカバード・バックグラウンド領域の空間的に近
傍の領域で検出した複数の逆方向動きベクトルを内挿画
像上のアンカバード・バックグラウンド領域の動きベク
トルの候補とし、それら候補の動きベクトルのうち、ｆ
（ｔ＋１）上のアンカバード・バックグラウンド領域を
候補ベクトルを用いて内挿画像上に移動したときに対応
する位置の領域の全部または一部が、内挿画像上のアン
カバー領域に重なるとき、その逆方向動きベクトルの向
きを反転させた動きベクトルを重なった内挿画像上のア
ンカバー領域における動きベクトルとする。
グラウンド領域における動きベクトル決定回路１６の動
作は、上述のカバード・バックグラウンド領域における
動きベクトル決定回路１５の動作と同様、ｆ（ｔ＋１）
上のアンカバード・バックグラウンド領域の空間的に近
傍の領域で検出した複数の逆方向動きベクトルを内挿画
像上のアンカバード・バックグラウンド領域の動きベク
トルの候補とし、それら候補の動きベクトルのうち、ｆ
（ｔ＋１）上のアンカバード・バックグラウンド領域を
候補ベクトルを用いて内挿画像上に移動したときに対応
する位置の領域の全部または一部が、内挿画像上のアン
カバー領域に重なるとき、その逆方向動きベクトルの向
きを反転させた動きベクトルを重なった内挿画像上のア
ンカバー領域における動きベクトルとする。
【００３３】さらに、複数のベクトルが条件を満たすと
きは、それぞれの逆方向動きベクトルにより、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域を逆向き
にｆ（ｔ＋２）上に移動したときに対応する位置のｆ
（ｔ＋２）上の領域の画像情報と、ｆ（ｔ＋１）上の着
目アンカバード・バックグラウンド領域の画像情報との
間の相関が大きくなる逆方向動きベクトルの向きを反転
させた動きベクトルを、内挿画像上のアンカバー領域に
おける動きベクトルとする。
きは、それぞれの逆方向動きベクトルにより、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域を逆向き
にｆ（ｔ＋２）上に移動したときに対応する位置のｆ
（ｔ＋２）上の領域の画像情報と、ｆ（ｔ＋１）上の着
目アンカバード・バックグラウンド領域の画像情報との
間の相関が大きくなる逆方向動きベクトルの向きを反転
させた動きベクトルを、内挿画像上のアンカバー領域に
おける動きベクトルとする。
【００３４】以上説明したように、ｆ（ｔ）とｆ（ｔ＋
１）の間でｆ（ｔ）を基準として検出した順方向の動き
ベクトルと、ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ＋
１）を基準として検出した逆方向の動きベクトルの２つ
の動きベクトル場と、それらの動きベクトルを使用して
検出したｆ（ｔ）とｆ（ｔ＋１）上のアンカバー領域を
用いることで、内挿画像上のアンカバー領域の予測を行
い、その予測したアンカバー領域における動きベクトル
を決定することができる。
１）の間でｆ（ｔ）を基準として検出した順方向の動き
ベクトルと、ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ＋
１）を基準として検出した逆方向の動きベクトルの２つ
の動きベクトル場と、それらの動きベクトルを使用して
検出したｆ（ｔ）とｆ（ｔ＋１）上のアンカバー領域を
用いることで、内挿画像上のアンカバー領域の予測を行
い、その予測したアンカバー領域における動きベクトル
を決定することができる。
【００３５】以下においては、上述の説明と一部重複す
るが、本発明による内挿画像上のアンカバー領域の予
測、およびそのアンカバー領域における動きベクトル決
定の手順を、数式を用いて説明する。上述の説明におけ
ると同様、連続する２つの画像をｆ（ｔ）、ｆ（ｔ＋
１）とする。これら時間的にｔ，ｔ＋１における画像に
対し、図９に示すように、内挿画像（時間的に、ｔ，ｔ
＋１の間に位置する画像）の時間的位置を、ｔ＋α（０
＜α＜１）とする。内挿比はα：（１−α）である。ま
た、ｆ（ｔ），ｆ（ｔ＋１）および内挿画像上の各領域
として、画像を一定の大きさの矩形に分割した複数の画
素からなるブロックを用い、各領域を２次元座標で表
す。
るが、本発明による内挿画像上のアンカバー領域の予
測、およびそのアンカバー領域における動きベクトル決
定の手順を、数式を用いて説明する。上述の説明におけ
ると同様、連続する２つの画像をｆ（ｔ）、ｆ（ｔ＋
１）とする。これら時間的にｔ，ｔ＋１における画像に
対し、図９に示すように、内挿画像（時間的に、ｔ，ｔ
＋１の間に位置する画像）の時間的位置を、ｔ＋α（０
＜α＜１）とする。内挿比はα：（１−α）である。ま
た、ｆ（ｔ），ｆ（ｔ＋１）および内挿画像上の各領域
として、画像を一定の大きさの矩形に分割した複数の画
素からなるブロックを用い、各領域を２次元座標で表
す。
【００３６】双方向動きベクトル検出部１を構成する動
きベクトル検出回路（Ｉ）７（図１参照、以下同じ）は
ｆ（ｔ）を基準としｆ（ｔ＋１）中の対応する領域を検
出する順方向の動きベクトル検出を行い、動きベクトル
検出回路(II)８はｆ（ｔ＋１）を基準としｆ（ｔ）中の
対応する領域を検出する逆方向の動きベクトル検出を行
う。動きベクトル検出法としては、例えば「曽根原、野
尻、井口：“動物体の境界領域を考慮した動きベクトル
検出”、信学技報，ＩＥ９５−９３，ｐｐ６１−６９
（１９８５）」を用いる。ここで、図１０に示すよう
に、ｆ（ｔ）上の領域（ｉ，ｊ）で動きベクトル検出回
路（Ｉ）７が検出した順方向の動きベクトルをＶｄ
t （ｉ，ｊ），ｆ（ｔ＋１）上の領域（ｉ，ｊ）で動き
ベクトル検出回路(II)８が検出した時間的に逆方向の動
きベクトルをＶｄt+1 （ｉ，ｊ）とする。
きベクトル検出回路（Ｉ）７（図１参照、以下同じ）は
ｆ（ｔ）を基準としｆ（ｔ＋１）中の対応する領域を検
出する順方向の動きベクトル検出を行い、動きベクトル
検出回路(II)８はｆ（ｔ＋１）を基準としｆ（ｔ）中の
対応する領域を検出する逆方向の動きベクトル検出を行
う。動きベクトル検出法としては、例えば「曽根原、野
尻、井口：“動物体の境界領域を考慮した動きベクトル
検出”、信学技報，ＩＥ９５−９３，ｐｐ６１−６９
（１９８５）」を用いる。ここで、図１０に示すよう
に、ｆ（ｔ）上の領域（ｉ，ｊ）で動きベクトル検出回
路（Ｉ）７が検出した順方向の動きベクトルをＶｄ
t （ｉ，ｊ），ｆ（ｔ＋１）上の領域（ｉ，ｊ）で動き
ベクトル検出回路(II)８が検出した時間的に逆方向の動
きベクトルをＶｄt+1 （ｉ，ｊ）とする。
【００３７】双方向動きベクトル検出に引き続き、アン
カバー領域検出部２でｆ（ｔ）、ｆ（ｔ＋１）上のアン
カバー領域をそれぞれ検出する。アンカバー領域検出に
は、例えば上述の公開特許公報（特開平７−３３６６８
８号「アンカバー領域の検出方法」）に記載されている
手法を用いる。ここで、アンカバー領域検出部２で検出
したｆ（ｔ）上のカバード・バックグラウンド領域の集
合をＵt 、ｆ（ｔ＋１）上のアンカバード・バックグラ
ウンド領域の集合をＵt+1 とする。
カバー領域検出部２でｆ（ｔ）、ｆ（ｔ＋１）上のアン
カバー領域をそれぞれ検出する。アンカバー領域検出に
は、例えば上述の公開特許公報（特開平７−３３６６８
８号「アンカバー領域の検出方法」）に記載されている
手法を用いる。ここで、アンカバー領域検出部２で検出
したｆ（ｔ）上のカバード・バックグラウンド領域の集
合をＵt 、ｆ（ｔ＋１）上のアンカバード・バックグラ
ウンド領域の集合をＵt+1 とする。
【００３８】まず、上記の動きベクトルＶｄt （ｉ，
ｊ）とＶｄt+1 （ｉ，ｊ）、およびｆ（ｔ）上のカバー
ド・バックグラウンド領域Ｕt とｆ（ｔ＋１）上のアン
カバード・バックグラウンド領域Ｕt+1 を用い、以下の
１．から３．に示す手順で内挿画像上のアンカバー領域
を求める。
ｊ）とＶｄt+1 （ｉ，ｊ）、およびｆ（ｔ）上のカバー
ド・バックグラウンド領域Ｕt とｆ（ｔ＋１）上のアン
カバード・バックグラウンド領域Ｕt+1 を用い、以下の
１．から３．に示す手順で内挿画像上のアンカバー領域
を求める。
【００３９】１．図１１に示すように、ｆ（ｔ）上の領
域（ｉ，ｊ）において動きベクトル検出回路（Ｉ）７が
検出した動きベクトルＶｄt （ｉ，ｊ）を用いて、領域
（ｉ，ｊ）をｆ（ｔ＋１）上に移動したときに対応する
位置の領域を（ｋ，ｌ）とし、この領域（ｋ，ｌ）を
域（ｉ，ｊ）において動きベクトル検出回路（Ｉ）７が
検出した動きベクトルＶｄt （ｉ，ｊ）を用いて、領域
（ｉ，ｊ）をｆ（ｔ＋１）上に移動したときに対応する
位置の領域を（ｋ，ｌ）とし、この領域（ｋ，ｌ）を
【数１】 として求める。
【００４０】２．領域（ｉ，ｊ）がＵt に含まれず、か
つ領域（ｋ，ｌ）がＵt+1 に含まれず、かつ、動きベク
トルＶｄt （ｉ，ｊ）≒−Ｖｄt+1 （ｋ，ｌ）のとき、
内挿画像上の対応する領域Ｘを領域
つ領域（ｋ，ｌ）がＵt+1 に含まれず、かつ、動きベク
トルＶｄt （ｉ，ｊ）≒−Ｖｄt+1 （ｋ，ｌ）のとき、
内挿画像上の対応する領域Ｘを領域
【数２】 として求める。ここで、Ｖ１≒Ｖ２とは、２つの動きベ
クトルＶ１，Ｖ２を
クトルＶ１，Ｖ２を
【数３】 として、（Ｖ１.x −Ｖ２.x）2 ＋（Ｖ１.y −Ｖ２.
y）2 ≦ｍａｘ（ＶTH,(Ｖ１.x2 ＋Ｖ１.y2 ）×ＴＨ）
という関係であり、２つの動きベクトルＶ１，Ｖ２が類
似している、ということを表す。ここに、ＶTHとＴＨは
２つの動きベクトルの類似度を決める閾値である。
y）2 ≦ｍａｘ（ＶTH,(Ｖ１.x2 ＋Ｖ１.y2 ）×ＴＨ）
という関係であり、２つの動きベクトルＶ１，Ｖ２が類
似している、ということを表す。ここに、ＶTHとＴＨは
２つの動きベクトルの類似度を決める閾値である。
【００４１】３．ｆ（ｔ）上の全ての領域について上記
の操作を繰り返し、Ｘの集合を求める。この集合に含ま
れない領域が、内挿画像上のアンカバー領域である。こ
のようにして予測した内挿画像上のアンカバー領域の集
合をＷとする。これら、内挿画像上のアンカバー領域を
予測することも本発明の一つの目的である。
の操作を繰り返し、Ｘの集合を求める。この集合に含ま
れない領域が、内挿画像上のアンカバー領域である。こ
のようにして予測した内挿画像上のアンカバー領域の集
合をＷとする。これら、内挿画像上のアンカバー領域を
予測することも本発明の一つの目的である。
【００４２】次に、内挿画像上のアンカバー領域におけ
る動きベクトルを、以下の１．から２．に示す手順で求
める。 １．ｆ（ｔ）上のカバード・バックグラウンド領域Ｕt
に含まれる全ての領域に対し以下の処理を行う。 ・ｆ（ｔ）上の領域（ｉt , ｊt ）をＵt に含まれる領
域とする。領域（ｘt, ｙt ）を領域（ｉt , ｊt ）の
空間的近傍に位置する領域とする。近傍の領域は着目ブ
ロックを中心に５×５もしくは７×７ブロック、もしく
はｆ（ｔ）上に高い頻度で現れる動きベクトルを含むこ
とのできる程度の範囲とする。例えば、ブロックサイズ
が図１２に示す大きさで、高い頻度で現れる動きベクト
ルがＶ１５のとき、近傍の領域は７×５以上にすること
が望ましい。これは、近傍の領域が狭いと、正しい動き
ベクトルが候補に含まれなくなる可能性が高くなるから
である。しかし、実在する物体の速さを考慮すればブロ
ックサイズの上限として近傍に２００ブロックが含まれ
る程度の領域の範囲を設定すれば十分である。ブロック
サイズの下限は着目ブロックを中心にした３×３ブロッ
クである。
る動きベクトルを、以下の１．から２．に示す手順で求
める。 １．ｆ（ｔ）上のカバード・バックグラウンド領域Ｕt
に含まれる全ての領域に対し以下の処理を行う。 ・ｆ（ｔ）上の領域（ｉt , ｊt ）をＵt に含まれる領
域とする。領域（ｘt, ｙt ）を領域（ｉt , ｊt ）の
空間的近傍に位置する領域とする。近傍の領域は着目ブ
ロックを中心に５×５もしくは７×７ブロック、もしく
はｆ（ｔ）上に高い頻度で現れる動きベクトルを含むこ
とのできる程度の範囲とする。例えば、ブロックサイズ
が図１２に示す大きさで、高い頻度で現れる動きベクト
ルがＶ１５のとき、近傍の領域は７×５以上にすること
が望ましい。これは、近傍の領域が狭いと、正しい動き
ベクトルが候補に含まれなくなる可能性が高くなるから
である。しかし、実在する物体の速さを考慮すればブロ
ックサイズの上限として近傍に２００ブロックが含まれ
る程度の領域の範囲を設定すれば十分である。ブロック
サイズの下限は着目ブロックを中心にした３×３ブロッ
クである。
【００４３】・図１３に示すように、ｆ（ｔ）上の領域
（ｘt ，ｙt ）において動きベクトル検出回路（Ｉ）７
で検出した順方向の動きベクトルＶｄt （ｘt ，ｙt ）
を用いて、ｆ（ｔ）上の領域（ｉt ，ｊt ）を内挿画像
上に移動したときに、内挿画像上の対応する位置の領域
を領域（ｐ１，ｑ１）とする。領域（ｐ１，ｑ１）を
（ｘt ，ｙt ）において動きベクトル検出回路（Ｉ）７
で検出した順方向の動きベクトルＶｄt （ｘt ，ｙt ）
を用いて、ｆ（ｔ）上の領域（ｉt ，ｊt ）を内挿画像
上に移動したときに、内挿画像上の対応する位置の領域
を領域（ｐ１，ｑ１）とする。領域（ｐ１，ｑ１）を
【数４】 として求める。 ・領域（ｐ１，ｑ１）が内挿画像上のアンカバー領域の
集合Ｗに含まれるとき、領域（ｐ１，ｑ１）の動きベク
トルをＶｄt （ｘt ，ｙt ）とする。
集合Ｗに含まれるとき、領域（ｐ１，ｑ１）の動きベク
トルをＶｄt （ｘt ，ｙt ）とする。
【００４４】もし、内挿画像上のアンカバー領域（ｐ
１，ｑ１）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で内挿画像
上のアンカバー領域の動きベクトルを決定する。以下で
は、上記の複数の異なる動きベクトルをＶ′1 ，Ｖ′2
・・・，Ｖ′m とすると、Ｖ′1 ，Ｖ′2 ・・・，Ｖ′
m について、
１，ｑ１）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で内挿画像
上のアンカバー領域の動きベクトルを決定する。以下で
は、上記の複数の異なる動きベクトルをＶ′1 ，Ｖ′2
・・・，Ｖ′m とすると、Ｖ′1 ，Ｖ′2 ・・・，Ｖ′
m について、
【００４５】（ａ）図１４に示すように、動きベクトル
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ）上に時間的に逆方向に移動したときに対応する位
置の領域を（ｉ′t ，ｊ′t ）とする。領域（ｉ′t ，
ｊ′t ）を
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ）上に時間的に逆方向に移動したときに対応する位
置の領域を（ｉ′t ，ｊ′t ）とする。領域（ｉ′t ，
ｊ′t ）を
【数５】 として求める。
【００４６】（ｂ）図１４に示すように、動きベクトル
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ−１）上に時間的に逆方向に移動したときに対応す
る位置の領域を領域（ｋ′t-1 ，ｌ′t-1 ）とする。領
域（ｋ′t-1 ，ｌ′t-1 ）を
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ−１）上に時間的に逆方向に移動したときに対応す
る位置の領域を領域（ｋ′t-1 ，ｌ′t-1 ）とする。領
域（ｋ′t-1 ，ｌ′t-1 ）を
【数６】 として求める。
【００４７】（ｃ）ｆ（ｔ）上の領域（ｉ′t ，
ｊ′t ）と、ｆ（ｔ−１）上の領域（ｋ′ t-1 ，ｌ′
t-1 ）との間で画像情報の相関を求める。相関として
は、従来技術において説明したＤＦＤを用いる。ＤＦＤ
が小さいほど２つの領域の相関が高い。
ｊ′t ）と、ｆ（ｔ−１）上の領域（ｋ′ t-1 ，ｌ′
t-1 ）との間で画像情報の相関を求める。相関として
は、従来技術において説明したＤＦＤを用いる。ＤＦＤ
が小さいほど２つの領域の相関が高い。
【００４８】以上のようにして求めた相関のうち、最も
相関が大きくなる（ＤＦＤが小さくなる）動きベクトル
Ｖ′x を、内挿画像上のアンカバー領域（ｐ１，ｑ１）
における動きベクトルとする。
相関が大きくなる（ＤＦＤが小さくなる）動きベクトル
Ｖ′x を、内挿画像上のアンカバー領域（ｐ１，ｑ１）
における動きベクトルとする。
【００４９】２．同様にして、ｆ（ｔ＋１）上のアンカ
バード・バックグラウンド領域Ｕt+ 1 に含まれる全ての
領域（ｉt+1 ，ｊt+1 ）に対し以下の処理を行う。 ・領域（ｘt+1 ，ｙt+1 ）を領域（ｉt+1 ，ｊt+1 ）の
近傍に位置する領域とする。近傍の領域の範囲は上述の
１．の場合と同様である。 ・ｆ（ｔ＋１）上の領域（ｘt+1 ，ｙt+1 ）において動
きベクトル検出回路(II)８で検出した逆方向動きベクト
ルＶｄt+1 （ｘt+1 ，ｙt+1 ）を用いて、領域
（ｉt+1 ，ｊt+1 ）を内挿画像上に時間的に逆方向に移
動したときに対応する位置の領域を（ｐ２，ｑ２）とす
る。領域（ｐ２，ｑ２）を
バード・バックグラウンド領域Ｕt+ 1 に含まれる全ての
領域（ｉt+1 ，ｊt+1 ）に対し以下の処理を行う。 ・領域（ｘt+1 ，ｙt+1 ）を領域（ｉt+1 ，ｊt+1 ）の
近傍に位置する領域とする。近傍の領域の範囲は上述の
１．の場合と同様である。 ・ｆ（ｔ＋１）上の領域（ｘt+1 ，ｙt+1 ）において動
きベクトル検出回路(II)８で検出した逆方向動きベクト
ルＶｄt+1 （ｘt+1 ，ｙt+1 ）を用いて、領域
（ｉt+1 ，ｊt+1 ）を内挿画像上に時間的に逆方向に移
動したときに対応する位置の領域を（ｐ２，ｑ２）とす
る。領域（ｐ２，ｑ２）を
【数７】 として求める。 ・領域（ｐ２，ｑ２）が内挿画像上のアンカバー領域の
集合Ｗに含まれるとき、領域（ｐ２，ｑ２）の動きベク
トルを逆方向動きベクトルの向きを反転したベクトル−
Ｖｄt+1 （ｘt+1 ，ｙt+1 ）とする。
集合Ｗに含まれるとき、領域（ｐ２，ｑ２）の動きベク
トルを逆方向動きベクトルの向きを反転したベクトル−
Ｖｄt+1 （ｘt+1 ，ｙt+1 ）とする。
【００５０】もし、内挿画像上のアンカバー領域（ｐ
２，ｑ２）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で動きベク
トルを決定する。以下では、上記の逆方向動きベクトル
の向きを反転した複数の異なる動きベクトルをＶ″1 ，
Ｖ″2 ，・・・・・，Ｖ″m とするとＶ″1 ，Ｖ″2 ，
・・・・・，Ｖ″m について、 （ａ）動きベクトルＶ″x により、内挿画像上の領域
（ｐ２，ｑ２）をｆ（ｔ＋１）上に移動したときに対応
する位置の領域を（ｉ′t+1 ，ｊ′t+1 ）とする。領域
（ｉ′t+1 ，ｊ′t+1 ）を
２，ｑ２）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で動きベク
トルを決定する。以下では、上記の逆方向動きベクトル
の向きを反転した複数の異なる動きベクトルをＶ″1 ，
Ｖ″2 ，・・・・・，Ｖ″m とするとＶ″1 ，Ｖ″2 ，
・・・・・，Ｖ″m について、 （ａ）動きベクトルＶ″x により、内挿画像上の領域
（ｐ２，ｑ２）をｆ（ｔ＋１）上に移動したときに対応
する位置の領域を（ｉ′t+1 ，ｊ′t+1 ）とする。領域
（ｉ′t+1 ，ｊ′t+1 ）を
【数８】 として求める。
【００５１】（ｂ）動きベクトルＶ″x により、内挿画
像上の領域（ｐ２，ｑ２）をｆ（ｔ＋２）上に移動した
ときに対応する位置の領域を領域（ｋ′t+2 ，
ｌ′t+2 ）とする。領域（ｋ′t+2 ，ｌ′t+2 ）を
像上の領域（ｐ２，ｑ２）をｆ（ｔ＋２）上に移動した
ときに対応する位置の領域を領域（ｋ′t+2 ，
ｌ′t+2 ）とする。領域（ｋ′t+2 ，ｌ′t+2 ）を
【数９】 として求める。
【００５２】（ｃ）ｆ（ｔ＋１）上の領域（ｉ′t+1 ，
ｊ′t+1 ）と、ｆ（ｔ＋２）上の領域（ｋ′t+2 ，ｌ′
t+2 ）との間で画像情報の相関を求める。相関として
は、上述のＤＦＤを用いる。以上のようにして求めた相
関のうち、最も相関が大きくなる（ＤＦＤが小さくな
る）動きベクトルＶ″x を、内挿画像上のアンカバー領
域（ｐ２，ｑ２）における動きベクトルとする。以上に
より、本発明で最終的にその決定を目的とする内挿画像
上のアンカバー領域における動きベクトルを求めること
ができた。
ｊ′t+1 ）と、ｆ（ｔ＋２）上の領域（ｋ′t+2 ，ｌ′
t+2 ）との間で画像情報の相関を求める。相関として
は、上述のＤＦＤを用いる。以上のようにして求めた相
関のうち、最も相関が大きくなる（ＤＦＤが小さくな
る）動きベクトルＶ″x を、内挿画像上のアンカバー領
域（ｐ２，ｑ２）における動きベクトルとする。以上に
より、本発明で最終的にその決定を目的とする内挿画像
上のアンカバー領域における動きベクトルを求めること
ができた。
【００５３】
【発明の効果】本発明によれば、連続する２つの画像間
で双方向に検出した動きベクトルと、その双方向に検出
した動きベクトルを用いて求めた２つの画像上のカバー
ド／アンカバード・バックグラウンド領域とを用い、内
挿画像上のアンカバー領域の予測を行い、さらに、内挿
画像上のアンカバー領域における動きベクトルを決定す
ることができる。
で双方向に検出した動きベクトルと、その双方向に検出
した動きベクトルを用いて求めた２つの画像上のカバー
ド／アンカバード・バックグラウンド領域とを用い、内
挿画像上のアンカバー領域の予測を行い、さらに、内挿
画像上のアンカバー領域における動きベクトルを決定す
ることができる。
【００５４】これにより、動き補正型テレビジョン方式
変換装置や動き補正型スローモーション装置などの動き
補正型画像内挿処理装置において必要となる内挿画像上
のカバード／アンカバード・バックグラウンド領域にお
ける正しい動きベクトルを決定することができ、内挿画
像の画質を向上させることができる。
変換装置や動き補正型スローモーション装置などの動き
補正型画像内挿処理装置において必要となる内挿画像上
のカバード／アンカバード・バックグラウンド領域にお
ける正しい動きベクトルを決定することができ、内挿画
像の画質を向上させることができる。
【図１】本発明による内挿画像上のアンカバー領域にお
ける動きベクトル検出装置の一例のブロック図である。
ける動きベクトル検出装置の一例のブロック図である。
【図２】２つの動きベクトル検出装置で検出した動きベ
クトルが対応する領域の例の説明図である。
クトルが対応する領域の例の説明図である。
【図３】アンカバー領域の近傍で検出した動きベクトル
の説明図である。
の説明図である。
【図４】内挿画像上のアンカバー領域に適合する動きベ
クトルの説明図である。
クトルの説明図である。
【図５】内挿画像上のアンカバー領域に複数の動きベク
トルが候補となる例の説明図である。
トルが候補となる例の説明図である。
【図６】内挿画像上のアンカバー領域の動きベクトル候
補の１つの説明図である。
補の１つの説明図である。
【図７】内挿画像上のアンカバー領域の動きベクトル候
補の別の１つの説明図である。
補の別の１つの説明図である。
【図８】内挿画像上のアンカバー領域の複数の動きベク
トル候補から、アンカバー領域の動きベクトルを決定す
る例の説明図である。
トル候補から、アンカバー領域の動きベクトルを決定す
る例の説明図である。
【図９】時間的に連続した２つの画像と内挿画像との時
間的位置関係を示す説明図である。
間的位置関係を示す説明図である。
【図１０】本発明の実施の形態における双方向動きベク
トル検出部で検出した双方向の動きベクトルの説明図で
ある。
トル検出部で検出した双方向の動きベクトルの説明図で
ある。
【図１１】本発明における、内挿画像上のアンカバー領
域を抽出する手順で用いる領域および動きベクトルの説
明図である。
域を抽出する手順で用いる領域および動きベクトルの説
明図である。
【図１２】本発明における、アンカバー領域の動きベク
トルを決定するために使用する近傍の領域の例の説明図
である。
トルを決定するために使用する近傍の領域の例の説明図
である。
【図１３】本発明における、内挿画像上のアンカバー領
域の動きベクトルを決定する手順で用いる領域および動
きベクトルの説明図である。
域の動きベクトルを決定する手順で用いる領域および動
きベクトルの説明図である。
【図１４】本発明における、内挿画像上のアンカバー領
域の動きベクトルに候補が複数あった場合の処理に用い
る領域および動きベクトルの説明図である。
域の動きベクトルに候補が複数あった場合の処理に用い
る領域および動きベクトルの説明図である。
【図１５】内挿画像上の動きベクトルの決定が必要な例
の説明図である。
の説明図である。
【図１６】従来の手法によるアンカバー領域の検出の説
明図である。
明図である。
【図１７】従来の手法による内挿画像上のアンカバー領
域の予測の説明図である。
域の予測の説明図である。
【図１８】従来の手法による内挿画像上のアンカバー領
域における動きベクトルの決定法の説明図である。
域における動きベクトルの決定法の説明図である。
【図１９】従来の手法において内挿画像上のアンカバー
領域に複数の動きベクトルが候補となった場合の動きベ
クトルの決定法の説明図である。
領域に複数の動きベクトルが候補となった場合の動きベ
クトルの決定法の説明図である。
１ 双方向動きベクトル検出部 ２ アンカバー領域検出部 ３ 内挿画像上のアンカバー領域予測部 ４ 内挿画像上のアンカバー領域における動きベクトル
決定部 ５，６，１７ 遅延回路 ７ 動きベクトル検出回路（Ｉ） ８ 動きベクトル検出回路（II） ９ アンカバード・バックグラウンド領域検出回路 １０ カバード・バックグラウンド領域検出回路 １１，１２ 非アンカバー領域抽出回路 １３ 領域比較回路 １４ 内挿画像上のアンカバー領域予測回路 １５ カバード・バックグラウンド領域における動きベ
クトル決定回路 １６ アンカバード・バックグラウンド領域における動
きベクトル決定回路
決定部 ５，６，１７ 遅延回路 ７ 動きベクトル検出回路（Ｉ） ８ 動きベクトル検出回路（II） ９ アンカバード・バックグラウンド領域検出回路 １０ カバード・バックグラウンド領域検出回路 １１，１２ 非アンカバー領域抽出回路 １３ 領域比較回路 １４ 内挿画像上のアンカバー領域予測回路 １５ カバード・バックグラウンド領域における動きベ
クトル決定回路 １６ アンカバード・バックグラウンド領域における動
きベクトル決定回路
Claims (6)
- 【請求項１】 内挿画像を挟む時間的に連続した２つの
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出し、該検出した動きベクトルに基づ
き前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域
を検出し、該検出したｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域に基づき前記内挿画像上のアンカバー領域を
予測する画像予測処理方法において、 前記ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づ
き前記内挿画像上のアンカバー領域を予測する方法は、
それぞれ前記画像ｆ（ｔ），ｆ（ｔ＋１）上でアンカバ
ー領域以外の領域を各別に抽出し、 該抽出した抽出領域のそれぞれに含まれ、対応する前記
動きベクトルが相互に逆向きで対応する一部領域であっ
て、前記画像ｆ（ｔ）上の前記一部領域を、対応する前
記動きベクトルに基づき前記画像ｆ（ｔ＋１）上に移動
した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、
かつ、前記画像ｆ（ｔ＋１）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ）上に移
動した範囲が、前記ｆ（ｔ）上の抽出領域に含まれる、
前記抽出領域の一部領域を各別に検出し、 該検出した一部領域を、対応する前記動きベクトルに基
づき内挿比に従い前記内挿画像上に予測画像として割り
付け、 該割り付けた領域以外の前記内挿画像上の領域を前記内
挿画像上のアンカバー領域と判定するの順次のステップ
を含んでいることを特徴とする画像予測処理方法。 - 【請求項２】 内挿画像を挟む時間的に連続した２つの
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出し、該検出した動きベクトルに基づ
き前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域
を検出し、該検出したｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域に基づき前記内挿画像上のアンカバー領域を
予測し、該予測した内挿画像上のアンカバー領域の動き
ベクトルを決定する画像予測処理方法において、 前記内挿画像上のアンカバー領域の動きベクトルを決定
する方法は、それぞれ前記画像ｆ（ｔ），ｆ（ｔ＋１）
上のアンカバー領域近傍の領域に対応する複数の前記動
きベクトルを前記内挿画像上のアンカバー領域の動きベ
クトルの候補として選定し、 前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を
前記複数の候補ベクトルに基づき内挿比に従い前記内挿
画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、 前記割り付けた複数の予測画像のうち、２つ以上の予測
画像が前記内挿画像上のアンカバー領域と重複を生じる
場合は、前記各候補ベクトルに対応する前記画像ｆ
（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画像情報
と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそれぞれ
前記内挿画像の時間的に反対側に位置する画像ｆ（ｔ−
１），ｆ（ｔ＋２）上の領域であって、前記各候補ベク
トルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の対応ア
ンカバー領域を逆向きに移動させた範囲に対応する領域
の画像情報との相関を算出して、相関が最大となる前記
候補ベクトルを、順方向動きベクトルについてはそのま
ま、逆方向動きベクトルについては向きを反転させて、
前記内挿画像上のアンカバー領域のうち、前記２つ以上
の予測画像との重複範囲に対応する前記内挿画像上のア
ンカバー領域の動きベクトルとして決定するの順次のス
テップを含んでいることを特徴とする画像予測処理方
法。 - 【請求項３】 請求項２記載の画像予測処理方法におい
て、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域は、前記ブロックの８倍乃至２００倍の面
積範囲の近傍領域であることを特徴とする画像予測処理
方法。 - 【請求項４】 内挿画像を挟む時間的に連続した２つの
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出する双方向動きベクトル検出部と、
該検出部において検出した動きベクトルに基づき前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出す
るアンカバー領域検出部と、該検出部において検出した
ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づき前
記内挿画像上のアンカバー領域を予測する内挿画像上の
アンカバー領域予測部とを少なくとも有する画像予測処
理装置において、 前記内挿画像上のアンカバー領域予測部は前記画像ｆ
（ｔ），ｆ（ｔ＋１）上でアンカバー領域以外の領域を
各別に抽出する非アンカバー領域抽出手段と、 前記抽出した領域のそれぞれに含まれ、対応する前記動
きベクトルが相互に逆向きで対応する一部領域であっ
て、前記画像ｆ（ｔ）上の前記一部領域を、対応する前
記動きベクトルに基づき前記画像ｆ（ｔ＋１）上に移動
した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、
かつ、前記画像ｆ（ｔ＋１）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ）上に移
動した範囲が、前記ｆ（ｔ）上の抽出領域に含まれる前
記抽出領域の一部領域を各別に検出し、該検出した一部
領域を、対応する前記動きベクトルに基づき内挿比に従
い前記内挿画像上に予測画像として割り付ける領域比較
手段と、 該領域比較手段において割り付けた領域以外の前記内挿
画像上の領域を前記内挿画像上のアンカバー領域と判定
する内挿画像上のアンカバー領域抽出手段とを含んでい
ることを特徴とする画像予測処理装置。 - 【請求項５】 内挿画像を挟む時間的に連続した２つの
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出する双方向動きベクトル検出部と、
該検出部において検出した動きベクトルに基づき前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出す
るアンカバー領域検出部と、該検出部において検出した
ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づき前
記内挿画像上のアンカバー領域を予測する内挿画像上の
アンカバー領域予測部と、該アンカバー領域予測部にお
いて予測した内挿画像上のアンカバー領域の動きベクト
ルを決定するアンカバー領域動きベクトル決定部とを少
なくとも有する画像予測処理装置において、 前記アンカバー領域動きベクトル決定部は前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領域に
対応する複数の前記動きベクトルを前記内挿画像上のア
ンカバー領域の動きベクトルの候補として選定し、 前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を
前記複数の候補ベクトルに基づき内挿比に従い前記内挿
画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、 前記割り付けた複数の予測画像のうち、２つ以上の予測
画像が前記内挿画像上のアンカバー領域と重複を生じる
場合は、前記各候補ベクトルに対応する前記画像ｆ
（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画像情報
と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそれぞれ
前記内挿画像の時間的に反対側に位置する画像ｆ（ｔ−
１），ｆ（ｔ＋２）上の領域であって、前記各候補ベク
トルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の対応ア
ンカバー領域を逆向きに移動させた範囲に対応する領域
の画像情報との相関を算出して、相関が最大となる前記
候補ベクトルを、順方向動きベクトルについてはそのま
ま、逆方向動きベクトルについては向きを反転させて、
前記内挿画像上のアンカバー領域のうち、前記２つ以上
の予測画像との重複範囲に対応する前記内挿画像上のア
ンカバー領域における動きベクトルとして決定する手段
を含んでいることを特徴とする画像予測処理装置。 - 【請求項６】 請求項５記載の画像予測処理装置におい
て、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域は、前記ブロックの８倍乃至２００倍の面
積範囲の近傍領域であることを特徴とする画像予測処理
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8015345A JPH09214899A (ja) | 1996-01-31 | 1996-01-31 | 画像予測処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8015345A JPH09214899A (ja) | 1996-01-31 | 1996-01-31 | 画像予測処理方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09214899A true JPH09214899A (ja) | 1997-08-15 |
Family
ID=11886214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8015345A Pending JPH09214899A (ja) | 1996-01-31 | 1996-01-31 | 画像予測処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09214899A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002071331A2 (en) * | 2001-03-07 | 2002-09-12 | Pulsent Corporation | Predictive edge extension into uncovered regions |
| JP2004507943A (ja) * | 2000-08-24 | 2004-03-11 | フランス テレコム | ビデオ・シーケンスの２つのイメージの間に補間される少なくとも一つのイメージを計算するための方法 |
| JP2005323252A (ja) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | 画像符号化装置及び画像復号化装置 |
| US7058227B2 (en) | 1998-08-21 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| JP2007504700A (ja) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 閉塞検出に基づく画素の時間的補間 |
| JP2007074596A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007074586A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP2007282155A (ja) * | 2006-04-12 | 2007-10-25 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP2009200760A (ja) * | 2008-02-21 | 2009-09-03 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP2010028478A (ja) * | 2008-07-18 | 2010-02-04 | Sharp Corp | 動きベクトル補正装置、動きベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP2010178216A (ja) * | 2009-01-30 | 2010-08-12 | Sharp Corp | ベクトル補正装置、ベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP2010212984A (ja) * | 2009-03-10 | 2010-09-24 | Sharp Corp | 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| CN101924936A (zh) * | 2009-06-12 | 2010-12-22 | 索尼公司 | 图像帧内插设备、图像帧内插方法和图像帧内插程序 |
| US8144777B2 (en) | 2002-03-15 | 2012-03-27 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| US8432495B2 (en) | 2006-09-15 | 2013-04-30 | Panasonic Corporation | Video processor and video processing method |
| US9485453B2 (en) | 2013-09-10 | 2016-11-01 | Kabushiki Kaisha Toshiba | Moving image player device |
| JP2020077943A (ja) * | 2018-11-06 | 2020-05-21 | 日本放送協会 | 映像補間装置及びプログラム |
-
1996
- 1996-01-31 JP JP8015345A patent/JPH09214899A/ja active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058227B2 (en) | 1998-08-21 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| JP2004507943A (ja) * | 2000-08-24 | 2004-03-11 | フランス テレコム | ビデオ・シーケンスの２つのイメージの間に補間される少なくとも一つのイメージを計算するための方法 |
| JP4922536B2 (ja) * | 2000-08-24 | 2012-04-25 | フランス・テレコム | ビデオ・シーケンスの２つのイメージの間に補間される少なくとも一つのイメージを計算するための方法 |
| WO2002071331A3 (en) * | 2001-03-07 | 2004-03-18 | Pulsent Corp | Predictive edge extension into uncovered regions |
| WO2002071331A2 (en) * | 2001-03-07 | 2002-09-12 | Pulsent Corporation | Predictive edge extension into uncovered regions |
| US8144777B2 (en) | 2002-03-15 | 2012-03-27 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| JP2007504700A (ja) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 閉塞検出に基づく画素の時間的補間 |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7697769B2 (en) | 2004-01-15 | 2010-04-13 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP2005323252A (ja) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | 画像符号化装置及び画像復号化装置 |
| JP2007074586A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP2007074596A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4655217B2 (ja) * | 2005-09-09 | 2011-03-23 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007282155A (ja) * | 2006-04-12 | 2007-10-25 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| US8432495B2 (en) | 2006-09-15 | 2013-04-30 | Panasonic Corporation | Video processor and video processing method |
| JP2009200760A (ja) * | 2008-02-21 | 2009-09-03 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US8279930B2 (en) | 2008-02-21 | 2012-10-02 | Sony Corporation | Image processing apparatus and method, program, and recording medium |
| JP2010028478A (ja) * | 2008-07-18 | 2010-02-04 | Sharp Corp | 動きベクトル補正装置、動きベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP2010178216A (ja) * | 2009-01-30 | 2010-08-12 | Sharp Corp | ベクトル補正装置、ベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP2010212984A (ja) * | 2009-03-10 | 2010-09-24 | Sharp Corp | 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| CN101924936A (zh) * | 2009-06-12 | 2010-12-22 | 索尼公司 | 图像帧内插设备、图像帧内插方法和图像帧内插程序 |
| US9485453B2 (en) | 2013-09-10 | 2016-11-01 | Kabushiki Kaisha Toshiba | Moving image player device |
| JP2020077943A (ja) * | 2018-11-06 | 2020-05-21 | 日本放送協会 | 映像補間装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09214899A (ja) | 画像予測処理方法および装置 | |
| KR100787675B1 (ko) | 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치 | |
| US8494054B2 (en) | Motion vector computation for video sequences | |
| US5650828A (en) | Method and apparatus for detecting and thinning a contour image of objects | |
| JP2002523985A (ja) | 画像信号における問題領域位置決め | |
| US20070165719A1 (en) | Motion vector detection method and apparatus | |
| EP1734479A1 (en) | Image processing device and method, recording medium, and program | |
| US20070230830A1 (en) | Apparatus for creating interpolation frame | |
| KR19990082504A (ko) | 이미지 코딩 장치 및 이미지 디코딩 장치 | |
| WO1997022083A1 (en) | Method and apparatus for motion estimation in a video signal | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| KR20040105866A (ko) | 움직임 추정 유닛 및 움직임 벡터 추정 방법 | |
| KR20040047963A (ko) | 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치 | |
| JP2005528709A (ja) | 現動きベクトルを推定するユニット及び方法 | |
| JP3299671B2 (ja) | 画像の動き検出装置 | |
| JP2000348187A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| KR100644574B1 (ko) | 디지털 영상 분할 방법 및 그 장치 | |
| KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
| JPH05236455A (ja) | 動画像の動きベクトル検出装置 | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH09187017A (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する計算支援形動き予測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050517 |