JP2005204075A - 動きベクトル検出装置とそれを用いたフレーム補間装置、動きベクトル検出方法とそれを用いたフレーム補間方法およびプログラムと記録媒体。 - Google Patents

Abstract

【課題】第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを精度良く検出して仮想フレームの画像信号を生成する。
【解決手段】動きベクトル設定部１１２で動きベクトルＭＶ0を設定する。動きベクトル算出部１１３は、動きベクトルＭＶ0を仮想フレーム上の画素の動きベクトルと仮定し、この画素に対応する第ｍ，第ｎフレーム上の位置を判別し、判別した位置を基準とした画素ブロックを用いて勾配法演算処理を行い、動きベクトルｖa1を求める。ベクトル加算部１１４は、動きベクトルＭＶ0,ｖa1を加算して動きベクトルＭＶa1を生成する。同様にして、動きベクトル算出部１１５は動きベクトルｖa2を生成し、ベクトル加算部１１６は動きベクトルＭＶ0,ｖa1を加算して、仮想フレーム上の画素の動きベクトルＭＶcを生成する。動きベクトルＭＶcと第ｍ，第ｎフレームの画像信号を用いて補間を行い仮想フレームの画像信号を生成する。
【選択図】 図２

Description

この発明は、動きベクトル検出装置とそれを用いたフレーム補間装置および動きベクトル検出方法とそれを用いたフレーム補間方法およびプログラムと記録媒体に関する。詳しくは、第１の動きベクトルを設定して仮想フレーム上の画素の動きベクトルと仮定し、仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求め、この第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルを求めるものである。また、求めた仮想フレーム上の画素の動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号を生成するものである。

従来、単位時間当たりのフレーム数であるフレーム周波数を所望のフレーム周波数とするフレームレート変換を行う場合、フレーム補間装置が用いられている。図１０は、従来のフレーム補間装置５０の構成を示している。

このフレーム補間装置５０の動きベクトル検出部５１は、入力されたディジタルの画像信号ＤＳaを用いて動きベクトルＭＶaの検出を行い、検出した動きベクトルＭＶaを動きベクトル割付部５２に供給する。動きベクトル割付部５２は、動きベクトルＭＶaを用いて、補間する仮想フレーム上の画素に対する動きベクトルの割り付けを行い、割り付けた動きベクトルＭＶbを画像補間部５３に供給する。画像補間部５３は、割り付けられた動きベクトルＭＶbを用いて仮想フレームの画像信号を生成する。

ここで、動きベクトル検出に用いられる代表的な手法の１つとして勾配法が知られている。以下、勾配法について説明する。

動画像中において、水平方向の座標値を「ｘ」、垂直方向の座標値を「ｙ」、時間方向の座標値を「ｔ」としたとき、座標(ｘ,ｙ,ｔ)で表される画素の輝度値をg(ｘ,ｙ,ｔ)とする。

ある画素(ｘ0,ｙ0,ｔ0)に対応する画像が微少時間中に(ｄｘ,ｄｙ,ｄｔ)だけ移動したとき、水平・垂直・時間方向の勾配をそれぞれｇx(ｘ0,ｙ0,ｔ0),ｇy(ｘ0,ｙ0,ｔ0),ｇt(ｘ0,ｙ0,ｔ0)と表すと、変移後の画素の輝度値はテイラー(Taylor)展開近似を用いて、式(１)のように表すことができる。

ここで，動画像中のある着目画素が１フレーム後に水平ｖx，垂直ｖyだけ移動した場合(以降(ｖx,ｖy)と表す)、式(２)に示すものとなる。

この式(２)は式(１)から式(３)となる。

式(３)は、ｖx,ｖyの２変数の式である為，単独ではその解を求めることはできない。そこで、着目画素の周辺領域を１つのブロックとして考え、同じ動き(ｖx,ｖy)をすると仮定した上で、領域内の各画素を要素とし、領域内における各画素の動き補償フレーム間差分の自乗和が最小になるような(ｖx,ｖy)を求める。

画素(ｘ,ｙ,ｔ)が１フレーム間に(ｖx,ｖy)だけ移動したとき、その動き補償フレーム間差分ｄは式(４)として表される。

ここで、Δｘ＝ｇx(ｘ,ｙ,ｔ)であり水平方向の勾配を表す。同様にΔｙは垂直方向の勾配、Δｔは時間方向の勾配をそれぞれ表す。これらを用いて動き補償フレーム間差分の自乗和Ｅを求めると、自乗和Ｅは式(５)に示すものとなる。

ここで、自乗和Ｅが最小となる(ｖx,ｖy)は、各変数における偏微分値が「０」になるとき、すなわち（∂Ｅ／∂ｖx）＝０の条件が成立するときなので、式(５)より式(６)，式(７)を得ることができる。

この式(６)，(７)から、求めたい動きである(ｖx,ｖy)は、式(８)によって求めることができる。

この式(８)は、分母が二乗の式であることから分母のビット数が大きくなる。このため、式(８)の演算をハードウェアで容易に処理することができない。そこで、画像の斜め方向の勾配が存在しないという仮定と、水平方向・垂直方向の勾配が十分大きいという仮定を設けることで式(８)を簡便化して近似することにより、式(１０)を得ることができる。なお、式(９)は、式(８)を簡便化して近似するために仮定した条件を示している。

また、勾配法を用いた動ベクトル検出法は微少な動きに対しては比較的精度が高いが、実際の動画像中の動きには必ずしも追従しきれないという問題点がある。このため、特許文献１で開示されているように勾配法を反復して行い、求められる動き量が収束することを利用して徐々に正しい動きベクトルを求める反復勾配法が知られている。

図１１は従来の動きベクトル検出部５１の構成、図１２は動作をそれぞれ示している。なお、図１１に示す動きベクトル検出部５１は、反復勾配法における勾配法の反復回数を２回として動きベクトルＭＶaを求めるものである。

入力されたディジタルの画像信号ＤＳaは、遅延部５１１と動きベクトル設定部５１２および勾配法演算処理部５１３，５１５に供給される。

遅延部５１１は、画像信号ＤＳaを１あるいは複数フレーム期間だけ遅延させて、画像信号ＤＳaが第ｎフレームであるとき第ｍフレームを示す画像信号ＤＳbを生成し、動きベクトル設定部５１２と勾配法演算処理部５１３，５１５に供給する。動きベクトル設定部５１２は、反復勾配法を用いて仮想フレーム上の画素の動きベクトルを検出する際に、演算の基準となる動きベクトルＭＶ0を設定して、勾配法演算処理部５１３に供給する。

勾配法演算処理部５１３は、第ｍフレーム上の画素ブロックを基準として、動きベクトルＭＶ0に基づき第ｍフレーム上の画素ブロックと対応する画素ブロックを第ｎフレーム上に設定し、第ｍフレーム上の画素ブロックと第ｎフレーム上の画素ブロックを用いて勾配法の演算処理を行う。この勾配法演算処理部５１３で勾配法の演算処理を行うことにより得られた動きベクトルｖ1は、ベクトル加算部５１４に供給する。

ベクトル加算部５１４は動きベクトルＭＶ0と動きベクトルｖ1を加算して、動きベクトルＭＶ1として勾配法演算処理部５１５に供給する。

勾配法演算処理部５１５は、第ｍフレーム上の画素ブロックを基準として、動きベクトルＭＶ1に基づき第ｍフレーム上の画素ブロックと対応する画素ブロックを第ｎフレーム上に設定し、第ｍフレーム上の画素ブロックと第ｎフレーム上の画素ブロックを用いて勾配法の演算処理を行う。この勾配法演算処理部５１５で勾配法の演算処理を行うことにより得られた動きベクトルｖ2は、ベクトル加算部５１６に供給する。

ベクトル加算部５１６は動きベクトルＭＶ1と動きベクトルｖ2を加算して、動きベクトルＭＶaとして出力する。すなわち、動きベクトルＭＶaは式(１１)として求められる。
ＭＶa＝ＭＶ0＋ｖ1＋ｖ2 ・・・(１１)

この反復勾配法は、圧縮符号化などで必要となる動きベクトル検出手法としては、ほぼ十分な精度を有しており広く利用されている。

特開昭６０−１５８７８６号公報

ところで、第ｍフレームを基準として動きベクトルＭＶaを求めると、第ｍフレームと第ｎフレームの間に位置する仮想フレーム上の画素の動きベクトルを直接求めることができない。このため、図１０に示すように、動きベクトル検出部５１の後段に動きベクトル割付部５２を設けて、第ｍフレームを基準として求めた動きベクトルＭＶaから仮想フレーム上の画素に対して動きベクトルの割り付けを行い、仮想フレーム上の画素の動きベクトルＭＶbを求める処理が必要となる。

また、第ｍフレームを基準として得られた動きベクトルＭＶaによっては、仮想フレーム上の画素に対して、動きベクトルを適切に割り付けることが困難な場合も生じるおそれがある。図１３は動きベクトル割付部５２の動作を説明するための図である。ここで、例えば図１３Ａに示すように第Ｍフレーム上の画素ＰＭk，ＰＭk+1，ＰＭk+2に対して動きベクトルＭＶk，ＭＶk+1，ＭＶk+2が検出されているとき、仮想フレーム上の画素ＰＩk+1に対しては、破線で示すように、動きベクトルＭＶk+2を用いて割り付けを行うものとすれば良い。しかし、例えば図１３Ｂに示すように、画素ＰＭk，ＰＭk+1，ＰＭk+2に対して動きベクトルＭＶk’，ＭＶk+1’，ＭＶk+2’が検出されており、仮想フレーム上の画素ＰＩk+1に対して、動きベクトルＭＶk+2’，ＭＶk+3’が同程度に近接している場合、動きベクトルＭＶk+2’，ＭＶk+3’のいずれを用いて割り付けを行うものとすれば適切な動きベクトルとすることができるか簡単に判別できない。また、図１３Ｃに示すように、動きベクトルＭＶk+2’，ＭＶk+3’が仮想フレーム上の他の画素に近接しており、画素ＰＩk+1に対して近接した動きベクトルが存在しないと、どのような動きベクトルを割り付けて良いか簡単に判別できない。

そこで、この発明では、第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを精度良く検出して仮想フレームの画像信号を生成する動きベクトル検出装置とそれを用いたフレーム補間装置、動きベクトル検出方法とそれを用いたフレーム補間方法およびプログラムと記録媒体を提供するものである。

この発明に係る動きベクトル検出装置は、第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出する動きベクトル検出装置において、第１の動きベクトルを設定する動きベクトル設定手段と、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出手段と、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算手段とを有するものである。

この発明に係るフレーム補間装置は、第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて仮想フレームの画像信号を生成するフレーム補間装置において、第１の動きベクトルを設定するベクトル設定手段と、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出手段と、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算手段と、ベクトル加算手段で求めた動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号を生成する補間手段とを有するものである。

この発明に係る動きベクトル検出方法は、第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出する動きベクトル検出方法において、第１の動きベクトルを設定する動きベクトル設定ステップと、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算ステップとを有するものである。

この発明に係るフレーム補間方法は、第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、第ｍフレームと第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて仮想フレームの画像信号を生成するフレーム補間方法において、第１の動きベクトルを設定するベクトル設定ステップと、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算ステップと、ベクトル加算ステップで求めた動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号を生成する補間ステップとを有するものである。

この発明に係るプログラムは、コンピュータに、第１の動きベクトルを設定する動きベクトル設定ステップと、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算ステップとを実行させるものである。また、ベクトル加算ステップで求めた動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号を生成する補間ステップを更に実行させるものである。

この発明に係る記録媒体は、第１の動きベクトルを設定する動きベクトル設定ステップと、第１の動きベクトルを仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を判別し、該判別した第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルとするベクトル加算ステップとをコンピュータで実行させるためのプログラムを記録したものである。また、ベクトル加算ステップで求めた動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号を生成する補間ステップを更に実行させるためのプログラムを記録したものである。

この発明においては、第１の動きベクトルとして、仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルが設定される。この第１の動きベクトルが仮想フレーム上の画素の動きベクトルと仮定されて、この動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置が判別される。また、第ｍフレーム上と第ｎフレーム上の位置の判別では、仮想フレームの第ｍフレームと第ｎフレーム間における時間位相が用いられる。この判別された第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理が行われて、第１の動きベクトルからの動きの変位である第２の動きベクトルが求められる。この第１乃至第２の動きベクトルを加算して仮想フレーム上の画素の動きベクトルが求められる。また、第１乃至第２の動きベクトルを加算して得られた動きベクトルが第１の動きベクトルとして用いられて、勾配法の演算処理が反復される。ここで、例えば反復回数が予め設定された回数となったとき、あるいは第２の動きベクトルの大きさが所定レベルよりも小さくなったとき反復が終了されて、このとき第１乃至第２の動きベクトルを加算して得られた動きベクトルが、仮想フレーム上の画素の動きベクトルとされる。求めた仮想フレーム上の画素の動きベクトルに基づいて、この画素に対応する第ｍフレームと第ｎフレーム上の位置が判別されて、判別された第ｍフレームと第ｎフレーム上の位置の画像信号を用いて補間を行い、動きベクトルを求めた画素の画素信号が算出されて仮想フレームの画像信号が生成される。

この発明によれば、第１の動きベクトルが仮想フレーム上の画素の動きベクトルと仮定されて、この動きベクトルを用いて仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置が判別されて、判別された第ｍフレーム上と第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理が行われて、第１の動きベクトルからの動きの変位である第２の動きベクトルが求められる。この求めた第２の動きベクトルが第１の動きベクトルに加算されて仮想フレーム上の画素の動きベクトルとされる。また、求めた仮想フレーム上の画素の動きベクトルに基づいて第ｍフレームと第ｎフレームの画像信号を用い、補間処理を行って仮想フレームの画像信号が生成される。このように、仮想フレーム上の画素の動きベクトルを直接求めることができるので、動きベクトルの割付といった後処理の必要がなく、動きベクトルの検出を容易に行うことができる。さらに、動きベクトルの割付といった後処理の必要がないため、フレーム補間装置の構成を簡単とすることができる。

また、第１乃至第２の動きベクトルを加算して得られた動きベクトルを用いて第２の動きベクトルの算出が行われることにより、第２の動きベクトルの算出や第１乃至第２の動きベクトルの加算が反復されるので、仮想フレーム上の画素の動きベクトルを精度良く求めることができる。

さらに、第２の動きベクトルが所定レベルよりも小さくなったとき、反復が終了されるので、効率よく所望の精度で仮想フレーム上の画素の動きベクトルを求めることができる。

また、仮想フレームの第ｍフレームと第ｎフレーム間における時間位相に応じて、仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置が判別されるので、仮想フレーム上の画素に対応する第ｍフレーム上と第ｎフレーム上の位置を容易かつ正しく判別できる。

また、第１の動きベクトルとして、仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルが用いられることから、勾配法の演算処理を反復したときに動きベクトルを速やかに収束させることができる。

また、求めた仮想フレーム上の動きベクトルを用いて、仮想フレーム上の画素に対応する第ｍフレームと第ｎフレーム上の位置が判別されて、この判別した第ｍフレームと第ｎフレーム上の位置の画像信号を用いて補間処理を行い、仮想フレーム上の画素の画素信号を得て、仮想フレームの画像信号が生成される。このため、求めた仮想フレーム上の動きベクトルに基づいて、良好なフレーム補間画像を得ることができる。

以下、図を参照しながら、この発明の実施の形態について説明する。図１は、フレーム補間装置の構成を示している。フレーム補間装置１０の動きベクトル検出部１１は、入力されたディジタルの画像信号ＤＳaを１あるいは複数フレーム期間だけ遅延させて、画像信号ＤＳaが第ｎ(ｍ)フレームであるとき、第ｍ(ｎ)フレームを示す画像信号ＤＳbを生成する（ｍ≠ｎ）。この画像信号ＤＳaと画像信号ＤＳbを用いて、第ｍフレームと第ｎフレームの間に位置する仮想フレーム上の画素の動きベクトルＭＶcを求めて、画像信号ＤＳa，ＤＳbと共に画像補間部１３に供給する。画像補間部１３では、画像信号ＤＳa，ＤＳbと動きベクトルＭＶcを用いて仮想フレームの画像信号ＤＳcを生成して出力する。

図２は、動きベクトル検出部１１の構成を示している。なお、図２に示す動きベクトル検出部１１は、反復勾配法における勾配法の反復回数を２回として動きベクトルＭＶcを求めるものである。

画像信号ＤＳaは、遅延部１１１と動きベクトル設定部１１２および動きベクトル算出部１１３，１１５に供給される。

遅延部１１１は、画像信号ＤＳaを１あるいは複数フレーム期間だけ遅延させて、画像信号ＤＳaが例えば第ｎフレームであるとき第ｍフレームを示す画像信号ＤＳbを生成し、動きベクトル設定部１１２と動きベクトル算出部１１３，１１５に供給する。

動きベクトル設定部１１２は、仮想フレーム上の画素の動きベクトルを検出する際に、演算の基準となる動きベクトルＭＶ0を設定して、動きベクトル算出部１１３とベクトル加算部１１４に供給する。例えば、動きベクトルを検出する仮想フレーム上の画素に隣接した画素に対して検出されている動きベクトルを動きベクトルＭＶ0として設定する。あるいは、動きベクトルを検出する仮想フレーム上の画素と画素位置の等しい前フレームの画素に対して検出されている動きベクトルを動きベクトルＭＶ0として設定する。このように、隣接する画素に対して検出されている動きベクトルや前フレームの画素に対して検出されている動きベクトルを用いることで、動きベクトルＭＶ0の設定を容易に行うことができる。また、動きベクトルＭＶ0は、検出する動きベクトルＭＶcとの誤差が少ない場合が多くなり、勾配法を所定回数ときの動きベクトルＭＶcの検出精度を高めることができる。また、画像信号ＤＳa，ＤＳbを用いておおまかな動きベクトルを検出し、検出した動きベクトルを動きベクトルＭＶ0に設定するものとしても良い。

動きベクトル算出部１１３は、始点設定係数供給部１１３ａと終点設定係数供給部１１３ｂと乗算器１１３ｃ，１１３ｄおよび勾配法演算処理部１１３ｅを有している。始点設定係数供給部１１３ａは、動きベクトルＭＶ0の基準を仮想フレームとしたとき、第ｍフレーム上における動きベクトルＭＶ0の始点を判別するための係数ＫＳを生成して乗算器１１３ｃに供給する。乗算器１１３ｃは、動きベクトルＭＶ0に係数ＫＳを乗算して動きベクトルｈs1として勾配法演算処理部１１３ｅに供給する。終点設定係数供給部１１３ｂは、動きベクトルＭＶ0の基準を仮想フレームとしたとき、第ｎフレーム上における動きベクトルＭＶ0の終点を判別するための係数ＫＳを生成して乗算器１１３ｄに供給する。乗算器１１３ｄは、動きベクトルＭＶ0と係数ＫＥを乗算して動きベクトルｈe1として勾配法演算処理部１１３ｅに供給する。

ここで、第ｍフレームと第ｎフレームとの間に位置する仮想フレームが、図３に示すように「α：（１−α）」の時間間隔比（時間位相）を有しているとき、動きベクトルＭＶ0の基準を例えば第ｍフレームとすると、動きベクトルＭＶ0の始点と終点が図３Ａに示すように設定されて、仮想フレームの画素ＰＩを動きベクトルＭＶ0が通過しない場合が生ずる。このため、始点設定係数供給部１１３ａから供給する係数ＫＳを時間位相に応じた値「−α」、終点設定係数供給部１１３ｂから供給する係数ＫＥを時間位相に応じた値「１−α」として、動きベクトルｈs1，ｈe1を勾配法演算処理部１１３ｅに供給して、図３Ｂに示すように、動きベクトルＭＶ0の基準を仮想フレームに設定した場合における第ｍフレーム上の始点と第ｎフレーム上の終点を、動きベクトルｈs1，ｈe1によって判別可能とする。

勾配法演算処理部１１３ｅは、動きベクトルｈs1，ｈe1によって判別した第ｍフレーム上の始点と第ｎフレーム上の終点を基準として第ｍフレームと第ｎフレームに画素ブロックを設定し、第ｍフレームと第ｎフレームの画素ブロックを用いて勾配法の演算処理を行い、動きベクトルｖa1を算出する。この算出した動きベクトルｖa1は、ベクトル加算部１１４に供給される。

ベクトル加算部１１４は、動きベクトルＭＶ0に動きベクトルｖa1を加算して動きベクトルＭＶa1を生成し、この動きベクトルＭＶa1を動きベクトル算出部１１５とベクトル加算部１１６に供給する。

動きベクトル算出部１１５は、動きベクトル算出部１１３と同様に構成されており、動きベクトルＭＶa1に基づいて動きベクトルｖa2を算出してベクトル加算部１１６に供給する。ベクトル加算部１１６は、動きベクトルＭＶa1に動きベクトルｖa2を加算して動きベクトルＭＶcとして画像補間部１３に供給する。

このように勾配法の反復回数を２回とすると、図４に示すように、仮想フレームを基準として算出した動きベクトルｖa1，ｖa2が動きベクトルＭＶ0に加算されて、仮想フレーム上の画素ＰＩの動きベクトルＭＶcを精度良く検出できる。

画像補間部１３は、図５に示すように、仮想フレーム上の画素ＰＩを通過する動きベクトルＭＶcの第ｍフレーム上の始点ＰＳと第ｎフレーム上の終点ＰＥを決定して、始点ＰＳの画素信号Ｄpsを第ｍフレーム上の周辺画素の画素信号を用いて求める。例えば、隣接する画素の画素信号を用いて補間を行い画素信号Ｄpsを算出する。同様に、終点ＰＥの画素信号Ｄpeを第ｎフレーム上の周辺画素の画素信号を用いて求める。例えば、隣接する画素の画素信号を用いて補間を行い画素信号Ｄpeを算出する。さらに、算出した画素信号Ｄpsと画素信号Ｄpeを用いて仮想フレームの時間位相に応じた補間処理を行い、画素ＰＩの画素信号Ｄpiを算出する。例えば式(１２)に示す演算処理を行い、仮想フレームの時間位相に応じた画素信号Ｄpiを算出する。
Ｄpi＝（１−α）Ｄps＋αＤpe ・・・(１２)

このようにして生成された各画素の画素信号Ｄpiを用いて、仮想フレームの画像信号ＤＳcを生成して出力する。

このように、動きベクトル算出部１１３，１１５は、仮想フレームの時間位相αに応じて動きベクトルＭＶ0，ＭＶa1の始点と終点を移動させることにより、仮想フレームを基準とした勾配法の演算処理が行われることから、仮想フレーム上の画素の動きベクトルを精度良く検出することができ、仮想フレームに対して動きベクトルを割り付ける処理が不要となる。また、動きベクトルを割り付ける処理が不要となることから構成を簡単とすることができ、機器の小型化等に効果がある。さらに、反復勾配法を用いて動きベクトルの算出が行われることから、仮想フレーム上の画素の動きベクトルを更に精度良く検出できる。

なお、図２は勾配法の反復回数を２回とした場合の構成を示したが、動きベクトル算出部とベクトル加算部の対を勾配法の反復回数分だけ多段接続することで、反復勾配法における勾配法演算処理の反復回数を変更できる。

ところで、図２に示す動きベクトル検出部１１は、動きベクトル算出部とベクトル加算部を勾配法の反復回数分だけ設けて動きベクトルＭＶcを求めるものであるが、動きベクトル算出部とベクトル加算部をそれそれ１つとして、勾配法を１回あるいは複数回反復させて動きベクトルＭＶcを求めることもできる。この場合の動きベクトル検出部の構成を図６に示す。なお、図６において図２と対応する部分については同一符号を付している
遅延部１１１は、画像信号ＤＳaを１あるいは複数フレーム期間だけ遅延させて画像信号ＤＳbを生成し、動きベクトル設定部１１２と動きベクトル算出部１１３に供給する。

動きベクトル設定部１１２は、動きベクトルＭＶ0を設定してベクトル選択部１２０に供給する。また、ベクトル選択部１２０には、ベクトル加算部１１４から出力された動きベクトルＭＶa1を供給する。

ベクトル選択部１２０は、動きベクトル設定部１１２から供給された動きベクトルＭＶ0を動きベクトル算出部１１３とベクトル加算部１１４に供給する。あるいは、ベクトル加算部１１４から供給された動きベクトルＭＶa1を動きベクトルＭＶ0として動きベクトル算出部１１３とベクトル加算部１１４に供給する。

動きベクトル算出部１１３は、ベクトル選択部１２０から供給された動きベクトルＭＶ0を用いて上述したように勾配法演算を行い、動きベクトルｖa1を生成してベクトル加算部１１４に供給する。ベクトル加算部１１４は、ベクトル選択部１２０から供給された動きベクトルＭＶ0と、動きベクトル算出部１１３から供給された動きベクトルｖa1加算して動きベクトルＭＶa1を生成する。

このように、動きベクトル算出部とベクトル加算部を１つとした動きベクトル検出部は、仮想フレーム上の画素に対して最初の勾配法演算を行うとき、動きベクトル設定部１１２で設定された動きベクトルＭＶ0をベクトル選択部１２０から動きベクトル算出部１１３とベクトル加算部１１４に供給する。このとき、動きベクトル算出部１１３では、上述の動きベクトルｖa1が算出されてベクトル加算部１１４に供給される。ベクトル加算部１１４は、動きベクトルＭＶ0に動きベクトルｖa1を加算して、動きベクトルＭＶa1を出力する。

次に、２回目の勾配法演算を行う場合、ベクトル加算部１１４から出力された動きベクトルＭＶa1をベクトル選択部１２０から動きベクトルＭＶ0として動きベクトル算出部１１３とベクトル加算部１１４に供給する。このとき、動きベクトル算出部１１３では、上述の動きベクトル算出部１１５の同様な処理を行い、算出した動きベクトルｖa2を動きベクトルｖa1としてベクトル加算部１１４に供給する。ベクトル加算部１１４は、動きベクトルＭＶ0に動きベクトルｖa1を加算して動きベクトルＭＶa1を出力する。すなわち、動きベクトルＭＶa1と動きベクトルｖa2を加算して得られる動きベクトルを動きベクトルＭＶa1として出力する。

以下同様に、ベクトル加算部１１４から出力された動きベクトルＭＶa1を、ベクトル選択部１２０から動きベクトルＭＶ0として動きベクトル算出部１１３とベクトル加算部１１４に供給すれば、勾配法を反復して得られる動きベクトルがベクトル加算部１１４から動きベクトルＭＶa1として出力される異なる。

このため、ベクトル選択部１２０は、勾配法演算が所定回数反復されたとき、ベクトル加算部１１４から供給された動きベクトルＭＶa1に換えて、動きベクトル設定部１１２から供給された次の画素に対して設定された動きベクトルＭＶ0を動きベクトル算出部１１３とベクトル加算部１１４に供給する。また、このとき得られている動きベクトルＭＶa1を動きベクトルＭＶcとして画像補間部１３に供給する。この場合、勾配法演算の反復が終了されて、次の画素の動きベクトル検出が開始される。

また、ベクトル選択部１２０は、動きベクトル算出部１１３で算出される動きベクトルｖa1の大きさが所定レベルよりも小さくなったとき、ベクトル加算部１１４から供給された動きベクトルＭＶa1に換えて、動きベクトル設定部１１２から供給された次の画素に対して設定された動きベクトルＭＶ0を動きベクトル算出部１１３とベクトル加算部１１４に供給するものとしてもよい。この場合、動きベクトルｖa1の大きさが所定レベルよりも小さくなり、動きベクトルＭＶcの精度が確保されると、自動的に勾配法演算の反復が終了されて、次の画素の動きベクトル検出が開始されることから、所望の精度で動きベクトルＭＶcを効率よく検出できる。

このように、ベクトル加算部１１４から出力された動きベクトルＭＶa1を動きベクトルＭＶ0として動きベクトル算出部１１３とベクトル加算部１１４に供給することで、勾配法演算を反復して行うことができるので、動きベクトル算出部とベクトル加算部を反復回数分設ける必要がなく、構成を簡単とすることができる。

ところで、フレーム補間装置は、ハードウェアで構成された動きベクトル検出部や画像補間部を用いるだけでなくソフトウェアを用いても行うことができる。図７は、ソフトウェアで動きベクトル検出やフレーム補間を行う場合の構成を示している。

ディジタルの画像信号ＤＳaは、入力部２１に供給される。入力部２１は供給された画像信号ＤＳaをＲＡＭ(Random Access Memory)２２に記憶させる。

ＣＰＵ(Central Processing Unit)２３は、ＲＯＭ(Read Only Memory)２４、あるいは記録媒体再生部２５に装着されている記録媒体２６に記憶されているプログラムを読み出して実行し、第ｎフレームを示す画像信号ＤＳaと第ｍフレームを示す画像信号ＤＳbをＲＡＭ２２から読み出して仮想フレーム上の画素の動きベクトルを検出する。さらに、検出した動きベクトルと画像信号ＤＳa，ＤＳbを用いて補間処理を行い、仮想フレーム上の画素の画素信号を生成する。このようにして、生成された仮想フレームの各画素の画素信号を用いて仮想フレームの画像信号ＤＳcを生成して出力部２７から出力させる。なお、ＲＡＭ２２は、画像信号を記憶するだけでなく、反復勾配法の演算処理や画像補間処理を行う際にワーク領域としても用いられる。なお、入力部２１，ＲＡＭ２２，ＣＰＵ２３，ＲＯＭ２４，記録媒体再生部２５，出力部２７は、バス２８を介して接続される。

図８は、勾配法の反復回数を２回としたときのフレーム補間動作を示すフローチャートである。ステップＳＴ１で、ＣＰＵ２３は、上述の動きベクトル設定部１１２と同様にして動きベクトルＭＶ0を設定してステップＳＴ２に進む。

ステップＳＴ２では、仮想フレームを基準として、動きベクトルＭＶ0の第ｍフレーム上の始点と第ｎフレーム上の終点を判別する。すなわち、動きベクトルＭＶ0に仮想フレームの時間位相に応じた係数を乗算して動きベクトルｈs1，ｈe1を生成し、仮想フレーム上の画素位置と動きベクトルｈs1，ｈe1に基づいて、第ｍフレーム上の始点と第ｎフレーム上の終点を判別する。

ステップＳＴ３では、勾配法演算処理を行い、動きベクトルｖa1を算出する。この勾配法演算処理では、ステップＳＴ２で判別された始点を基準とした第ｍフレームの画素ブロックと判別された終点を基準とした第ｎフレームの画素ブロックを用いて勾配法の演算処理を行う。

ステップＳＴ４では、ベクトル加算を行い、動きベクトルＭＶ0にステップＳＴ３で算出した動きベクトルｖa1を加算して動きベクトルＭＶa1を生成する。

ステップＳＴ５では、仮想フレームを基準として、動きベクトルＭＶa1の第ｍフレーム上の始点と第ｎフレーム上の終点を、ステップＳＴ２と同様にして判別する。

ステップＳＴ６では、勾配法演算処理を行い、動きベクトルｖa2を算出する。この勾配法演算処理では、ステップＳＴ５で判別された始点を基準とした第ｍフレームの画素ブロックと判別された終点を基準とした第ｎフレームの画素ブロックを用いて勾配法の演算処理を行う。

ステップＳＴ７では、ベクトル加算を行い、動きベクトルＭＶa1とステップＳＴ６で算出した動きベクトルｖa2を加算して動きベクトルＭＶcを生成する。

ステップＳＴ８では、画像補間処理を行い、動きベクトルＭＶcと第ｍフレームと第ｎフレームの画像信号を用いて仮想フレームの画像信号ＤＳcを生成する。すなわち、仮想フレーム上の画素に対する動きベクトルＭＶcを用いて、画素に対応する第ｍフレーム上の位置と第ｎフレーム上の位置を判別する。次に、判別された第ｍフレーム上の位置と第ｎフレーム上の位置の信号レベルを求め、この第ｍフレーム上の位置と第ｎフレーム上の位置の信号レベルを用いて、画素の画素信号を例えば補間処理によって求める。さらに、仮想フレームの各画素の画素信号を用いて画像信号ＤＳcを生成する。

図９は、勾配法の反復回数を可変できるフレーム補間動作を示すフローチャートである。ステップＳＴ１１で、ＣＰＵ２３は、ステップＳＴ１と同様にして動きベクトルＭＶ0を設定してステップＳＴ１２に進む。

ステップＳＴ１２では、ステップＳＴ２と同様に、仮想フレームを基準として、動きベクトルＭＶ0の第ｍフレーム上の始点と第ｎフレーム上の終点を判別する。

ステップＳＴ１３では、ステップＳＴ３と同様に勾配法の演算処理を行い、動きベクトルｖa1を算出してステップＳＴ１４に進む。

ステップＳＴ１４では、ステップＳＴ４と同様にベクトル加算を行い、動きベクトルＭＶ0にステップＳＴ１３で算出した動きベクトルｖa1を加算して新たな動きベクトルＭＶa1を生成する。

ステップＳＴ１５では、ステップＳＴ１４で算出した動きベクトルＭＶa1を動きベクトルＭＶ0として選択するか否かを判別する。ここで、例えば予め設定された反復回数だけ勾配法演算処理が行われていないときは、動きベクトルＭＶa1を動きベクトルＭＶ0として選択するものとして、ステップＳＴ１４で算出した動きベクトルＭＶa1を動きベクトルＭＶ0に設定してステップＳＴ１２に戻る。また、例えば予め設定された反復回数だけ勾配法演算処理が行われたとき、あるいはステップＳＴ１３で算出した動きベクトルｖa1が所定レベルよりも小さくなったときは、動きベクトルＭＶa1を動きベクトルＭＶ0として選択しないものとして、ステップＳＴ１４で算出した動きベクトルＭＶa1を動きベクトルＭＶcとしてステップＳＴ１６に進む。

ステップＳＴ１６では、ステップＳＴ８と同様に画像補間処理を行い、動きベクトルＭＶcと第ｍフレームと第ｎフレームの画像信号を用いて仮想フレームの画像信号ＤＳcを生成する。

このように、ソフトウェアでも第ｍフレームと第ｎフレームの間に位置する仮想フレームの画像信号を生成できる。

また、図８や図９の動作を行うプログラムを記録媒体２６、例えば光や磁気を利用する記録媒体や半導体素子を用いた記録媒体等に記録すれば、この記録媒体２６を流通させることで多くのコンピュータ装置で容易にフレーム補間を行うことができる。

以上のように、本発明はフレーム補間を行う際に有用であり、画像動きのある画像信号を用いたフレーム補間に適用している。

フレーム補間装置の構成を示す図である。 動きベクトル検出部の構成を示す図である。 動きベクトルの始点と終点を説明するための図である。 動きベクトル検出部の動作を説明するための図である。 画像補間部の動作を説明するための図である。 動きベクトル検出部の他の構成を示す図である。 ソフトウェアを用いる場合の構成を示す図である。 フレーム補間動作を示すフローチャートである。 他のフレーム補間動作を示すフローチャートである。 従来のフレーム補間装置の構成を示す図である。 従来の動きベクトル検出部の構成を示す図である。 従来の動きベクトル検出部の動作を説明するための図である。 動きベクトル割付部の動作を説明するための図である。

符号の説明

１０，５０・・・フレーム補間装置、１１，５１・・・動きベクトル検出部、１３，５３・・・画像補間部、２１・・・入力部、２２・・・ＲＡＭ、２３・・・ＣＰＵ、２４・・・ＲＯＭ、２５・・・記録媒体再生部、２６・・・記録媒体、２７・・・出力部、５２・・・動きベクトル割付部、１１１,５１１・・・遅延部、１１２,５１２・・・動きベクトル設定部、１１３，１１５・・・動きベクトル算出部、１１３ａ・・・始点設定係数供給部、１１３ｂ・・・終点設定係数供給部、１１３ｃ,１１３ｄ・・・乗算器、１１３ｅ,５１３，５１５・・・勾配法演算処理部、１１４,１１６,５１４，５１６・・・ベクトル加算部、１２０・・・ベクトル選択部

Claims (30)

1. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出する動きベクトル検出装置において、
   第１の動きベクトルを設定する動きベクトル設定手段と、
   前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出手段と、
   前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算手段とを有する
   ことを特徴とする動きベクトル検出装置。
2. 前記動きベクトル算出手段と前記ベクトル加算手段の対を多段接続し、
   前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして次段の前記動きベクトル算出手段に供給し、最終段の前記ベクトル加算手段で得られた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
   ことを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記動きベクトル設定手段で設定された第１の動きベクトルに換えて、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給するベクトル選択手段を設け、
   前記動きベクトル算出手段と前記ベクトル加算手段の処理を反復させて、前記仮想フレーム上の画素の動きベクトルを求める
   ことを特徴とする請求項１記載の動きベクトル検出装置。
4. 前記動きベクトル算出手段で、予め設定された反復回数だけ前記勾配法の演算処理が行われていないとき、前記ベクトル選択手段は、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給し、
   前記動きベクトル算出手段で、予め設定された反復回数だけ前記勾配法の演算処理が行われたとき、あるいは前記第２の動きベクトルが所定レベルよりも小さくなったとき、前記ベクトル選択手段は、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給しないものとし、前記ベクトル加算手段で求めた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
   ことを特徴とする請求項３記載の動きベクトル検出装置。
5. 前記動きベクトル算出手段は、前記仮想フレームの前記第ｍフレームと前記第ｎフレーム間における時間位相を用いて、前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別する
   ことを特徴とする請求項１記載の動きベクトル検出装置。
6. 前記動きベクトル設定手段は、前記第１の動きベクトルとして、前記仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは前記仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルを用いる
   ことを特徴とする請求項１記載の動きベクトル検出装置。
7. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて前記仮想フレームの画像信号を生成するフレーム補間装置において、
   第１の動きベクトルを設定するベクトル設定手段と、
   前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出手段と、
   前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算手段と、
   前記ベクトル加算手段で求めた動きベクトルに基づいて前記第ｍフレームと前記第ｎフレームの画像信号を用い、補間処理を行って前記仮想フレームの画像信号を生成する補間手段とを有する
   ことを特徴とするフレーム補間装置。
8. 前記動きベクトル算出手段と前記ベクトル加算手段の対を多段接続し、
   前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして次段の前記動きベクトル算出手段に供給し、最終段の前記ベクトル加算手段で得られた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
   ことを特徴とする請求項７記載のフレーム補間装置。
9. 前記動きベクトル設定手段で設定された第１の動きベクトルに換えて、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給するベクトル選択手段を設け、
   前記動きベクトル算出手段と前記ベクトル加算手段の処理を反復させて、前記仮想フレーム上の画素の動きベクトルを求める
   ことを特徴とする請求項７記載のフレーム補間装置。
10. 前記動きベクトル算出手段で、予め設定された反復回数だけ前記勾配法の演算処理が行われていないとき、前記ベクトル選択手段は、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給し、
    前記動きベクトル算出手段で、予め設定された反復回数だけ前記勾配法の演算処理が行われたとき、あるいは前記第２の動きベクトルが所定レベルよりも小さくなったとき、前記ベクトル選択手段は、前記ベクトル加算手段で求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出手段に供給しないものとし、前記ベクトル加算手段で求めた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
    ことを特徴とする請求項９記載のフレーム補間装置。
11. 前記動きベクトル算出手段は、前記仮想フレームの前記第ｍフレームと前記第ｎフレーム間における時間位相を用いて、前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別する
    ことを特徴とする請求項７記載のフレーム補間装置。
12. 前記動きベクトル設定手段は、前記第１の動きベクトルとして、前記仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは前記仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルを用いる
    ことを特徴とする請求項７記載のフレーム補間装置。
13. 前記補間手段は、前記ベクトル加算手段で求めた動きベクトルを用いて、前記仮想フレーム上の画素に対応する前記第ｍフレームと前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレームと前記第ｎフレーム上の位置の画像信号を用いて補間処理を行い、前記仮想フレーム上の画素の画素信号を得て、前記仮想フレームの画像信号を生成する
    ことを特徴とする請求項７記載のフレーム補間装置。
14. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出する動きベクトル検出方法において、
    第１の動きベクトルを設定する動きベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップとを有する
    ことを特徴とする動きベクトル検出方法。
15. 前記動きベクトル算出ステップと前記ベクトル加算ステップの対を複数設けるものとし、
    前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして次の前記動きベクトル算出ステップに供給し、最終の前記ベクトル加算ステップで得られた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
    ことを特徴とする請求項１４記載の動きベクトル検出方法。
16. 前記動きベクトル設定ステップで設定された第１の動きベクトルに換えて、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給するベクトル選択ステップを設け、
    前記動きベクトル算出ステップと前記ベクトル加算ステップの処理を反復させて、前記仮想フレーム上の画素の動きベクトルを求める
    ことを特徴とする請求項１４記載の動きベクトル検出方法。
17. 前記動きベクトル算出ステップが予め設定された反復回数だけ行われていないとき、前記ベクトル選択ステップでは、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給し、
    前記動きベクトル算出ステップが予め設定された反復回数だけ行われたとき、あるいは前記第２の動きベクトルが所定レベルよりも小さくなったとき、前記ベクトル選択ステップでは、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給しないものとし、前記ベクトル加算ステップで求めた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
    ことを特徴とする請求項１６記載の動きベクトル検出方法。
18. 前記動きベクトル算出ステップでは、前記仮想フレームの前記第ｍフレームと前記第ｎフレーム間における時間位相を用いて、前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別する
    ことを特徴とする請求項１４記載の動きベクトル検出方法。
19. 前記動きベクトル設定ステップでは、前記第１の動きベクトルとして、前記仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは前記仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルを用いる
    ことを特徴とする請求項１４記載の動きベクトル検出方法。
20. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて前記仮想フレームの画像信号を生成するフレーム補間方法において、
    第１の動きベクトルを設定するベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップと、
    前記ベクトル加算ステップで求めた動きベクトルに基づいて前記第ｍフレームと前記第ｎフレームの画像信号を用い、補間処理を行って前記仮想フレームの画像信号を生成する補間ステップとを有する
    ことを特徴とするフレーム補間方法。
21. 前記動きベクトル算出ステップと前記ベクトル加算ステップの対を複数設けるものとし、
    前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして次の前記動きベクトル算出ステップに供給し、最終の前記ベクトル加算ステップで得られた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
    ことを特徴とする請求項２０記載のフレーム補間方法。
22. 前記動きベクトル設定ステップで設定された第１の動きベクトルに換えて、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給するベクトル選択ステップを設け、
    前記動きベクトル算出ステップと前記ベクトル加算ステップの処理を反復させて、前記仮想フレーム上の画素の動きベクトルを求める
    ことを特徴とする請求項２０記載のフレーム補間方法。
23. 前記動きベクトル算出ステップが予め設定された反復回数だけ行われていないとき、前記ベクトル選択ステップでは、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給し、
    前記動きベクトル算出ステップが予め設定された反復回数だけ行われたとき、あるいは前記第２の動きベクトルが所定レベルよりも小さくなったとき、前記ベクトル選択ステップでは、前記ベクトル加算ステップで求めた動きベクトルを前記第１の動きベクトルとして前記動きベクトル算出ステップに供給しないものとし、前記ベクトル加算ステップで求めた動きベクトルを前記仮想フレーム上の画素の動きベクトルとする
    ことを特徴とする請求項２２記載のフレーム補間方法。
24. 前記動きベクトル算出ステップでは、前記仮想フレームの前記第ｍフレームと前記第ｎフレーム間における時間位相に応じて、前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別する
    ことを特徴とする請求項２０記載のフレーム補間方法。
25. 前記動きベクトル設定ステップでは、前記第１の動きベクトルとして、前記仮想フレーム上の動きベクトルを求める画素に隣接した画素の動きベクトル、あるいは前記仮想フレーム上の動きベクトルを求める画素と位置の等しい前フレームの画素に対して検出されている動きベクトルを用いる
    ことを特徴とする請求項２０記載のフレーム補間方法。
26. 前記補間ステップでは、前記ベクトル加算ステップで求めた動きベクトルを用いて、前記仮想フレーム上の画素に対応する前記第ｍフレームと前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレームと前記第ｎフレーム上の位置の画像信号を用いて補間処理を行い、前記仮想フレーム上の画素の画素信号を得て、前記仮想フレームの画像信号を生成する
    ことを特徴とする請求項２０記載のフレーム補間方法。
27. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用い、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出するためコンピュータに、
    第１の動きベクトルを設定する動きベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップとを実行させるためのプログラム。
28. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて前記仮想フレームの画像信号を生成するため、
    コンピュータに、
    第１の動きベクトルを設定する動きベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップと、
    前記ベクトル加算ステップで求めた動きベクトルに基づいて前記第ｍフレームと前記第ｎフレームの画像信号を用い、補間処理を行って前記仮想フレームの画像信号を生成する補間ステップを実行させるためのプログラム。
29. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用い、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出するため、
    第１の動きベクトルを設定する動きベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップを、コンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
30. 第ｍフレームと第ｎフレーム（ｍ≠ｎ）を含むディジタル画像信号を用いて、前記第ｍフレームと前記第ｎフレームとの間に位置する仮想フレーム上の画素の動きベクトルを検出し、該検出した動きベクトルを用いて前記仮想フレームの画像信号を生成するため、
    第１の動きベクトルを設定する動きベクトル設定ステップと、
    前記第１の動きベクトルを前記仮想フレーム上の画素の動きベクトルと仮定して、該動きベクトルを用いて前記仮想フレーム上の画素に対応する前記第ｍフレーム上と前記第ｎフレーム上の位置を判別し、該判別した前記第ｍフレーム上と前記第ｎフレーム上の位置を基準とした画素ブロックを用いて勾配法の演算処理を行い、前記第１の動きベクトルからの動きの変位である第２の動きベクトルを求める動きベクトル算出ステップと、
    前記第１乃至第２の動きベクトルを加算して前記仮想フレーム上の画素の動きベクトルとするベクトル加算ステップと、
    前記ベクトル加算ステップで求めた動きベクトルに基づいて前記第ｍフレームと前記第ｎフレームの画像信号を用い、補間処理を行って前記仮想フレームの画像信号を生成する補間ステップを、コンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images