JP2003274414A - 動きベクトル検出方法、補間画像作成方法及び画像表示システム - Google Patents
動きベクトル検出方法、補間画像作成方法及び画像表示システムInfo
- Publication number
- JP2003274414A JP2003274414A JP2002073207A JP2002073207A JP2003274414A JP 2003274414 A JP2003274414 A JP 2003274414A JP 2002073207 A JP2002073207 A JP 2002073207A JP 2002073207 A JP2002073207 A JP 2002073207A JP 2003274414 A JP2003274414 A JP 2003274414A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- frame
- image
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
ルを取り除いて正確な動きベクトル検出を可能とする。 【解決手段】第mフレーム1の動きベクトル探索領域か
ら第1ブロック11を抽出し、第m+nフレーム2の動
きベクトル探索領域から第1ブロック11との相関がよ
り大きい複数の第2ブロック12を抽出し、第1ブロッ
ク11と第2ブロック12間の複数の第1動きベクトル
を検出し、第m+iフレーム3から第1ブロックと空間
的同位置にある第3ブロック13を抽出し、第1動きベ
クトルの(n−i)/nである複数の第2動きベクトル
を算出し、第2動きベクトルに従って第m+nフレーム
12から第3ブロック13の移動先となる第4ブロック
14を抽出し、複数の第1動きベクトルから第3ブロッ
ク13と第4ブロック14との相関を最大とする最適動
きベクトルを選択する。
Description
方法と動きベクトルを用いた動き補償による補間画像作
成方法及び画像表示システムに関する。
後、蛍光体の残光時間の間発光し続けるインパルス型表
示装置と、新たに画像の書き込みが行われるまで前フレ
ームの表示を保持しつづけるホールド型表示装置に大別
される。インパルス型表示装置には、例えばCRTディ
スプレイやフィールドエミッション型表示装置(以下、
FEDと呼ぶ))がある。ホールド型表示装置として
は、例えば液晶表示装置(以下、LCDと呼ぶ)、エレ
クトロルミネッセンスディスプレイ(以下、ELDと呼
ぶ)などが挙げられる。
に生じるボケ現象である。ボケ現象の発生は、図25
(a)に示す複数フレームにわたる画像中に動体(楕円
で示される)が存在し、その動体の動きに観察者の眼が
追随した場合、図25(b)に示されるように複数フレ
ームの画像が重なって網膜上に映し出されることに起因
する。表示画像が前フレームから次のフレームへ切り換
わる期間までは、同じ前フレームの画像が表示され続け
られているにもかかわらず、眼は次フレームの画像の表
示を予測して、前フレーム画像上を動体の移動方向に移
動しながら観察してしまう。すなわち、眼の追随運動は
連続性があり、フレーム間隔より細かいサンプリングを
行うため、結果として隣接する二つのフレームの間の画
像を埋めるように視認することで、ボケとして観察され
る。
フレーム間隔を短くすればよい。その具体的な手法とし
て、MPEG(Motion Picture Experts Group)1やM
PEG2で用いられている動き補償を利用して補間画像
を作成し、隣接するフレーム間で補間を行うことが考え
られる。動き補償では、ブロックマッチングによって検
出される動きベクトルが用いられる。
縮率を上げることを前提においており、動きベクトルが
実際の動きを正確に再現しているかどうかは、あまり問
題にならない。動きベクトルの誤差は動き補償により作
成される予測信号の誤差となって現れ、この予測信号と
入力画像信号との誤差信号がDCTにより符号化される
からである。しかし、ホールド型表示装置のような画像
表示システムにおいては、このような正確でない動きベ
クトルを用いた動き補償により補間画像を作成すると、
表示画像を劣化させてしまうという問題がある。
の動きを再現することが求められるため、幾つかの精度
の高い検出方法が考えられている。鄭氏ら(日本放送協
会)は、特開平10−304369号公報において、複
数フレームとブロックによって形成される斜方体型のデ
ータ群を利用する方法を提案している。この手法は通常
の画像が複数フレームで等速運動(静止状態も含む)し
ている点を利用しており、動きベクトル検出精度の向上
が期待される。
69号公報に記載された動きベクトル検出技術では、検
出された動きベクトルが実際に正しいかどうかを検定す
る手段を持っていないため、誤った動きベクトルによる
動き補償によって補間画像を作成すると、表示画像が大
きく劣化してしまう可能性は依然として残る。また、動
きベクトルの検出精度を高めるには、多数のフレームに
わたる処理が必要であり、処理時間が長くなるのも欠点
である。
際の画像の動きとは大きく異なる動きベクトルを排除し
て、より正確な動きベクトルを検出できる動きベクトル
検出方法を提供することを目的とする。
確な動きベクトルを用いた動き補償により、画像の補間
を行うための補間画像を作成し、動画においてはよりリ
アルな、また静止画においては画質劣化の少ない高品質
の画像を得ることができる補間画像作成方法及び画像表
示システムを提供することをすることにある。
め、本発明は画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の動きベクトルを求める動きベクトル検出方
法において、第mフレームと第m+nフレームの間の複
数の動きベクトル候補を求め、動きベクトル候補をm+
iフレームと第m+nフレーム間またはm+iフレーム
と第mフレーム間のフレーム差分に応じてスケール変換
し、スケール変換後の動きベクトル候補に従ってm+i
フレーム上の画像を仮想的に作成し、仮想的に作成され
た画像と第m+iフレーム上の実際の画像との相関を最
大とする最適動きベクトルを動きベクトル候補から選択
することを基本とする。
ーム(mは任意の整数)と第m+nフレーム(nはi+
1以上の整数、iは1以上の整数)間の動きベクトルを
求める動きベクトル検出方法において、(a)第mフレ
ームの動きベクトル探索領域から第1ブロックを抽出
し、(b)第m+nフレームの動きベクトル探索領域か
ら第1ブロックとの相関がより大きい複数の第2ブロッ
クを抽出し、(c)第1ブロックと複数の第2ブロック
間の複数の第1動きベクトルを検出し、(d)第m+i
フレームから第1ブロックと空間的同位置にある第3ブ
ロックを抽出し、(e)第1動きベクトルの(n−i)
/nである複数の第2動きベクトルを算出し、(f)第
2動きベクトルに従って第m+nフレームから第3ブロ
ックの移動先となる第4ブロックを抽出し、(g)複数
の第1動きベクトルから第3ブロックと第4ブロックと
の相関を最大とする最適動きベクトルを選択する。
ける(a)(b)及び(c)と同様の処理の後、(h)
第1動きベクトルのi/nである複数の第3動きベクト
ルを算出し、(i)第3動きベクトルに従って第m+i
フレームから第1ブロックの移動先となる第5ブロック
を抽出し、(j)複数の第1動きベクトルから第1ブロ
ックと第5ブロックとの相関を最大とする最適動きベク
トルを選択する。
視点の両方の効果を考慮し、第1ブロック11と第2ブ
ロック12と第5ブロック15の相関が高くなる複数の
第1動きベクトルを求め、第3ブロック13と第4ブロ
ック14の相関が最大となる動きベクトルを最適動きベ
クトルとして選択する。
ムから第mフレームへの動きベクトルを求める方法を加
えた双方向動きベクトル検出によって、より正確な動き
ベクトルを求める。
ムを支点として第mフレームと第m+nフレーム間で相
関の高いブロック対を抽出し、そのブロック対と第m+
iフレームの支点位置にあるブロックとの相関が最大と
なる動きベクトルを最適動きベクトルとする。
きベクトルを使ってフレーム画像のない時間的位置に補
間画像を作成するために、原画像の第mフレーム(mは
任意の整数)と第m+nフレーム(nはi+1以上の整
数、iは1以上の整数)間の第m+k(kは任意の実
数)フレームの時間的位置に補間すべき補間画像を作成
する補間画像作成方法において、第1〜第5の視点のい
ずれかの動きベクトル方法により求められた最適動きベ
クトルを第m+kフレームの時間的位置に応じてスケー
ル変換し、スケール変換後の動きベクトルに従って第m
+iフレームから第1ブロックの移動先となる第12ブ
ロックを抽出し、第m+kフレームの第1ブロックと空
間的同位置に第12ブロックを割り当てることにより補
間画像を作成する。
ース画像について、間引いて取り出す画像を偶数もしく
は奇数フィールドの画像とし、ライン補間を行う前に動
きベクトルを求めることで余分な処理が入る前に第1の
動きベクトルを求める。すなわち、原画像の第mフィー
ルド(mは任意の整数)と第m+nフィールド(nはi
+1以上の整数、iは1以上の整数)間の第m+k(k
は任意の実数)フィールドの時間的位置に補間すべき補
間画像を作成する補間画像作成方法であって、第mフィ
ールド(mは任意の整数)の動きベクトル探索領域から
第1ブロックを抽出し、第m+2n(nは1以上の整
数)フィールドの動きベクトル探索領域から第1ブロッ
クとの相関がより大きい複数の第2ブロックを抽出し、
第1ブロックと複数の第2ブロック間の複数の第1動き
ベクトルを検出し、第m+2n−1フィールドから第1
ブロックを空間的に1/2ライン垂直方向にシフトさせ
た空間的位置にある第3ブロックを抽出し、第1動きベ
クトルの1/2である複数の第2動きベクトルを算出
し、第2動きベクトルに従って第m+2nフィールドか
ら、第m+2n−1フィールド内の第1ブロックと空間
的同位置にあるブロックの移動先となる第4ブロックを
抽出し、第3ブロックを第1垂直方向に線形補間した第
13ブロックを作成し、第4ブロックを第1垂直方向と
は逆の第2垂直方向に線形補間した第14ブロックを作
成し、複数の第1動きベクトルから第13ブロックと第
14ブロックとの相関を最大とする最適動きベクトルを
選択する。そして、最適動きベクトルを時間的位置に応
じてスケール変換し、スケール変換後の動きベクトルに
従って第m+2nフィールドから第1ブロックの移動先
となる第15ブロックを抽出し、第m+kフィールドの
第1ブロックと空間的同位置に第15ブロックを割り当
てることにより補間画像を作成する。
述した補間画像作成方法により作成された補間画像及び
原画像を表示する画像表示システムを提供する。
施の形態を説明する。 (第1実施形態)図1に示すように、例えば原画像の第
mフレーム1と第m+n(nは、i+1以上の整数、i
は1以上の整数)フレーム2との間の第m+iフレーム
3の時間的位置に補間画像を作成するために、第mフレ
ーム1と第m+nフレーム2との間の最適動きベクトル
を検出することを考える。本発明の第1実施形態では、
図2に示すような手順で最適動きベクトルを検出する。
以下、図1及び図2を用いて本実施形態の処理手順を説
明する。
領域から、第1ブロック11を抽出する(ステップS1
01)。次に、第m+nフレーム2の動きベクトル探索
領域から、第mフレーム1内の第1ブロック11と同じ
ブロックサイズで、かつ第1ブロック11との相関がよ
り大きい複数の第2ブロック12を抽出する(ステップ
S102)。ステップS102においてブロック間の相
関の大小を調べる方法としては、例えば、ブロック内の
画素毎にデータの絶対値差分を計算してその総和である
絶対値差分和を求め、絶対値差分和が小さい場合には相
関が大きく、絶対値差分和が大きい場合には相関が小さ
いと判断する公知の方法を用いることができる。
ック12間の複数の第1動きベクトルDを動きベクトル
の候補として検出する(ステップS103)。次に、第
m+iフレーム3から、第mフレーム1内の第1ブロッ
ク11と空間的同位置にある第3ブロック13を抽出す
る(ステップS104)。次に、第m+iフレーム3及
び第m+nフレーム2間のフレーム差分(n−i)と、
第mフレーム1及び第m+iフレーム3間のフレーム差
分iとの比から、第1動きベクトルDを第m+iフレー
ム3内の第3ブロック13の第m+nフレーム2上への
動きベクトルに換算、すなわちスケール変換した複数の
第2動きベクトル((n−i)/n)*Dを算出する
(ステップS105)。フレーム差分とは、二つのフレ
ームのフレーム番号の差である。
n)*Dに従って、第3ブロック13の第m+nフレー
ム2への移動先となる第4ブロック14を抽出する(ス
テップS106)。第4ブロック14は、第2動きベク
トル((n−i)/n)*Dに従って仮想的に第m+i
フレーム上に作成される画像の一部である。
きを再現しているとすると、第m+iフレーム3におい
ても第1ブロック11と同じブロックが存在するはずで
あり、その位置は図1中の点線ブロックの位置となる。
よって、点線ブロックと第3ブロック13との相対位置
関係と、第2ブロック12と第4ブロック14との相対
位置関係は等しくなる。そこで、本実施形態では第3ブ
ロック13と第4ブロック14を用いて複数の第1動き
ベクトルDの各々について適否を判定する。
ック14との相関を調べる処理を繰り返すことによっ
て、第3ブロック13と第4ブロック14との相関が最
大となる動きベクトルを求める。すなわち、複数の第1
動きベクトルDの中から、第3ブロック13と第4ブロ
ック14との相関を最大とする最適動きベクトルを選択
する(ステップS107)。第3ブロック13と第4ブ
ロック14との相関は、両ブロックの画素の絶対値差分
和を計算することにより求められ、絶対値差分和が小さ
い場合は相関が大、絶対値差分和が大きい場合は相関が
小と判断される。
法では、次式(1)により計算される絶対値差分和E1
が最小となる一つの第1動きベクトルDを最適動きベク
トルとして求めることになる。
(A,b)は各ブロックの位置(A)及びフレーム
(b)に対応する画素値、α及びβは重み係数をそれぞ
れ表している。これらの各パラメータの定義について
は、後述の各実施形態においても適用される。式(1)
の右辺第1項は第1ブロック11と第2ブロック12と
の絶対値差分和、同第2項は第3ブロック13と第4ブ
ロック14との絶対値差分和である。重み係数α及びβ
は、各ブロックの絶対値差分に重み付けを行う場合に使
用され、基本的には第3ブロック13と第4ブロック1
4との絶対値差分和(相関)を重視するため、β≧αで
あることが好ましい。
よる効果を説明する。簡単のためにi=1、n=2とす
る。図3に示すように画像として「TEST」という静
止画が第mフレーム1から第m+2フレーム2にかけて
表示された場合に、第1動きベクトルDとして二つの動
きベクトルA及びBが検出されたとする。動きベクトル
Aは、第mフレーム1上の第1ブロック11と第m+2
フレーム2上の第2ブロック12Aとの動きベクトルで
ある。動きベクトルBは、第mフレーム1上の第1ブロ
ック11と第m+2フレーム2上の第2ブロック12A
とは異なる第2ブロック12Bとの動きベクトルであ
る。
レーム1と第m+1フレーム3との間の動きベクトルに
従って第m+1フレーム3内の第3ブロック13の位置
に表示されるべき画像14Aを作成すると、「ES」の
一部となる。一方、動きベクトルBをスケール変換した
第mフレーム1と第m+1フレームとの間の動きベクト
ルに従って第m+1フレーム2の第3ブロック13の位
置に表示されるべき画像14Bを作成すると、「T」と
なる。
及びBからそれぞれ作成される画像14A,14Bと、
実際の第m+1フレーム3の画像を比較する。すなわ
ち、第3ブロック13とそれぞれの第4ブロック14
A,14Bとを比較する。この比較により、動きベクト
ルBが最適動きベクトルとして選択される。
る理由は、上記「TEST」の例のように、一つの静止
画内に全く同じ文字(この例では「T」)がある場合以
外にも、ノイズが大きく影響してくる。例えば、図4に
示すように第m+2フレーム2で実際に検出すべき
「T」にノイズが発生しており、動きベクトルAが指し
示す「T」にノイズが少ない場合は、動きベクトルAが
検出されてしまう。これに対し、本実施形態に従って実
際に第m+1フレーム3の第3ブロック13とそれぞれ
の第4ブロック14A,14Bの相関を調べることによ
り、動きベクトルAが誤って検出される確率が大幅に減
少する。発明者らの行った実験からも、この効果を確認
することができた。
方法を実施する動きベクトル検出装置の構成を図5に示
す。ここでは、説明を簡略化するためにi=1、n=2
とする。入力画像信号31は第m+2フレームメモリ3
2、第m+1フレームメモリ33及び第mフレームメモ
リ34に順次入力され、これらのメモリ32、33及び
34から第m+2フレーム、第m+1フレーム及び第m
フレームの画像信号35、36及び37が読み出され
る。
ーム及び第mフレームの画像信号35及び37を受け
て、図2中のステップS101〜S103の処理、すな
わち第mフレームの画像信号37からの第1ブロックの
抽出と、第m+2フレームの画像信号35からの第2ブ
ロックの抽出、及び第1ブロックと第2ブロック間の複
数の第1動きベクトル41の検出を行う。動きベクトル
判定用ブロック抽出部43は、第m+2フレーム及び第
m+1フレームの画像信号35及び36から動きベクト
ルの判定に用いるブロックを抽出する。第1ブロック1
1の位置指定は第1ブロック位置指定部38によって行
われ、第1ブロック位置指定部38から第1ブロック位
置のアドレス39、例えばブロック位置の左上隅のアド
レスが動きベクトル検出部40及び動きベクトル判定用
ブロック抽出部43へ出力される。
中のステップS105の処理、すなわち第1動きベクト
ル41(D)の1/2の動きである複数の第2動きベク
トル44(D/2)を算出する。動きベクトル判定用ブ
ロック抽出部43は、図2中のステップS104及びS
106の処理、すなわち第m+1フレームの画像信号3
6からの第3ブロック13の抽出と、第2動きベクトル
44に従った第m+2フレームの画像信号35からの第
4ブロック14の抽出を行い、第3及び第4ブロックの
画像信号45を出力する。
らの第3ブロック及び第4ブロックの画像信号45は最
適動きベクトル判定部46に入力され、複数の第1動き
ベクトル41の中で第3ブロックと第4ブロックとの相
関を最大とする動きベクトルを最適動きベクトルと判定
する処理が行われる。最適動きベクトル判定部46から
の判定結果47に従って、動きベクトル選択部48によ
り複数の第1動きベクトル41から一つの動きベクトル
が最終的な最適動きベクトル49として選択され、図2
中のステップS107の処理が行われる。
i及び第m+nフレームの3フレームの画像から動きベ
クトルを正確に求めることができる。すなわち、第m+
iフレームから抽出した第3ブロックと、動きベクトル
の候補である複数の第1動きベクトルをスケール変換し
た第2動きベクトルを用いて第m+nフレームから抽出
した第4ブロックとの相関を求めて各第1動きベクトル
の適否を検証し、この相関を最大とする一つの動きベク
トルのみを最適動きベクトルとして検出しそれ以外の動
きベクトルを排除することによって、より正確な動きベ
クトル検出が可能となる。
形態として第1実施形態と同様に第mフレーム1と第m
+nフレーム2との間の最適動きベクトルを検出する別
の手順について、図6及び図7を用いて説明する。
きベクトル探索領域から、第1ブロック11を抽出し、
第m+nフレーム2の動きベクトル探索領域から、第m
フレーム1内の第1ブロック11と同じブロックサイズ
で、かつ第1ブロック11との相関がより大きい複数の
第2ブロック12を抽出し、さらに第1ブロック11と
複数の第2ブロック12間の複数の第1動きベクトルD
を最適動きベクトルの候補として検出するまでの処理
(ステップS201〜S203)は、第1の実施形態と
同様である。
第m+nフレーム2間のフレーム差分nと、第mフレー
ム1及び第m+iフレーム3間のフレーム差分iとの比
から、第1動きベクトルDを第mフレーム1内の第1ブ
ロック11の第m+iフレーム3上への動きベクトルに
スケール変換した複数の第3動きベクトル(i/n)*
Dを算出する(ステップS204)。次に、第3動きベ
クトル(i/n)*Dに従って、第1ブロック11の第
m+nフレーム2への移動先となる第5ブロック15を
抽出する(ステップS205)。
いるとすると、第m+iフレーム3においても第1ブロ
ック11と同じブロックが存在するはずであり、その位
置は第5ブロック15の位置となる。よって、第5ブロ
ック15と第1ブロック11は等しくなる。そこで、本
実施形態では第1ブロック11と第5ブロック15を用
いて、第1動きベクトルDの各々について適否を判定す
る。
ック15との相関を調べる。この処理を繰り返すことに
よって、第1ブロック11と第5ブロック15との相関
が最大となる動きベクトルを求める。すなわち、複数の
第1動きベクトルDの中から、第1ブロック11と第5
ブロック15との相関を最大とする最適動きベクトルを
選択する(ステップS206)。第1ブロック11と第
5ブロック15との相関は、両ブロックの画素の絶対値
差分和を計算することによって求められ、絶対値差分和
が小さい場合は相関が大、絶対値差分和が大きい場合は
相関が小と判断される。
法では、式(2)により計算される絶対値差分和E2が
最小となる一つの第1動きベクトルDを最適動きベクト
ルとして求めることになる。
と第2ブロック12との絶対値差分和、同第2項は第1
ブロック11と第5ブロック15との絶対値差分和であ
る。重み係数α及びβは各ブロックの絶対値差分に重み
付けを行う場合に使用され、基本的には第1ブロック1
1と第5ブロック15との相関を重視するため、β≧α
であることが好ましい。
出方法を実施する動きベクトル検出装置の構成を示す。
説明を簡略化するためにi=1、n=2とする。図5と
対応する要素に同一符号を付して第1の実施形態との相
違点を中心に説明すると、動きベクトルスケール変換部
42は図7中のステップS204の処理、すなわち第1
動きベクトル41(D)の1/2の動きである第3動き
ベクトル51(D/2)を算出する処理を行う。動きベ
クトル判定用ブロック抽出部43は、第m+1フレーム
及び第mフレームの画像信号36及び37から第1動き
ベクトルの判定に用いるブロックを抽出する。より詳し
くは、動きベクトル判定用ブロック抽出部43は図7中
のステップS205の処理、すなわち第3動きベクトル
51に従った第m+1フレームの画像信号36からの第
5ブロック15の抽出を行う。
らの第5ブロックの画像信号52は最適動きベクトル判
定部46に入力され、ここで複数の第1動きベクトル4
1の中で第1ブロック11と第5ブロック15の相関を
最大とする動きベクトルを最適な動きベクトルと判定す
る処理が行われる。最適動きベクトル判定部46からの
判定結果47に従って、動きベクトル選択部48により
複数の第1動きベクトル41から一つの動きベクトルが
最終的な最適動きベクトル49として選択され、図7中
のステップS207の処理が行われる。本実施形態によ
っても、先の第1実施形態と同様の効果を得ることがで
きる。
形態として、上述した第1及び第2実施形態を組み合わ
せて、さらに正確な動きベクトル検出を可能とした動き
ベクトル検出方法について図9及び図10を用いて説明
する。本実施形態では、まず第1及び第2実施形態で説
明した手順により、第1〜第5ブロック11〜15の抽
出を行う(ステップS301〜S308)。
の第1動きベクトルDから、第1ブロック11、第2ブ
ロック12及び第5ブロック15を用いて、これらの各
ブロック11,12,15の相関をより大きくする複数
の第1動きベクトルを選択する(ステップS309)。
さらに、ステップS309で選択された第1動きベクト
ルDについて第3ブロック13と第4ブロック14を用
いて適否を判定し、第3ブロック13と第4ブロック1
4との相関を最大とする一つの第1動きベクトルDを最
適動きベクトルとして選択する(ステップS310)。
ル検出方法では、次式(3)により計算される絶対値差
分和E3が最小となる一つの第1動きベクトルDを最適
動きベクトルとして求めることになる。
と第2ブロック12との絶対値差分和、同第2項は第1
ブロック11と第5ブロック15との絶対値差分和、同
第3項は第3ブロック13と第4ブロック14との絶対
値差分和である。重み係数α及びβは各ブロックの絶対
値差分に重み付けを行う場合に使用され、基本的には第
3ブロック13と第4ブロック14との相関を重視する
ため、β≧αであることが好ましい。
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにi=1、n=2とする。図
5及び図8と対応する要素に同一符号を付して第1及び
第2の実施形態との相違点を中心に説明すると、動きベ
クトル検出部40は、図10中のステップS301〜S
303の処理、すなわち第mフレームの画像信号37か
らの第1ブロックの抽出と、第m+2フレームの画像信
号35からの第2ブロックの抽出、及び第1ブロックと
第2ブロック間の複数の第1動きベクトル41(D)の
検出を行い、この際に第1及び第2ブロックの画像信号
53を最適動きベクトル判定部46へ出力する。
0中のステップS305及びS307の処理、すなわち
第1動きベクトルの(n−i)/nである第2動きベク
トル44及び第1動きベクトルのi/nである第3動き
ベクトル51の算出を行うが、この場合はi=1、n=
2であるため、第2及び第3動きベクトルとして共に第
1動きベクトル(D)の1/2の動きベクトル(D/
2)を算出することになる。
は、第m+2フレーム、第m+1フレーム及び第mフレ
ームの画像信号35,36及び37から動きベクトルの
判定に用いるブロックを抽出する。より詳しくは、動き
ベクトル判定用ブロック抽出部43は図10中のステッ
プS306及びS308の処理、すなわち第m+1フレ
ームの画像信号36からの第3ブロック13の抽出と、
第2動きベクトル44に従った第m+2フレームの画像
信号35からの第4ブロック14の抽出、及び第3動き
ベクトル51に従った第m+1フレームの画像信号36
からの第5ブロック15の抽出を行い、第3、第4及び
第5ブロックの画像信号54を出力する。
らの第3、第4及び第5ブロックの画像信号54は最適
動きベクトル判定部46に入力され、ここで図10中の
ステップS309の処理、すなわち複数の第1動きベク
トル41の中で第1ブロック11と第2ブロック12及
び第5ブロック15の相関がより大きい複数の動きベク
トルの選択が行われ、さらに第3ブロック13と第4ブ
ロック14の相関が最大となる一つの動きベクトルを最
適な動きベクトルと判定する処理が行われる。最適動き
ベクトル判定部46からの判定結果47に従って、動き
ベクトル選択部48により図10中のステップS310
の最適動きベクトルの選択処理が行われ、ここで選択さ
れた動きベクトルが最終的な最適動きベクトル49とし
て出力され、図10中のステップS310の処理が行わ
れる。
実施形態を組み合わせた構成とすることによって、より
正確な動きベクトル検出が可能となる。
用いて本発明の第4実施形態について説明する。本実施
形態では、第mフレーム1と第m+nフレーム2間の第
m+iフレーム3の位置に補間画像を作成する場合にお
いて、第mフレーム1から第m+nフレーム2への第1
動きベクトルD及び第m+nフレーム2から第mフレー
ム1への第4動きベクトルEの両方を求める。第1動き
ベクトルDの検出については、第1実施形態と同様に行
う(ステップS401〜S406,S412)。
は、第m+nフレームから第1ブロック11と空間的同
位置にある第6ブロック16を抽出し(ステップS40
7)、さらに第mフレーム1内の動きベクトル探索領域
で第6ブロック16と同じブロックサイズの複数のブロ
ックから第6ブロック16との相関がより大きい第7ブ
ロック17を抽出し(ステップS408)、第6ブロッ
ク16と第7ブロック16間の第4動きベクトルEを検
出する(ステップS409)。ブロック間の相関は、両
ブロックの画素の絶対値差分和を計算することによって
求められ、絶対値差分和が小さい場合は相関が大、絶対
値差分和が大きい場合は相関が小と判断される。
3上のフレーム差分iと第m+nフレーム2と第mフレ
ーム1のフレーム差分nとの比から、第4動きベクトル
Eを第6ブロック16の第m+iフレーム3から第mフ
レーム1への移動量にスケール変換した第5動きベクト
ル(i/n)*Eを算出する(ステップS410)。第
5動きベクトル(i/n)*Eに従って、第mフレーム
1の第1ブロック11と空間的同位置にある第m+iフ
レーム3内の第3ブロック13の第mフレーム1への移
動先となる第8ブロック18を抽出する(ステップS4
11)。
トルの選択では、第1実施形態と同様に第3ブロック1
3と第4ブロック14の絶対値差分和を求めて相関を調
べ、第1動きベクトルから第3ブロック13と第4ブロ
ック14との相関が最大となる一つの動きベクトルを求
める。一方、次のステップS413の最適第4動きベク
トルの選択では、第4動きベクトルから第3ブロック1
3と第8ブロック18との相関が最大となる一つの動き
ベクトルを選択する。
4の絶対値差分和E1と第3ブロック13と第8ブロッ
ク18の絶対値差分和E4を比較し(ステップS41
4)、絶対値差分和が小さい方の動きベクトルを採用す
る。すなわち、E1がE4より小さい場合は、ステップ
S412で検出された最適第1動きベクトルを最適動き
ベクトルとして選択し(ステップS415)、E4がE
1より小さい場合は、ステップS413で検出された最
適第4動きベクトルの逆ベクトル−Eを最適動きベクト
ルとして選択し(ステップS416)。
めるために計算すべき絶対値差分和E4は、次式で表す
ことができる。
のに使用する値と同じものを使用することが好ましい。
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにi=1、n=2とする。図
5と対応する要素に同一符号を付して第1の実施形態と
の相違点を中心に説明すると、図15では新たに動きベ
クトル検出部60、動きベクトルスケール変換部62、
動きベクトル判定用ブロック抽出部63及び最適動きベ
クトル判定部66が設けられている。動きベクトル検出
部40、動きベクトルスケール変換部42、動きベクト
ル判定用ブロック抽出部43及び最適動きベクトル判定
部46は、第1の実施形態と同様であり、これらによっ
て図13中のステップS401〜S406及びS412
の処理が行われる。
では、図13中のステップS407〜S409の処理、
すなわち第m+2フレーム内から動きベクトル探索領域
にある第6ブロック16を抽出する処理と、第6ブロッ
ク16に対して第mフレーム1内の動きベクトル探索領
域で同じブロックサイズの第7ブロック17を抽出する
処理、及び第6ブロック16と第7ブロック17間の第
4動きベクトル61を検出する処理が行われる。
ク11指定部38によって行われ、第1ブロック位置の
アドレス、例えば左上隅のアドレス39が動きベクトル
検出部60及び動きベクトル判定用ブロック抽出部63
へ出力される。
4中のステップS410の処理、すなわち第4動きベク
トル61の1/2の動きである複数の第5動きベクトル
64を算出する。動きベクトル判定用ブロック抽出部6
3は、図14中のステップS411の処理、すなわち第
5動きベクトル64に従った第mフレームの画像信号3
7からの第8ブロック18の抽出を行い、第8ブロック
18の画像信号65を出力する。
らの第3ブロックの画像信号45Aと動きベクトル判定
用ブロック抽出部63からの第8ブロックの画像信号6
5は最適動きベクトル判定部66に入力され、複数の第
4動きベクトル61の中で第3ブロック13と第8ブロ
ック18との相関を最大とする動きベクトルを最適第4
動きベクトルと判定する図14中のステップS413の
処理が行われる。
の判定結果47,67に従って、動きベクトル選択部6
8により図14中のステップS415,S416の最適
動きベクトルの選択処理が行われ、ここで選択された動
きベクトルが最終的な最適動きベクトル69として出力
される。
明した第mフレームから第m+nフレームへの最適第4
動きベクトルを求める処理に、これとは時間的な方向が
逆である第m+nフレームから第mフレームへの最適第
4動きベクトルを求める処理を加え、これらのうちでよ
り最適な方を最終的に選択することによって、さらに正
確な動きベクトル検出を行うことができる。
を用いて本発明の第5実施形態について説明する。本実
施形態では、第mフレーム1と第m+nフレーム2間の
動きベクトルを求めるために、まず第m+iフレーム3
の動きベクトル探索対象から第9ブロック19を抽出す
る(ステップS501)。次に、第mフレーム1の動き
ベクトル探索領域から複数の第10ブロック20を抽出
する(ステップS502)。
1への動きベクトルとして第9ブロック19と第10ブ
ロック20間の第6動きベクトルFを検出する(ステッ
プS503)。さらに、第9ブロック19から第m+n
フレーム2への動きベクトルとして第6動きベクトルF
と方向が逆で、大きさが第m+iフレーム3と第m+n
フレーム2間のフレーム差分(n−i)と、第mフレー
ム1と第m+iフレーム3間のフレーム差分iとの比を
満たす第7動きベクトル−((n−i)/i)*Fを算
出する(ステップS504)。第7動きベクトル−
((n−i)/i)*Fに従って、第m+nフレーム2
から第9ブロック19の移動先となる第11ブロック2
1を抽出する(ステップS505)。
ク21の相関がより大きい複数の第6動きベクトルFを
検出する(ステップS506)。第6動きベクトルFが
真の動きを再現しているとすると、第m+iフレーム3
においても第10ブロック20もしくは第11ブロック
21と同一ブロックが存在するはずであり、その位置は
第9ブロック19の位置となる。
の画像を第m+iフレーム3から抽出し、第9ブロック
19と第10ブロック20と第11ブロック21の画像
を用いて第6動きベクトルFの適否を判定する。具体的
には第10ブロック20と第11ブロック21の相関を
調べて、より相関の大きい複数の第6ブロックを求め、
さらに第9ブロック19と第10ブロック20の相関を
調べてより相関が大きい一つの第6動きベクトルを最適
な動きベクトルとして選択する。
和E5は、次式のように表すことができる。
ロック20の相関を調べているが、第9ブロック19と
第11ブロック21の相関を調べるようにしても良い。
その場合の計算すべき絶対値差分和E6は、次式のよう
に表すことができる。
α及びβについては、β≧αであることが好ましい。
20及び第9ブロック19と第11ブロック21から相
関を調べることもでき、その場合の計算すべき絶対値差
分和E7は次式のように表すことができる。
方向に相関の高いブロック間を重視する。つまり、iと
n−iを比較し、より小さい方のフレーム間のブロック
を重視する。例えばi=1、n=3の場合には、n−i
が2となることから、第9ブロック19と第10ブロッ
ク20の相関を重視し、αをβより大きくするのが好ま
しい。
示したE5,E6またはE7が最小となる動きベクトル
Fを最適動きベクトルとして求めることになる。
検出方法を実施する動きベクトル検出装置の構成を示
す。説明を簡略化するためにi=1、n=2とする。図
5と対応する要素に同一符号を付して第1の実施形態と
の相違点を中心に説明すると、動きベクトル判定用ブロ
ック抽出部83では、図17中のステップS501の処
理、すなわち第m+1フレームの画像信号36内から動
きベクトル探索領域にある第9ブロック19を抽出する
処理が行われる。第9ブロック19の位置指定は第9ブ
ロック11指定部78によって行われ、第9ブロック位
置のアドレス、例えば左上隅のアドレス79が動きベク
トル判定用ブロック抽出部83へ出力される。
ステップS502〜S506の処理、すなわち第m+i
フレーム3から第mフレーム1への動きベクトルである
第6動きベクトルFを検出して該動きベクトルFとは逆
方向で1/2の動きである第7動きベクトルを算出する
処理と、第6動きベクトルと第7動きベクトルを用いて
第9ブロック19に対する第mフレーム1上の第10ブ
ロック20及び第m+nフレーム2上の第11ブロック
21を抽出する処理、及び第10ブロック20と第11
ブロック21の相関がより大きい複数の第6動きベクト
ル81と第10ブロック20の画像信号82を出力する
処理を行う。
複数の第6動きベクトル81の中で第9ブロック19と
第10ブロック20の相関が最大となる動きベクトルを
最適動きベクトルと判定する処理が行われる。最適動き
ベクトル判定部86からの判定結果87に従って、動き
ベクトル選択部88により図17中のステップS507
の最適動きベクトルの選択処理が行われ、ここで選択さ
れた動きベクトルが最終的な最適動きベクトル89とし
て出力される。
の相関を判定する構成について説明したが、前述のよう
に第11ブロック21と第9ブロック19の相関を判定
する場合についても同様の構成を用いて実施できる。
形態として動きベクトル検出に基づく動き補償を用いた
補間画像作成方法について、図19及び図20を用いて
説明する。本実施形態に係る補間画像の作成方法は、例
えば第1実施形態で求めた最適動きベクトルDをスケー
ル変換した動きベクトルを用いて第12ブロック22を
抽出し、第12ブロック22を補間フレームの第1ブロ
ックと空間的同位置に割り当てることにより補間画像を
作成することが基本となる。
ーム(mは任意の整数)と第m+nフレーム(nはi+
1以上の整数、iは1以上の整数)間の第m+k(kは
任意の実数)フレームの位置、例えば図19に示すよう
に第mフレーム1と第m+iフレーム3間の第m+kフ
レームの位置に補間画像を作成する場合、まず第1の実
施形態と同様にして第mフレーム1と第m+nフレーム
2間の最適動きベクトルDを求めた後、最適動きベクト
ルDを第m+kフレームの時間的位置に応じてスケール
変換する(ステップS601〜S602)。
ーム2のフレーム差分nと、第m+kフレームと第m+
iフレーム3のフレーム差分(i−k)との比から、第
1ブロック11と空間的に同位置となる第m+kフレー
ム上のブロックの第m+kフレームから第m+iフレー
ム3への移動量、つまり動きベクトル((i−k)/
n)*Dを算出する。
((i−k)/n)*Dに従って、第m+iフレーム3
から第1ブロック11の移動先となる第12ブロック2
2、すなわち第1ブロック11と空間的に同位置となる
第m+kフレーム上のブロックの第m+iフレーム3上
への移動先となる第12ブロック22を抽出する(ステ
ップS603)。
空間的同位置に第12ブロック22を割り当て第m+k
フレームの補間画像を作成する(ステップS604)。
第m+kフレーム上の各ブロックは、第mフレーム1か
ら空間的に同位置となるブロックによって構成されてい
るため、第m+kフレーム上に敷き詰められた状態にあ
り、各ブロックに対応して補間ブロックを作成すること
で、補間画像を隙間なく、また重なり合うことなく作成
できる。
第m+iフレーム3間のフレームに作成することもでき
るし、同じ動きベクトルDを用いて第m+iフレーム3
と第m+nフレーム2間のフレームに作成することがで
きる。例えばi=1、n=2とすると、第mフレーム1
と第m+2フレームから検出される動きベクトルDを用
いて、第m+0.5フレーム(第mフレーム1と第m+
1フレームの間)画像と、第m+1.5フレーム(第m
+1フレームと第m+2フレームの間)画像をほぼ同時
に求められる。これは、第mフレーム1と第m+1フレ
ーム間の動きベクトルを求めた後、その動きベクトルを
用いて第m+0.5フレームを作成し、第m+1フレー
ムと第m+2フレーム間の別の動きベクトルを求めた
後、その動きベクトルを用いて第m+1.5フレームを
作成した場合に比べ、計算時間を短縮することが可能に
なる。
る場合に、第mフレーム1と第m+2フレームから検出
される動きベクトルD1 を用いて、第m+0.5フレー
ム画像と第m+1.5フレーム画像を求めた後、第m+
1フレームと第m+3フレームから検出される別の動き
ベクトルD2 を用いて、第m+1.5フレーム画像と第
m+2.5フレーム画像を求め、更に2つの第m+1.
5フレーム画像と第m+2フレーム画像の相関を調べ、
第m+2フレーム画像と相関が高くなるように各ブロッ
クを選択する方法を取るようにしても良い。
施形態として、原画像がインターレース画像の場合にお
いて動きベクトルの検出及び補間画像の作成を行う方法
について、図21〜図23を用いて説明する。
索領域から第1ブロック11を抽出し(ステップS70
1)、さらに第m+2n(nは1以上の整数)フィール
ドの動きベクトル探索領域内で第1ブロック11と同じ
ブロックサイズの複数のブロックから第1ブロック11
との相関がより大きい複数の第2ブロック12を抽出し
(ステップS702)、第1ブロック11と第2ブロッ
ク12を結ぶベクトルを第1動きベクトルDとして検出
する(ステップS703)。
フレーム1の第1ブロック11と空間的に1/2ライン
垂直方向(上もしくは下)にシフトした空間位置にある
第3ブロック13を抽出する(ステップS704)。次
に、第1動きベクトルDと方向が同じで動き量が1/2
の第2動きベクトルD/2を検出し(ステップS70
5)、第2動きベクトルD/2に従って第m+2nフィ
ールドから第1ブロック13と空間的に同位置にあるブ
ロックの第m+2nフィールドへの移動先となる第4ブ
ロック14を抽出する(ステップS706)。
(例えば、上方向)に線形補間した第13ブロック23
を作成し(ステップS707)、さらに第4ブロック1
4を第1垂直方向とは逆の第2垂直方向(例えば、下方
向)に線形補間した第14ブロック24を作成する(ス
テップS708)。そして、第13ブロック23と第1
4ブロック24を用いて第1動きベクトル11の適否の
判定を行う。すなわち、例えば第13ブロック23と第
14ブロック24の絶対値差分和を求めることで両ブロ
ック間の相関を調べ、相関が最大となる第1動きベクト
ルDを最適動きベクトルとして選択する(ステップS7
09)。
本的には第6実施形態と同様の方法を用いて作成する。
すなわち、第6実施形態において説明した図20中のス
テップS602〜S604と同様に、ステップS709
で求められた最適動きベクトルを第m+kフィールドの
時間的位置に応じてスケール変換して第3動きベクトル
を求め(ステップS710)、スケール変換後の第3動
きベクトルに従って第m+2nフィールドから第1ブロ
ック11の移動先となる第15ブロックを抽出し(ステ
ップS711)、第m+kフィールドの第1ブロック1
1と空間的同位置に第15ブロックを割り当ててて第m
+kフィールドの補間画像を作成する(ステップS71
2)。
ィールドの補間画像を作成する場合は、第1動きベクト
ルの最適動きベクトルと方向が同じで動き量が1/4の
第3動きベクトルに従って、第m+2nフィールド上へ
の移動先となる第5ブロックを第m+2nフィールドか
ら抽出し、第5ブロックを第m+1.5フィールドに割
り当てる。同様にして、第m+1.5フィールド上の各
第5ブロックを求めて、第m+1.5フィールド上に割
り当ててゆくことによって、補間画像が完成する。但
し、この方法は基本的にプログレッシブ画像をフィール
ド画像として求める場合であり、補間画像のフィールド
についてもインターレース処理を行う場合は、垂直方向
にラインの間引きを行わなければならない。
施形態として、これまでの各実施形態で説明した動きベ
クトル検出方法及びこれに基づく補間画像の作成方法を
用いた画像表示システムについて説明する。
示しており、入力画像信号101は補間フィールド画像
作成部102及び画像切替部104に入力される。補間
フィールド画像作成部102では、補間画像信号103
がこれまで述べた手順によって作成され、補間画像信号
103は画像切替部104へ出力される。画像切替部1
04では、入力画像信号101をそのまま出力するか、
補間画像信号104を出力するかの制御が行われる。画
像切替部104からの出力画像信号105は、ホールド
型表示装置である高速リフレッシュ表示装置106へ出
力される。表示装置106では、出力画像信号105に
含まれる同期信号に対応して、リフレッシュレートを変
えて画像の表示が行われる。
の実際の動きとは異なる誤った動きベクトルを排除し、
正確な動きベクトル検出を行うことができる。また、検
出された正確な動きベクトルを用いて補間画像を作成す
ることにより、フレーム周波数の低い入力画像信号から
フレーム周波数の高い出力画像信号を作成でき、動画に
おいてはよりリアルな画像を提供し、静止画においては
画質劣化の少ない画像を提供することができる。
出方法を説明する図
フローチャート
す図
す図
を示すブロック図
出方法を説明する図
フローチャート
を示すブロック図
出方法を説明する図
すフローチャート
成を示すブロック図
検出方法を説明する図
すフローチャート
すフローチャート
成を示すブロック図
検出方法を説明する図
すフローチャート
成を示すブロック図
方法を説明する図
ローチャート
検出方法を説明する図
すフローチャート
すフローチャート
成を示すブロック図
について説明する図
Claims (9)
- 【請求項1】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の動きベクトルを求める動きベクトル検出方
法において、 前記第mフレームと前記第m+nフレームの間の複数の
動きベクトル候補を求め、前記動きベクトル候補を前記
m+iフレームと前記第m+nフレーム間または 前記m+iフレームと前記第mフレーム間のフレーム差
分に応じてスケール変換し、 スケール変換後の動きベクトル候補に従って前記m+i
フレーム上の画像を仮想的に作成し、 仮想的に作成された画像と前記第m+iフレーム上の実
際の画像との相関を最大とする最適動きベクトルを前記
動きベクトル候補から選択することを特徴とする動きベ
クトル検出方法。 - 【請求項2】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の動きベクトルを求める動きベクトル検出方
法において、 前記第mフレームの動きベクトル探索領域から第1ブロ
ックを抽出するステップと、 第m+nフレームの動きベクトル探索領域から前記第1
ブロックとの相関がより大きい複数の第2ブロックを抽
出するステップと、 前記第1ブロックと前記複数の第2ブロック間の複数の
第1動きベクトルを検出するステップと、 前記第m+iフレームから前記第1ブロックと空間的同
位置にある第3ブロックを抽出するステップと、 前記第1動きベクトルの(n−i)/nである複数の第
2動きベクトルを算出するステップと、 前記第2動きベクトルに従って前記第m+nフレームか
ら前記第3ブロックの移動先となる第4ブロックを抽出
するステップと、 前記複数の第1動きベクトルから前記第3ブロックと前
記第4ブロックとの相関を最大とする最適動きベクトル
を選択するステップとを有する動きベクトル検出方法。 - 【請求項3】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の最適動きベクトルを求める動きベクトル検
出方法において、 前記第mフレームの動きベクトル探索領域から第1ブロ
ックを抽出するステップと、 第m+n(nはi+1以上の整数)フレームの動きベク
トル探索領域から前記第1ブロックとの相関がより大き
い複数の第2ブロックを抽出するステップと、 前記第1ブロックと前記複数の第2ブロック間の複数の
第1動きベクトルを検出するステップと、 前記第1動きベクトルのi/nである複数の第3動きベ
クトルを算出するステップと、 前記第3動きベクトルに従って前記第m+iフレームか
ら前記第1ブロックの移動先となる第5ブロックを抽出
するステップと、 前記複数の第1動きベクトルから前記第3ブロックと前
記第5ブロックとの相関を最大とする最適動きベクトル
を選択するステップとを有する動きベクトル検出方法。 - 【請求項4】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の最適動きベクトルを求める動きベクトル検
出方法において、 前記第mフレームの動きベクトル探索領域から第1ブロ
ックを抽出するステップと、 第m+n(nはi+1以上の整数)フレームの動きベク
トル探索領域から前記第1ブロックとの相関がより大き
い複数の第2ブロックを抽出するステップと、前記第1
ブロックと前記複数の第2ブロック間の複数の第1動き
ベクトルを検出するステップと、 前記第m+iフレームから前記第1ブロックと空間的同
位置にある第3ブロックを抽出するステップと、 前記第1動きベクトルの(n−i)/nである複数の第
2動きベクトルを算出するステップと、 前記第2動きベクトルに従って前記第m+nフレームか
ら前記第3ブロックの移動先となる第4ブロックを抽出
するステップと、 前記第1動きベクトルのi/nである複数の第3動きベ
クトルを算出するステップと、 前記第3動きベクトルに従って前記第m+iフレームか
ら前記第1ブロックの移動先となる第5ブロックを抽出
するステップと、 前記複数の第1動きベクトルから前記第1ブロックと前
記第2ブロック及び前記第5ブロックの相関をより大き
くする複数の第1動きベクトルを選択するステップと、 選択された複数の第1動きベクトルから前記第3ブロッ
クと前記第4ブロックとの相関を最大とする最適動きベ
クトルを選択するステップとを有する動きベクトル検出
方法。 - 【請求項5】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の最適動きベクトルを求める動きベクトル検
出方法において、 前記第mフレームの動きベクトル探索領域から第1ブロ
ックを抽出するステップと、 第m+n(nはi+1以上の整数)フレームの動きベク
トル探索領域から前記第1ブロックとの相関がより大き
い複数の第2ブロックを抽出するステップと、 前記第1ブロックと前記複数の第2ブロック間の複数の
第1動きベクトルを検出するステップと、 前記第m+iフレームから前記第1ブロックと空間的同
位置にある第3ブロックを抽出するステップと、 前記第1動きベクトルの(n−i)/nである複数の第
2動きベクトルを算出するステップと、 前記第2動きベクトルに従って前記第m+nフレームか
ら前記第3ブロックの移動先となる第4ブロックを抽出
するステップと、 第m+nフレームから前記第1ブロックと空間的に同位
置にある複数の第6ブロックを抽出するステップと、 前記第mフレームの動きベクトル探索領域から前記第6
ブロックとの相関がより大きい複数の第7ブロックを抽
出するステップと、 前記第6ブロックと前記複数の第7ブロック間の複数の
第4動きベクトルを検出するステップと、 前記第4動きベクトルのi/nである複数の第5動きベ
クトルを算出するステップと、 前記第5動きベクトルに従って前記第mフレームから前
記第3ブロックの移動先となる第8ブロックを抽出する
ステップと、 前記複数の第1動きベクトルから前記第3ブロックと前
記第4ブロックとの相関を最大とする最適第1動きベク
トルを選択するステップと、 前記複数の第4動きベクトルから前記第3ブロックと前
記第8ブロックとの相関を最大とする最適第4動きベク
トルを選択するステップと、 前記第3ブロック及び前記第4ブロックの画素値につい
ての第1の絶対値差分和と前記第3ブロック及び前記第
8ブロックの画素値についての第2の絶対値差分和とを
比較し、第1の絶対値差分和が第2の絶対値差分和より
小さい場合は前記最適第1動きベクトルを最適動きベク
トルとして選択し、第2の絶対値差分和が第1の絶対値
差分和より小さい場合は前記最適第4動きベクトルの逆
ベクトルを最適動きベクトルとして選択するステップと
を有する動きベクトル検出方法。 - 【請求項6】画像の第mフレーム(mは任意の整数)と
第m+nフレーム(nはi+1以上の整数、iは1以上
の整数)間の最適動きベクトルを求める動きベクトル検
出方法において、 前記第m+iフレームの動きベクトル探索領域から第9
ブロックを抽出するステップと、 前記第m+n(nはi+1以上の整数)フレームの動き
ベクトル探索領域から複数の第10ブロックを抽出する
ステップと、 前記第9ブロックと前記複数の第10ブロック間の複数
の第6動きベクトルを検出するステップと、 前記第6動きベクトルの−(n−i)/iである第7動
きベクトルを算出するステップと、 前記第7動きベクトルに従って前記第m+nフレームか
ら前記第9ブロックの移動先となる第11ブロックを抽
出するステップと、 前記第10ブロックと前記第11ブロックとの間の相関
がより大きい複数の第1動きベクトルを検出するステッ
プと、 前記複数の第1動きベクトルから前記第9ブロック及び
前記第10ブロックの画素値の絶対値差分和と前記第9
ブロック及び前記第11ブロックの画素値の絶対値差分
和の少なくとも一方を最小とする最適動きベクトルを選
択するステップとを有する動きベクトル検出方法。 - 【請求項7】原画像の第mフレーム(mは任意の整数)
と第m+nフレーム(nはi+1以上の整数、iは1以
上の整数)間の第m+k(kは任意の実数)フレームの
時間的位置に補間すべき補間画像を作成する補間画像作
成方法において、 請求項1乃至5のいずれかの動きベクトル方法により求
められた前記最適動きベクトルを前記第m+kフレーム
の時間的位置に応じてスケール変換するステップと、 前記スケール変換後の動きベクトルに従って前記第m+
iフレームから前記第1ブロックの移動先となる第12
ブロックを抽出するステップと、 前記第m+kフレームの前記第1ブロックと空間的同位
置に前記第12ブロックを割り当てることにより前記補
間画像を作成するステップとを有する補間画像作成方
法。 - 【請求項8】原画像の第mフィールド(mは任意の整
数)と第m+nフィールド(nはi+1以上の整数、i
は1以上の整数)間の第m+k(kは任意の実数)フィ
ールドの時間的位置に補間すべき補間画像を作成する補
間画像作成方法であって、 前記第mフィールド(mは任意の整数)の動きベクトル
探索領域から第1ブロックを抽出するステップと、 第m+2n(nは1以上の整数)フィールドの動きベク
トル探索領域から前記第1ブロックとの相関がより大き
い複数の第2ブロックを抽出するステップと、 前記第1ブロックと前記複数の第2ブロック間の複数の
第1動きベクトルを検出するステップと、第m+2n−
1フィールドから前記第1ブロックを空間的に1/2ラ
イン垂直 方向にシフトさせた空間的位置にある第3ブロックを抽
出するステップと、 前記第1動きベクトルの1/2である複数の第2動きベ
クトルを算出するステップと、 第m+2n−1フィールドから前記第1ブロックと空間
的同位置にある第3ブロックを抽出するステップと、 前記第2動きベクトルに従って前記第m+2nフィール
ドから、前記m+2n−1フィールド内の前記第1ブロ
ックと空間的同位置にあるブロックの移動先となる第4
ブロックを抽出するステップと、 前記第3ブロックを第1垂直方向に線形補間した第13
ブロックを作成するステップと、前記第4ブロックを前
記第1垂直方向とは逆の第2垂直方向に線形補間した第 14ブロックを作成するステップと、 前記複数の第1動きベクトルから前記第13ブロックと
前記第14ブロックとの相関を最大とする最適動きベク
トルを選択するステップと、 前記最適動きベクトルを前記時間的位置に応じてスケー
ル変換するステップと、 前記スケール変換後の動きベクトルに従って前記第m+
2nフィールドから前記第1ブロックの移動先となる第
15ブロックを抽出するステップと、 前記第m+kフィールドの前記第1ブロックと空間的同
位置に前記第15ブロックを割り当てることにより前記
補間画像を作成するステップとを有する補間画像作成方
法。 - 【請求項9】請求項7または8に記載の補間画像作成方
法により作成された前記補間画像及び前記原画像を表示
する画像表示システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002073207A JP3840129B2 (ja) | 2002-03-15 | 2002-03-15 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
US10/383,631 US7349475B2 (en) | 2002-03-15 | 2003-03-10 | Motion vector detection method and apparatus |
US11/686,479 US20070153904A1 (en) | 2002-03-15 | 2007-03-15 | Motion vector detection method and apparatus |
US11/686,457 US8144777B2 (en) | 2002-03-15 | 2007-03-15 | Motion vector detection method and apparatus |
US11/686,424 US20070165719A1 (en) | 2002-03-15 | 2007-03-15 | Motion vector detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002073207A JP3840129B2 (ja) | 2002-03-15 | 2002-03-15 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006189834A Division JP4181189B2 (ja) | 2006-07-10 | 2006-07-10 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
JP2006189835A Division JP4181190B2 (ja) | 2006-07-10 | 2006-07-10 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003274414A true JP2003274414A (ja) | 2003-09-26 |
JP3840129B2 JP3840129B2 (ja) | 2006-11-01 |
Family
ID=28035227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002073207A Expired - Fee Related JP3840129B2 (ja) | 2002-03-15 | 2002-03-15 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
Country Status (2)
Country | Link |
---|---|
US (4) | US7349475B2 (ja) |
JP (1) | JP3840129B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100767503B1 (ko) | 2006-06-13 | 2007-10-17 | 주식회사 팬택앤큐리텔 | 3차원 피팅을 이용한 움직임 벡터 보상 시스템 및 방법 |
US7324160B2 (en) | 2003-11-22 | 2008-01-29 | Samsung Electronics Co., Ltd. | De-interlacing apparatus with a noise reduction/removal device |
JP2009212884A (ja) * | 2008-03-05 | 2009-09-17 | Panasonic Corp | 動きベクトル検出回路、動きベクトル検出装置、及び集積回路 |
WO2011043433A1 (ja) * | 2009-10-08 | 2011-04-14 | 日本ビクター株式会社 | フレームレート変換装置及び方法 |
JP2011083036A (ja) * | 2011-01-12 | 2011-04-21 | Victor Co Of Japan Ltd | 補間画素データ生成装置及び方法 |
JP2013243630A (ja) * | 2012-05-23 | 2013-12-05 | Jvc Kenwood Corp | 動きベクトル生成装置及び方法 |
US8798151B2 (en) | 2007-08-20 | 2014-08-05 | Panasonic Corporation | Video display device, interpolated image generation circuit and interpolated image generation method |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP2006260527A (ja) * | 2005-02-16 | 2006-09-28 | Toshiba Corp | 画像マッチング方法およびこれを用いた画像補間方法 |
JP4398925B2 (ja) * | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
JP4064413B2 (ja) * | 2005-06-27 | 2008-03-19 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
JP4398919B2 (ja) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
JP4417918B2 (ja) * | 2006-03-30 | 2010-02-17 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
CN101087405A (zh) * | 2006-06-07 | 2007-12-12 | 鸿富锦精密工业(深圳)有限公司 | 动态监控***及方法 |
JP4322904B2 (ja) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
JP4375452B2 (ja) * | 2007-07-18 | 2009-12-02 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム、並びに表示装置 |
US20090207314A1 (en) * | 2008-02-14 | 2009-08-20 | Brian Heng | Method and system for motion vector estimation using a pivotal pixel search |
US20090225227A1 (en) * | 2008-03-05 | 2009-09-10 | Panasonic Corporation | Motion vector detecting device |
JP5200788B2 (ja) * | 2008-09-09 | 2013-06-05 | 富士通株式会社 | 映像信号処理装置、映像信号処理方法および映像信号処理プログラム |
JP2010288098A (ja) * | 2009-06-12 | 2010-12-24 | Sony Corp | 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム |
EP2495721B1 (en) * | 2009-10-26 | 2018-05-30 | III Holdings 12, LLC | Tone determination device and method |
US8848110B2 (en) * | 2010-03-29 | 2014-09-30 | Silicon Laboratories Inc. | Mixed-mode receiver circuit including digital gain control |
US8433143B1 (en) * | 2012-01-04 | 2013-04-30 | Doug Carson & Associates, Inc. | Automated detection of video artifacts in an information signal |
US10205962B2 (en) * | 2013-03-15 | 2019-02-12 | Raymond Zenkich | System and method for non-uniform video coding |
EP3820138A1 (en) * | 2019-11-06 | 2021-05-12 | Koninklijke Philips N.V. | A system for performing image motion compensation |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4496972A (en) * | 1980-05-10 | 1985-01-29 | Deutsche Forschungs-Und Versuchsanstalt Fur Luft-Und Raumfahrt E.V. | Method for the representation of video images or scenes, in particular aerial images transmitted at reduced frame rate |
DE3408061A1 (de) * | 1984-03-05 | 1985-09-05 | ANT Nachrichtentechnik GmbH, 7150 Backnang | Verfahren zur bewegungsadaptiven interpolation von fernsehbildsequenzen und anwendungen dieses verfahrens |
DE3663875D1 (en) | 1986-03-08 | 1989-07-13 | Ant Nachrichtentech | Motion compensating field interpolation method using a hierarchically structured displacement estimator |
GB2231752B (en) | 1989-04-27 | 1993-08-04 | Sony Corp | Motion dependent video signal processing |
JPH0683441B2 (ja) | 1989-06-26 | 1994-10-19 | 松下電器産業株式会社 | 画像信号のフレーム間内挿符号化方法とその装置 |
WO1992005662A1 (en) * | 1990-09-20 | 1992-04-02 | British Broadcasting Corporation | Video image processing |
WO1993018618A1 (en) * | 1992-03-03 | 1993-09-16 | Kabushiki Kaisha Toshiba | Time-varying image encoder |
ES2117293T3 (es) * | 1993-09-08 | 1998-08-01 | Thomson Multimedia Sa | Metodo y aparato para estimacion de movimiento utilizando coincidencia de bloques. |
US5610665A (en) * | 1993-10-12 | 1997-03-11 | Berman; John L. | Interactive television graphics interface |
JPH089340A (ja) | 1994-06-24 | 1996-01-12 | Mitsubishi Electric Corp | 動きベクトル検出装置及び動きベクトル検出方法 |
JPH09214899A (ja) | 1996-01-31 | 1997-08-15 | Nippon Hoso Kyokai <Nhk> | 画像予測処理方法および装置 |
US6008865A (en) * | 1997-02-14 | 1999-12-28 | Eastman Kodak Company | Segmentation-based method for motion-compensated frame interpolation |
JP3774028B2 (ja) | 1997-04-23 | 2006-05-10 | 日本放送協会 | 動画像の動き量推定装置 |
US6366317B1 (en) * | 1998-03-27 | 2002-04-02 | Intel Corporation | Motion estimation using intrapixel logic |
US6594313B1 (en) * | 1998-12-23 | 2003-07-15 | Intel Corporation | Increased video playback framerate in low bit-rate video applications |
US6618439B1 (en) * | 1999-07-06 | 2003-09-09 | Industrial Technology Research Institute | Fast motion-compensated video frame interpolator |
US6351545B1 (en) * | 1999-12-14 | 2002-02-26 | Dynapel Systems, Inc. | Motion picture enhancing system |
KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
-
2002
- 2002-03-15 JP JP2002073207A patent/JP3840129B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-10 US US10/383,631 patent/US7349475B2/en not_active Expired - Fee Related
-
2007
- 2007-03-15 US US11/686,457 patent/US8144777B2/en not_active Expired - Fee Related
- 2007-03-15 US US11/686,424 patent/US20070165719A1/en not_active Abandoned
- 2007-03-15 US US11/686,479 patent/US20070153904A1/en not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7324160B2 (en) | 2003-11-22 | 2008-01-29 | Samsung Electronics Co., Ltd. | De-interlacing apparatus with a noise reduction/removal device |
KR100767503B1 (ko) | 2006-06-13 | 2007-10-17 | 주식회사 팬택앤큐리텔 | 3차원 피팅을 이용한 움직임 벡터 보상 시스템 및 방법 |
US8798151B2 (en) | 2007-08-20 | 2014-08-05 | Panasonic Corporation | Video display device, interpolated image generation circuit and interpolated image generation method |
JP2009212884A (ja) * | 2008-03-05 | 2009-09-17 | Panasonic Corp | 動きベクトル検出回路、動きベクトル検出装置、及び集積回路 |
WO2011043433A1 (ja) * | 2009-10-08 | 2011-04-14 | 日本ビクター株式会社 | フレームレート変換装置及び方法 |
JP2011082846A (ja) * | 2009-10-08 | 2011-04-21 | Victor Co Of Japan Ltd | フレームレート変換装置及び方法 |
KR101186143B1 (ko) | 2009-10-08 | 2012-09-27 | 닛뽕빅터 가부시키가이샤 | 프레임 레이트 변환 장치 및 방법 |
US8319889B2 (en) | 2009-10-08 | 2012-11-27 | JVC Kenwood Corporation | Frame rate conversion apparatus and method |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
JP2011083036A (ja) * | 2011-01-12 | 2011-04-21 | Victor Co Of Japan Ltd | 補間画素データ生成装置及び方法 |
JP2013243630A (ja) * | 2012-05-23 | 2013-12-05 | Jvc Kenwood Corp | 動きベクトル生成装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20070153904A1 (en) | 2007-07-05 |
US20070153903A1 (en) | 2007-07-05 |
US7349475B2 (en) | 2008-03-25 |
US20030174777A1 (en) | 2003-09-18 |
US8144777B2 (en) | 2012-03-27 |
JP3840129B2 (ja) | 2006-11-01 |
US20070165719A1 (en) | 2007-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3840129B2 (ja) | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム | |
US7561621B2 (en) | Method of searching for motion vector, method of generating frame interpolation image and display system | |
US7412114B2 (en) | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same | |
JP4198608B2 (ja) | 補間画像生成方法および装置 | |
JP4157579B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4438795B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
US8189104B2 (en) | Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame | |
US20110206124A1 (en) | Object tracking using graphics engine derived vectors in a motion estimation system | |
JP4431089B2 (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
JP2007060192A (ja) | 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体 | |
JP4181189B2 (ja) | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム | |
JP2008109625A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP4181190B2 (ja) | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム | |
JP2008193730A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4157587B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2008109628A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4354799B2 (ja) | 補間画像生成方法および装置 | |
JP5053941B2 (ja) | 画像処理装置 | |
KR102279495B1 (ko) | 디스플레이장치 및 그 제어 방법 | |
JP4157586B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4917867B2 (ja) | テロップ検出装置及び方法、並びに画像表示装置及び方法 | |
JP2006279982A (ja) | 動きベクトル検出方法、フレーム補間画像作成方法及び装置 | |
JP2008011439A (ja) | 補間画像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |