JP2007166545A - 動きベクトル検出装置及び方法 - Google Patents
動きベクトル検出装置及び方法 Download PDFInfo
- Publication number
- JP2007166545A JP2007166545A JP2005363869A JP2005363869A JP2007166545A JP 2007166545 A JP2007166545 A JP 2007166545A JP 2005363869 A JP2005363869 A JP 2005363869A JP 2005363869 A JP2005363869 A JP 2005363869A JP 2007166545 A JP2007166545 A JP 2007166545A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector
- block
- processing target
- current processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
【課題】 少ない検索回数で精度よく動きベクトル検出を実現する動きベクトル検出装置を提供する。
【解決手段】 現処理対象ブロック近傍の複数のブロック(コンテキスト)について検出された動きベクトルから現処理対象ブロックに対する動きベクトル検出用初期ベクトルを予測する。この際、異なる数のブロックからなるコンテキストに基づいて複数の初期ベクトル候補を生成し、個々の候補ベクトルのうち現処理対象ブロックと類似度の高い参照画像ブロックに対応する一方を初期ベクトルとする。
【選択図】 図1
【解決手段】 現処理対象ブロック近傍の複数のブロック(コンテキスト)について検出された動きベクトルから現処理対象ブロックに対する動きベクトル検出用初期ベクトルを予測する。この際、異なる数のブロックからなるコンテキストに基づいて複数の初期ベクトル候補を生成し、個々の候補ベクトルのうち現処理対象ブロックと類似度の高い参照画像ブロックに対応する一方を初期ベクトルとする。
【選択図】 図1
Description
本発明は、ディジタル動画像の動きベクトル検出装置及び方法に関する。
一般にデジタルビデオカメラ、デジタルカメラ等の撮像装置で動画像を撮影する場合、手持ち撮影や車など移動体からの撮影など、振動が生ずる状況下での撮影頻度が高い。こうした状況における撮影では撮像装置本体が動き、符号化する画像全体の動きに影響する。
MPEG(Moving Picture Experts Group)方式に代表されるような、動き補償予測動画符号化方式では、現フレームの入力信号ブロックと、動き補償により得られた予測対象フレームの局部復号信号ブロックとのフレーム間差分信号を符号化するのが一般的である。そして、動き補償を行うために用いる動きベクトルは、通常ブロックマッチング法と呼ばれる方式により検出される。
例えば、符号化対象画像フレームを16画素×16ライン単位のブロックに分割し、ブロック毎に動きベクトルを検出する。すなわち、処理中のブロックと、過去の参照画像内における該ブロックと同サイズの領域とをずらしながら比較し、最も一致していた参照画像内のブロックの、処理中ブロックの位置に対する相対位置を動きベクトルとして検出する。処理中の画像ブロックと参照画像中のブロックとの一致度は、対応する位置の画素の差分絶対値和を評価値として判定されることが多い。
このような、動き補償を用いる予測動画像符号化方式を実施する際には、動きベクトル検出を、いかに少ない比較回数で、いかに精度よく行なうかが処理速度向上、圧縮率向上のために重要である。動きベクトルを効率よく、且つ精度良く検出するための方法の一つとして、以下のような方法が知られている。すなわち、過去に検出した動きベクトルの情報を基に、処理中の画像ブロックの動きベクトルを予測し、予測した動きベクトルの位置を起点に動きベクトルの検出を行うという方法である。
例えば、同一フレーム内における、既に動きベクトル検出が終了した複数のブロックのうち、現処理対象ブロックの近傍の複数のブロックから一つのコンテキストを生成する。そして、このコンテキストを構成する複数のブロックのそれぞれに対して既に検出された動きベクトル群を基に、現処理対象ブロックの動きベクトルを予測し、検索の初期ベクトルとして使用する。
図5は、従来の動きベクトル検出装置の構成例を示す図である。
図5において、入力画像は動きベクトル検出を行うブロック単位で入力される。メモリ501は同一フレーム内における、検出済みの動きベクトルを保存する。保存された動きベクトルは、初期ベクトル生成器502へと読み出される。
図5において、入力画像は動きベクトル検出を行うブロック単位で入力される。メモリ501は同一フレーム内における、検出済みの動きベクトルを保存する。保存された動きベクトルは、初期ベクトル生成器502へと読み出される。
初期ベクトル生成器502は、メモリ501より読み出した既検出動きベクトルを基に、処理対象ブロックに対する動きベクトルを予測し、初期ベクトルとして動きベクトル検索器503へと出力する。動きベクトル検索器503は、入力される現処理対象ブロックについて、初期ベクトル生成器502より得た初期ベクトルを検索の初期値として、参照画像よりブロックマッチングを行うための所望の位置のブロックを取り出して動きベクトルの検出を行う。検出した動きベクトルは、図示しない予測符号化回路等で用いられる他、メモリ501へと入力され、次以降のブロックに対する初期ベクトル予測のために用いられる。
次に、図4を更に参照して、図5の動きベクトル検出装置の動作についてさらに具体的に説明する。
動きベクトル検出単位にブロック分割された入力画像は、動きベクトル検索器503へと入力され、一旦内部に保存される。保存された処理対象ブロックは、動きベクトル検索のために必要に応じて読み出される。メモリ501には、現在処理対象となっているブロック(現処理対象ブロック)より以前に処理された、同一フレーム内のブロックに対して検出された動きベクトルが保存されている。
動きベクトル検出単位にブロック分割された入力画像は、動きベクトル検索器503へと入力され、一旦内部に保存される。保存された処理対象ブロックは、動きベクトル検索のために必要に応じて読み出される。メモリ501には、現在処理対象となっているブロック(現処理対象ブロック)より以前に処理された、同一フレーム内のブロックに対して検出された動きベクトルが保存されている。
現処理対象ブロックに対する動きベクトルの検出にあたり、検索の初期値として用いる初期ベクトルをまず生成する。初期ベクトル生成器502が、メモリ501より既検出ベクトルを読み出す。この際、予め決められたコンテキストに従って複数の動きベクトルが読み出される。従来例においては、初期ベクトル生成器におけるコンテキストは、図4(a)に示されるような位置のブロックにより、構成される。
図4(a)は、コンテキストと現処理対象ブロックとの関係の一例を示す図であり、各マスが動きベクトル検出の対象となるブロックを表している。図4(a)において太線で囲まれた部分がコンテキストを表し、ここでは3つのブロックより構成される。また、斜線で示されたブロックは、現処理対象ブロックを表す。現処理対象ブロックの動きベクトルを予測するために、コンテキストを構成する3つのブロックそれぞれに対応する動きベクトル群が用いられる。例えば、コンテキストの3つの動きベクトルの要素を降順に並べ、その中間に位置する要素からなるベクトルを初期ベクトルとして予測する。
動きベクトル検索器503においては、入力された初期ベクトルを初期値としてベクトルを変化させながら、そのベクトルに対応する参照画像ブロックを取り出し、入力済みの現処理対象ブロックとのマッチングを繰り返す。そして、例えば画素値の差分の合計値がある所定の閾値以下になった参照画像ブロックに対応するベクトルを動きベクトルとして出力する。出力された動きベクトルは、例えば図示しない符号化回路で用いられる他、メモリ501へと格納される。
しかしながら、この従来の方法では、パニングや装置のブレ等から生じる画面全体の動きと、被写体自体の動きとが存在する場合に、動物体の輪郭付近のブロックの動き予測精度が低下しやすいという問題がある。図4(c)は、あるフレームを構成するブロック群の一部を取り出し、各ブロックの動きベクトルを表した図である。各ブロック内に描かれた矢印は、それぞれのブロックの動きベクトルを表しており、太線で囲まれた領域は、動物体を表している。
今、装置のぶれ等から、画面全体としては概ね図で示されるように、上方向の動きベクトルを持つブロックが支配的になっているとする。その中で、図で示されるような右方向に動きを持つ動物体が存在すると、動物体の占める領域内のブロックは、図のように右(又は右上)方向の動きベクトルを持つブロックが支配的となる。この場合、図4(a)に示したようなコンテキストを用いてそれぞれのブロックの動きベクトルを予測すると、図4(c)に斜線で示すブロックにおいて、予測が精度が低下する。即ち、同物体の境界付近に位置するブロックにおいて、予測がはずれる確率が高くなる。
また、アクティビティ(動き)が極端に低いブロックが多く存在する領域では、実際の動きベクトルと全く異なるベクトルが算出される場合がある。これは、かかる領域における現処理対象ブロックと参照画像ブロックとの差分絶対値和に差がほとんどなくなることが要因となっている。この場合、検出されたベクトルをそのまま動きベクトルとして用いて符号化したとしても、そのブロックの符号量自体にさほどの悪影響を及ぼすことはないといえる。しかし、その動きベクトルを他のブロックの動きベクトルの予測に用いた場合、他のブロックに対する動きベクトルの予測精度を落としてしまうことがある。
このように、従来の動きベクトル検出方法では、パニングや装置のブレ等から生じる画面全体の動きと、被写体自体の動きとが存在する場合に、動いている被写体の輪郭付近のブロックの動きの予測が外れやすいという問題があった。
また、アクティビティが極端に低いブロックが多く存在する領域では、動きベクトル検出のための動き予測の精度が低下するという問題があった。
また、アクティビティが極端に低いブロックが多く存在する領域では、動きベクトル検出のための動き予測の精度が低下するという問題があった。
本発明はこのような従来技術の課題に鑑みなされたものであり、少ない検索回数で精度よく動きベクトル検出を実現する動きベクトル検出装置及び方法を提供するものである。
かかる課題を解決するために、本発明における動きベクトル検出装置は、入力された動画像情報を複数のブロックに分割し、各ブロック毎に動きベクトルを検出する動きベクトル検出装置であって、現処理対象ブロックの近傍の複数のブロックより第1のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第1の予測動きベクトルを生成する第1の予測動きベクトル生成手段と、前記現処理対象ブロックの近傍のブロックを、前記第1のコンテキストを構成するブロックの数より少ない個数のブロックを複数選択して第2のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第2の予測動きベクトルを生成する第2の予測動きベクトル生成手段と、前記現処理対象ブロックの動きベクトルを検索するために初期値として用いる初期動きベクトルを、第1及び第2の予測動きベクトルのうちいずれか一方を選択して生成する初期動きベクトル生成手段と、前記初期動きベクトル生成手段の生成した前記初期動きベクトルを初期値として、前記現処理対象ブロックの動きベクトルを検索して決定する動きベクトル検索手段と、を備えることを特徴とする。
また、本発明による動きベクトル検出方法は、入力された動画像情報を複数のブロックに分割し、各ブロック毎に動きベクトルを検出する動きベクトル検出方法であって、現処理対象ブロックの近傍の複数のブロックより第1のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第1の予測動きベクトルを生成する第1の予測動きベクトル生成工程と、前記現処理対象ブロックの近傍のブロックを、前記第1のコンテキストを構成するブロックの数より少ない個数のブロックを複数選択して第2のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第2の予測動きベクトルを生成する第2の予測動きベクトル生成工程と、前記現処理対象ブロックの動きベクトルを検索するために初期値として用いる初期動きベクトルを、第1及び第2の予測動きベクトルのうちいずれか一方を選択して生成する初期動きベクトル生成工程と、前記初期動きベクトル生成工程で生成した前記初期動きベクトルを初期値として、前記現処理対象ブロックの動きベクトルを検索して決定する動きベクトル検索工程と、を備えることを特徴とする。
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
本発明による動きベクトル検出装置及び方法によれば、少ない検索回数で精度よく動きベクトル検出を実現することができるようになる。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。
図1において、入力画像は動きベクトル検出を行うブロック単位で入力される。メモリ101は同一フレーム内における既に検出済みの動きベクトルを保存する。この保存された動きベクトルは、予測ベクトル生成器#1(102)および予測ベクトル生成器#2(103)へと読み出される。予測ベクトル生成器#1および予測ベクトル生成器#2は、メモリより読み出した既検出動きベクトルを基に、それぞれ予測ベクトル#1,#2を生成する。
図1は、本発明の第1の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。
図1において、入力画像は動きベクトル検出を行うブロック単位で入力される。メモリ101は同一フレーム内における既に検出済みの動きベクトルを保存する。この保存された動きベクトルは、予測ベクトル生成器#1(102)および予測ベクトル生成器#2(103)へと読み出される。予測ベクトル生成器#1および予測ベクトル生成器#2は、メモリより読み出した既検出動きベクトルを基に、それぞれ予測ベクトル#1,#2を生成する。
予測ベクトル生成器#1および予測ベクトル生成器#2より生成された予測ベクトル#1,#2は、初期ベクトル生成器104へと入力される。初期ベクトル生成器104は、予測ベクトル生成器#1および予測ベクトル生成器#2より生成された予測ベクトル#1,#2のうち、いずれか一方を選択し初期ベクトルとして動きベクトル検索器105へと出力する。
動きベクトル検索器105は、現処理対象ブロックについて、初期ベクトル生成器104より得た初期ベクトルを検索の初期値として、参照画像から、ブロックマッチングを行うためのブロック(参照ブロック)を取り出す。そして、動きベクトル検索器105は現処理対象ブロックと参照ブロックとの比較及び、ベクトルの変更を繰り返しながら動きベクトルの検出を行い、動きベクトルを出力する。出力された動きベクトルは、例えば後段の図示しない符号化回路等で用いられる他、メモリ101へと入力され、以降のブロックの動きベクトル検出のために用いられる。
次に、本実施形態の動きベクトル検出装置の動作について説明する。動きベクトル検出単位にブロック分割された入力画像は、動きベクトル検索器105へと入力され、一旦内部に保存される。保存された処理対象ブロックは、動きベクトル検索のために必要に応じて読み出される。メモリ101には、現処理対象ブロックより以前に処理された、同一フレーム内のブロックに対して検出された動きベクトルが保存されている。動きベクトル検出にあたり、検索の初期値として用いる初期ベクトルの候補となる予測ベクトルを生成するため、まずメモリ101より既検出ベクトルの読み出しが行われる。
予測ベクトル生成器#1(102)及び#2(103)において、同一フレーム内の既に動きベクトル検出の終了したブロックの中の、予め決められたコンテキストを構成する複数のブロックに対応する複数の動きベクトルがそれぞれ読み出される。第1の実施形態においては、予測ベクトル生成器#1(102)におけるコンテキストは、図4(b)の太線で囲まれた部分に示されたような、従来よりも大きなコンテキストを用いる。図4(b)において、斜線で示されたブロックは、現処理対象ブロックを表し、太線がコンテキストを示す。現処理対象ブロックの動きベクトルを予測するために、コンテキストを構成する全てのブロックそれぞれに対応する動きベクトル群が用いられる。
第1の実施形態において、予測ベクトル生成器#1(102)は、コンテキスト中のブロックの全ての動きベクトルの平均ベクトルを、予測ベクトル#1として出力する。また、予測ベクトル生成器#2(103)におけるコンテキストは、図4(a)に太線で示した従来のコンテキストを用いる。ここで、2つのコンテキストは包含関係にある。予測ベクトル生成器#2(103)は、予測ベクトル#1との差分が最も大きい動きベクトルを、コンテキスト中のブロックの動きベクトルから選択し、予測ベクトル#2として出力する。差分の大きさは、例えばベクトルの要素間の差分絶対値和の大きさの合計により判定することができる。
予測ベクトル生成器#1(102)及び#2(103)において生成された予測ベクトル#1及び#2は、初期ベクトル生成器104へと入力される。初期ベクトル生成器104は、予測ベクトル#1及び#2それぞれに対応する参照画像ブロックと現処理対象ブロックの対応画素の差分絶対値和をそれぞれ算出する。そして、差分絶対値和の値の小さい参照画像ブロックに対応する予測ベクトルを初期ベクトルとして選択し、動きベクトル検索器105へと出力する。
動きベクトル検索器105は、入力された初期ベクトルを初期値としてベクトルを変化させていく。そして、そのベクトルに対応する参照画像ブロックを取り出し、入力済みの現処理対象ブロックと参照画像ブロックの対応画素の差分絶対値和を算出する。ベクトルを変化させながら差分絶対値和の算出を繰り返し、値が所定の閾値以下になった参照画像ブロックに対応したベクトルを動きベクトルとして出力する。出力された動きベクトルは、図示しない符号化回路等で用いられる他、メモリ101へと格納される。
このように、本実施形態では、大きさの異なる2つのコンテキストを用いて初期ベクトルを予測する。具体的には、大きなコンテキストを用いて広範囲な動きベクトルの傾向を反映した第1のベクトルを生成する。一方で、小さなコンテキストの中で、大きなコンテキストにおける全体的な傾向とは異なる動きベクトルを検出し、第2のベクトルとして検出する。そして、2つのベクトルにより取得した参照画像ブロックと現処理対象ブロックとを比較して、適切なベクトルを初期ベクトルとして決定する。これにより、例えば現処理対象ブロックが動きのある被写体に対応する場合には第2のベクトルが選択されることになり、従来の方法のように動物体の境界ブロックでの予測精度低下を防止することができる。その結果、少ない検索回数で精度よく動きベクトル検出を実現することができるようになる。
<第2の実施形態>
次に、本発明に係る第2の実施形態について説明する。図2は、第2の実施形態における動きベクトル検出装置の構成例を示すブロック図である。
次に、本発明に係る第2の実施形態について説明する。図2は、第2の実施形態における動きベクトル検出装置の構成例を示すブロック図である。
図2において、予測ベクトル生成器#1(202)、予測ベクトル生成器#2(203)、初期ベクトル生成器204は、第1の実施形態の構成(図1)と同じなので、説明を省略する。つまり、それらの構成は、予測ベクトル生成器#1(102)、予測ベクトル生成器#2(103)、及び初期ベクトル生成器104と同様である。
図2において、メモリ201は動きベクトル検索器205の出力する参照ベクトルを保存する。保存された参照ベクトルは、予測ベクトル生成器#1(202)および予測ベクトル生成器#2(203)へと読み出される。動きベクトル検索器205は、入力される現処理対象ブロックについて、初期ベクトル生成器204より得た初期ベクトルを検索の初期値として、参照画像よりブロックマッチングを行うための所望の位置のブロックを取り出す。そして動きベクトルの検出を行い、動きベクトルを出力する。また、次以降処理されるブロックの動きベクトル検出の初期ベクトルを予測するために用いられる参照ベクトルを生成し、メモリ201へと出力する。
次に、第2の実施形態の動きベクトル検出装置の動作について説明する。
動きベクトル検出単位にブロック分割された入力画像は、動きベクトル検索器205へと入力され、一旦内部に保存される。保存された処理対象ブロックは、動きベクトル検索のために必要に応じて読み出される。メモリ201には、現処理対象ブロックより以前に処理された、参照ベクトルが保存されている。参照ベクトルは、同一フレーム内のブロックに対して検出された動きベクトルもしくは動きベクトルに置き換えられたベクトルである。動きベクトル検出にあたり、検索の初期値として用いる初期ベクトルの候補となる予測ベクトルを生成するため、まずメモリ201より参照ベクトルの読み出しが行われる。
動きベクトル検出単位にブロック分割された入力画像は、動きベクトル検索器205へと入力され、一旦内部に保存される。保存された処理対象ブロックは、動きベクトル検索のために必要に応じて読み出される。メモリ201には、現処理対象ブロックより以前に処理された、参照ベクトルが保存されている。参照ベクトルは、同一フレーム内のブロックに対して検出された動きベクトルもしくは動きベクトルに置き換えられたベクトルである。動きベクトル検出にあたり、検索の初期値として用いる初期ベクトルの候補となる予測ベクトルを生成するため、まずメモリ201より参照ベクトルの読み出しが行われる。
予測ベクトル生成器#1(202)、#2(203)、及び初期ベクトル生成器204における動作は、第1の実施形態における動作と同様であるので、説明を省略する。
動きベクトル検索器205においては、入力された初期ベクトルを初期値としてベクトルを変化させていき、そのベクトルに対応する参照画像ブロックを取り出す。そして、入力済みの現処理対象ブロックとのマッチングを繰り返し、差異を表す値(例えば上述の差分絶対値和)が所定の閾値以下になった時点のベクトルを動きベクトルとして出力する。あるいは、類似度が所定の閾値以上になった時点でのベクトルを動きベクトルとして出力してもよい。
次に、参照ベクトルを生成する。動きベクトル検索器205は、以下の条件が満たされるかどうかを調べる。
(1)検出した動きベクトルと予測ベクトル#1、#2とのx、y成分毎の差分が、いずれも閾値(mvdxth,mvdyth)を超えるか。
(2)検出した動きベクトルに対応する参照画像ブロックと現処理対象ブロックとの差分絶対値和をSrefと、予測ベクトル#1、#2を用いて同様に求めた差分絶対値和S1、S2との差分の一方が閾値dth以下か。
(1)検出した動きベクトルと予測ベクトル#1、#2とのx、y成分毎の差分が、いずれも閾値(mvdxth,mvdyth)を超えるか。
(2)検出した動きベクトルに対応する参照画像ブロックと現処理対象ブロックとの差分絶対値和をSrefと、予測ベクトル#1、#2を用いて同様に求めた差分絶対値和S1、S2との差分の一方が閾値dth以下か。
すなわち、
|S1−Sref|≦dth 又は
|S2−Sref|≦dth
であるか。
|S1−Sref|≦dth 又は
|S2−Sref|≦dth
であるか。
これらの条件(1)、(2)を満足する場合には、現処理対象ブロックに対応する参照ベクトルとして、条件(2)の式を満たす予測ベクトルを出力する。
これらの条件(1)、(2)の少なくとも一方が満足されない場合には、検出した動きベクトルを現処理対象ブロックに対応する参照ベクトルとして出力する。参照ベクトルは、メモリ201へと出力され、格納される。
これらの条件(1)、(2)の少なくとも一方が満足されない場合には、検出した動きベクトルを現処理対象ブロックに対応する参照ベクトルとして出力する。参照ベクトルは、メモリ201へと出力され、格納される。
本実施形態によれば、第1の実施形態による効果に加え、最終的に検出した動きベクトルとの差が一定以上で、かつ動き予測の精度差が閾値未満である予測ベクトルを、実際に検出した動きベクトルの代わりに参照ベクトルとして保存する。そのため、アクティビティが極端に低いブロックが多く存在する領域などで発生しやすい、動き予測の精度低下を抑えることができる。
<第3の実施形態>
次に、本発明に係る第3の実施形態について説明する。図3は、第3の実施形態における動きベクトル検出装置の構成例を示すブロック図である。
次に、本発明に係る第3の実施形態について説明する。図3は、第3の実施形態における動きベクトル検出装置の構成例を示すブロック図である。
本実施形態において、メモリ301は第1の実施形態(図1)におけるメモリ101と同様である。また、予測ベクトル生成器#1(302)、予測ベクトル生成器#2(303)、動きベクトル検索器305は、それぞれ、予測ベクトル生成器#1(102)、予測ベクトル生成器#2(103)、及び動きベクトル検索器105と同様である。そのため、これらの構成要素については説明を省略する。
図3において、初期ベクトル生成器304は、予測ベクトル生成器#1(302)および予測ベクトル生成器#2(303)より生成された予測ベクトル#1,#2の一方を、装置のブレ情報に応じて初期ベクトルとして選択する。そして、動きベクトル検索器305へと出力する。
次に、第3の実施形態の動きベクトル検出装置の動作について説明する。
まず、メモリ301、予測ベクトル生成器#1(302)、予測ベクトル生成器#2(303)、動きベクトル検索器305における動作は、第1の実施形態の構成図(図1)におけるメモリ101、予測ベクトル生成器#1(102)、予測ベクトル生成器#2 (103)、及び動きベクトル検索器105におけるそれぞれの動作と同様であるので、説明を省略する。
まず、メモリ301、予測ベクトル生成器#1(302)、予測ベクトル生成器#2(303)、動きベクトル検索器305における動作は、第1の実施形態の構成図(図1)におけるメモリ101、予測ベクトル生成器#1(102)、予測ベクトル生成器#2 (103)、及び動きベクトル検索器105におけるそれぞれの動作と同様であるので、説明を省略する。
初期ベクトル生成器304においては、例えば図示しない加速度センサなどから装置のブレ情報を取得する。そして、ブレ情報より算出される画面全体の動きベクトルと、予測ベクトル#1との成分毎の差分が、いずれも閾値(mvadxth,mvadyth)を超えるかどうか判定する。
差分が閾値を超えない場合、予測ベクトル#1は画面全体の動きに支配されているものと考えられる。そのため、第1の実施形態と同様に、予測ベクトル#1及び#2それぞれに対応する参照画像ブロックと、現処理対象ブロックとの差分絶対値和をそれぞれ算出し、値の小さい方に対応する予測ベクトルを初期ベクトルとして選択する。
一方、差分が閾値を超えた場合には、予測ベクトル#1のコンテキストは全体のブレよりはそのコンテキスト内のブロックに特有な動きを反映しているものと考えられる。そのため、より小さなコンテキストに基づく予測ベクトル#2を考慮せずに直ちに予測ベクトル#1を初期ベクトルとして選択し、動きベクトル検索器へと出力する。
本実施形態によれば、第1の実施形態と同様の効果を達成することができる上、ブレ情報を用いることにより、予測ベクトルの決定を一層簡単に行うことができる。
また、上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるコンピュータプログラム自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
この場合、本発明の機能処理をコンピュータで実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)をサーバに記憶しておく。プログラムデータファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムデータファイルをダウンロードすることによって供給する。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルをクライアントコンピュータに提供するサーバ装置も本発明に含む。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルをクライアントコンピュータに提供するサーバ装置も本発明に含む。
また、本発明のコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
また、コンピュータにより実施形態の機能を実現するためのコンピュータプログラムが、実施形態の機能を、すでにコンピュータ上で稼働するOSの機能を利用して実現しても良い。
さらに、本発明を構成するコンピュータプログラムの少なくとも一部が、コンピュータに装着される拡張ボード等のファームウェアとして提供され、拡張ボード等が備えるCPUを利用して上述の実施形態の機能を実現しても良い。
さらに、本発明を構成するコンピュータプログラムの少なくとも一部が、コンピュータに装着される拡張ボード等のファームウェアとして提供され、拡張ボード等が備えるCPUを利用して上述の実施形態の機能を実現しても良い。
Claims (8)
- 入力された動画像情報を複数のブロックに分割し、各ブロック毎に動きベクトルを検出する動きベクトル検出装置であって、
現処理対象ブロックの近傍の複数のブロックより第1のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第1の予測動きベクトルを生成する第1の予測動きベクトル生成手段と、
前記現処理対象ブロックの近傍のブロックを、前記第1のコンテキストを構成するブロックの数より少ない個数のブロックを複数選択して第2のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第2の予測動きベクトルを生成する第2の予測動きベクトル生成手段と、
前記現処理対象ブロックの動きベクトルを検索するために初期値として用いる初期動きベクトルを、第1及び第2の予測動きベクトルのうちいずれか一方を選択して生成する初期動きベクトル生成手段と、
前記初期動きベクトル生成手段の生成した前記初期動きベクトルを初期値として、前記現処理対象ブロックの動きベクトルを検索して決定する動きベクトル検索手段と、
を備えることを特徴とする、動きベクトル検出装置。 - さらに、前記動きベクトル検索手段によって決定された動きベクトル及び前記第1及び第2の予測動きベクトルの差分、及び前記現処理対象ブロックと参照ブロックとのサンプル値の差分絶対値和とに基づいて、前記第1および第2のコンテキストに対応する動きベクトルと、前記第1および第2の予測動きベクトルのうち何れか一方と置き換えるベクトル置換手段を備えることを特徴とする請求項1に記載の動きベクトル検出装置。
- 前記ベクトル置換手段は、前記動きベクトル検索手段によって決定された動きベクトルと前記第1の予測動きベクトルとの差分及び、前記動きベクトル検索手段によって決定された動きベクトルと前記第2の予測動きベクトルとの差分が、いずれもある一定値を超え、かつ、前記現処理対象ブロックのサンプル値と前記動きベクトル検索手段によって決定された動きベクトルに対応する変位位置の参照フレーム内のブロックのサンプル値との差分絶対値和と、現処理対象ブロックのサンプル値と前記第1の予測動きベクトルに対応する変位位置の参照フレーム内のブロックのサンプル値との差分絶対値和及び前記現処理対象ブロックのサンプル値と前記第2の予測動きベクトルに対応する変位位置の参照フレーム内のブロックのサンプル値との差分絶対値和との比較結果に基づいて、ベクトル置換を判断することを特徴とする請求項2に記載の動きベクトル検出装置。
- 前記初期動きベクトル生成手段は、前記現処理対象ブロックのサンプル値と前記第1及び第2の予測動きベクトルに対応する変位位置の参照フレーム内のブロックのサンプル値との差分絶対値和が小さい方の前記予測動きベクトルを選択することを特徴とする請求項1乃至3の何れか1項に記載の動きベクトル検出装置。
- 前記第1の予測動きベクトル生成手段は、前記第1のコンテキストより得る動きベクトル群の平均ベクトルを予測動きベクトルとして生成することを特徴とする請求項1乃至4の何れか1項に記載の動きベクトル検出装置。
- 前記第2の予測動きベクトル生成手段は、前記第2のコンテキストより得る動きベクトル群のうち、前記第1のコンテキストより得る動きベクトル群の平均ベクトルとの差分が最も大きい動きベクトルを選択することを特徴とする請求項1乃至5の何れか1項に記載の動きベクトル検出装置。
- 前記初期動きベクトル生成手段は、装置のブレ情報を更に入力とし、このブレ情報に応じて予測動きベクトルを選択することを特徴とする請求項1乃至6の何れか1項に記載の動きベクトル検出装置。
- 入力された動画像情報を複数のブロックに分割し、各ブロック毎に動きベクトルを検出する動きベクトル検出方法であって、
現処理対象ブロックの近傍の複数のブロックより第1のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第1の予測動きベクトルを生成する第1の予測動きベクトル生成工程と、
前記現処理対象ブロックの近傍のブロックを、前記第1のコンテキストを構成するブロックの数より少ない個数のブロックを複数選択して第2のコンテキストを構成し、それぞれのブロックに対応する既検出の動きベクトル群を基に、前記現処理対象ブロックの動きベクトルを予測して第2の予測動きベクトルを生成する第2の予測動きベクトル生成工程と、
前記現処理対象ブロックの動きベクトルを検索するために初期値として用いる初期動きベクトルを、第1及び第2の予測動きベクトルのうちいずれか一方を選択して生成する初期動きベクトル生成工程と、
前記初期動きベクトル生成工程で生成した前記初期動きベクトルを初期値として、前記現処理対象ブロックの動きベクトルを検索して決定する動きベクトル検索工程と、
を備えることを特徴とする、動きベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363869A JP2007166545A (ja) | 2005-12-16 | 2005-12-16 | 動きベクトル検出装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363869A JP2007166545A (ja) | 2005-12-16 | 2005-12-16 | 動きベクトル検出装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007166545A true JP2007166545A (ja) | 2007-06-28 |
Family
ID=38248883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005363869A Withdrawn JP2007166545A (ja) | 2005-12-16 | 2005-12-16 | 動きベクトル検出装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007166545A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013098789A (ja) * | 2011-11-01 | 2013-05-20 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
JP2014183544A (ja) * | 2013-03-21 | 2014-09-29 | Fujitsu Ltd | 画像処理装置、及び画像処理方法 |
CN105847692A (zh) * | 2016-04-15 | 2016-08-10 | 张志华 | 一种智能斑马线护栏 |
JP2016178592A (ja) * | 2015-03-23 | 2016-10-06 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
JP2017112416A (ja) * | 2015-12-14 | 2017-06-22 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
-
2005
- 2005-12-16 JP JP2005363869A patent/JP2007166545A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013098789A (ja) * | 2011-11-01 | 2013-05-20 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
US9521417B2 (en) | 2011-11-01 | 2016-12-13 | Hitachi Kokusai Electric, Inc. | Video encoding device using predicted motion vector for blocks of different size |
JP2014183544A (ja) * | 2013-03-21 | 2014-09-29 | Fujitsu Ltd | 画像処理装置、及び画像処理方法 |
JP2016178592A (ja) * | 2015-03-23 | 2016-10-06 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
JP2017112416A (ja) * | 2015-12-14 | 2017-06-22 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
CN105847692A (zh) * | 2016-04-15 | 2016-08-10 | 张志华 | 一种智能斑马线护栏 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
JP4514203B2 (ja) | 動きベクトル検出装置及び方法 | |
JPWO2007136088A1 (ja) | 画像符号化装置、画像符号化方法、及び画像符号化用集積回路 | |
JP2009147807A (ja) | 画像処理装置 | |
KR100800772B1 (ko) | 움직임 벡터 부호화 장치, 방법, 프로그램 및 매체 | |
JP5163429B2 (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
JP2007166545A (ja) | 動きベクトル検出装置及び方法 | |
JP2005072726A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP2010114596A (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
JP2008061135A (ja) | 画像符号化装置および画像符号化方法 | |
US20070086525A1 (en) | Motion vector detection method and device of the same | |
JP2006005659A (ja) | 画像符号化装置及びその方法 | |
JP2008154072A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP4622264B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2009021864A (ja) | 動きベクトル探索装置 | |
JP4622265B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム | |
JP2004112678A (ja) | 映像検索装置 | |
JP2014042139A (ja) | 符号化装置、符号化方法、及びプログラム | |
JP5222049B2 (ja) | 動きベクトル探索装置及びその制御方法 | |
JP2001285874A (ja) | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 | |
JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
JP5299319B2 (ja) | 動きベクトル検出装置 | |
JP2008245016A (ja) | 画像符号化装置、画像符号化方法、及びプログラム | |
JP2006217486A (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP2004229150A (ja) | 動きベクトル探索方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090303 |