JP3540142B2 - 動きベクトル検出回路および動きベクトル検出方法 - Google Patents
動きベクトル検出回路および動きベクトル検出方法 Download PDFInfo
- Publication number
- JP3540142B2 JP3540142B2 JP01998798A JP1998798A JP3540142B2 JP 3540142 B2 JP3540142 B2 JP 3540142B2 JP 01998798 A JP01998798 A JP 01998798A JP 1998798 A JP1998798 A JP 1998798A JP 3540142 B2 JP3540142 B2 JP 3540142B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- cumulative addition
- vector candidate
- order
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像情報のフレーム又はフィールド内の所定の範囲であるマクロブロックに対する動きベクトルを求める動きベクトル検出回路に係り、特に前記マクロブロックに対する動きベクトル候補に対応する原画像及び参照画像の各々の画素の信号強度差を累積加算して累積結果の最小のものを動きベクトルとして選択する動きベクトル検出回路に関する。
【０００２】
【従来の技術】
一般に、動画像情報の処理においては、以下の手法を用いてマクロブロック内の画素に関する値を演算することによって動きベクトルを検出している。すなわち、ある動きベクトル候補に対して、原画像上のマクロブロック内の画素の信号強度と、このマクロブロックに対応する範囲を有し動きベクトルに相当する分だけ平行移動した参照画像上の画素毎の信号強度とを比較して、この信号強度の差を表す値をマクロブロック内の全ての画素に関して累積加算し、この演算を全ての動きベクトル候補に関して行ない、各々の動きベクトル候補に対して得られた累積結果を逐次的に比較し、累積結果が最小となるような候補を動きベクトルとして推定している。上記手法においては、参照画像とは原画像のフレームまたはフィールド内の所定の範囲であるマクロブロックを動きベクトルに相当する分だけ平行移動したマクロブロックに対応する所定領域の画像のことをいう。
【０００３】
このような一般的な動きベクトルの検出においては、累積加算処理を小さいデータ量によって高速で行なうために、複数の累積加算回路を並列に配置して各々の累積加算回路毎にそれぞれ動きベクトル候補の演算を割り当てて、累積結果のデータをパイプライン状に出力させるように動きベクトル検出回路を構成している。このような動きベクトル検出回路における累積加算回路は、信号強度差の演算を原画像のマクロブロックを構成する画素と参照画像における対応する画素との輝度の差により行なっており、具体的には｜原画像画素輝度値−参照画像画素輝度値｜の演算が各累積加算回路において行なわれている。
【０００４】
具体的には、上記パイプライン方式により動きベクトルの検出を行なう場合、それぞれの動きベクトルに対応させて領域に対する累積加算を行ない、所定の動きベクトル候補の全てに対して同様の評価を行ない、その中から最小（または最大）の評価値を与える動きベクトル候補をそのマクロブロックの動きベクトルとして選択し採用している。一度に評価できる動きベクトル候補の数を並列数と定義すると、全ての動きベクトル候補の数を並列数で除した回数だけ累積加算を繰り返すことにより動きベクトルの検出が終了する。したがって、並列数ｍで処理を行なう場合、動きベクトル候補の中から候補をｍ個ずつ選択していって残余の候補が無くなるまでこの処理を繰り返すことになる。例えば動きベクトル候補の総数が１０２４個で１６列あった場合、６４回の累積加算を繰り返すことによって動きベクトルの検出が終了することになる。
【０００５】
したがって、最初に動きベクトル候補１〜ｍまでの累積加算値の１回目の評価を行ない、次いで２回目からの評価からｎ回目までの評価を連続的に繰り返して行なわなければ動きベクトルの検出は終了しないことになる。このような動きベクトル検出回路は、入力された原画像の品質とは関係なく必ず固定サイクル数だけの累積加算動作を行なわなければならず、動きベクトル検出のために必要以上のサイクル数を用いると共に動きベクトル検出のための回路駆動に要する電力消費コストが増大するという問題があった。このような問題を解決するため、本願発明者は特願平８−３４１９２８号において不要な累積加算動作を停止させる動きベクトル検出装置について既に提案している。
【０００６】
この従来の動きベクトル検出装置は、原画像データのフレーム又はフィールド内における所定の範囲の画像であるマクロブロック内のある特定領域の動きベクトル候補を選択し、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算してその累積結果を求め、マクロブロック内の更に特定領域内の動きベクトル候補の中から極大値又は極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出装置に、図１５に示すような構成を設けたものである。
【０００７】
すなわち、図１５において、動きベクトル検出装置は、動きベクトル候補に関する原画像データＤ１と参照画像データＤ２とを並列的に入力して複数の動きベクトルに関する累積加算を並列で処理するためにパイプライン状に接続された複数の差分絶対値累積加算回路２ａ，２ｂ〜２ｎよりなる累積加算手段１と、この累積加算手段１の累積加算動作を各々の累積加算回路２ａ，２ｂ〜２ｎ毎に停止させる個別停止回路１１を備える累積加算停止手段１０と、累積加算手段１の累積加算回路２ａ，２ｂ〜２ｎに対して前記動きベクトル候補に関する原画像データＤ１と参照画像データＤ２の供給を制御すると共に個別停止回路１１に対して個別の累積加算を停止させるべき個別の停止信号Ｓ３を出力して対応する累積加算回路２ａ，２ｂまたは２ｎの累積加算動作の停止を制御する制御手段５と、を備えている。
【０００８】
累積加算手段１を構成する個々の差分絶対値累積加算回路２ａ，２ｂ〜２ｎの個々の累積加算結果は、累積加算信号Ｓ１として最小値情報管理回路４に出力され、最小値情報管理回路４は累積加算信号Ｓ１をそれまでに入力された差分絶対値の最小値と比較してその比較結果信号Ｓ２を前記制御手段５に対して出力している。制御手段５は、最小値情報管理回路４より供給される比較結果信号Ｓ２に基づいて累積加算手段１を構成する個々の差分絶対値累積加算回路２ａ〜２ｎのの累積加算の停止を制御する停止信号Ｓ３を累積加算停止手段１０に出力している。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１５に示されるような従来の動きベクトル検出装置は、入力動画像の品質によって改善効率が影響され、最終的に動きベクトルとなるベクトル候補の検討順序が全体の中で後ろの順番になった場合、実質的には検討順序が前の方のほとんど全ての動きベクトル候補に対する累積加算を行なった後にようやくその動きベクトル候補に対する累積加算を行なうこととなり、改善効率の観点からあまり具合が良くなかった。例えば、このように動きベクトル候補の検討順序が固定順位である場合に、画面の動きベクトルが全体的に逆順方向に向かっているような状況では、全てのマクロブロックの動きベクトル発見効率が低下してしまうという事態も発生する可能性があった。
【００１０】
上述した従来の動きベクトル検出装置において、累積加算により動きベクトルを検出する際に、最終的な動きベクトルである動きベクトル候補をその検索動作の初期の過程で発見することができれば、実際の累積加算のための演算時間の短縮により動きベクトル検索効率が大幅に向上すると共に、検出装置において各々の動きベクトル候補に対して累積加算を行なう個々の演算回路の消費電力を低減することが可能となり有効である。
【００１１】
本発明は、上記不具合を解消するため、動きベクトル検出のための演算時間の短縮すなわち演算効率の向上と、検索のための演算の際の消費電力の低減とを可能とする動きベクトル検出回路を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を達成するため、請求項１に係る動きベクトル検出回路は、動画像データにおけるフレームまたはフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出回路において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループに分けるグループ化手段と、真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでその順番を予測してこの予測した順番に従ってそれぞれの動きベクトル候補グループに対して動きベクトル検出のための累積加算の順位を決定する順位決定手段と、前記順位決定手段により決定された順位に従って複数の動きベクトル候補グループの前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して複数の動きベクトル候補に関する累積加算を並列的に処理するパイプライン状に接続された複数の累積加算回路よりなる累積加算手段と、前記累積加算手段の累積加算処理動作を各々の累積加算回路毎に個別に停止させる累積加算停止手段と、各々の累積加算回路に対して前記動きベクトル候補に関する原画像データと参照画像データとの供給を制御し、個別の累積加算回路の累積加算を停止させる個別の停止信号を前記累積加算停止手段から出力させてその累積加算回路の累積加算処理の停止を制御すると共に、前記順位決定手段により決定された検討の順位に従って、蓋然性の高いグループにおける動きベクトル候補の検討を前記累積加算手段に行なわせ、一連の検討動作の初期に最終的な動きベクトル候補となる蓋然性の高い動きベクトル候補の検討を済ませることにより前記検討動作の初期に前記累積加算停止手段に前記停止信号を出力させる制御手段と、を備え、さらに、前記順位決定手段は前記最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け手段を備え、この重み付け手段により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１３】
また、請求項２に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記グループ化手段と前記順位決定手段とにより動きベクトル候補グループ指定手段が構成されると共に、前記グループ化手段によりグループ化された動きベクトル候補グループ毎に、前記順位決定手段が動的に優先順位を設定し、この順位に従って動きベクトル候補グループ毎の動きベクトル候補に対応する原画像と参照画像の画素の信号強度差の累積加算を行なうことを特徴としている。
【００１４】
また、請求項３に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、撮像装置に組み込まれてこの撮像装置が撮像した動画像における動きの角速度または角加速度を測定する測定手段を含み、この測定手段から供給される角速度または角加速度の測定値に基づいて求められる参照動きベクトルを用いて動画像内の動きベクトルを検出することを特徴としている。
【００１５】
また、請求項４に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定することを特徴としている。
【００１６】
また、請求項５に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームと同一のフレーム内に存在し、かつ、当該マクロブロックより以前に動きベクトル検出が行なわれたマクロブロックであって、当該マクロブロックの近傍に存在する単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１７】
また、請求項６に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームとは異なる時点のフレームに含まれ、当該マクロブロックと同じ座標もしくは近傍の座標に存在するマクロブロックのうち、既に動きベクトル検出が終了した単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１８】
また、請求項７に係る動きベクトル検出回路は、原画像中のマクロブロック領域における各画素と、動きベクトル候補に対応する参照画像領域における前記マクロブロック領域の各画素に対応する各画素との信号差分値を、複数の動きベクトル候補毎に並列にそれぞれ累積加算するために複数設けられると共に、個々の回路は累積加算中に累積加算値が累積加算結果の最小値を超えたときに並列処理されている複数の累積加算を個別に停止させる累積加算回路と、前記累積加算結果の最小値となった動きベクトル候補を動きベクトルとして選択する選択回路と、最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行ない、この累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定する順位決定手段と、を備えることを特徴としている。
【００１９】
上記目的を達成するため、請求項８に係る動きベクトル検出方法は、動画像データにおけるフレームまたはフィールド内の所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップと、最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け過程を含み、この重み付け過程により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することにより、真の動きベクトルが含まれている蓋然性の高い動きベクトルグループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップと、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインにより並列的に処理するステップと、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップと、累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップと、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップと、残った動きベクトル候補を真の動きベクトル候補として出力するステップと、を備えることを特徴としている。
【００２０】
また、請求項９に係る動きベクトル検出方法は、請求項８に記載のものにおいて、前記複数の動きベクトル候補グループにグループ化するステップは、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて行なうことことを特徴としている。
【００２２】
本発明は以上のように構成することにより、検討するベクトル候補を所定領域毎のグループに分割し、グループ単位で動きベクトルの検討順序を適宜入れ替えることにより、フレーム内で発見効率が低下したマクロブロックが連続することを防止する。具体的には、次のような基準において動きベクトル検討候補の優先順位づけを行なう。あるフレームのあるマクロブロックに着目した場合、
１）同じフレーム内において、当該マクロブロック以前に動きベクトル検出を行なった近傍に存在するマクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
２）既に動きベクトル検出の終了した、時間的に前後のフレームにおける、当該マクロブロックもしくは近傍マクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
３）動きベクトル検出回路を、ハンドカメラなどと組み合わせて使う場合、手ブレ防止などの理由で、角速度あるいは角加速度情報を取得できるようなデバイス、たとえば光ファイバージャイロなどのデバイスを搭載することがあるが、この種のデバイスからの情報に基づく動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
４）目標物体の特徴点となる部分をサーチすることによって得られる、目標物体の大域的な動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
これらの手法によって、最終的に動きベクトルとなるベクトルの検討順序を統計的に向上させることができる。このような改善を行なうことにより、動きベクトル検出回路の効率をより高くすることができる。なお、本発明に係る動きベクトル検出回路および動きベクトル検出方法は、特願平８−３４１９２８に開示された動きベクトル検出装置および方法における累積加算手段と累積加算停止手段に加え、グループ化手段と順位決定手段とを設けるようにしたものである。
【００２３】
【発明の実施の形態】
以下、本発明に係る動きベクトル検出回路および動きベクトル検出方法の好適な実施形態について、添付図面を参照しながら詳細に説明する。まず、本発明に係る動きベクトル検出回路の最も基本的な構成を備える第１実施形態に係る動きベクトル検出回路について、図１を参照して説明する。この第１実施形態に係る動きベクトル検出回路は、動きベクトル候補を複数の特定領域に存在する単位ずつにグループ分けし、各動きベクトル候補グループ毎に動きベクトル候補の探索順位を動的に設定できるようにしたものである。
【００２４】
第１実施形態に係る動きベクトル検出回路は、図１に示すように、図１６に示された従来例の動きベクトル検出装置に対して、動きベクトル候補グループ指定ブロック１５を付加した構造になっており、この動きベクトル候補グループ指定ブロック１５が領域分割手段と順位決定手段とを含んでいる。制御手段５は参照動きベクトル等の情報Ｄ３をベクトル候補グループ指定ブロック１５に供給し、かわりに動きベクトル候補グループ情報Ｄ４を取得する。具体的な説明を以下に述べる。
【００２５】
動きベクトルの検出においては、累積加算手段１が、累積加算原画像のマクロブロックの画素(pixel) と、動きベクトル候補に対応する参照画像領域の画素とのそれぞれの信号値の差を個別に累積加算し、最も小さい累積加算結果を与える動きベクトル候補を動きベクトルとして選び出している。図１５に示される従来例による動きベクトル検出装置においては、動きベクトル候補は図２（ａ）に示すような固定の順序に従って、順次に検討されている。これに対して、本発明の第１実施形態に係る動きベクトル検出回路にあっては、図２（ｂ）に示すように動きベクトル候補は２列４段の８個の部分領域より成る動きベクトル候補グループに分けられ、グループ毎の優先順位に従いその動きベクトル候補グループの領域内の原画像と参照画像の対応するそれぞれの画素の信号値の強度差を累積加算することにより動きベクトル候補に対する検討が順次に行なわれる。
【００２６】
グループの優先順位は動きベクトル候補グループ情報Ｄ４に基づいて決定されるが、このグループ情報Ｄ４も固定値ではなく、動きベクトル検出の過程において適宜変更することができる。また、動きベクトル候補のグループ分けは、図２（ｂ）に示すものに限定されず、そのグループの個数も８個に限らず例えば１６個，３２個などのように、適当な値を採ることができる。また、動きベクトル検出回路の動作中に、ベクトル候補グループ指定手段１５がグループの分け方を動的に変化させてもよい。
【００２７】
以上の構成を備える第１実施形態に係る動きベクトル検出回路の作用効果について図３（ａ）（ｂ）を用いて説明する。図３（ａ）（ｂ）にそれぞれ示す同一の動きベクトル候補２０に対して、図１５に示す従来の動きベクトル検出装置と図１に示す第１実施形態に係る動きベクトル検出回路によりそれぞれ動きベクトルの検索を行う場合を例にとり説明する。図３（ａ）に示す従来の動きベクトル検出装置のように、固定の検索順序２１に従って動きベクトルを検出する場合、図３（ａ）に示す最終的に有効な、すなわち真の動きベクトルである動きベクトル候補２０は、検出過程の後半に検出されることになる。
【００２８】
これに対して、図３（ｂ）に示す第１実施形態に係る動きベクトル検出回路のように、適宜検索順序を変更する場合は、検索順序２２が適切であるならば、最終的に有効となる動きベクトル候補２０の検出を検出過程の前半に行なうことができる。動きベクトル検出が固定サイクル数の検出過程で行なわれるタイプの動きベクトル検出回路ならば、どちらの方式でもそれほどの大差はないが、従来の動きベクトル検出装置の場合、動きベクトルの検出に要するサイクル数は可変であり、最終的に有効な動きベクトル候補の検出が早期であればあるほど、検出に要するサイクル数は小さくなり、消費電力も低下する。
【００２９】
したがって、図１５に示されるような検出サイクルを可変とすることができる従来の動きベクトル検出装置に対して、動的に動きベクトルの検索順序を変化させ得る動きベクトル候補グループ指定手段を付属させるようにした第１実施形態に係る動きベクトル検出回路は、真の動きベクトルである最終的に有効な動きベクトル候補についての累積加算を迅速に行なう上から非常に有意義である。
【００３０】
上記第１実施形態に係る動きベクトル検出回路は、動きベクトル候補に対する検索過程の順位を可変とすることにより可変サイクルで累積加算を行なう際の検索速度の飛躍的な向上を図るようにしていたが、動きベクトル候補グループに対する可変の検討順序をどのような準則により行なうかについて、本発明の第２実施形態に係る動きベクトル検出回路により説明する。この第２実施形態に係る動きベクトル検出回路は、外部角速度あるいは外部角加速度を検出し、この角速度又は角加速度に基づいて動きベクトル候補のグループに対する検索順位を決定したり、撮像された動画像に存在する特徴点を用いて大域動きベクトルを検出し、この大域動きベクトルから動きベクトル候補グループの検索優先順位を決定するものである。
【００３１】
第２実施形態に係る動きベクトル検出回路は、図４に示すように、参照動きベクトルの検出のために必要な情報は、ビデオカメラ２５等の撮像装置より送られてくることになる。図４において、ビデオかカメラ２５は内蔵ジャイロスコープ２６を備えており、ケーブル２７を介して画像処理装置３０に接続されている。この画像処理装置３０は、図１に示される構成を備える動きベクトル検出回路を含んでおり、撮像装置より送られてくる動画像を用いてマクロブロック情報Ｄ１と参照画像情報Ｄ２を得て、これらの情報に基づいて累積加算の制御を行なうと共に、マクロブロックおよび参照画像内の動きベクトル候補を複数のグループに分割して、どのグループから累積加算の演算を開始するのが演算効率の上から最適かを考慮して検索順位を決定し、対象となる特定領域内の画素に対して累積加算を行ない、両者の画素の信号差をとって最小値と比較し、動きベクトル候補の中から動きベクトルとして有効なものを検出する。
【００３２】
この第２実施形態に係る動きベクトル検出回路の最少動きベクトルは、図５に示すように動画中の特定物体の特徴ある画像については、フレーム全体にわたってサーチして、フレームの間の差分をとることによって得られる。すなわち、図５（ａ）のような動画像の前フレームの画像における検出対象としての移動する車両３１は特徴点３２を有しており、図５（ｂ）の動画像の現フレーム画像には移動後の車両３３とこの車両３３の特徴点３４とが示されている。図５（ｂ）に示すように、前フレーム画像の特徴点３２と現フレーム画像の特徴点３４との移動軌跡が、特徴点の移動により検知される大域動きベクトル３５として求められることになる。このような図４および図５により説明される手法により参照動きベクトルが求められるが、この例においては、参考となる動きベクトルの数が１つであるので、順位付けの方法は図６に示すような手順により行なわれることになる。
【００３３】
図６において、動きベクトル候補検討範囲３６を２列４段からなる８つの動きベクトル候補検討グループ３７ａ、３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆ，３７ｇ，３７ｈに分割する。ここで、参照動きベクトル３８が含まれる動きベクトル候補グループ３７ｃが、累積加算の優先順位１番となる。グループ３７ｃ以外で、最も参照動きベクトル３８に近い動きベクトルグループ３７ａが第２順位の優先順位となる。後は、右回りに第１順位のグループ３７ｃを中心として近いものから優先させて順番に検討順位３９を割り振っている。すなわち、３７ｄ→３７ｅ→３７ｂ→３７ｆ→３７ｇ→３７ｈのような検討順位３９が割り当てられているが、優先順位を割り振る方法は特にこの通りでなくてもよく、動きベクトル候補グループの分割状況等の影響を考慮して割り当てることもできる。また、動きベクトルの検出過程において、その動きベクトルの検出状況を考慮して動的に変化させることにより動きベクトル候補のグループの累積加算の順位を割り振ることもできる。
【００３４】
次に、本発明の第３実施形態に係る動きベクトル回路について、図７ないし図９を用いて説明する。この第３実施形態に係る動きベクトル検出回路は、同一フレーム内で既に検出された動きベクトルに基づいて、動きベクトル候補グループの優先順位付けを行ない、その順位に従って動きベクトル候補に対する累積加算を行なうようにしたものである。この第３実施形態に係る動きベクトル検出回路においては、参照動きベクトルが１つではなく複数個となるため、動きベクトル候補グループの優先順位を決定する際に、適当な重み付けを行なってから順位付けを行なう必要がある。以下、第３実施形態の詳細について説明する。
【００３５】
図７は第３実施形態に係る動きベクトル検出回路を説明するのものであり、フレーム４０内は複数のマクロブロック４１により分割されている。同一フレーム４０内における、現時点において動きベクトルを検出中のマクロブロック「＊」と、参照動きベクトルを与えるマクロブロックＡ，Ｂ，Ｃの位置関係を示している。参照動きベクトルを含む動きベクトル候補グループに対して、図８に示すような重み付けを行なった。図８において、動きベクトル候補検討範囲であるマクロブロック４１は、更に複数の特定領域４２ａないし４２ｈに分割されている。符号４３は参考となるＡの動きベクトルであり、４４はＢの動きベクトル、４５はＣの動きベクトル、４６はＡ，Ｂ，Ｃの動きベクトルのｘ，ｙ成分のそれぞれの中間値から作成された動きベクトルであり、Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５を含む各動きベクトル候補グループに対して１点を加算し、Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５の各ｘ成分、各ｙ成分のそれぞれ中間値から求められる参考ベクトル４６を含むベクトル候補グループに対して２点を加算することにより重み付けがなされている。
【００３６】
図９では、重み係数の大きい動きベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロの動きベクトル候補グループに関しては、重み係数の最も大きい動きベクトル候補グループを中心に、近いものから右回りに動きベクトル候補の検討を行なっている。具体的には、重み係数が３で最も重い動きベクトルグループ４２ｃから検索を開始して、重み係数１のグループを右回りで動きベクトル候補グループ４２ｄ、４２ｂ、４２ｆ、４２ｇ、４２ｈの順に動きベクトル候補についての累積加算が行なわれる。この検索の順序は、図９に矢印４７により、動きベクトル候補グループの検討順序として示されている。
【００３７】
なお、この第３実施形態に係る動きベクトル検出回路において、図７に示された参考となるマクロブロックは、図示の通りでなくてもよいし、数も異なっていても良い。また、図８に示された重み付けの方式は単純な例であり、これよりも複雑な重み付けを行なってもかまわない。また、図９に示した検索順序は、例えば同格のグループに対して左回りとするなどのように、他の方式により適宜に行なうようにしても良い。
【００３８】
上述した第３実施形態に係る動きベクトル検出回路は、同一フレーム内の動きベクトルを用いて、動きベクトル候補に関する累積加算の順位を可変にしていたが、本発明はこれに限定されず、第４実施形態に係る動きベクトル検出回路のように、時間的に前後となるフレームにおいて既に検出された動きベクトルに基づいて動きベクトル候補グループの優先順位を決定するようにしても良い。この第４実施形態に係る動きベクトル検出回路における動きベクトル候補グループの優先順位づけも、参考となるベクトルが複数であるため、適当な重み付けを加えてから行なう必要がある。以下、第４実施形態に係る動きベクトル検出回路について説明する。
【００３９】
図１０は時間的に異なるフレーム内における、参考となるマクロブロックの位置関係を示したものである。現在動きベクトル検出中のマクロブロックと同じ座標に存在するマクロブロック「＊」と、その近傍に存在するマクロブロックＡＢＣＤである。参考となる動きベクトルを含む動きベクトル候補グループに対して図１１のような重み付けを行なった。なお、図１１および図１２においては、便宜上図８および図９と同じ符号を用いて説明する。Ａの参考動きベクトル４３，Ｂの参考動きベクトル４４，Ｃの参考動きベクトル４５，Ｄの参考動きベクトル４８を含む各ベクトル候補グループに対してそれぞれ１点を加算し、「＊」の参考動きベクトル４９を含む動きベクトル候補グループに対して２点を加算した。したがって、動きベクトル候補検討範囲４１内の特定領域４２ａないし４２ｈの重み係数は、候補グループ４２ｃが３、グループ４２ｅが２，グループ４２ｆが１となり、図１２では、重み係数の大きいベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロのベクトル候補グループ４２ａ，４２ｂ，４２ｄ，４２ｇ，４２ｈに関しては、重み係数の最も大きいベクトル候補グループを中心に、近いものから右まわりに動きベクトル候補の検討を行なっている。具体的な検討順位は、図１２に（１）から（８）を付したように、４２ｃ→４２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４２ｂ→４２ｈとなる。
【００４０】
参考となるマクロブロックは、図１０に示したものに限定されず、また、マクロブロックの数も異なっていても良い。また、図１１に示した重み付け方式も単純な例であって、さらに複雑な方法により重み付けを行なうようにしても良い。また、図１２に示した検索順序も適宜他の方式で行なっても良い。
【００４１】
次に、本発明の第５実施形態に係る動きベクトル検出回路について図１３を用いて説明する。この第５実施形態に係る動きベクトル検出回路も、時間的に前後となるフレーム内で既に検出された動きベクトルに基づいてベクトル候補グループの優先順位付けを行なうものであり、参考となるベクトル候補グループの優先順位付けも、参考となるベクトルが複数であるため、適当な重み付けをしてから行なう必要がある。ここでは、第２実施形態に係る動きベクトル検出回路における撮像装置からの角加速度情報から計算したベクトルと、第４実施形態に係る動きベクトル検出回路における異なる時点のフレームの動きベクトル情報の両方を参考にした場合の重み付けの例を図１３を用いて説明する。この場合、第４実施形態における参考動きベクトルの起点を原点でなく、第２実施形態に係る動きベクトルの終点にとっている。
【００４２】
図１３において、重み付け係数は、動きベクトル候補グループ４２ｃの係数が「１＋２＝３」で最も重く、動きベクトル候補グループ４２ｅは「１＋１＝２」で次に重く、動きベクトル候補グループ４２ｆが「１」で、他のグループには重み付け係数が付されていない。このため、第３または第４実施形態と同様にグループの累積加算順位を割り振ると、グループ４２ｃ→４２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４２ｂ→４２ｈのような順番となる。
【００４３】
なお、図１３に示した重み付けの方法は、一例を示すのみであってこの方法と異なっていても構わないし、また、参考にする動きベクトルの数や種類もこの例に限定されることはない。また、動きベクトル検出動作中に複数種類の重み付け方法を切り替えることも可能である。
【００４４】
最後に、本発明の第６実施形態に係る動きベクトル検出方法について図１４を用いて説明する。図１４は第６実施形態に係る動きベクトル検出方法を示すフローチャートである。この第６実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像をマクロブロックとして、このマクロブロック内に存在する動きベクトル候補を選択して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、マクロブロック内の更に特定範囲内の動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択するものである。
【００４５】
第６実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法に適用される。
【００４６】
図１４において、動きベクトル検出方法は、動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップST１と、真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップST２と、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインに並より列的に処理するステップST３と、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップST４と、累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップST５と、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップST６と、順位に従って全ての動きベクトル候補グループについて動きベクトルの検討が行なわれたか否かを判断するステップST７と、残った動きベクトルを真の動きベクトルとして出力するステップST８と、を備えている。
【００４７】
ステップST６において、グループ内の動きベクトル候補の全てについて検討が行なわれていない場合には、ステップST４に戻り、ステップST４，ST５，ST６の処理ルーチンを繰り返す。ステップST６でグループ内の全ての動きベクトル候補に対する検討が行なわれた場合にはステップST７で全てのグループについて検討が終了したか否かが判断されるが、もしも残っているグループがある場合には、ステップST３に戻りステップST３ないしST６の処理動作を繰り返すことになる。ステップST７において、全てのグループについて動きベクトルの検出が終了されたものと判断されたときには、ステップST８において残った動きベクトル候補が真の動きベクトルであるものとして動きベクトルの検出が終了する。
【００４８】
また、図１４に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第３のステップST３が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを前記参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定するステップを含むようにしても良い。
【００４９】
さらに、図１４に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第３のステップST３は、前記参照動きベクトルが選択された後この参照動きベクトルに対して適当な重み付けを行なうステップを含むように構成しても良い。
【００５０】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出回路によれば、累積加算の演算サイクルを可変とし、複数の動きベクトル候補に対する差分絶対値の累積加算を行なう際に、真の動きベクトルが存在する蓋然性の高い領域から順に累積加算を行ない、動きベクトルが確定したとき他の領域に対する累積加算を停止するようにしたので、動きベクトルの検出時間の短縮と検出効率の飛躍的な向上を可能とし、検出に要する消費電力も低減できるという効果を奏する。
【００５１】
また、全てのマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることができ、フレーム中で注目している物体に関するマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることもできる。さらに、空間的に相関の強い動画像においては、高品質な参考動きベクトルを得ることができると共に、時間的に相関の強い動画像においても、高品質な参考動きベクトルを得ることができる。また、以上の効果が複合することによって、より高性能なベクトル候補グループの優先順位付けを行なうことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動きベクトル検出回路の構成を示すブロック図である。
【図２】（ａ）図１５に示す従来の動きベクトル検出装置の検出順序、（ｂ）図１に示される第１実施形態に係る動きベクトル検出回路の検出順序をそれぞれ示す説明図である。
【図３】（ａ）図１５に示す従来の動きベクトル検出装置の検出順序、（ｂ）図１に示される第１実施形態に係る動きベクトル検出回路における動きベクトル候補グループの検出順序をそれぞれ示す説明図である。
【図４】第２実施形態に係る動きベクトル検出回路の撮像装置を画像処理装置と共に示す説明図である。
【図５】第２実施形態における特徴点の移動を（ａ）前フレームと（ｂ）現フレームとの差により検知した大域動きベクトルを示す説明図である。
【図６】第２実施形態に係る動きベクトル検出回路における動きベクトル検出候補グループの検出順位を示す説明図である。
【図７】本発明の第３実施形態に係る動きベクトル検出回路における同一フレーム内の動きベクトルの既検出および検出中のそれぞれのマクロブロックの関係を示す説明図である。
【図８】第３実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図９】第３実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。
【図１０】本発明の第４実施形態に係る動きベクトル検出回路における時間的に異なるフレーム内の既検出動きベクトルに基づいた動きベクトル候補グループの優先順位付け例を示す説明図である。
【図１１】第４実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図１２】第３実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。
【図１３】本発明の第５実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図１４】本発明の第６実施形態に係る動きベクトル検出方法を示すフローチャートである。
【図１５】従来の動きベクトル検出装置の構成を示すブロック図である。
【符号の説明】
１ 累積加算手段
２ａ〜２ｎ 第１ないし第ｎの差分絶対値累積加算回路
４ 最小値情報管理回路
５ 制御手段
１０ 累積加算停止手段
１１ 個別停止回路
１５ 動きベクトル候補グループ指定手段
【発明の属する技術分野】
本発明は動画像情報のフレーム又はフィールド内の所定の範囲であるマクロブロックに対する動きベクトルを求める動きベクトル検出回路に係り、特に前記マクロブロックに対する動きベクトル候補に対応する原画像及び参照画像の各々の画素の信号強度差を累積加算して累積結果の最小のものを動きベクトルとして選択する動きベクトル検出回路に関する。
【０００２】
【従来の技術】
一般に、動画像情報の処理においては、以下の手法を用いてマクロブロック内の画素に関する値を演算することによって動きベクトルを検出している。すなわち、ある動きベクトル候補に対して、原画像上のマクロブロック内の画素の信号強度と、このマクロブロックに対応する範囲を有し動きベクトルに相当する分だけ平行移動した参照画像上の画素毎の信号強度とを比較して、この信号強度の差を表す値をマクロブロック内の全ての画素に関して累積加算し、この演算を全ての動きベクトル候補に関して行ない、各々の動きベクトル候補に対して得られた累積結果を逐次的に比較し、累積結果が最小となるような候補を動きベクトルとして推定している。上記手法においては、参照画像とは原画像のフレームまたはフィールド内の所定の範囲であるマクロブロックを動きベクトルに相当する分だけ平行移動したマクロブロックに対応する所定領域の画像のことをいう。
【０００３】
このような一般的な動きベクトルの検出においては、累積加算処理を小さいデータ量によって高速で行なうために、複数の累積加算回路を並列に配置して各々の累積加算回路毎にそれぞれ動きベクトル候補の演算を割り当てて、累積結果のデータをパイプライン状に出力させるように動きベクトル検出回路を構成している。このような動きベクトル検出回路における累積加算回路は、信号強度差の演算を原画像のマクロブロックを構成する画素と参照画像における対応する画素との輝度の差により行なっており、具体的には｜原画像画素輝度値−参照画像画素輝度値｜の演算が各累積加算回路において行なわれている。
【０００４】
具体的には、上記パイプライン方式により動きベクトルの検出を行なう場合、それぞれの動きベクトルに対応させて領域に対する累積加算を行ない、所定の動きベクトル候補の全てに対して同様の評価を行ない、その中から最小（または最大）の評価値を与える動きベクトル候補をそのマクロブロックの動きベクトルとして選択し採用している。一度に評価できる動きベクトル候補の数を並列数と定義すると、全ての動きベクトル候補の数を並列数で除した回数だけ累積加算を繰り返すことにより動きベクトルの検出が終了する。したがって、並列数ｍで処理を行なう場合、動きベクトル候補の中から候補をｍ個ずつ選択していって残余の候補が無くなるまでこの処理を繰り返すことになる。例えば動きベクトル候補の総数が１０２４個で１６列あった場合、６４回の累積加算を繰り返すことによって動きベクトルの検出が終了することになる。
【０００５】
したがって、最初に動きベクトル候補１〜ｍまでの累積加算値の１回目の評価を行ない、次いで２回目からの評価からｎ回目までの評価を連続的に繰り返して行なわなければ動きベクトルの検出は終了しないことになる。このような動きベクトル検出回路は、入力された原画像の品質とは関係なく必ず固定サイクル数だけの累積加算動作を行なわなければならず、動きベクトル検出のために必要以上のサイクル数を用いると共に動きベクトル検出のための回路駆動に要する電力消費コストが増大するという問題があった。このような問題を解決するため、本願発明者は特願平８−３４１９２８号において不要な累積加算動作を停止させる動きベクトル検出装置について既に提案している。
【０００６】
この従来の動きベクトル検出装置は、原画像データのフレーム又はフィールド内における所定の範囲の画像であるマクロブロック内のある特定領域の動きベクトル候補を選択し、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算してその累積結果を求め、マクロブロック内の更に特定領域内の動きベクトル候補の中から極大値又は極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出装置に、図１５に示すような構成を設けたものである。
【０００７】
すなわち、図１５において、動きベクトル検出装置は、動きベクトル候補に関する原画像データＤ１と参照画像データＤ２とを並列的に入力して複数の動きベクトルに関する累積加算を並列で処理するためにパイプライン状に接続された複数の差分絶対値累積加算回路２ａ，２ｂ〜２ｎよりなる累積加算手段１と、この累積加算手段１の累積加算動作を各々の累積加算回路２ａ，２ｂ〜２ｎ毎に停止させる個別停止回路１１を備える累積加算停止手段１０と、累積加算手段１の累積加算回路２ａ，２ｂ〜２ｎに対して前記動きベクトル候補に関する原画像データＤ１と参照画像データＤ２の供給を制御すると共に個別停止回路１１に対して個別の累積加算を停止させるべき個別の停止信号Ｓ３を出力して対応する累積加算回路２ａ，２ｂまたは２ｎの累積加算動作の停止を制御する制御手段５と、を備えている。
【０００８】
累積加算手段１を構成する個々の差分絶対値累積加算回路２ａ，２ｂ〜２ｎの個々の累積加算結果は、累積加算信号Ｓ１として最小値情報管理回路４に出力され、最小値情報管理回路４は累積加算信号Ｓ１をそれまでに入力された差分絶対値の最小値と比較してその比較結果信号Ｓ２を前記制御手段５に対して出力している。制御手段５は、最小値情報管理回路４より供給される比較結果信号Ｓ２に基づいて累積加算手段１を構成する個々の差分絶対値累積加算回路２ａ〜２ｎのの累積加算の停止を制御する停止信号Ｓ３を累積加算停止手段１０に出力している。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１５に示されるような従来の動きベクトル検出装置は、入力動画像の品質によって改善効率が影響され、最終的に動きベクトルとなるベクトル候補の検討順序が全体の中で後ろの順番になった場合、実質的には検討順序が前の方のほとんど全ての動きベクトル候補に対する累積加算を行なった後にようやくその動きベクトル候補に対する累積加算を行なうこととなり、改善効率の観点からあまり具合が良くなかった。例えば、このように動きベクトル候補の検討順序が固定順位である場合に、画面の動きベクトルが全体的に逆順方向に向かっているような状況では、全てのマクロブロックの動きベクトル発見効率が低下してしまうという事態も発生する可能性があった。
【００１０】
上述した従来の動きベクトル検出装置において、累積加算により動きベクトルを検出する際に、最終的な動きベクトルである動きベクトル候補をその検索動作の初期の過程で発見することができれば、実際の累積加算のための演算時間の短縮により動きベクトル検索効率が大幅に向上すると共に、検出装置において各々の動きベクトル候補に対して累積加算を行なう個々の演算回路の消費電力を低減することが可能となり有効である。
【００１１】
本発明は、上記不具合を解消するため、動きベクトル検出のための演算時間の短縮すなわち演算効率の向上と、検索のための演算の際の消費電力の低減とを可能とする動きベクトル検出回路を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を達成するため、請求項１に係る動きベクトル検出回路は、動画像データにおけるフレームまたはフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出回路において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループに分けるグループ化手段と、真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでその順番を予測してこの予測した順番に従ってそれぞれの動きベクトル候補グループに対して動きベクトル検出のための累積加算の順位を決定する順位決定手段と、前記順位決定手段により決定された順位に従って複数の動きベクトル候補グループの前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して複数の動きベクトル候補に関する累積加算を並列的に処理するパイプライン状に接続された複数の累積加算回路よりなる累積加算手段と、前記累積加算手段の累積加算処理動作を各々の累積加算回路毎に個別に停止させる累積加算停止手段と、各々の累積加算回路に対して前記動きベクトル候補に関する原画像データと参照画像データとの供給を制御し、個別の累積加算回路の累積加算を停止させる個別の停止信号を前記累積加算停止手段から出力させてその累積加算回路の累積加算処理の停止を制御すると共に、前記順位決定手段により決定された検討の順位に従って、蓋然性の高いグループにおける動きベクトル候補の検討を前記累積加算手段に行なわせ、一連の検討動作の初期に最終的な動きベクトル候補となる蓋然性の高い動きベクトル候補の検討を済ませることにより前記検討動作の初期に前記累積加算停止手段に前記停止信号を出力させる制御手段と、を備え、さらに、前記順位決定手段は前記最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け手段を備え、この重み付け手段により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１３】
また、請求項２に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記グループ化手段と前記順位決定手段とにより動きベクトル候補グループ指定手段が構成されると共に、前記グループ化手段によりグループ化された動きベクトル候補グループ毎に、前記順位決定手段が動的に優先順位を設定し、この順位に従って動きベクトル候補グループ毎の動きベクトル候補に対応する原画像と参照画像の画素の信号強度差の累積加算を行なうことを特徴としている。
【００１４】
また、請求項３に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、撮像装置に組み込まれてこの撮像装置が撮像した動画像における動きの角速度または角加速度を測定する測定手段を含み、この測定手段から供給される角速度または角加速度の測定値に基づいて求められる参照動きベクトルを用いて動画像内の動きベクトルを検出することを特徴としている。
【００１５】
また、請求項４に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定することを特徴としている。
【００１６】
また、請求項５に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームと同一のフレーム内に存在し、かつ、当該マクロブロックより以前に動きベクトル検出が行なわれたマクロブロックであって、当該マクロブロックの近傍に存在する単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１７】
また、請求項６に係る動きベクトル検出回路は、請求項１に記載のものにおいて、前記順位決定手段が、動きベクトル検出を行なうマクロブロックが含まれるフレームとは異なる時点のフレームに含まれ、当該マクロブロックと同じ座標もしくは近傍の座標に存在するマクロブロックのうち、既に動きベクトル検出が終了した単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴としている。
【００１８】
また、請求項７に係る動きベクトル検出回路は、原画像中のマクロブロック領域における各画素と、動きベクトル候補に対応する参照画像領域における前記マクロブロック領域の各画素に対応する各画素との信号差分値を、複数の動きベクトル候補毎に並列にそれぞれ累積加算するために複数設けられると共に、個々の回路は累積加算中に累積加算値が累積加算結果の最小値を超えたときに並列処理されている複数の累積加算を個別に停止させる累積加算回路と、前記累積加算結果の最小値となった動きベクトル候補を動きベクトルとして選択する選択回路と、最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行ない、この累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定する順位決定手段と、を備えることを特徴としている。
【００１９】
上記目的を達成するため、請求項８に係る動きベクトル検出方法は、動画像データにおけるフレームまたはフィールド内の所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法において、前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップと、最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け過程を含み、この重み付け過程により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することにより、真の動きベクトルが含まれている蓋然性の高い動きベクトルグループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップと、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインにより並列的に処理するステップと、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップと、累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップと、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップと、残った動きベクトル候補を真の動きベクトル候補として出力するステップと、を備えることを特徴としている。
【００２０】
また、請求項９に係る動きベクトル検出方法は、請求項８に記載のものにおいて、前記複数の動きベクトル候補グループにグループ化するステップは、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて行なうことことを特徴としている。
【００２２】
本発明は以上のように構成することにより、検討するベクトル候補を所定領域毎のグループに分割し、グループ単位で動きベクトルの検討順序を適宜入れ替えることにより、フレーム内で発見効率が低下したマクロブロックが連続することを防止する。具体的には、次のような基準において動きベクトル検討候補の優先順位づけを行なう。あるフレームのあるマクロブロックに着目した場合、
１）同じフレーム内において、当該マクロブロック以前に動きベクトル検出を行なった近傍に存在するマクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
２）既に動きベクトル検出の終了した、時間的に前後のフレームにおける、当該マクロブロックもしくは近傍マクロブロックの動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
３）動きベクトル検出回路を、ハンドカメラなどと組み合わせて使う場合、手ブレ防止などの理由で、角速度あるいは角加速度情報を取得できるようなデバイス、たとえば光ファイバージャイロなどのデバイスを搭載することがあるが、この種のデバイスからの情報に基づく動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
４）目標物体の特徴点となる部分をサーチすることによって得られる、目標物体の大域的な動きベクトルの含まれるベクトル候補グループ、もしくはその近くのベクトル候補グループを優先する。
これらの手法によって、最終的に動きベクトルとなるベクトルの検討順序を統計的に向上させることができる。このような改善を行なうことにより、動きベクトル検出回路の効率をより高くすることができる。なお、本発明に係る動きベクトル検出回路および動きベクトル検出方法は、特願平８−３４１９２８に開示された動きベクトル検出装置および方法における累積加算手段と累積加算停止手段に加え、グループ化手段と順位決定手段とを設けるようにしたものである。
【００２３】
【発明の実施の形態】
以下、本発明に係る動きベクトル検出回路および動きベクトル検出方法の好適な実施形態について、添付図面を参照しながら詳細に説明する。まず、本発明に係る動きベクトル検出回路の最も基本的な構成を備える第１実施形態に係る動きベクトル検出回路について、図１を参照して説明する。この第１実施形態に係る動きベクトル検出回路は、動きベクトル候補を複数の特定領域に存在する単位ずつにグループ分けし、各動きベクトル候補グループ毎に動きベクトル候補の探索順位を動的に設定できるようにしたものである。
【００２４】
第１実施形態に係る動きベクトル検出回路は、図１に示すように、図１６に示された従来例の動きベクトル検出装置に対して、動きベクトル候補グループ指定ブロック１５を付加した構造になっており、この動きベクトル候補グループ指定ブロック１５が領域分割手段と順位決定手段とを含んでいる。制御手段５は参照動きベクトル等の情報Ｄ３をベクトル候補グループ指定ブロック１５に供給し、かわりに動きベクトル候補グループ情報Ｄ４を取得する。具体的な説明を以下に述べる。
【００２５】
動きベクトルの検出においては、累積加算手段１が、累積加算原画像のマクロブロックの画素(pixel) と、動きベクトル候補に対応する参照画像領域の画素とのそれぞれの信号値の差を個別に累積加算し、最も小さい累積加算結果を与える動きベクトル候補を動きベクトルとして選び出している。図１５に示される従来例による動きベクトル検出装置においては、動きベクトル候補は図２（ａ）に示すような固定の順序に従って、順次に検討されている。これに対して、本発明の第１実施形態に係る動きベクトル検出回路にあっては、図２（ｂ）に示すように動きベクトル候補は２列４段の８個の部分領域より成る動きベクトル候補グループに分けられ、グループ毎の優先順位に従いその動きベクトル候補グループの領域内の原画像と参照画像の対応するそれぞれの画素の信号値の強度差を累積加算することにより動きベクトル候補に対する検討が順次に行なわれる。
【００２６】
グループの優先順位は動きベクトル候補グループ情報Ｄ４に基づいて決定されるが、このグループ情報Ｄ４も固定値ではなく、動きベクトル検出の過程において適宜変更することができる。また、動きベクトル候補のグループ分けは、図２（ｂ）に示すものに限定されず、そのグループの個数も８個に限らず例えば１６個，３２個などのように、適当な値を採ることができる。また、動きベクトル検出回路の動作中に、ベクトル候補グループ指定手段１５がグループの分け方を動的に変化させてもよい。
【００２７】
以上の構成を備える第１実施形態に係る動きベクトル検出回路の作用効果について図３（ａ）（ｂ）を用いて説明する。図３（ａ）（ｂ）にそれぞれ示す同一の動きベクトル候補２０に対して、図１５に示す従来の動きベクトル検出装置と図１に示す第１実施形態に係る動きベクトル検出回路によりそれぞれ動きベクトルの検索を行う場合を例にとり説明する。図３（ａ）に示す従来の動きベクトル検出装置のように、固定の検索順序２１に従って動きベクトルを検出する場合、図３（ａ）に示す最終的に有効な、すなわち真の動きベクトルである動きベクトル候補２０は、検出過程の後半に検出されることになる。
【００２８】
これに対して、図３（ｂ）に示す第１実施形態に係る動きベクトル検出回路のように、適宜検索順序を変更する場合は、検索順序２２が適切であるならば、最終的に有効となる動きベクトル候補２０の検出を検出過程の前半に行なうことができる。動きベクトル検出が固定サイクル数の検出過程で行なわれるタイプの動きベクトル検出回路ならば、どちらの方式でもそれほどの大差はないが、従来の動きベクトル検出装置の場合、動きベクトルの検出に要するサイクル数は可変であり、最終的に有効な動きベクトル候補の検出が早期であればあるほど、検出に要するサイクル数は小さくなり、消費電力も低下する。
【００２９】
したがって、図１５に示されるような検出サイクルを可変とすることができる従来の動きベクトル検出装置に対して、動的に動きベクトルの検索順序を変化させ得る動きベクトル候補グループ指定手段を付属させるようにした第１実施形態に係る動きベクトル検出回路は、真の動きベクトルである最終的に有効な動きベクトル候補についての累積加算を迅速に行なう上から非常に有意義である。
【００３０】
上記第１実施形態に係る動きベクトル検出回路は、動きベクトル候補に対する検索過程の順位を可変とすることにより可変サイクルで累積加算を行なう際の検索速度の飛躍的な向上を図るようにしていたが、動きベクトル候補グループに対する可変の検討順序をどのような準則により行なうかについて、本発明の第２実施形態に係る動きベクトル検出回路により説明する。この第２実施形態に係る動きベクトル検出回路は、外部角速度あるいは外部角加速度を検出し、この角速度又は角加速度に基づいて動きベクトル候補のグループに対する検索順位を決定したり、撮像された動画像に存在する特徴点を用いて大域動きベクトルを検出し、この大域動きベクトルから動きベクトル候補グループの検索優先順位を決定するものである。
【００３１】
第２実施形態に係る動きベクトル検出回路は、図４に示すように、参照動きベクトルの検出のために必要な情報は、ビデオカメラ２５等の撮像装置より送られてくることになる。図４において、ビデオかカメラ２５は内蔵ジャイロスコープ２６を備えており、ケーブル２７を介して画像処理装置３０に接続されている。この画像処理装置３０は、図１に示される構成を備える動きベクトル検出回路を含んでおり、撮像装置より送られてくる動画像を用いてマクロブロック情報Ｄ１と参照画像情報Ｄ２を得て、これらの情報に基づいて累積加算の制御を行なうと共に、マクロブロックおよび参照画像内の動きベクトル候補を複数のグループに分割して、どのグループから累積加算の演算を開始するのが演算効率の上から最適かを考慮して検索順位を決定し、対象となる特定領域内の画素に対して累積加算を行ない、両者の画素の信号差をとって最小値と比較し、動きベクトル候補の中から動きベクトルとして有効なものを検出する。
【００３２】
この第２実施形態に係る動きベクトル検出回路の最少動きベクトルは、図５に示すように動画中の特定物体の特徴ある画像については、フレーム全体にわたってサーチして、フレームの間の差分をとることによって得られる。すなわち、図５（ａ）のような動画像の前フレームの画像における検出対象としての移動する車両３１は特徴点３２を有しており、図５（ｂ）の動画像の現フレーム画像には移動後の車両３３とこの車両３３の特徴点３４とが示されている。図５（ｂ）に示すように、前フレーム画像の特徴点３２と現フレーム画像の特徴点３４との移動軌跡が、特徴点の移動により検知される大域動きベクトル３５として求められることになる。このような図４および図５により説明される手法により参照動きベクトルが求められるが、この例においては、参考となる動きベクトルの数が１つであるので、順位付けの方法は図６に示すような手順により行なわれることになる。
【００３３】
図６において、動きベクトル候補検討範囲３６を２列４段からなる８つの動きベクトル候補検討グループ３７ａ、３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆ，３７ｇ，３７ｈに分割する。ここで、参照動きベクトル３８が含まれる動きベクトル候補グループ３７ｃが、累積加算の優先順位１番となる。グループ３７ｃ以外で、最も参照動きベクトル３８に近い動きベクトルグループ３７ａが第２順位の優先順位となる。後は、右回りに第１順位のグループ３７ｃを中心として近いものから優先させて順番に検討順位３９を割り振っている。すなわち、３７ｄ→３７ｅ→３７ｂ→３７ｆ→３７ｇ→３７ｈのような検討順位３９が割り当てられているが、優先順位を割り振る方法は特にこの通りでなくてもよく、動きベクトル候補グループの分割状況等の影響を考慮して割り当てることもできる。また、動きベクトルの検出過程において、その動きベクトルの検出状況を考慮して動的に変化させることにより動きベクトル候補のグループの累積加算の順位を割り振ることもできる。
【００３４】
次に、本発明の第３実施形態に係る動きベクトル回路について、図７ないし図９を用いて説明する。この第３実施形態に係る動きベクトル検出回路は、同一フレーム内で既に検出された動きベクトルに基づいて、動きベクトル候補グループの優先順位付けを行ない、その順位に従って動きベクトル候補に対する累積加算を行なうようにしたものである。この第３実施形態に係る動きベクトル検出回路においては、参照動きベクトルが１つではなく複数個となるため、動きベクトル候補グループの優先順位を決定する際に、適当な重み付けを行なってから順位付けを行なう必要がある。以下、第３実施形態の詳細について説明する。
【００３５】
図７は第３実施形態に係る動きベクトル検出回路を説明するのものであり、フレーム４０内は複数のマクロブロック４１により分割されている。同一フレーム４０内における、現時点において動きベクトルを検出中のマクロブロック「＊」と、参照動きベクトルを与えるマクロブロックＡ，Ｂ，Ｃの位置関係を示している。参照動きベクトルを含む動きベクトル候補グループに対して、図８に示すような重み付けを行なった。図８において、動きベクトル候補検討範囲であるマクロブロック４１は、更に複数の特定領域４２ａないし４２ｈに分割されている。符号４３は参考となるＡの動きベクトルであり、４４はＢの動きベクトル、４５はＣの動きベクトル、４６はＡ，Ｂ，Ｃの動きベクトルのｘ，ｙ成分のそれぞれの中間値から作成された動きベクトルであり、Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５を含む各動きベクトル候補グループに対して１点を加算し、Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５の各ｘ成分、各ｙ成分のそれぞれ中間値から求められる参考ベクトル４６を含むベクトル候補グループに対して２点を加算することにより重み付けがなされている。
【００３６】
図９では、重み係数の大きい動きベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロの動きベクトル候補グループに関しては、重み係数の最も大きい動きベクトル候補グループを中心に、近いものから右回りに動きベクトル候補の検討を行なっている。具体的には、重み係数が３で最も重い動きベクトルグループ４２ｃから検索を開始して、重み係数１のグループを右回りで動きベクトル候補グループ４２ｄ、４２ｂ、４２ｆ、４２ｇ、４２ｈの順に動きベクトル候補についての累積加算が行なわれる。この検索の順序は、図９に矢印４７により、動きベクトル候補グループの検討順序として示されている。
【００３７】
なお、この第３実施形態に係る動きベクトル検出回路において、図７に示された参考となるマクロブロックは、図示の通りでなくてもよいし、数も異なっていても良い。また、図８に示された重み付けの方式は単純な例であり、これよりも複雑な重み付けを行なってもかまわない。また、図９に示した検索順序は、例えば同格のグループに対して左回りとするなどのように、他の方式により適宜に行なうようにしても良い。
【００３８】
上述した第３実施形態に係る動きベクトル検出回路は、同一フレーム内の動きベクトルを用いて、動きベクトル候補に関する累積加算の順位を可変にしていたが、本発明はこれに限定されず、第４実施形態に係る動きベクトル検出回路のように、時間的に前後となるフレームにおいて既に検出された動きベクトルに基づいて動きベクトル候補グループの優先順位を決定するようにしても良い。この第４実施形態に係る動きベクトル検出回路における動きベクトル候補グループの優先順位づけも、参考となるベクトルが複数であるため、適当な重み付けを加えてから行なう必要がある。以下、第４実施形態に係る動きベクトル検出回路について説明する。
【００３９】
図１０は時間的に異なるフレーム内における、参考となるマクロブロックの位置関係を示したものである。現在動きベクトル検出中のマクロブロックと同じ座標に存在するマクロブロック「＊」と、その近傍に存在するマクロブロックＡＢＣＤである。参考となる動きベクトルを含む動きベクトル候補グループに対して図１１のような重み付けを行なった。なお、図１１および図１２においては、便宜上図８および図９と同じ符号を用いて説明する。Ａの参考動きベクトル４３，Ｂの参考動きベクトル４４，Ｃの参考動きベクトル４５，Ｄの参考動きベクトル４８を含む各ベクトル候補グループに対してそれぞれ１点を加算し、「＊」の参考動きベクトル４９を含む動きベクトル候補グループに対して２点を加算した。したがって、動きベクトル候補検討範囲４１内の特定領域４２ａないし４２ｈの重み係数は、候補グループ４２ｃが３、グループ４２ｅが２，グループ４２ｆが１となり、図１２では、重み係数の大きいベクトル候補グループから順次に動きベクトルの検索を行ない、重みゼロのベクトル候補グループ４２ａ，４２ｂ，４２ｄ，４２ｇ，４２ｈに関しては、重み係数の最も大きいベクトル候補グループを中心に、近いものから右まわりに動きベクトル候補の検討を行なっている。具体的な検討順位は、図１２に（１）から（８）を付したように、４２ｃ→４２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４２ｂ→４２ｈとなる。
【００４０】
参考となるマクロブロックは、図１０に示したものに限定されず、また、マクロブロックの数も異なっていても良い。また、図１１に示した重み付け方式も単純な例であって、さらに複雑な方法により重み付けを行なうようにしても良い。また、図１２に示した検索順序も適宜他の方式で行なっても良い。
【００４１】
次に、本発明の第５実施形態に係る動きベクトル検出回路について図１３を用いて説明する。この第５実施形態に係る動きベクトル検出回路も、時間的に前後となるフレーム内で既に検出された動きベクトルに基づいてベクトル候補グループの優先順位付けを行なうものであり、参考となるベクトル候補グループの優先順位付けも、参考となるベクトルが複数であるため、適当な重み付けをしてから行なう必要がある。ここでは、第２実施形態に係る動きベクトル検出回路における撮像装置からの角加速度情報から計算したベクトルと、第４実施形態に係る動きベクトル検出回路における異なる時点のフレームの動きベクトル情報の両方を参考にした場合の重み付けの例を図１３を用いて説明する。この場合、第４実施形態における参考動きベクトルの起点を原点でなく、第２実施形態に係る動きベクトルの終点にとっている。
【００４２】
図１３において、重み付け係数は、動きベクトル候補グループ４２ｃの係数が「１＋２＝３」で最も重く、動きベクトル候補グループ４２ｅは「１＋１＝２」で次に重く、動きベクトル候補グループ４２ｆが「１」で、他のグループには重み付け係数が付されていない。このため、第３または第４実施形態と同様にグループの累積加算順位を割り振ると、グループ４２ｃ→４２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４２ｂ→４２ｈのような順番となる。
【００４３】
なお、図１３に示した重み付けの方法は、一例を示すのみであってこの方法と異なっていても構わないし、また、参考にする動きベクトルの数や種類もこの例に限定されることはない。また、動きベクトル検出動作中に複数種類の重み付け方法を切り替えることも可能である。
【００４４】
最後に、本発明の第６実施形態に係る動きベクトル検出方法について図１４を用いて説明する。図１４は第６実施形態に係る動きベクトル検出方法を示すフローチャートである。この第６実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像をマクロブロックとして、このマクロブロック内に存在する動きベクトル候補を選択して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、マクロブロック内の更に特定範囲内の動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択するものである。
【００４５】
第６実施形態に係る動きベクトル検出方法は、動画像データにおけるフレーム又はフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法に適用される。
【００４６】
図１４において、動きベクトル検出方法は、動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップST１と、真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップST２と、前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインに並より列的に処理するステップST３と、前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップST４と、累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップST５と、その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップST６と、順位に従って全ての動きベクトル候補グループについて動きベクトルの検討が行なわれたか否かを判断するステップST７と、残った動きベクトルを真の動きベクトルとして出力するステップST８と、を備えている。
【００４７】
ステップST６において、グループ内の動きベクトル候補の全てについて検討が行なわれていない場合には、ステップST４に戻り、ステップST４，ST５，ST６の処理ルーチンを繰り返す。ステップST６でグループ内の全ての動きベクトル候補に対する検討が行なわれた場合にはステップST７で全てのグループについて検討が終了したか否かが判断されるが、もしも残っているグループがある場合には、ステップST３に戻りステップST３ないしST６の処理動作を繰り返すことになる。ステップST７において、全てのグループについて動きベクトルの検出が終了されたものと判断されたときには、ステップST８において残った動きベクトル候補が真の動きベクトルであるものとして動きベクトルの検出が終了する。
【００４８】
また、図１４に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第３のステップST３が、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを前記参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定するステップを含むようにしても良い。
【００４９】
さらに、図１４に示される動きベクトル検出方法において、複数に分割された前記特定領域の順位を決定する第３のステップST３は、前記参照動きベクトルが選択された後この参照動きベクトルに対して適当な重み付けを行なうステップを含むように構成しても良い。
【００５０】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出回路によれば、累積加算の演算サイクルを可変とし、複数の動きベクトル候補に対する差分絶対値の累積加算を行なう際に、真の動きベクトルが存在する蓋然性の高い領域から順に累積加算を行ない、動きベクトルが確定したとき他の領域に対する累積加算を停止するようにしたので、動きベクトルの検出時間の短縮と検出効率の飛躍的な向上を可能とし、検出に要する消費電力も低減できるという効果を奏する。
【００５１】
また、全てのマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることができ、フレーム中で注目している物体に関するマクロブロックの動きベクトルに近い高品質な参考動きベクトルを得ることもできる。さらに、空間的に相関の強い動画像においては、高品質な参考動きベクトルを得ることができると共に、時間的に相関の強い動画像においても、高品質な参考動きベクトルを得ることができる。また、以上の効果が複合することによって、より高性能なベクトル候補グループの優先順位付けを行なうことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動きベクトル検出回路の構成を示すブロック図である。
【図２】（ａ）図１５に示す従来の動きベクトル検出装置の検出順序、（ｂ）図１に示される第１実施形態に係る動きベクトル検出回路の検出順序をそれぞれ示す説明図である。
【図３】（ａ）図１５に示す従来の動きベクトル検出装置の検出順序、（ｂ）図１に示される第１実施形態に係る動きベクトル検出回路における動きベクトル候補グループの検出順序をそれぞれ示す説明図である。
【図４】第２実施形態に係る動きベクトル検出回路の撮像装置を画像処理装置と共に示す説明図である。
【図５】第２実施形態における特徴点の移動を（ａ）前フレームと（ｂ）現フレームとの差により検知した大域動きベクトルを示す説明図である。
【図６】第２実施形態に係る動きベクトル検出回路における動きベクトル検出候補グループの検出順位を示す説明図である。
【図７】本発明の第３実施形態に係る動きベクトル検出回路における同一フレーム内の動きベクトルの既検出および検出中のそれぞれのマクロブロックの関係を示す説明図である。
【図８】第３実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図９】第３実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。
【図１０】本発明の第４実施形態に係る動きベクトル検出回路における時間的に異なるフレーム内の既検出動きベクトルに基づいた動きベクトル候補グループの優先順位付け例を示す説明図である。
【図１１】第４実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図１２】第３実施形態に係る動きベクトル検出回路における動きベクトル候補グループの重み付けと優先順位付けの例を示す説明図である。
【図１３】本発明の第５実施形態に係る動きベクトル検出回路における参照動きベクトルとベクトル候補グループの重み付けの例を示す説明図である。
【図１４】本発明の第６実施形態に係る動きベクトル検出方法を示すフローチャートである。
【図１５】従来の動きベクトル検出装置の構成を示すブロック図である。
【符号の説明】
１ 累積加算手段
２ａ〜２ｎ 第１ないし第ｎの差分絶対値累積加算回路
４ 最小値情報管理回路
５ 制御手段
１０ 累積加算停止手段
１１ 個別停止回路
１５ 動きベクトル候補グループ指定手段
Claims (9)
- 動画像データにおけるフレームまたはフィールド内における所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出回路において、
前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループに分けるグループ化手段と、
真の動きベクトルが含まれている蓋然性の高い動きベクトル候補グループから低いものまでその順番を予測してこの予測した順番に従ってそれぞれの動きベクトル候補グループに対して動きベクトル検出のための累積加算の順位を決定する順位決定手段と、
前記順位決定手段により決定された順位に従って複数の動きベクトル候補グループの前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して複数の動きベクトル候補に関する累積加算を並列的に処理するパイプライン状に接続された複数の累積加算回路よりなる累積加算手段と、
前記累積加算手段の累積加算処理動作を各々の累積加算回路毎に個別に停止させる累積加算停止手段と、
各々の累積加算回路に対して前記動きベクトル候補に関する原画像データと参照画像データとの供給を制御し、個別の累積加算回路の累積加算を停止させる個別の停止信号を前記累積加算停止手段から出力させてその累積加算回路の累積加算処理の停止を制御すると共に、前記順位決定手段により決定された検討の順位に従って、蓋然性の高いグループにおける動きベクトル候補の検討を前記累積加算手段に行なわせ、一連の検討動作の初期に最終的な動きベクトル候補となる蓋然性の高い動きベクトル候補の検討を済ませることにより前記検討動作の初期に前記累積加算停止手段に前記停止信号を出力させる制御手段と、
を備え、さらに、
前記順位決定手段は、前記最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け手段を備え、この重み付け手段により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することを特徴とする動きベクトル検出回路。 - 前記グループ化手段と前記順位決定手段とにより動きベクトル候補グループ指定手段が構成されると共に、前記グループ化手段によりグループ化された動きベクトル候補グループ毎に、前記順位決定手段が動的に優先順位を設定し、この順位に従って動きベクトル候補グループ毎の動きベクトル候補に対応する原画像と参照画像の画素の信号強度差の累積加算を行なうことを特徴とする請求項１に記載の動きベクトル検出回路。
- 前記順位決定手段は、撮像装置に組み込まれてこの撮像装置が撮像した動画像における動きの角速度または角加速度を測定する測定手段を含み、この測定手段から供給される角速度または角加速度の測定値に基づいて求められる参照動きベクトルを用いて動画像内の動きベクトルを検出することを特徴とする請求項１に記載の動きベクトル検出回路。
- 前記順位決定手段は、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて、前記動きベクトル候補グループにおける優先順位を決定することを特徴とする請求項１に記載の動きベクトル検出回路。
- 前記順位決定手段は、動きベクトル検出を行なうマクロブロックが含まれるフレームと同一のフレーム内に存在し、かつ、当該マクロブロックより以前に動きベクトル検出が行なわれたマクロブロックであって、当該マクロブロックの近傍に存在する単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴とする請求項１に記載の動きベクトル検出回路。
- 前記順位決定手段は、動きベクトル検出を行なうマクロブロックが含まれるフレームとは異なる時点のフレームに含まれ、当該マクロブロックと同じ座標もしくは近傍の座標に存在するマクロブロックのうち、既に動きベクトル検出が終了した単数もしくは複数のマクロブロックにおける動きベクトルを参照動きベクトルとして用いることにより、動きベクトル候補グループの優先順位を決定することを特徴とする請求項１に記載の動きベクトル検出回路。
- 原画像中のマクロブロック領域における各画素と、動きベクトル候補に対応する参照画像領域における前記マクロブロック領域の各画素に対応する各画素との信号差分値を、複数の動きベクトル候補毎に並列にそれぞれ累積加算するために複数設けられると共に、個々の回路は累積加算中に累積加算値が累積加算結果の最小値を超えたときに並列処理されている複数の累積加算を個別に停止させる累積加算回路と、
前記累積加算結果の最小値となった動きベクトル候補を動きベクトルとして選択する選択回路と、
最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行ない、この累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定する順位決定手段と、
を備えることを特徴とする動きベクトル検出回路。 - 動画像データにおけるフレームまたはフィールド内の所定範囲の画像であるマクロブロックに対して、適当な範囲のベクトルを動きベクトル候補として設定して、原画像と参照画像の動きベクトル候補に対応する画素の信号強度差を算出し、マクロブロック内の画素について算出された信号強度差を累積加算して累積加算結果を求め、設定された動きベクトル候補の中から極大値または極小値となる累積結果を与える動きベクトル候補を動きベクトルとして選択する動きベクトル検出方法において、
前記動きベクトル候補に設定された探索範囲における動きベクトル候補を複数の動きベクトル候補グループにグループ化するステップと、
最終的な動きベクトル候補となる蓋然性の高い参照動きベクトルが選択された後この蓋然性の高い参照動きベクトルに対して累積加算順位の優先度についての適当な重み付けを行なう重み付け過程を含み、この重み付け過程により累積加算順位の優先度の重み付けがなされた動きベクトル候補が含まれる動きベクトル候補グループの優先順位を決定することにより、真の動きベクトルが含まれている蓋然性の高い動きベクトルグループから低いものまでの順番を予測してこの順番に従って動きベクトル検出のための累積加算の順位を決定するステップと、
前記動きベクトル候補に関する原画像データと参照画像データとを並列的に入力して、前記決定された累積加算の順位に従って複数の動きベクトルに関する累積加算を複数段のパイプラインにより並列的に処理するステップと、
前記複数段のパイプラインの段数に対応した数の動きベクトルを選択するステップと、
累積加算の停止を含んだ前記パイプラインにより動きベクトル候補の検討を行なうステップと、
その順位の動きベクトル候補グループに含まれる全ての動きベクトル候補に対して検討が行なわれたか否かを判断するステップと、
残った動きベクトル候補を真の動きベクトル候補として出力するステップと、
を備えることを特徴とする動きベクトル検出方法。 - 前記複数の動きベクトル候補グループにグループ化するステップは、動画像内の目標物体の特徴点となる部分をフレーム全体に対するサーチを行なって発見することにより得られる目標物体の大域的な動きベクトルを参照動きベクトルとして用いて行なうことを特徴とする請求項８に記載の動きベクトル検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01998798A JP3540142B2 (ja) | 1998-01-30 | 1998-01-30 | 動きベクトル検出回路および動きベクトル検出方法 |
| US09/238,122 US6370194B2 (en) | 1998-01-30 | 1999-01-27 | Motion vector estimation circuit and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01998798A JP3540142B2 (ja) | 1998-01-30 | 1998-01-30 | 動きベクトル検出回路および動きベクトル検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11219436A JPH11219436A (ja) | 1999-08-10 |
| JP3540142B2 true JP3540142B2 (ja) | 2004-07-07 |
Family
ID=12014542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01998798A Expired - Fee Related JP3540142B2 (ja) | 1998-01-30 | 1998-01-30 | 動きベクトル検出回路および動きベクトル検出方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6370194B2 (ja) |
| JP (1) | JP3540142B2 (ja) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1181828B1 (en) * | 1999-05-13 | 2010-03-17 | STMicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| US6907080B1 (en) | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6700996B1 (en) | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
| KR20050041293A (ko) * | 2003-10-30 | 2005-05-04 | 삼성전자주식회사 | 움직임 예측 장치 및 방법 |
| JP4687994B2 (ja) * | 2004-04-09 | 2011-05-25 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP1592255A1 (en) * | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Motion vector estimation with improved motion vector selection |
| JP4488805B2 (ja) * | 2004-06-25 | 2010-06-23 | パナソニック株式会社 | 動きベクトル検出装置および方法 |
| US8462850B2 (en) * | 2004-07-02 | 2013-06-11 | Qualcomm Incorporated | Motion estimation in video compression systems |
| GB2432068B (en) * | 2005-11-02 | 2010-10-06 | Imagination Tech Ltd | Motion estimation |
| US8260008B2 (en) | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
| JP4166781B2 (ja) * | 2005-12-09 | 2008-10-15 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| KR20070069615A (ko) * | 2005-12-28 | 2007-07-03 | 삼성전자주식회사 | 움직임 추정장치 및 움직임 추정방법 |
| US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
| US20080100716A1 (en) * | 2006-11-01 | 2008-05-01 | Guoyi Fu | Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data |
| JP5239095B2 (ja) * | 2008-04-08 | 2013-07-17 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
| US20090304293A1 (en) * | 2008-06-08 | 2009-12-10 | Te-Hao Chang | Motion estimation method and related apparatus for efficiently selecting motion vector |
| JP4999788B2 (ja) * | 2008-06-26 | 2012-08-15 | 三菱電機株式会社 | 移動目標検出装置及びコンピュータプログラム及び移動目標検出方法 |
| ES2652337T3 (es) * | 2010-02-09 | 2018-02-01 | Nippon Telegraph And Telephone Corporation | Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello |
| RU2519525C2 (ru) | 2010-02-09 | 2014-06-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы |
| US20120320985A1 (en) * | 2010-02-09 | 2012-12-20 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof |
| US9313526B2 (en) | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
| US9078009B2 (en) * | 2010-02-19 | 2015-07-07 | Skype | Data compression for video utilizing non-translational motion information |
| US9609342B2 (en) * | 2010-02-19 | 2017-03-28 | Skype | Compression for frames of a video signal using selected candidate blocks |
| US9819358B2 (en) * | 2010-02-19 | 2017-11-14 | Skype | Entropy encoding based on observed frequency |
| US8913661B2 (en) * | 2010-02-19 | 2014-12-16 | Skype | Motion estimation using block matching indexing |
| US8558903B2 (en) * | 2010-03-25 | 2013-10-15 | Apple Inc. | Accelerometer / gyro-facilitated video stabilization |
| US8611415B1 (en) * | 2010-11-15 | 2013-12-17 | Google Inc. | System and method for coding using improved motion estimation |
| GB201113527D0 (en) | 2011-08-04 | 2011-09-21 | Imagination Tech Ltd | External vectors in a motion estimation system |
| CN104301703A (zh) * | 2013-07-16 | 2015-01-21 | 联咏科技股份有限公司 | 匹配搜寻方法与匹配搜寻*** |
| US9213901B2 (en) * | 2013-09-04 | 2015-12-15 | Xerox Corporation | Robust and computationally efficient video-based object tracking in regularized motion environments |
| US10123036B2 (en) * | 2014-06-27 | 2018-11-06 | Microsoft Technology Licensing, Llc | Motion vector selection for video encoding |
| US10554965B2 (en) | 2014-08-18 | 2020-02-04 | Google Llc | Motion-compensated partitioning |
| US10462457B2 (en) | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
| US10397600B1 (en) | 2016-01-29 | 2019-08-27 | Google Llc | Dynamic reference motion vector coding mode |
| US11126199B2 (en) * | 2018-04-16 | 2021-09-21 | Baidu Usa Llc | Learning based speed planner for autonomous driving vehicles |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2642160B2 (ja) * | 1988-08-26 | 1997-08-20 | 富士通株式会社 | 画像処理装置の動き検出方式 |
| JP3146232B2 (ja) * | 1991-09-20 | 2001-03-12 | ヤマハ発動機株式会社 | パターン・マッチング法 |
| JPH07107484A (ja) * | 1993-10-01 | 1995-04-21 | Mitsubishi Electric Corp | 画像伝送装置 |
| JPH07288819A (ja) * | 1994-04-19 | 1995-10-31 | Sony Corp | 動きベクトル検出装置 |
| WO1996008114A1 (en) * | 1994-09-02 | 1996-03-14 | David Sarnoff Research Center, Inc. | Method and apparatus for global-to-local block motion estimation |
| JPH08140087A (ja) * | 1994-11-08 | 1996-05-31 | Sony Corp | 動き検出方法及びその装置並びにカメラ一体型記録装置 |
| JP3089165B2 (ja) * | 1994-11-10 | 2000-09-18 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索装置 |
| JP3784086B2 (ja) * | 1994-11-25 | 2006-06-07 | 三菱電機株式会社 | 映像信号符号化・復号化装置及び符号化・復号化方法 |
| US5696836A (en) * | 1995-03-17 | 1997-12-09 | Lsi Logic Corporation | Motion estimation processor architecture for full search block matching |
| JPH08275049A (ja) * | 1995-03-31 | 1996-10-18 | Hitachi Ltd | 撮像装置 |
| JP2768646B2 (ja) * | 1995-04-05 | 1998-06-25 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索方法および探索装置 |
| FR2742248B1 (fr) * | 1995-12-06 | 1998-01-23 | Thomson Multimedia Sa | Procede de traitement de donnees dans des reseaux matriciels dans un systeme d'estimation de mouvement |
| US5719642A (en) * | 1996-05-07 | 1998-02-17 | National Science Council Of R.O.C. | Full-search block matching motion estimation processor |
| US5973742A (en) * | 1996-05-24 | 1999-10-26 | Lsi Logic Corporation | System and method for performing motion estimation with reduced memory loading latency |
| US6016163A (en) * | 1997-03-12 | 2000-01-18 | Scientific-Atlanta, Inc. | Methods and apparatus for comparing blocks of pixels |
-
1998
- 1998-01-30 JP JP01998798A patent/JP3540142B2/ja not_active Expired - Fee Related
-
1999
- 1999-01-27 US US09/238,122 patent/US6370194B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6370194B2 (en) | 2002-04-09 |
| US20010014124A1 (en) | 2001-08-16 |
| JPH11219436A (ja) | 1999-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3540142B2 (ja) | 動きベクトル検出回路および動きベクトル検出方法 | |
| EP2555522A2 (en) | External vectors in a motion estimation system | |
| JP2010288110A (ja) | 画像処理装置および画像処理方法 | |
| KR20070069615A (ko) | 움직임 추정장치 및 움직임 추정방법 | |
| WO2011067870A1 (ja) | 画像処理装置および画像処理方法 | |
| KR20030008150A (ko) | 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식 | |
| JPH02138678A (ja) | 電子画像の点の動きを推定するための多重予測方式 | |
| US5754237A (en) | Method for determining motion vectors using a hierarchical motion estimation | |
| EP0773688A2 (en) | Method for motion estimation | |
| US20070280544A1 (en) | Method of dividing a picture into parts | |
| JP3230804B2 (ja) | ターゲットウィンドウの移動を通したブロックマッチング方法 | |
| EP1586201A1 (en) | Efficient predictive image parameter estimation | |
| JPH0973540A (ja) | 動きベクトル算出装置 | |
| US20030067986A1 (en) | Circuit and method for full search block matching | |
| JP4498296B2 (ja) | 物体検出装置 | |
| JP2002165109A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP4488805B2 (ja) | 動きベクトル検出装置および方法 | |
| US20040120402A1 (en) | Motion estimation apparatus for image data compression | |
| JP3094893B2 (ja) | 動画像符号化装置 | |
| KR0147330B1 (ko) | 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP2810528B2 (ja) | 動き補償フレーム間予測符号化における動きベクトルの探索回路 | |
| Tao et al. | Motion estimation based on an improved block matching technique | |
| JP2018180964A (ja) | 画像処理装置及び画像処理方法 | |
| CN113434715A (zh) | 用于针对图像进行搜索的方法以及图像处理电路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040324 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |