JPH11259662A - 画像フレ―ムの移動検出方法および装置 - Google Patents

画像フレ―ムの移動検出方法および装置

Info

Publication number
JPH11259662A
JPH11259662A JP158699A JP158699A JPH11259662A JP H11259662 A JPH11259662 A JP H11259662A JP 158699 A JP158699 A JP 158699A JP 158699 A JP158699 A JP 158699A JP H11259662 A JPH11259662 A JP H11259662A
Authority
JP
Japan
Prior art keywords
image
frames
image frame
correlation
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP158699A
Other languages
English (en)
Inventor
Barclay J Tullis
バークレイ・ジェイ・チュリス
Travis N Blalock
トラビス・エヌ・ブラロック
David Beard
デビット・ビアード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH11259662A publication Critical patent/JPH11259662A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】撮像システムにおいて、従来は、画像シーンか
ら抽出された画像フレーム間の空間関係を決定する場合
は、画像フレームからのピクセル・データ値を使用して
相関距離を計算していた。一対の連続する画像フレーム
間に重複しない領域が含まれている場合には相関距離に
誤差をもたらしていた。その結果撮像システムの移動追
跡または移動推定の確度を低下させていた。 【解決手段】本願発明では、抽出された画像フレーム間
の重複する内容を含む画像フレームの領域からのピクセ
ル・データ値を使用する。それにより画像フレーム間の
一組の可能な空間関係それぞれについて相関距離を計算
する。その結果移動検出の確度を向上させることが出来
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は撮像の分野に関す
る。より詳細には、本発明は抽出された画像フレームの
サブ・フレーム化を使用した移動追跡に関する。
【０００２】
【従来の技術】画像スキャナおよびディジタル・ビデオ
・カメラを含む撮像システムは、一般に画像シーンのデ
ィジタル・サンプルを得るための機構を含む。一般に、
画像シーンのディジタル・サンプルは一連の画像フレー
ムとして構成される。各画像フレームは一般に画像シー
ンから抽出されたピクセル・データ値のアレイを含む。
【０００３】撮像システムでは、画像シーンから抽出さ
れた画像フレーム間の空間関係を決定することがしばし
ば有用である。画像フレーム間の空間関係の決定は、た
とえば、走査中の画像シーンに対する画像スキャナの相
対移動を追跡する際に有用である。さらに、ビデオ撮像
システム中の画像フレーム間の空間関係の決定は、画像
シーン中に含まれる物体の相対移動を推定するのに有用
なことがある。
【０００４】一対の画像フレーム間の空間関係を決定す
る代表的な従来の技法は、画像フレームからのピクセル
・データ値を使用して、相関距離（correlation metri
c）を計算することである。通常、相関距離を使用し
て、画像フレーム間の画像内容中の差の示度を抽出す
る。たとえば、１つのそのような相関距離は、画像フレ
ーム中に含まれる対応するピクセル・データ値間の絶対
差の和である。
【０００５】
【発明が解決しようとする課題】代表的な撮像システム
では、画像シーンから抽出した連続する画像フレームは
一次元または二次元のいずれかにおいて互いにずれる。
そのようなずれは、たとえば、撮像装置が走査中の画像
シーンに対して移動するときに生じることがある。その
結果、一対の連続する画像フレームには一般に重複する
画像内容の領域および重複しない画像内容の領域が含ま
れる。残念ながら、重複しない領域からのピクセル・デ
ータ値は、通常相関距離中に誤差をもたらす。そのよう
な誤差は、撮像システムの移動追跡または移動推定の確
度を低下させ得る。
【０００６】
【課題を解決するための手段】抽出された画像フレーム
のサブ・フレーム化を使用して、移動検出の確度を向上
する撮像システムを開示する。本システムは、画像シー
ンからのピクセル・データ値を含む抽出された画像フレ
ームを生成するための撮像アレイを含む。本システム
は、重複する内容を含む画像フレームの領域からのピク
セル・データ値を使用して、画像フレーム間の一組の可
能な空間関係それぞれについて相関距離を計算すること
によって、サブ・フレーム化を実施する。重複する画像
内容に基づく相関距離により、撮像システム中での正確
な移動検出が可能になる。
【０００７】本発明の他の特徴および利点は、以下の詳
細な説明から明らかになろう。
【０００８】本発明について、その特定の例示的な実施
形態に関して説明し、それに応じて図面を参照する。
【０００９】
【発明の実施の形態】図１に、画像シーン１４から抽出
された画像フレームのサブ・フレーム化による正確な移
動検出のための要素を含む撮像システム１０を示す。一
実施形態における正確な移動検出のための要素には、撮
像アレイ１２、画像フレーム・バッファ１８、相関計算
器２２、および移動トラッカ２４が含まれる。これらの
要素は、たとえば、撮像システム１０中の埋込みプロセ
ッサおよびメモリを含む、ハードウェアおよびソフトウ
ェアを組み合わせて実施される。
【００１０】撮像アレイ１２は、画像シーン１４を抽出
するために配置された状態が示されている。撮像アレイ
１２は、それぞれ画像シーン１４の対応するピクセル・
データ・サンプルを生成する光感受性要素のアレイを含
む。撮像アレイ１２が生成するピクセル・データ・サン
プルは、画像フレームにアセンブルされ、画像フレーム
・バッファ１８中に記憶される。一実施形態における画
像フレーム・バッファ１８は、画像シーン１４から抽出
された多数の画像フレームを記憶する容量を有する。
【００１１】一実施形態では、撮像システム１０はハン
ドヘルド・スキャナであり、撮像アレイ１２は、ユーザ
が画像スキャナを画像シーン１４上で動かす際に画像シ
ーン１４上を動く。この実施形態では、撮像アレイ１２
は移動追跡のために使用され、一方では別個の撮像アレ
イを使用して画像シーン１４を走査する。
【００１２】図２に、撮像アレイが画像シーン１４に対
して動く際に撮像アレイ１２によって抽出される一対の
連続する画像フレーム４０〜４２を示す。各画像フレー
ム４０〜４２はＮ×Ｍ個のディジタル・ピクセル・デー
タ値のアレイである。画像フレーム４２の陰付きの領域
３４は、撮像アレイ１２が画像シーン１４に対して移動
するために画像フレーム４０の画像内容と重複しない画
像フレーム４２の領域を表す。
【００１３】画像シーン１４に対する撮像アレイ１２の
移動を追跡するプロセスは、画像フレーム４０および４
２の画像内容間の相関の決定を含む。この決定は、相関
計算器２２によって実施される。重複しない領域３４か
らのピクセル・データ値は画像フレーム４０中に含まれ
ない画像シーン１４の一部に対応するので、これらのピ
クセル・データ値は相関決定に誤差をもたらすことにな
る。したがって、相関計算器２２は、画像フレーム４０
〜４２の画像内容間の相関を決定するとき、領域３４中
のピクセル・データ値の寄与をなくすか、または最小限
に抑える。
【００１４】相関計算器２２は、画像フレーム・バッフ
ァ１８から画像フレーム４０〜４２を得て、一組の相関
距離２６を生成する。相関距離２６は、画像フレーム４
０〜４２間の一組の可能な空間関係それぞれについての
相関距離を含む。画像フレーム４０〜４２間の可能な空
間関係は一対の遅れ値ｌｘおよびｌｙによって指定され
る。遅れ値ｌｘおよびｌｙは、それぞれ画像フレーム４
０および４２のｘ方向およびｙ方向に対応する相対的画
像変位と見ることができる。遅れ値ｌｘは−Ｎ〜＋Ｎの
範囲内にあり、遅れ値ｌｙは−Ｍ〜＋Ｍの範囲内にあ
る。
【００１５】移動トラッカ２４は、相関距離２６を使用
して、撮像フレーム４０〜４２間の実際の相対的な空間
のずれを決定する。移動トラッカ２４はまた、撮像アレ
イ１２が画像シーン１４に対して移動する際に撮像アレ
イ１２からの連続する画像フレーム間の実際の空間のず
れの履歴を維持する。
【００１６】相関計算器２２は、画像フレーム４０〜４
２に対してサブ・フレーム化演算を実施して、領域３４
中のピクセルの相関距離２６に対する寄与を少なくする
か、またはなくす。このサブ・フレーム化演算は、相関
距離２６の確度を向上し、移動トラッカ２４が実施する
移動追跡の確度を向上するように意図される。
【００１７】サブ・フレーム化を行わない場合には、二
乗差和平方根式（a square root ofsum of squared dif
ferences）と呼ばれる次式を使用して、相関距離２６を
決定する。
【００１８】
【数１】 上式で、ｐは画像フレーム４０からのピクセル・データ
値であり、ｑは画像フレーム４２からのピクセル・デー
タ値である。様々な代替の相関距離を使用することがで
きる。一実施形態では、サブ・フレーム化は、相関距離
２６を決定するために上記合計関数の範囲を調整して実
施される。
【００１９】図３に、別の実施形態の画像フレーム４０
〜４２に対するサブ・フレーム演算を例示する。相関計
算器２２が、画像フレーム４０の領域５０および画像フ
レーム４２の領域５２からのピクセル・データ値のみを
使用して、この実施形態における画像フレーム４０〜４
２をサブ・フレーム化して、相関距離２６を決定する。
相関計算器２２は、画像フレーム４０〜４２の境界領域
の△ｘ寸法および△ｙ寸法によって画定される領域５０
〜５２の外にあるピクセル・データ値を削除する。
【００２０】△ｘおよび△ｙ（デルタｘおよびデルタ
ｙ）寸法は、画像フレーム４０〜４２が互いにずれる可
能性の高い最大値に基づいて予め選択される。一実施形
態では、画像アレイ１２の抽出速度が十分速く、画像フ
レーム４０〜４２間の最大の空間のずれが、確実に各寸
法で１ピクセル未満になる可能性が高くなる。この実施
形態では、△ｘおよび△ｙの境界領域が、画像フレーム
４０〜４２の１ピクセルの幅に等しくなるように設定さ
れる。
【００２１】領域５０〜５２によって画定されるサブ・
フレーム化と共に、相関計算器２２が、次の方程式を使
用して相関距離２６を決定する。
【００２２】
【数２】
【００２３】代替の実施形態では、相関計算器２２は、
画像フレーム４０〜４２にウィンドウ関数（windowing
function）を適用して、領域５０〜５２外のピクセルか
らの相関距離２６への寄与を少なくするか、またはなく
す。そのようなウィンドウ関数は、画像フレーム４０〜
４２のピクセル・データ値にトップ・ハットすなわち余
弦関数を乗じて実現することができる。これによって、
領域５０〜５２の中心部付近のピクセル・データ値の寄
与が強くなり、画像フレーム４０〜４２の境界領域の近
くのピクセル・データ値が最小になる。しかし、そのよ
うな実施形態では、相関している画像フレームの各対ご
とに非常に多数の乗算演算を引き受ける必要がある。そ
のような乗算演算は、撮像システム１０の全体的な速度
を遅くする。
【００２４】図４に、サブ・フレーム化演算において移
動推定を使用する撮像システム１００を示す。撮像シス
テム１００における正確な移動検出のための要素には、
撮像アレイ１２、画像フレーム・バッファ１８、相関計
算器２２、および移動トラッカ２４が移動推定装置２８
と共に含まれる。これらの要素は、たとえば、撮像シス
テム１００中の埋込み型プロセッサおよびメモリを含
む、ハードウェアおよびソフトウェアを組み合わせて実
施される。
【００２５】撮像アレイ１２は、画像シーン１４を走査
し、画像フレーム・バッファ１８は、画像シーン１４か
ら抽出された複数の走査画像フレームを記憶する。撮像
システム１００中の相関計算器２２が、画像フレーム・
バッファ１８から画像フレーム４０〜４２を得て、相関
距離２６を生成する。相関計算器２２は、移動推定装置
２８が生成する移動推定値３２に応答して、画像フレー
ム４０〜４２上のサブ・フレーム化演算を実施する。移
動推定値３２は、画像フレーム４０〜４２間の空間関係
の推定値である。
【００２６】図５ａ〜図５ｈに、移動推定装置２８によ
ってレンダリングされる移動推定値３２が示す画像フレ
ーム４０〜４２間の様々な空間関係を示す。また、移動
推定値３２に応答して、サブ・フレーム化のために相関
計算器２２によって使用される画像フレーム４０〜４２
の領域を示す。
【００２７】図５ａに、移動推定値３２によって示され
る画像フレーム４０に対して相対的な＋△ｘずれおよび
−△ｙずれを有する画像フレーム４２を示す。相関計算
器２２が、画像フレーム４０のサブ・フレーム５４およ
び画像フレーム４２のサブ・フレーム５６を使用して、
移動推定値３２に応答して相関距離２６をレンダリング
する。相関計算器２２は、相関距離２６を計算する際、
サブ・フレーム５４および５６の外にあるピクセル・デ
ータ値を削除する。
【００２８】図５ｂに、移動推定値３２によって示され
る画像フレーム４０に対して−△ｘずれおよび＋△ｙず
れを有する画像フレーム４２を示す。この移動推定値３
２に応答して、相関計算器２２は、相関距離２６を計算
する際、画像フレーム４０のサブ・フレーム６０の外に
位置するピクセル・データ値および画像フレーム４２の
サブ・フレーム６２の外のピクセル・データ値を削除す
る。
【００２９】図５ｃに、移動推定値３２によって示され
る画像フレーム４０に対して＋△ｘずれおよび＋△ｙず
れを有する画像フレーム４２を示す。本例では、相関計
算器２２は、相関距離２６を計算する際、画像フレーム
４０のサブ・フレーム６４の外のピクセル・データ値お
よび画像フレーム４２のサブ・フレーム６６の外のピク
セル・データ値を削除する。
【００３０】図５ｄに、移動推定値３２によって示され
る画像フレーム４０に対して−△ｘずれおよび−△ｙず
れを有する画像フレーム４２を示す。これに応答して、
相関計算器２２は、相関距離２６を計算する際、画像フ
レーム４０のサブ・フレーム７０の外のピクセル・デー
タ値および画像フレーム４２のサブ・フレーム７２の外
のピクセル・データ値を削除する。
【００３１】図５ｅに、移動推定値３２によって示され
る画像フレーム４０に対して＋△ｘずれを有する画像フ
レーム４２を示す。この＋△ｘ移動推定値３２に応答し
て、相関計算器２２は、相関距離２６を計算する際、画
像フレーム４０のサブ領域７４の外に位置するピクセル
・データ値および画像フレーム４２のサブ領域７６の外
のピクセル・データ値を削除する。
【００３２】図５ｆに、移動推定値３２によって示され
る画像フレーム４０に対して−△ｙずれを有する画像フ
レーム４２を示す。これに応答して、相関計算器２２
は、相関距離２６を計算する際、画像フレーム４０のサ
ブ領域８０の外に位置するピクセル・データ値および画
像フレーム４２のサブ領域８２の外に位置するピクセル
・データ値を削除する。
【００３３】図５ｇに、移動推定値３２によって示され
る画像フレーム４０に対して−△ｘずれを有する画像フ
レーム４２を示す。相関計算器２２は、この移動推定値
３２に応答して相関距離２６を計算する際、画像フレー
ム４０のサブ・フレーム８４の外のピクセル・データ値
および画像フレーム４２のサブ・フレーム８６の外のピ
クセル・データ値を削除する。
【００３４】図５ｈに、移動推定値３２によって示され
る画像フレーム４０に対して＋△ｙずれを有する画像フ
レーム４２を示す。相関計算器２２は、相関距離２６を
計算する際、画像フレーム４０のサブ・フレーム９０の
外に位置するピクセル・データ値および画像フレーム４
２のサブ・フレーム９２の外に位置するピクセル・デー
タ値を削除する。
【００３５】移動推定装置２８は、移動トラッカ２４か
ら一連の移動ベクトル３０を得る。移動ベクトル３０
は、撮像アレイ１２が画像シーン１４に対して移動する
につれて、撮像アレイによって抽出される連続する数対
の画像フレームのサブ・ピクセル解像度を有する相対的
な空間のずれを示す。移動推定装置２８は、移動ベクト
ルの履歴を記録し、この履歴を使用して移動推定値３２
を生成する。一実施形態では、移動推定装置２８は、移
動ベクトル３０にカルマン・フィルタ関数を適用して、
移動推定値３２を予測する。
【００３６】一般に、多くの適用例では、画像シーン１
４に対して撮像アレイ１２の移動が突然かつ急激に変化
することはないため、移動推定値３２は前の移動の適当
な続きに基づいている。たとえば、撮像アレイ１２がハ
ンドヘルド・スキャナ中に含まれている場合、移動推定
値３２の予測は、移動ベクトル３０の履歴が示すハンド
ヘルド・スキャナの前の移動の続きに基づいている。
【００３７】一実施形態では、撮像アレイ１２の抽出速
度が十分速く、画像シーン１４に対して撮像アレイ１２
を移動する速度が適当であるとすれば、画像フレーム４
０〜４２間の最大のずれは、確実に１ピクセルになる。
その結果、画像フレーム４０〜４２間にあり得る空間の
ずれには、以下に述べることが含まれるだけである。
【００３８】
【００３９】画像フレーム４０〜４２に関して、相関計
算器２２が計算する相関距離２６には、画像フレーム４
０〜４２間の９つの可能な空間関係に対応する９個の相
関値、Ｃ0,0、Ｃ0,1、Ｃ0,-1、Ｃ1,0、Ｃ1,1、Ｃ1,-1、
Ｃ-1,0、Ｃ-1,1、およびＣ-1,-1が含まれる。移動トラッ
カ２４は、この９個の相関値を三次元表面にはめ込ん
で、この表面の最小値を決定する。この最小値は、サブ
・ピクセル解像度でもって画像フレーム４０〜４２間の
実際の空間関係を示す二次元ベクトルである。連続する
数対の画像フレームのために移動トラッカ２４が生成す
る一連のこの最小値が、移動推定装置２８に一連の移動
ベクトル３０を供給する。
【００４０】９個の相関値、Ｃ0,0、Ｃ0,1、Ｃ0,-1、Ｃ
1,0、Ｃ1,1、Ｃ1,-1、Ｃ-1,0、Ｃ-1,1、およびＣ-1,-1
は、それに対応するサブ・フレームの異なる位置合わせ
のために、９個の相関値の計算に含まれる項数が異な
る。たとえば、相関値Ｃ0,1の計算は、Ｃ0,0の計算に使
用されるサブ・フレーム８０〜８２が、図５ｆに示す重
複しないピクセルを含むため、相関値Ｃ0,0の計算より
少数の項を含む。この項数の差は、１より大きい遅れ値
が使用される場合には、増加する。
【００４１】二乗差和平方根計算に含まれる項数の差
は、項数の変動を証明する正規化係数で各相関値を割る
ことによって補償される。あるいは、相関値を計算する
際に使用されるサブ・フレーム領域が、それ自体サブ・
フレーム化され、その結果、相関計算に含まれるすべて
の対のサブ・フレームが、使用される各遅れ値に関する
サブ・フレームの相関和中に同数の項を有する。
【００４２】以上、本発明の実施例について詳述した
が、以下、本発明の各実施態様の例を示す。
【００４３】（実施態様１） 以下の（ａ）から（ｃ）
を含むことを特徴とする移動検出のための方法、（ａ）
画像シーン（１４）から抽出された一組のピクセル・
データ値をそれぞれ含む一対の画像フレーム（４０〜４
２）を生成するステップと、（ｂ） 前記画像シーン
（１４）から重複する画像内容を含む各画像フレーム
（４０〜４２）の領域を決定するステップと、（ｃ）
相関距離から前記画像フレーム（４０〜４２）間の相対
移動を決定できるように、重複する画像内容を含む前記
画像フレーム（４０〜４２）の領域からのピクセル・デ
ータ値を使用して、前記画像フレーム（４０〜４２）間
の一組の可能な空間関係のそれぞれについて相関距離を
計算するステップ。
【００４４】（実施態様２） 前記画像フレーム（４０
〜４２）の各領域を決定するステップは、各領域がデル
タｘの寸法およびデルタｙの寸法を有する境界領域によ
って画定されるように、各画像フレームの領域を決定す
るステップを含むことを特徴とする実施態様１に記載の
方法。
【００４５】（実施態様３） 前記デルタｘの寸法およ
びデルタｙの寸法は、前記画像フレーム（４０〜４２）
が互いにずれる可能性が高い最大値に基づいて予め選択
されることを特徴とする実施態様２に記載の方法。
【００４６】（実施態様４） 前記デルタｘの寸法およ
びデルタｙの寸法は、それぞれ画像フレーム（４０〜４
２）の１ピクセルの幅に等しいか、またはそれよりも狭
い幅を有することを特徴とする実施態様３に記載の方
法。
【００４７】（実施態様５） 前記相関距離を計算する
ステップは、重複する画像内容を含む領域中の各前記画
像フレーム（４０〜４２）から前記ピクセル・データ値
間の二乗差の和を計算するステップを含むことを特徴と
する実施態様１に記載の方法。
【００４８】（実施態様６） 実施態様１に記載の方法
であって、前記各画像フレーム（４０〜４２）の領域を
決定するステップは、以下の（ａ）および（ｂ）のステ
ップを含むことを特徴とする方法、（ａ）前記画像フレ
ーム（４０〜４２）間の空間関係の推定値を決定するス
テップと、（ｂ）前記空間関係の推定値に基づいて各前
記画像フレームの領域を選択するステップ。
【００４９】（実施態様７） 前記空間関係の推定値
は、前記画像シーン（１４）から抽出した画像フレーム
（４０〜４２）間の過去の移動に基づいていることを特
徴とする実施態様６に記載の方法。
【００５０】（実施態様８） 以下の（ａ）から（ｃ）
の手段を含むことを特徴とする移動検出装置、（ａ）
画像シーン（１４）から抽出された一組のピクセル・デ
ータ値をそれぞれ含む一対の画像フレーム（４０〜４
２）を生成する手段と、（ｂ） 前記画像シーン（１
４）から重複する画像内容を含む前記画像フレーム（４
０〜４２）の領域を決定する手段と、（ｃ） 相関距離
から前記画像フレーム（４０〜４２）間の相対移動を決
定できるように、重複する画像内容を含む前記画像フレ
ーム（４０〜４２）の領域からのピクセル・データ値を
使用して、前記画像フレーム（４０〜４２）間の一組の
可能な空間関係のそれぞれについて相関距離を計算する
手段。
【００５１】（実施態様９） 前記各画像フレーム（４
０〜４２）の各領域を決定する手段は、各領域がデルタ
ｘの寸法およびデルタｙの寸法を有する境界領域によっ
て画定されるように、各画像フレームの領域を決定する
手段を有することを特徴とする実施態様８に記載の装
置。
【００５２】（実施態様１０） 前記デルタｘの寸法お
よびデルタｙの寸法は、前記画像フレーム（４０〜４
２）が互いにずれる可能性が高い最大値に基づいて予め
選択されることを特徴とする実施態様９に記載の装置。
【００５３】（実施態様１１） 前記デルタｘの寸法お
よびデルタｙの寸法は、それぞれ画像フレーム（４０〜
４２）の１ピクセルの幅に等しいか、またはそれよりも
狭い幅を有することを特徴とする実施態様１０に記載の
装置。
【００５４】（実施態様１２） 前記相関距離を計算す
る手段は、重複する画像内容を含む領域中の各前記画像
フレーム（４０〜４２）から前記ピクセル・データ値間
の二乗差の和を決定する手段を有することを特徴とする
実施態様８に記載の装置。
【００５５】（実施態様１３） 実施態様８に記載の装
置であって、前記各画像フレーム（４０〜４２）の領域
を決定する手段は、以下の（ａ）および（ｂ）の手段を
含むことを特徴とする装置、（ａ）前記画像フレーム
（４０〜４２）間の空間関係の推定値を決定する手段
と、（ｂ）前記空間関係の推定値に基づいて各前記画像
フレームの領域を選択する手段。
【００５６】（実施態様１４） 前記空間関係の推定値
は、前記画像シーン（１４）から抽出した画像フレーム
（４０〜４２）間の過去の移動に基づいていることを特
徴とする実施態様１３に記載の装置。
【００５７】（実施態様１５）以下の（ａ）及び（ｂ）
を含むことを特徴とする移動検出による撮像システム、
（ａ） 画像シーン（１４）から重複する画像内容を含
む一対の画像フレーム（４０〜４２）それぞれの領域を
決定する相関計算器（２２）であって、重複する画像内
容を含む前記画像フレーム（４０〜４２）の前記領域か
ら抽出された一組のピクセル・データ値を使用して、前
記画像フレーム（４０〜４２）間の一組の可能な空間関
係それぞれについて相関距離を決定する相関計算器（２
２）と、（ｂ） 前記相関距離に応答して前記画像フレ
ーム（４０〜４２）間の相対移動を決定する移動トラッ
カ（２４）。
【００５８】（実施態様１６） 前記相関計算器（２
２）は、各領域がデルタｘの寸法およびデルタｙの寸法
を有する境界領域によって画定されるように各画像フレ
ームの領域を選択することによって前記各画像フレーム
（４０〜４２）の領域を決定することを特徴とする実施
態様１５に記載のシステム。
【００５９】（実施態様１７） 前記デルタｘの寸法お
よびデルタｙの寸法は、前記画像フレーム（４０〜４
２）が互いにずれる可能性が高い最大値に基づいて予め
選択されることを特徴とする実施態様１６に記載のシス
テム。
【００６０】（実施態様１８） 前記デルタｘの寸法お
よびデルタｙの寸法はそれぞれ、前記画像フレーム（４
０〜４２）の１ピクセルの幅に等しいか、またはそれよ
りも狭い幅を有することを特徴とする実施態様１７に記
載のシステム。
【００６１】（実施態様１９） 前記相関計算器（２
２）は、重複する画像内容を含む領域中の前記各画像フ
レーム（４０〜４２）からピクセル・データ値間の二乗
差の和を計算することによって相関距離を決定すること
を特徴とする実施態様１５に記載のシステム。
【００６２】（実施態様２０） 前記相関計算器（２
２）は、前記空間関係の推定値に基づいて各画像フレー
ムの前記領域を選択するように前記画像フレーム（４０
〜４２）間の空間関係の推定値を決定する移動推定装置
（２８）をさらに備えることを特徴とする実施態様１５
に記載のシステム。
【００６３】（実施態様２１） 前記空間関係の推定値
は、前記画像シーン（１４）から抽出された画像フレー
ム（４０〜４２）間の過去の移動に基づいていることを
特徴とする実施態様２０に記載のシステム。
【００６４】以上、例示の目的のため、本発明を詳細に
説明したが、これはすべてを尽くすものではなく、本発
明を開示した詳細な実施形態に限定するものでもない。
したがって、本発明の範囲は首記の特許請求の範囲によ
って定義される。
【図面の簡単な説明】
【図１】移動検出の確度を向上するために、抽出された
画像フレームをサブ・フレーム化する要素を含む撮像シ
ステムを示す図である。
【図２】撮像アレイが画像シーンに対して移動する際に
撮像アレイによって抽出される一対の連続する画像フレ
ームを示す図である。
【図３】一実施形態における画像フレームに対するサブ
・フレーム演算を示す図である。
【図４】サブ・フレーム化演算中に移動推定を用いる要
素を含む撮像システムを示す図である。
【図５ａ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｂ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｃ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｄ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｅ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｆ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｇ】画像フレーム間の一空間関係を示す図であ
る。
【図５ｈ】画像フレーム間の一空間関係を示す図であ
る。
【符号の説明】
１０、１００：撮像システム １２：撮像アレイ １４：画像シーン １８：画像フレーム・バッファ ２２：相関計算器 ２４：移動トラッカ ２８：移動推定装置 ４０、４２：画像フレーム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 デビット・ビアード アメリカ合衆国カリフォルニア州パロアル ト ロス・ロブレス・アベニュー842

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】 以下の（ａ）から（ｃ）を含むことを特
    徴とする移動検出のための方法、（ａ） 画像シーン
    （１４）から抽出された一組のピクセル・データ値をそ
    れぞれ含む一対の画像フレーム（４０〜４２）を生成す
    るステップと、（ｂ） 前記画像シーン（１４）から重
    複する画像内容を含む各画像フレーム（４０〜４２）の
    領域を決定するステップと、（ｃ） 相関距離から前記
    画像フレーム（４０〜４２）間の相対移動を決定できる
    ように、重複する画像内容を含む前記画像フレーム（４
    ０〜４２）の領域からのピクセル・データ値を使用し
    て、前記画像フレーム（４０〜４２）間の一組の可能な
    空間関係のそれぞれについて相関距離を計算するステッ
    プ。
JP158699A 1998-01-09 1999-01-07 画像フレ―ムの移動検出方法および装置 Pending JPH11259662A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US493598A 1998-01-09 1998-01-09
US004,935 1998-01-09

Publications (1)

Publication Number Publication Date
JPH11259662A true JPH11259662A (ja) 1999-09-24

Family

ID=21713277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP158699A Pending JPH11259662A (ja) 1998-01-09 1999-01-07 画像フレ―ムの移動検出方法および装置

Country Status (3)

Country Link
EP (1) EP0929194B1 (ja)
JP (1) JPH11259662A (ja)
DE (1) DE69916670T2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532338B2 (en) 2004-07-06 2013-09-10 Hewlett-Packard Development Company, L.P. System and method for compensating for motion blur in optical navigation
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
CN104851112B (zh) * 2015-04-28 2017-03-01 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2648254B2 (fr) * 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
WO1993023816A1 (en) * 1992-05-18 1993-11-25 Silicon Engines Inc. System and method for cross correlation with application to video motion vector estimation
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
GB2283385B (en) * 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing

Also Published As

Publication number Publication date
DE69916670D1 (de) 2004-06-03
EP0929194A2 (en) 1999-07-14
DE69916670T2 (de) 2005-04-14
EP0929194B1 (en) 2004-04-28
EP0929194A3 (en) 1999-08-04

Similar Documents

Publication Publication Date Title
EP0986252B1 (en) System and method for electronic image stabilization
US7729563B2 (en) Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
EP2983136B1 (en) A method and apparatus for motion estimation
KR100869497B1 (ko) 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치
KR100866963B1 (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
EP1578116B1 (en) Image processor
US8385418B2 (en) Dominant motion estimation for image sequence processing
US6809758B1 (en) Automated stabilization method for digital image sequences
US8335257B2 (en) Vector selection decision for pixel interpolation
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
US20030053661A1 (en) Video feature tracking with loss-of-track detection
JP4429816B2 (ja) 撮像装置および画像の高解像度化方法
US6597816B1 (en) Correcting distortion in an imaging system using parametric motion estimation
US8189054B2 (en) Motion estimation method, device, and system for image processing
US7110453B1 (en) Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information
JPH11259662A (ja) 画像フレ―ムの移動検出方法および装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
US9699475B2 (en) Video sequence analysis for robust motion estimation
JP3487045B2 (ja) 自動追尾装置
JP3020299B2 (ja) 動きベクトル検出装置
KR100576942B1 (ko) 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법
JP3408117B2 (ja) カメラ操作推定方法およびカメラ操作推定プログラムを記録した記録媒体
WO2023174546A1 (en) Method and image processor unit for processing image data
JPH11248447A (ja) 画像処理装置及び画像処理方法、並びに提供媒体
JPH11339044A (ja) ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041209

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20051028

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071106