JPH1125277A - 画像間対応検出方法およびその装置 - Google Patents

画像間対応検出方法およびその装置

Info

Publication number
JPH1125277A
JPH1125277A JP9176743A JP17674397A JPH1125277A JP H1125277 A JPH1125277 A JP H1125277A JP 9176743 A JP9176743 A JP 9176743A JP 17674397 A JP17674397 A JP 17674397A JP H1125277 A JPH1125277 A JP H1125277A
Authority
JP
Japan
Prior art keywords
error
parameter
function
partial
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9176743A
Other languages
English (en)
Other versions
JP3870491B2 (ja
Inventor
Minoru Eito
稔 栄藤
Koichi Hata
幸一 畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP17674397A priority Critical patent/JP3870491B2/ja
Publication of JPH1125277A publication Critical patent/JPH1125277A/ja
Priority to US09/373,408 priority patent/US6546120B1/en
Application granted granted Critical
Publication of JP3870491B2 publication Critical patent/JP3870491B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 画像符号化・復号化装置、ステレオ画像計
測、広視野画像生成に利用することを目的として異なる
投影像の対応位置間に大きな移動量がある場合でも輝度
誤差最小化を基準として写像パラメータ推定を行う。 【解決手段】 以下の３基本処理からなる。（１）ブロ
ックマッチングによる誤差演算処理：基準画像中の１６
×１６画素のブロックについて参照画素中から輝度誤差
の差分絶対値和が最小となるブロックマッチングを行な
う。（２）微分オペレータによる２次誤差関数近似処
理：ブロックマッチング結果がお椀型の曲面を形成する
と仮定し、２次誤差関数近似する。（３）平面透視写像
パラメータについての非線形反復最小化処理：画面全体
の２次誤差関数和を平面透視写像のパラメータについて
改良されたニュートン法の逐次反復処理により求める。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば以下の技術
分野に属する画像間対応検出方法およびその装置に関す
るものである。
【０００２】1.時間的に連続する画像間の対応関係を知
って、画像を少ない符号化量で伝送蓄積する画像符号化
・復号化装置。
【０００３】2.ステレオ画像の間に成立する対応関係を
求めて、距離を計測する測定装置。 3.手ぶれ等、意図しないカメラの動きによって生じる画
像の動きを補正する画像処理装置。
【０００４】4.複数の画像を統合して広視野画像を生成
する画像処理装置。
【０００５】
【従来の技術】カメラ視点の移動又は物体の移動により
物体は画像中の異なる位置に投影される。この二つの投
影像の対応関係は、一方の画面上の位置集合を他方の画
像上の位置集合への写像として表現することができる。
【０００６】この写像には様々なモデルがあり、点から
点への写像としては式１から式３で表現される２次元ア
フィン写像、式4から式6で表現される２次元２次形式写
像、式７から式８で表現される平面透視写像が知られて
いる。
【０００７】これらはそれぞれ、十分遠い距離にある物
体とカメラの相対運動、平面の瞬間的移動、平面の任意
移動によって生じる投影像間の対応を表している。
【０００８】ここで、(x,y)と(x',y')は各々異なる投影
像の対応する画像位置であり、肩文字の記号tはベクト
ル、行列の転置を表す。また太字のxは座標(x,y)を表
す。
【０００９】２次元アフィン写像：
【００１０】
【数１】
【００１１】
【数２】
【００１２】２次元アフィン写像のパラメータ：
【００１３】
【数３】
【００１４】２次元２次形式写像：
【００１５】
【数４】
【００１６】
【数５】
【００１７】２次元２次形式写像のパラメータ：
【００１８】
【数６】
【００１９】平面透視写像：
【００２０】
【数７】
【００２１】平面透視写像のパラメータ：
【００２２】
【数８】
【００２３】各写像のパラメータが定まれば異なる画像
の位置対応を決定する関数が定まる。２次元アフィン写
像では、式３に示す６つのパラメータが、２次元２次形
式写像では、式６に示す８つのパラメータが、平面透視
写像では式８に示す８つのパラメータが求まれば画像間
の対応が記述されることになる。
【００２４】画像間対応を表す写像は点と点との対応に
限るものではなく、一方の位置集合から他方の画像上の
位置集合へのより一般的な写像も考えられる。前述の点
と点の対応では、投影条件や物体の構造に制約(平面)が
あったが、剛体の異なる投影像間で一般的に成り立つ写
像がエピポーラ幾何として知られている。これは直線か
ら直線からへの写像であり、本明細書ではエピポーラ写
像と呼ぶ。このエピポーラ写像の一般化として点から直
線への写像がある。これを式９から式１０で表し、一般
化エピポーラ写像とよぶことにする。 一般化エピポーラ写像：
【００２５】
【数９】
【００２６】
【数１０】
【００２７】式９中のFは基本行列とよばれる３×３行
列であり、記号〜は式10に示す同次座標表現（２次元位
置座標を(x,y)でなく(x,y,1)として３次元ベクトルとし
た表現）を表している。一般化エピポーラ写像はxから
写像されるx’が行列Fで表現される直線の方程式を満足
するというものである。すなわち、点は直線に写像され
る。この写像パラメータは行列Fそのものである（エピ
ポーラ写像の詳しい説明は実施例で再度述べる）。
【００２８】以上の写像パラメータを求めるために特徴
点対応による方法又は輝度誤差の直接最小化による方法
が従来利用されてきた。平面透視写像を例にとる。
【００２９】平面透視写像では求めるパラメータ数が８
であるから、異なる投影像で４点の対応が得られればそ
の関数を特定することができる。
【００３０】４点の対応につき式７から８つの連立方程
式を得ることにより、容易に写像パラメータを計算する
ことができる。２次元アフィン写像では３点対応、２次
元２次形式写像のパラメータは４点対応で、各々６また
は８の連立方程式から求めることができる。
【００３１】また、一般化エピポーラ写像の場合は、Lo
nguet-Higginsの８点対応による方法が、文献「ネイチ
ャー 第２９３巻 第１３３頁〜第１３５頁 １９８１
年」（H. C. Longuet-Higgins, ''A computer algorith
m for reconstructing a scene from two projection
s,'' Nature, Vol. 293, pp.133-135, 1981）に開示さ
れている。本明細書では、このような投影像の特徴点の
対応による方法を特徴点対応によるパラメータ推定方法
と呼ぶ。
【００３２】輝度誤差直接最小化の方法は、例えば「ア
イイーイーイー コンピュター グラフィクス アンド
アプリケーションズ 第２２頁〜第３０頁, 1996年
３月」（R. Szeliski, "Video Mosaics for Virtual
Environment", IEEE Computer Graphics and Applica
tions,pp. 22-30）に開示されている。
【００３３】
【数１１】
【００３４】これは式１１で定義される輝度誤差を画面
全体について最小化しようとするものである。
【００３５】式１１においてI(xi,yi)はi番目の画素の
輝度を表しており、I'(xi',yi')は異なる投影像の対応
する点における輝度である。
【００３６】ここで、写像を式７で定義される平面透視
写像とし、この写像パラメータ（式８）を求めるものと
する。本従来例では式１１において、輝度誤差が２乗誤
差として定義されているため、マーカート法（Levenber
g-Marquart法）により式１１の最小化を行なっている。
マーカート法の詳細は、「カンブリッジ ユニバースプ
レス, 1992年」（W.H. Press他, "Numerical Receipes
in C : The art ofScientific Computing", Cambridge
Univ.Press）に開示されている。
【００３７】本従来例では、以下のステップを反復する
ことにより、写像パラメータｐを求めている。
【００３８】ステップ１：まず、式１１に示されている
eiを画像より計算する。 ステップ２：式１２により式１１の１階偏微分を求め
る。
【００３９】
【数１２】
【００４０】式１２においてDiは式１１の分母、すなわ
ち式１３である。
【００４１】
【数１３】
【００４２】ステップ３：式１２を用いて、式１４に示
すように要素aklを持つ８×８行列Ａと要素bkをもつ列
ベクトルbを求める。
【００４３】
【数１４】
【００４４】ステップ４：式１５に従って、写像パラメ
ータの変更分δpを計算し、式１６に従って写像パラメ
ータの新候補p'を計算する。λは非負の制御変数でλの
初期値は実験的に定める。またIは単位行列である。
【００４５】
【数１５】
【００４６】
【数１６】
【００４７】ステップ５：p'から式１１の値を計算し、
これがステップ１で計算した値よりも減少した場合はp'
をpとして写像パラメータを更新する。さらにこの場合
はλの値を小さくする。逆に増加した場合は更新はせ
ず、λの値を大きくする。
【００４８】マーカート法は、２乗誤差を最小化するパ
ラメータ推定に有効な非線形反復最小化手法として知ら
れている。式１１が、写像パラメータについて２次関数
として近似できる場合は、ニュートン法が使え、ニュー
トン法の近似として式１７で計算される写像パラメータ
の変更分δpにより最小化が行なえる（元来のニュート
ン法であれば行列Aを２階偏微分行列として求める）。
【００４９】
【数１７】
【００５０】ところが、非線形最小化では、一般的に式
１１が写像パラメータについて２次関数として近似でき
ない場合が少なくない。そこで式１５にあるように、λ
倍した単位行列を加えることにより、安定な収束を行な
っている。
【００５１】この調整は、上記最小化ステップが成功し
た場合は、写像パラメータが少ない反復回数で得ること
ができるよう、λを小さな値とし、逆に最小化ステップ
が失敗した場合は、より確実な収束が行なえるようλを
大きな値として行なわれる。
【００５２】
【発明が解決しようとする課題】
特徴点対応による方法の課題：特徴点が正確に得られれ
ば、特徴点対応によるパラメータ推定方法は簡易でかつ
正確である。しかし、輝度のパターン（特徴）が似通っ
た位置の対応は一般に誤対応を生む。この誤対応である
かどうかの判定が困難である。また特徴点対応の精度が
粗ければ、得られるパラメータの精度も粗くなる。
【００５３】輝度誤差直接最小化による方法の課題：輝
度誤差直接最小化による方法では、画面上の対応位置の
座標が大きくことなる場合、すなわち画面上の動きが大
きな場合にパラメータ推定が困難である。
【００５４】
【課題を解決するための手段】上記問題点を解決するた
めに、第１の発明は、二つの画像の対応を一方の画面上
の位置集合を他方の画像上の位置集合へ写像する関数と
して表現し、この関数を特定する写像パラメータを求め
ることにより画像間の動きを得る方法であって、（1a）
画像を分割して得られる複数の部分領域について、異な
る２つの画像の部分領域の対応を誤差として演算し、最
小誤差となる前記部分領域間の偏位とその近傍の誤差値
を求める誤差演算処理と、（1b）前記最小誤差となる偏
位とその近傍の誤差値から偏位を変数とする２次の誤差
関数を各部分領域について求める誤差関数演算処理と、
（1c）前記２次誤差関数の総和又は部分和を、関数を表
現するパラメータで再表現し、パラメータについて非線
形反復最小化によりパラメータを求める非線形反復最小
化処理から構成され、さらに、前記非線形反復最小化処
理は（1c-1）前記２次誤差関数の総和又は部分和のパラ
メータに関する１階偏微分ベクトルと２階偏微分行列を
求める偏微分演算処理と、（1c-2）各反復における最小
化が所定の期待値を下回る程度に応じて２階偏微分行列
の対角成分を増加させる２階偏微分行列変更処理と、
（1c-3）前記変更された２階偏微分行列の逆行列を前記
１階偏微分ベクトルに乗してパラメータの増減値を得る
パラメータ変更処理から構成され、前記偏微分演算処
理、２階偏微分行列変更処理、パラメータ変更処理を反
復して得られたパラメータ増減値を逐次加えてパラメー
タを変更し最小化を行うことを特徴とする画像間対応検
出方法である。
【００５５】第２の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の位置集合へ写像する
関数として表現し、この関数を特定する写像パラメータ
を求めることにより画像間の動きを得る装置であって、
（2a）画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算手段と、（2b）前記最小誤差
となる偏位とその近傍の誤差値から偏位を変数とする２
次の誤差関数を各部分領域について求める誤差関数演算
手段と、（2c）前記２次誤差関数の総和又は部分和を、
関数を表現するパラメータで再表現し、パラメータにつ
いて非線形反復最小化によりパラメータを求める非線形
反復最小化手段から構成され、さらに前記非線形反復最
小化手段は（2c-1）前記２次誤差関数の総和又は部分和
のパラメータに関する１階偏微分ベクトルと２階偏微分
行列を求める偏微分演算手段と、（2c-2）各反復におけ
る最小化が所定の期待値を下回る程度に応じて２階偏微
分行列の対角成分を増加させる２階偏微分行列変更手段
と、（2c-3）前記変更された２階偏微分行列の逆行列
を、前記１階偏微分ベクトルに乗してパラメータの増減
値を得るパラメータ変更手段から構成され、前記偏微分
演算手段、２階偏微分行列変更手段、パラメータ変更手
段を反復して得られたパラメータ増減値を逐次加えてパ
ラメータを変更し最小化を行うことを特徴とする画像間
対応検出装置である。
【００５６】第３の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の位置集合へ写像する
関数として表現し、この関数を特定する写像パラメータ
を求めることにより画像間の動きを得る方法であって、
（3a）画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算処理と、（3b）前記最小誤差
となる偏位とその近傍の誤差値から偏位を変数とする２
次の誤差関数を各部分領域について求める誤差関数演算
処理と、（3c）前記２次誤差関数の総和又は部分和を、
関数を表現するパラメータで再表現し、パラメータにつ
いての偏導関数が線形関数となる線形最小化可能パラメ
ータとそうはならない非線形最小化パラメータに分け、
前者のみを線形最小化により求める線形パラメータ演算
処理と、（3d）前記２次誤差関数の総和又は部分和を、
前記線形最小化可能パラメータについては前記線形パラ
メータ演算処理により得られたパラメータを初期値とし
て前記パラメータ全てを非線形反復最小化により求める
全パラメータ演算処理を有することを特徴とする画像間
対応検出方法である。
【００５７】第４の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の位置集合へ写像する
関数として表現し、この関数を特定する写像パラメータ
を求めることにより画像間の動きを得る装置であって、
（4a）画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算手段と、（4b）前記最小誤差
となる偏位とその近傍の誤差値から偏位を変数とする２
次の誤差関数を各部分領域について求める誤差関数演算
手段と、（4c）前記２次誤差関数の総和又は部分和を、
関数を表現するパラメータで再表現し、パラメータにつ
いての偏導関数が線形関数となる線形最小化可能パラメ
ータとそうはならない非線形最小化パラメータに分け、
前者のみを線形最小化により求める線形パラメータ演算
手段と、（4d）前記２次誤差関数の総和又は部分和を、
前記線形最小化可能パラメータについては前記線形パラ
メータ演算手段により得られたパラメータを初期値とし
て前記パラメータ全てを非線形反復最小化により求める
全パラメータ演算手段を有することを特徴とする画像間
対応検出装置である。
【００５８】第５の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の位置集合へ写像する
関数として表現し、この関数を特定する写像パラメータ
を求めることにより画像間の動きを得る方法であって、
（5a）画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算処理と、（5b）前記最小誤差
となる偏位とその近傍の誤差値から偏位を変数とし最小
値を零にもつ２次の誤差関数を各部分領域について求め
る誤差関数演算処理と、（5c）前記２次誤差関数の重み
付け総和を、関数を表現するパラメータで再表現し、パ
ラメータについて反復最小化によりパラメータを求める
反復最小化処理と、（5d）前記反復最小化の反復過程に
おいて、前記２次誤差関数の値に逆比例して重み付けを
設定する重み付け再設定処理から構成されることを特徴
とする画像間対応検出方法である。
【００５９】第６の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の位置集合へ写像する
関数として表現し、この関数を特定する写像パラメータ
を求めることにより画像間の動きを得る装置であって、
（6a）画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算手段と、（6b）前記最小誤差
となる偏位とその近傍の誤差値から偏位を変数とし最小
値を零にもつ２次の誤差関数を各部分領域について求め
る誤差関数演算手段と、（6c）前記２次誤差関数の重み
付け総和を、関数を表現するパラメータで再表現し、パ
ラメータについて反復最小化によりパラメータを求める
反復最小化手段と、（6d）前記反復最小化の反復過程に
おいて、前記２次誤差関数の値に逆比例して重み付けを
設定する重み付け再設定手段から構成されることを特徴
とする画像間対応検出装置である。
【００６０】第７の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の直線へ写像する関数
として表現し、この関数を特定する写像パラメータを求
めることにより画像間の動きを得る方法であって、（7
a）画像を分割して得られる複数の部分領域について、
異なる２つの画像の部分領域の対応を誤差として演算
し、最小誤差となる前記部分領域間の偏位とその近傍の
誤差値を求める誤差演算処理と、（7b）前記最小誤差と
なる偏位とその近傍の誤差値から偏位を変数とする２次
の誤差関数を各部分領域について求める誤差関数演算処
理と、（7c）前記２次誤差関数の総和又は部分和を、写
像される直線と２次誤差関数の値を決める偏位との関係
から関数を特定するパラメータで再定義する誤差パラメ
ータ化処理と、（7d）前記再パラメータ化された２次誤
差関数の総和又は部分和を、パラメータについて最小化
し、最小化するパラメータを画像間の動きとして出力す
る最小化処理を有することを特徴とする画像間対応検出
方法である。
【００６１】第８の発明は、二つの画像の対応を一方の
画面上の位置集合を他方の画像上の直線へ写像する関数
として表現し、この関数を特定する写像パラメータを求
めることにより画像間の動きを得る装置であって、（8
a）画像を分割して得られる複数の部分領域について、
異なる２つの画像の部分領域の対応を誤差として演算
し、最小誤差となる前記部分領域間の偏位とその近傍の
誤差値を求める誤差演算手段と、（8b）前記最小誤差と
なる偏位とその近傍の誤差値から偏位を変数とする２次
の誤差関数を各部分領域について求める誤差関数演算手
段と、（8c）前記２次誤差関数の総和又は部分和を、写
像される直線と２次誤差関数の値を決める偏位との関係
から関数を特定するパラメータで再定義する誤差パラメ
ータ化手段と、（8d）前記再パラメータ化された２次誤
差関数の総和又は部分和を、パラメータについて最小化
し、最小化するパラメータを画像間の動きとして出力す
る最小化手段を有することを特徴とする画像間対応検出
装置である。
【００６２】
【発明の実施の形態】第１の発明の画像間対応検出方法
では、 １.誤差演算処理が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００６３】２.この結果を受けて、誤差関数演算処理
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。各部分領域について得られた２次の誤差関数を用い
て、２次誤差関数の総和又は部分和を写像パラメータで
再表現する。
【００６４】３.非線形反復最小化処理は、この再表現
された２次誤差関数の総和又は部分和を写像パラメータ
について最小化する。この最小化は、以下の偏微分演算
処理と２階偏微分行列変更処理とパラメータ変更処理か
ら構成される。
【００６５】3-1.偏微分演算処理は、写像パラメータで
再表現された２次誤差関数の総和又は部分和の1階偏微
分ベクトルと２階偏微分行列を求める。
【００６６】3-2.２階偏微分行列変更処理は上記処理で
得られた２階偏微分行列を各反復における最小化が所定
の期待値を下回る程度に応じて２階偏微分行列の対角成
分を増加させる。
【００６７】3-3.パラメータ変更処理は変更された２階
偏微分行列の逆行列を１階偏微分ベクトルに乗してパラ
メータの増減値を得る。
【００６８】そして、偏微分演算処理、２階偏微分行列
変更処理、パラメータ変更処理を反復して得られたパラ
メータ増減値を逐次加えてパラメータを変更し最小化を
行う。
【００６９】結果として、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータが
求められる。
【００７０】第２の発明の画像間対応検出装置では、 １.誤差演算手段が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００７１】２.この結果を受けて、誤差関数演算手段
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。各部分領域について得られた２次の誤差関数を用い
て、２次誤差関数の総和又は部分和を写像パラメータで
再表現する。
【００７２】３.非線形反復最小化手段は、この再表現
された２次誤差関数の総和又は部分和を写像パラメータ
について最小化する。
【００７３】この最小化は、以下の偏微分演算手段と２
階偏微分行列変更手段とパラメータ変更手段から構成さ
れる。
【００７４】3-1.偏微分演算手段は、写像パラメータで
再表現された２次誤差関数の総和又は部分和の1階偏微
分ベクトルと２階偏微分行列を求める。
【００７５】3-2.２階偏微分行列変更手段は上記手段で
得られた２階偏微分行列を各反復における最小化が所定
の期待値を下回る程度に応じて２階偏微分行列の対角成
分を増加させる。
【００７６】3-3.パラメータ変更手段は変更された２階
偏微分行列の逆行列を１階偏微分ベクトルに乗してパラ
メータの増減値を得る。
【００７７】そして、偏微分演算手段、２階偏微分行列
変更手段、パラメータ変更手段を反復して得られたパラ
メータ増減値を逐次加えてパラメータを変更し最小化を
行う。
【００７８】結果として、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータが
求められる。
【００７９】第３の発明の画像間対応検出方法では、 １.誤差演算処理が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００８０】２.この結果を受けて、誤差関数演算処理
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。２次誤差関数の総和又は部分和を、関数を表現する
パラメータで再表現する。ここでパラメータについての
偏導関数が線形関数となる線形最小化可能パラメータと
そうはならない非線形最小化パラメータに分けることが
できる。
【００８１】３.線形パラメータ演算処理は,線形最小化
可能パラメータのみを線形最小化により求める。
【００８２】４.全パラメータ演算処理は前記線形パラ
メータ演算処理により得られたパラメータを初期値とし
てパラメータ全てを非線形反復最小化により求める。
【００８３】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータを
求めることができる。
【００８４】第４の発明の画像間対応検出装置では、 １.誤差演算手段が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００８５】２.この結果を受けて、誤差関数演算手段
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。２次誤差関数の総和又は部分和は、関数を表現する
パラメータで再表現する。ここでパラメータについての
偏導関数が線形関数となる線形最小化可能パラメータと
そうはならない非線形最小化パラメータに分けることが
できる。
【００８６】３.線形パラメータ演算手段は,線形最小化
可能パラメータのみを線形最小化により求める。
【００８７】４.全パラメータ演算手段は前記線形パラ
メータ演算手段により得られたパラメータを初期値とし
てパラメータ全てを非線形反復最小化により求める。
【００８８】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータを
求めることができる。
【００８９】第５の発明の画像間対応検出方法では、 １.誤差演算処理が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００９０】２.この結果を受けて、誤差関数演算処理
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。各部分領域について得られた２次の誤差関数と所定
の重み付けを用いて、２次誤差関数の重み付け総和を写
像パラメータで再表現する。
【００９１】３.反復最小化処理は２次誤差関数の重み
付け総和を、写像パラメータについて反復最小化により
パラメータを求める。
【００９２】４.上記の反復最小化の過程で、重み付け
再設定処理は前記２次誤差関数の値に逆比例した値を２
次誤差関数の重み付けとして設定する。
【００９３】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータを
求めることができる。
【００９４】第６の発明の画像間対応検出装置では、 １.誤差演算手段が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【００９５】２.この結果を受けて、誤差関数演算手段
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。各部分領域について得られた２次の誤差関数と所定
の重み付けを用いて、２次誤差関数の重み付け総和を写
像パラメータで再表現する。
【００９６】３.反復最小化手段は２次誤差関数の重み
付け総和を、写像パラメータについて反復最小化により
パラメータを求める。
【００９７】４.上記の反復最小化の過程で、重み付け
再設定手段は前記２次誤差関数の値に逆比例した値を２
次誤差関数の重み付けとして設定する。
【００９８】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の位置集合へ写像する関
数として表現し、この関数を特定する写像パラメータを
求めることができる。
【００９９】第７の発明の画像間対応検出方法では、 １.誤差演算処理が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【０１００】２.この結果を受けて、誤差関数演算処理
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。
【０１０１】３.誤差パラメータ化処理は２次誤差関数
の総和又は部分和を、写像される直線と２次誤差関数の
値を決める偏位との関係から関数を特定するパラメータ
で再定義する。
【０１０２】４.最小化処理は再パラメータ化された２
次誤差関数の総和又は部分和を、パラメータについて最
小化し、最小化するパラメータを画像間の動きとして出
力する。
【０１０３】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の直線へ写像する関数と
して表現し、この関数を特定する写像パラメータを求め
ることができる。
【０１０４】第８の発明の画像間対応検出装置では、 １.誤差演算手段が、画像を分割して得られる複数の部
分領域について、異なる２つの画像の部分領域の対応を
誤差として演算し、最小誤差となる前記部分領域間の偏
位とその近傍の誤差値を求める。
【０１０５】２.この結果を受けて、誤差関数演算手段
が前記最小誤差となる偏位とその近傍の誤差値から偏位
を変数とする２次の誤差関数を各部分領域について求め
る。
【０１０６】３.誤差パラメータ化手段は、２次誤差関
数の総和又は部分和を、写像される直線と２次誤差関数
の値を決める偏位との関係から関数を特定するパラメー
タで再定義する。
【０１０７】４.最小化手段は再パラメータ化された２
次誤差関数の総和又は部分和を、パラメータについて最
小化し、最小化するパラメータを画像間の動きとして出
力する。
【０１０８】以上により、二つの画像の対応を一方の画
面上の位置集合を他方の画像上の直線へ写像する関数と
して表現し、この関数を特定する写像パラメータを求め
ることができる。
【０１０９】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。なお、本実施例の入力は標本化された（輝度が数値
化された）画素から構成される２つの画像である。実施
例での説明では、２つの画像うち一方を基準画像、他方
を参照画像と呼び、基準画像中の(x,y)の位置から写像
される参照画像中の座標を(x',y')とする。また理解を
容易にするために、一般性を欠くことなく画像の大きさ
は縦２４０画素、横３５２画素の画像であるとする。
【０１１０】本発明（第１項）の画像間対応検出方法の
実施例を図１、図２、図３、図４を用いて説明する。こ
れを第１の実施例とする。図１は全処理を表す処理構成
図、図２はブロックマッチングの説明図、図３はブロッ
クマッチングの誤差絶対値和と２次誤差関数の説明図、
図４は図１中の非線形反復最小化処理の処理構成図であ
る。
【０１１１】図１において、１０１はブロックマッチン
グによる誤差演算処理、１０２は微分オペレータによる
２次誤差関数近似処理、１０３は平面透視写像パラメー
タについての非線形反復最小化処理である。
【０１１２】また、図４において、４０１は偏微分演算
処理、４０２は２階偏微分行列変更処理、４０３はパラ
メータ変更演算処理、４０４は収束制御変数更新処理、
４０５はパラメータ更新判定処理、４０６は収束判定処
理である。
【０１１３】図１の処理構成図に従って以下に本実施例
を説明する。 ブロックマッチングによる誤差演算処理（１０１）：図
２に示すように、基準画像中の１６×１６画素のブロッ
クＲについて参照画素中から輝度誤差の差分絶対値和(S
ADと略す）が最小となる偏位を探索する。これは式１８
を最小化する(u,v)として得ることができる。
【０１１４】
【数１８】
【０１１５】式１８を最小化する偏位(l,m)と、探索の
結果、副次的に得られる(l,m)近傍のSADを式１９として
求める。
【０１１６】
【数１９】
【０１１７】ブロックマッチングは、基準画像の縦横１
６画素毎に行なう。画像の大きさは縦２４０画素、横３
５２画素の画像であるから、３３０ブロック位置につい
て上記最小偏位と式１９の近傍SADが求まることにな
る。
【０１１８】微分オペレータによる２次誤差関数近似処
理（１０２）：図３に示すように、SADは最小値となっ
た偏位付近を底にしたお椀型の曲面を形成すると仮定す
る。この曲面を２次関数近似して式２０で表現する。
【０１１９】i,jは水平i番目、垂直j番目のブロックを
表しており、(lij,mij)はそのブロックにおけるSAD最小
偏位である。これにより、偏位を変数としたSADの関数
化が行なえる。
【０１２０】
【数２０】
【０１２１】式２０に示す各係数は次のように求める。
式１８を最小化する偏位を（l,m)を中心とした(l,m)近
傍のSADは式１９として既にブロックマッチングによる
誤差演算処理で求まっている。これを用いて式２１〜式
２５の内積演算で式２０の係数を求める。この内積演算
は画像空間では上下、左右、斜めの差分演算である。
【０１２２】
【数２１】
【０１２３】
【数２２】
【０１２４】
【数２３】
【０１２５】
【数２４】
【０１２６】
【数２５】
【０１２７】式２０のオフセット値は式２６で求める。
このオフセットにより、式２０は最小値に０をとる。
【０１２８】
【数２６】
【０１２９】なお、式２０が最小値をとる条件として式
２７がある。
【０１３０】
【数２７】
【０１３１】本明細書で述べる全ての実施例で、式２７
を満たさないブロックマッチング結果は写像パラメータ
推定に用いない。本実施例でも、３３０のブロック位置
について、式２７を満たさないものを除いて式２０に示
す２次関数を求める。
【０１３２】平面透視写像パラメータについての非線形
反復最小化処理（１０３）：式２０によりSADが各ブロ
ック位置における偏位を変数とする関数として表され
た。式７と式２０の関係から平面透視写像のパラメータ
ｐについて画面全体のSADの和を表現することができ
る。これを式２８に示す。
【０１３３】
【数２８】
【０１３４】式２８において(xij,yij)はブロックi,jの
中心位置である（図２参照）。式２８を最小化するｐが
求める写像パラメータである。これを実行する処理構成
を図４に示し、以下に説明する。
【０１３５】偏微分演算処理（４０１）：式２８につい
て、式２９、式３０に示すように１階偏微分ベクトルｇ
と２階偏微分行列Hを計算する。式２８が２次関数Eijの
和として定義されることから式２８は２階偏微分可能で
ある。
【０１３６】
【数２９】
【０１３７】
【数３０】
【０１３８】２階偏微分行列変更処理（４０２）：式３
１に示すように、２階偏微分行列Ｈにその対角成分を絶
対値化しλ倍した対角行列AbsoluteDiag(H)を加え、Hd
とする。対角行列AbsoluteDiag(H)の要素dijは式３２で
与えられる。式３２中hijは行列Ｈの要素である。な
お、λの初期値は１．０とする。
【０１３９】
【数３１】
【０１４０】
【数３２】
【０１４１】パラメータ変更演算処理（４０３）：式３
３により写像パラメータの変分δpを計算し、次の写像
パラメータ候補をｐを式３４で求める。
【０１４２】
【数３３】
【０１４３】
【数３４】
【０１４４】収束制御変数更新処理（４０４）：式３５
により、写像パラメータをp'とすることにより得られる
最小化分を計算する。その一方で、式３６により式２８
を写像パラメータｐの２次関数とみなした場合の理想的
な最小化分を計算する。式３５の値が式３６に近ければ
ニュートン法に従った効率のよい推定が行なえる。
【０１４５】このために、式３６に対する式３５の比が
０．７を越えていれば、λを1/２倍する。逆に式３６に
対する式３５の比が０．３を下回っていればλを２倍す
る。
【０１４６】
【数３５】
【０１４７】
【数３６】
【０１４８】パラメータ更新判定処理（４０５）：式３
５が正であればp'をｐとして更新する。
【０１４９】収束判定処理（４０６）：式３７の条件式
を満たす場合または反復回数が１００を越える場合は、
ｐを結果として出力し、それ以外の場合は現在のλ、ｐ
を保持して偏微分演算処理から再度反復を行なう。
【０１５０】
【数３７】
【０１５１】以上のように本実施例によれば、画像を分
割して得られる各ブロックについてのSADと写像パラメ
ータが関連付けられ、SAD総和を写像パラメータについ
て最小化することにより画像対応が検出される。
【０１５２】具体的には、式２８が各ブロック位置に置
ける偏位の２次関数の和として定義され、各ブロック位
置における偏位は写像パラメータとブロック位置から定
まることを利用している。
【０１５３】従って、各ブロック位置における偏位が写
像パラメータについて１階偏微分可能である写像であれ
ば、実施例に示した方法により、パラメータ推定が可能
である。本実施例の２階偏微分行列変更処理（４０２）
では、対角成分を絶対値化しλ倍した対角行列Absolute
Diag(H)を本来の２階偏微分行列Hに加えている。
【０１５４】これは２階偏微分行列を正定値行列とし
て、安定してパラメータ推定を行なうためである。従来
例で示したマーカート法では２階偏微分行列を１階偏微
分ベクトルの積として近似して求めるために式１４に示
す行列Ａは正定値行列であることが保証されている。本
実施例で示した方法の行列Ｈには、その保証はないため
マーカート法とは異なる手法を用いて、非線形最小化の
安定化を行なっている。
【０１５５】なお、応用によりSADだけでなく、式３８
に示す２乗誤差和SSDや式３９に示す相関係数CORを用い
ても良い。
【０１５６】また、平面透視写像パラメータについての
非線形反復最小化処理にはパラメータｐの初期値が必要
であるが、本実施例ではｐ＝(1,0,0,0,1,0,0,0）とし
た。
【０１５７】一般的に、非線形最小化の収束結果は初期
値に依存すると言われている。本実施例も初期値により
得られる結果が異なる場合がある。このために初期値を
安定に得ることが課題となる。この課題への対応は、第
３の実施例で示す。
【０１５８】
【数３８】
【０１５９】
【数３９】
【０１６０】次に、第１の実施例に示した画像間対応検
出方法を実装した本発明（請求項２）の画像対応検出装
置の実施例を図５を用いて説明する。これを第２の実施
例とする。図５において、５０１は画像を１フレーム遅
延させるフレームメモリ、５０２はブロックマッチング
部、５０３は２次誤差関数近似部、５０４はメモリ、５
０５は演算処理装置である。
【０１６１】フレームメモリ（５０１）で１フレーム遅
延させることにより、本実施例に示す画像対応検出装置
は動画像の時間的に前後するフレーム間の対応を検出す
る。
【０１６２】ブロックマッチング部（５０２）の動作は
第１の実施例におけるブロックマッチングによる誤差演
算処理（１０１）と同じである。２次誤差関数近似部
（５０３）の動作は、第１の実施例における微分オペレ
ータによる２次誤差関数近似処理（１０２）と同じであ
る。結果はメモリ（５０４）に書き込まれる。
【０１６３】本実施例では以後の第１の実施例で示した
平面透視写像パラメータについての非線形反復最小化処
理（１０３）が、プログラムにより演算処理装置（５０
５）で実行される。以上、第２の実施例では第１の実施
例で示した画像対応検出方法を装置として示した。
【０１６４】次に本発明（請求項２）に該当する画像対
応検出方法の実施例を図６を用いて説明する。図６は画
像対応検出方法の処理構成図である。以後これを第３の
実施例と呼ぶ。第３の実施例は、第１の実施例と同様、
平面透視写像のパラメータを画像対応として検出する。
【０１６５】図６において、６０１はブロックマッチン
グによる誤差演算処理、６０２は微分オペレータによる
２次誤差関数近似処理、６０３は平面透視写像パラメー
タの線形化可能部分に対する最小化処理、６０４は平面
透視写像パラメータについての非線形反復最小化処理で
ある。
【０１６６】図６中、ブロックマッチングによる誤差演
算処理（６０１）、微分オペレータによる２次誤差関数
近似処理（６０２）、平面透視写像パラメータについて
の非線形反復最小化処理（６０４）の内容、入出力は全
く第１の実施例と同じであるので説明は省略する。
【０１６７】第１の実施例で問題となった平面透視写像
のパラメータの推定には初期値が必要であるが、本実施
例は平面透視写像パラメータの線形化可能部分に対する
最小化処理が新たに追加されている。
【０１６８】式７に示される平面透視写像のうち、ｐ
６，ｐ７を零で固定すると、式１〜式３に示される２次
元アフィン写像と同一であることが分かる。すなわち２
次元アフィン写像は平面透視写像の制限された一写像で
ある。そこで、まず、式１〜式３に示される２次元アフ
ィン写像のパラメータを求め、得られたパラメータａ＝
（a0,a1,a2,a3,a4,a5）から初期値をｐ＝（a0,a1,a2,a
3,a4,a5,0,0）として平面透視写像パラメータについて
の非線形反復最小化処理を行なえば、より正確なパラメ
ータ推定が期待できる。
【０１６９】なぜならば、異なる投影像間の写像は通
常、並行移動、回転、拡大が支配的で p2,p5≫p0-1.0,p1,p3,p4-1.0,≫p6,p7≒0.0 であることが多いからである。
【０１７０】以下に２次元アフィン写像のパラメータａ
＝（a0,a1,a2,a3,a4,a5）を求める手順を説明する。
【０１７１】平面透視写像パラメータの線形化可能部分
に対する最小化処理（６０３）：最小化対象は式４０で
ある。
【０１７２】
【数４０】
【０１７３】式４０が２次元アフィン写像のパラメータ
ａについて最小値をもつ条件として１階偏微分が零ベク
トルとなるオイラー条件を利用する。これを式４１に示
す。
【０１７４】
【数４１】
【０１７５】式４０はパラメータａについて２次式であ
ることから、式４１は式４２で表される線形連立方程式
となる。ここで、行列Aaと行ベクトルbaは式４３〜式４
５で表される。
【０１７６】
【数４２】
【０１７７】
【数４３】
【０１７８】
【数４４】
【０１７９】
【数４５】
【０１８０】本発明（請求項３）において「パラメータ
についての偏導関数が線形関数となる線形最小化可能パ
ラメータ」とはこのように、オイラー条件により線形連
立方程式が得られるパラメータのことである。式４２の
線形連立方程式より２次元アフィン写像のパラメータａ
は式４６により、反復なく得ることができる。
【０１８１】
【数４６】
【０１８２】本実施例では、この得られた２次元アフィ
ン写像のパラメータａを平面透視写像パラメータpに代
入して初期値とし、第１の実施例と同じ内容で平面透視
写像パラメータについての非線形反復最小化処理（６０
４）が行なわれる。
【０１８３】次に第３の実施例に示した画像間対応検出
方法は、第１の実施例と同様に、画像対応検出装置とし
て実装できる。これは第２の実施例のなかで、演算処理
装置５０４で実行されるプログラムを図６中の平面透視
写像パラメータの線形化可能部分に対する最小化処理
（６０３）と平面透視写像パラメータについての非線形
反復最小化処理（６０４）に交換すれば良い。これを第
４の実施例とする。
【０１８４】次に、本発明（請求項５）の画像対応検出
方法の実施例を図７を用いて説明する。図７は画像対応
検出方法の処理構成図である。
【０１８５】図７中、７０１はブロックマッチングによ
る誤差演算処理、７０２は微分オペレータによる２次誤
差関数近似処理、７０３は２次誤差関数に対する重み付
け初期化処理、７０４は平面透視写像パラメータの線形
化可能部分に対する重み付け最小化処理、７０５は２次
誤差関数にたいする再重み付け処理、７０６は重み付け
収束判定処理、７０７は平面透視写像パラメータについ
ての非線形反復最小化処理である。
【０１８６】以後これを第５の実施例とする。第５の実
施例は第３の実施例中の平面透視写像パラメータの線形
化可能部分に対する最小化処理（６０３）が、２次誤差
関数に対する重み付け初期化処理（７０３）、平面透視
写像パラメータの線形化可能部分に対する重み付け最小
化処理（７０４）、２次誤差関数にたいする再重み付け
処理（７０５）、重み付け収束判定処理（７０６）から
なる処理の反復に置き換わっている。他の処理は第３の
実施例と全く同じであるので、置換された処理のみ説明
する。
【０１８７】第３の実施例では、式４０を最小化するこ
とにより、まず２次元アフィン写像パラメータを求め
た。３３０個のＥijの和が最小化の対象である（但し、
式２７を満たさないものは除く）が、この中にはブロッ
クマッチングにより誤った対応位置から得られたもの、
異なる写像パラメータに属するものが含まれている可能
性がある。そこで、式４７に示すEijに重み付けをした
和を最小化する。式４７中、wijが重みであり、[0,1]の
値をとる。
【０１８８】
【数４７】
【０１８９】２次誤差関数に対する重み付け初期化処理
（７０３）：全てのwijについて値を1.0とする。
【０１９０】平面透視写像パラメータの線形化可能部分
に対する重み付け最小化処理（７０４）：ｗijを定数と
見れば、第３の実施例と同様に式４８に示すオイラー条
件を解くことにより、重み付け最小化処理が２次元アフ
ィン写像パラメータについて行なうことができる。
【０１９１】
【数４８】
【０１９２】式４９〜式５２の処理を行なって２次元ア
フィン写像パラメータを求める。
【０１９３】
【数４９】
【０１９４】
【数５０】
【０１９５】
【数５１】
【０１９６】
【数５２】
【０１９７】２次誤差関数に対する再重み付け処理（７
０５）：得られた２次元アフィン写像パラメータを元
に、式５３に示すσを計算する。そして式５４により、
重みを再計算する。式５４中、CRはσに対する乗数で、
本実施例では3.0である。
【０１９８】
【数５３】
【０１９９】
【数５４】
【０２００】重み付け収束判定処理（７０６）：反復回
数が５回を越えなければ、再度、平面透視写像パラメー
タの線形化可能部分に対する重み付け最小化処理から処
理を行なう。
【０２０１】５回を越えれば、次の平面透視写像パラメ
ータについての非線形反復最小化処理（７０７）に移
る。
【０２０２】Ｅijが式２０の定義により最小値０を持つ
ことが保証されていることが重み付け最小化に大きな意
味をもつ。式５４から明らかにwijは[0,1]の値をとる。
【０２０３】本実施例によれば、値の大きなＥijの重み
を小さくすることにより画像内に複数の異なる２次元ア
フィン写像が存在した場合やブロックマッチングに誤り
がある場合に対応することができる。画像内に異なる２
次元アフィン写像が存在した場合は、画面全体の動きに
関して支配的な写像パラメータ、すなわち属するＥijの
数の多い写像のパラメータが得られる。
【０２０４】本実施例では、２次誤差関数に対する再重
み付け処理を式５４としたが、他の重み付け、例えば式
５５や、より簡単には式５６でも上記の効果が期待でき
る。また、σの推定は単純な重み付け加算平均とした
が、中央値から推定するなどロバスト統計手法も適用可
能である。
【０２０５】
【数５５】
【０２０６】
【数５６】
【０２０７】次に第５の実施例に示した画像間対応検出
方法は、第１の実施例と同様に画像対応検出装置として
実装できる。これは第２の実施例のなかで、演算処理装
置５０４で実行されるプログラムを図７中の２次誤差関
数に対する重み付け初期化処理（７０３）、平面透視写
像パラメータの線形化可能部分に対する重み付け最小化
処理（７０４）、２次誤差関数に対する再重み付け処理
（７０５）、重み付け収束判定処理（７０６）、平面透
視写像パラメータについての非線形反復最小化処理を行
なう処理（７０７）に交換すれば良い。これを第６の実
施例とする。
【０２０８】次に本発明（請求項７）の画像対応検出方
法の第７の実施例を説明する。本実施例では、エピポー
ラ写像パラメータを求める画像対応検出方法を示す。
【０２０９】はじめにエピポーラ写像を図９、図１０を
用いて説明する。図９では理想的なピンホールカメラの
仮定下でエピポーラ幾何を説明する図である。図９にお
いてC１、C２は異なる位置におけるカメラの光学中心、
Ｍは撮影される物体表面の特徴点、m1とm2はその物***
置の画像上への投影位置であり、e1とe2は光学中心が互
いの画像に投影される位置でありエピ極と言われる。
【０２１０】図９から分かるように、撮影される物体表
面の特徴点Ｍと二つのカメラの光学中心Ｃ１，Ｃ２は平
面を形成する。この平面が投影画像面を切断する線はエ
ピ極線と呼ばれる。
【０２１１】さて、ここで特徴点Mの投影点m1に対応す
る投影点m2は直線e2-m2、すなわち投影画像面のエピ極
線上に必ず存在する。これを表現したのが従来の技術で
述べた一般化エピポーラ写像（式９と式１０）である。
【０２１２】式９は点が直線に写像されることを述べて
いるが、これは図９に示すエピポーラ幾何の厳密な表現
ではない。
【０２１３】平面Ｍ-C1-C2上の全ての点はエピ極線e1-m
1とe2-m2に投影されることから、より厳密には直線e1-m
1が直線e2-m2に写像されることになる。
【０２１４】これを図１０に示す。この関係を式５７〜
式６０で表現する。
【０２１５】
【数５７】
【０２１６】
【数５８】
【０２１７】
【数５９】
【０２１８】
【数６０】
【０２１９】式５７においてsは直線を表すための任意
実数でる。式５７はe1-m1の直線をＫで変換しe2移動さ
せるエピポーラ写像を表している。
【０２２０】式５８〜式６０から分かるように、このエ
ピポーラ写像はエピ極に関して４パラメータ、行列Kに
関して３パラメータの計７つのパラメータで記述され
る。この関係を用いて式９の基本行列Fを表現すると、
式６１となる。
【０２２１】
【数６１】
【０２２２】この基本行列を用いて式９の写像を行なう
と、点から直線への写像であるだけでなく、図１０に示
すエピ極線からエピ極線への写像も保証される。
【０２２３】言い替えると、写像パラメータ数を９とす
る任意の正則行列を式７に用いると点から直線への写像
が表現されるが、直線から直線への写像は保証されな
い。
【０２２４】この意味で一般化エピポーラ写像（式９と
式１０）は厳密なエピポーラ幾何の拘束を利用していな
いことになる。
【０２２５】次に図８と図１２を用いて本実施例の処理
手順を説明する。図８は画像対応検出方法の処理構成図
である。
【０２２６】図８中、８０１はブロックマッチングによ
る誤差演算処理、８０２は微分オペレータによる２次誤
差関数近似処理、８０３は２次誤差関数和のエピポーラ
写像パラメータ表現処理、８０４はエピポーラ写像パラ
メータについての非線形反復最小化処理である。
【０２２７】図８中でブロックマッチングによる誤差演
算処理（８０１）と微分オペレータによる２次誤差関数
近似処理（８０２）は第１の実施例と全く同じ処理であ
るので説明を省略し、以下に２次誤差関数和のエピポー
ラ写像パラメータ表現処理（８０３）とエピポーラ写像
パラメータについての非線形反復最小化処理（８０４）
の二つを説明する。
【０２２８】２次誤差関数和のエピポーラ写像パラメー
タ表現処理（８０３）：第１から第６の実施例までは、
点から点への写像であったため、得られた２次誤差関数
の入力に写像パラメータから得られる偏位を代入するこ
とで容易に２次誤差関数和を写像パラメータで表現する
ことができた。
【０２２９】本実施例では点から直線への写像を扱うた
めに、基準画像のブロック位置から写像される直線上の
任意点で最小値をとる２次誤差関数値を表現する関数和
として表現する。この直観的理解のために図１１を用い
て説明する。
【０２３０】微分オペレータによる２次誤差関数近似処
理（８０２）により、図３に示すようなSAD２次曲面が
各ブロック位置について表現されている。
【０２３１】ここでエピポーラ写像により偏位はエピ極
線Ｉ上に拘束されるから、２次誤差関数値はSAD２次曲
面をエピ極線lを垂直に通る平面で切断することにより
得られる２次曲線上に拘束される。２次誤差関数値を一
意に定めるために、この２次曲線上の最小値を誤差値と
して定める。
【０２３２】表記を簡単にするために式２０の２次誤差
関数を式６２で再表現する。式６２の各係数は式６３〜
式６８で与えられる。
【０２３３】
【数６２】
【０２３４】
【数６３】
【０２３５】
【数６４】
【０２３６】
【数６５】
【０２３７】
【数６６】
【０２３８】
【数６７】
【０２３９】
【数６８】
【０２４０】ここで、各２次誤差関数における偏位（u,
v)が直線に拘束されることを式６９で表す。式６９は、
水平垂直に(i,j）番目のブロックに対応する偏位の拘束
式であり、これは、エピポーラ写像により、式７０によ
り求めることができる（式９参照）。
【０２４１】
【数６９】
【０２４２】
【数７０】
【０２４３】式６９が与えられて式６２が最小値を持つ
偏位uは式７１として計算できる。
【０２４４】
【数７１】
【０２４５】式７１と式６９を式６２に代入すると、各
ブロックに対する誤差関数は式７２で与えることができ
る。式７２中の係数は式７３〜式８１で与えられる。
【０２４６】
【数７２】
【０２４７】
【数７３】
【０２４８】
【数７４】
【０２４９】
【数７５】
【０２５０】
【数７６】
【０２５１】
【数７７】
【０２５２】
【数７８】
【０２５３】
【数７９】
【０２５４】
【数８０】
【０２５５】
【数８１】
【０２５６】エピポーラ写像パラメータとブロック位置
(xij,yij)より(aij,bij,cij)が定まり式７２が得られ
る。
【０２５７】エピポーラ写像パラメータについての非線
形反復最小化処理（８０４）：最小化対象は式８２であ
る。式８３に示すエピポーラ写像パラメータについての
１階偏微分関数が線形関数ではないので、実施例１と同
様、非線形反復最小化により、パラメータ推定を行な
う。
【０２５８】
【数８２】
【０２５９】
【数８３】
【０２６０】以上を実行する処理の流れを図１２に示し
以下に説明する。図１２はエピポーラ写像パラメータに
ついての非線形反復最小化処理（８０４）の処理構成図
である。
【０２６１】図１２中、１２０１は偏微分演算処理、１
２０２は２階偏微分行列変更処理、１２０３はパラメー
タ変更演算処理、１２０４は収束制御変数更新処理、１
２０５はパラメータ更新判定処理、１２０６は収束判定
処理である。
【０２６２】第１の実施例と偏微分演算処理（１２０
１）以降は推定するパラメータ数が８から７となった点
のみが異なり、本質的に処理に大きな違いがない。この
ため使用する変数名（１階偏微分ベクトルgや２階偏微
分行列Hなど）を重複して説明する。
【０２６３】偏微分演算処理（１２０１）：式８２につ
いて式８４、式８５に示すように１階偏微分ベクトルｇ
と２階偏微分行列Hを計算する。
【０２６４】
【数８４】
【０２６５】
【数８５】
【０２６６】２階偏微分行列変更処理（１２０２）：式
８６に示すように２階偏微分行列Ｈにその対角成分を絶
対値化しλ倍した対角行列AbsoluteDiag(H)を加え、Hd
とする。対角行列AbsoluteDiag(H)の要素ｄijは式８７
で与えられる。λの初期値は１．０とする。
【０２６７】
【数８６】
【０２６８】
【数８７】
【０２６９】パラメータ変更演算処理（１２０３）：式
８７により写像パラメータの変分δqと新たな候補q'を
計算する。
【０２７０】
【数８８】
【０２７１】
【数８９】
【０２７２】収束制御変数更新処理（１２０４）：式９
０により、写像パラメータをq'とすることにより得られ
る最小化分を計算する。その一方で、式９１により式８
２を写像パラメータｑの２次関数とみなした場合の理想
的な最小化分を計算する。
【０２７３】式９１に対する式９０の比が０．７を越え
ていればλを1/２倍する。逆に式９１に対する式８９の
比が０．３を下回っていればλを２倍する。
【０２７４】
【数９０】
【０２７５】
【数９１】
【０２７６】パラメータ更新判定処理：式９０が正であ
ればq'をqとして更新する。
【０２７７】収束判定：式９２の条件式を満たす場合ま
たは反復回数が１００を越える場合は、ｑを結果として
出力し、それ以外の場合は現在のλ、ｑを保持して偏微
分演算処理（１２０１）から再度反復を行なう。
【０２７８】
【数９２】
【０２７９】最後に第７の実施例に示した画像間対応検
出方法は、第１の実施例と同様に画像対応検出装置とし
て実装できる。これは第２の実施例のなかで、演算処理
装置５０４で実行されるプログラムを図８中の２次誤差
関数和のエピポーラ写像パラメータ表現処理（８０３）
とエピポーラ写像パラメータについての非線形反復最小
化処理（８０４）に交換すれば良い。これを第８の実施
例とする。
【０２８０】以上に示した８実施例から、本発明の特長
を以下にまとめることができる。１.従来例に示した輝
度誤差最小化の手法では異なる投影像間の移動が大きな
場合安定してパラメータ推定が行なえなかった。特徴点
対応による方法はこの点に関し頑健である。
【０２８１】一方、画像を少ない符号化量で伝送蓄積す
る画像符号化・復号化装置等の応用では異なる画像から
輝度誤差を最小とする写像パラメータ推定により予測符
号化を行なうことが重要であり、この点において、輝度
誤差最小化の手法は、より合目的である。
【０２８２】本発明は、従来の２手法の長所を統合する
もので、ブロックマッチングの結果を輝度誤差関数とし
て表現することにより、輝度誤差最小化を目的として頑
健なパラメータ推定を行なうことを可能にしている。
【０２８３】２.現在の予測符号化に基づく動画像符号
化装置は、１６×１６画素のブロックマッチングを用い
ており、ハードウェア化が容易であることが既に実証さ
れている。一方、ブロックマッチング後のパラメータ推
定処理は３３０のブロック位置についての演算で済み演
算処理装置とソフトウェアで実現可能である。
【０２８４】３.ブロックマッチングは一度行なうだけ
であり、パラメータ推定に関して再度ブロックマッチン
グを行なう必要がない。画像符号化・復号化装置の出力
結果を用いてパラメータ推定を独立に行なうことがで
る。
【０２８５】
【発明の効果】以上のように本発明は、異なる投影像の
対応位置間に大きな移動量がある場合でも輝度誤差最小
化を目的として写像パラメータ推定が行なえる、すなわ
ち従来の輝度誤差最小化と特徴点対応による推定方法の
両長所を併せている。また個々の発明の効果には以下が
ある。
【０２８６】第１の発明では、部分領域間対応（ブロッ
クマッチング）の結果用いて、輝度誤差を写像パラメー
タで表現し、２階偏微分行列を用いた非線形反復最小化
でパラメータ推定を行なっている。これにより、偏微分
に関して連続関数であれば、任意の写像パラメータを推
定することが可能になっている。
【０２８７】第２の発明では、部分領域間対応の結果を
処理する過程で、初期値を必要としない、すなわち反復
演算を必要としない写像パラメータを求め、これを非線
形反復最小化のパラメータ初期値としている。これによ
り安定した非線形写像のパラメータ推定が可能となって
いる。
【０２８８】第３の発明では、２次誤差関数が最小値を
零とするよう設計されていることを利用して、[0,1]の
重み付け最小化を実現している。
【０２８９】これにより、誤差の大きな部分領域間対応
の重みを連続的に小さくすることができ、誤った部分領
域間対応や、異なる写像パラメータに属する部分領域間
対応の影響を排除することが可能となっている。
【０２９０】第４の発明によれば、最小化対象の２次誤
差関数の総和又は部分和を、写像される直線と２次誤差
関数の値を決める偏位との関係から関数を特定するパラ
メータで再定義することにより、点と点の写像だけでな
く点と直線、直線と直線など画素の部分集合間の写像パ
ラメータが推定可能である。
【０２９１】以上の効果により、予測符号化による画像
符号化・復号化装置、ステレオ画像計測装置、広視野画
像生成装置に利用することができ産業上の利用価値は高
い。
【図面の簡単な説明】
【図１】本発明の第１の実施例における画像間対応検出
方法の処理構成図
【図２】ブロックマッチングを示す図
【図３】ブロックマッチングの誤差絶対値和と２次誤差
関数を示す図
【図４】第１の実施例における平面透視写像パラメータ
についての非線形反復最小化処理の処理構成図
【図５】第２、第４、第６、第８の実施例に共通する画
像間対応検出装置の構成図
【図６】本発明の第３の実施例における画像間対応検出
方法の処理構成図
【図７】本発明の第５の実施例における画像間対応検出
方法の処理構成図
【図８】本発明の第７の実施例における画像間対応検出
方法の処理構成図
【図９】エピポーラ幾何を示す図
【図１０】エピポーラ写像を示す図
【図１１】エピ極線と２次誤差関数を示す図
【図１２】第７の実施例におけるエピポーラ写像パラメ
ータについての非線形反復最小化処理の処理構成図
【符号の説明】
１０１ ブロックマッチングによる誤差演算処理 １０２ 微分オペレータによる２次誤差関数近似処理 １０３ 平面透視写像パラメータについての非線形反復
最小化処理 ４０１ 偏微分演算処理 ４０２ ２階偏微分行列変更処理 ４０３ パラメータ変更演算処理 ４０４ 収束制御変数更新処理 ４０５ パラメータ更新判定処理 ４０６ 収束判定処理 ５０１ フレームメモリ ５０２ ブロックマッチング部 ５０３ ２次誤差関数近似部 ５０４ メモリ ５０５ 演算処理装置 ６０１ ブロックマッチングによる誤差演算処理 ６０２ 微分オペレータによる２次誤差関数近似処理 ６０３ 平面透視写像パラメータの線形化可能部分に対
する最小化処理 ６０４ 平面透視写像パラメータについての非線形反復
最小化処理 ７０１ ブロックマッチングによる誤差演算処理 ７０２ 微分オペレータによる２次誤差関数近似処理 ７０３ ２次誤差関数に対する重み付け初期化処理 ７０４ 平面透視写像パラメータの線形化可能部分に対
する重み付け最小化処理 ７０５ ２次誤差関数に対する再重み付け処理 ７０６ 重み付け収束判定処理 ７０７ 平面透視写像パラメータについての非線形反復
最小化処理 ８０１ ブロックマッチングによる誤差演算処理 ８０２ 微分オペレータによる２次誤差関数近似処理 ８０３ ２次誤差関数和のエピポーラ写像パラメータ表
現処理 ８０４ エピポーラ写像パラメータについての非線形反
復最小化処理 １２０１ 偏微分演算処理 １２０２ ２階偏微分行列変更処理 １２０３ パラメータ変更演算処理 １２０４ 収束制御変数更新処理 １２０５ パラメータ更新判定処理 １２０６ 収束判定処理

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る方法であって、 （1a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算処理と、 （1b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算処理と、 （1c）前記２次誤差関数の総和又は部分和を、関数を表
    現するパラメータで再表現し、パラメータについて非線
    形反復最小化によりパラメータを求める非線形反復最小
    化処理から構成され、さらに前記非線形反復最小化処理
    は （1c-1）前記２次誤差関数の総和又は部分和のパラメー
    タに関する１階偏微分ベクトルと２階偏微分行列を求め
    る偏微分演算処理と、 （1c-2）各反復における最小化が所定の期待値を下回る
    程度に応じて２階偏微分行列の対角成分を増加させる２
    階偏微分行列変更処理と、 （1c-3）前記変更された２階偏微分行列の逆行列を前記
    １階偏微分ベクトルに乗してパラメータの増減値を得る
    パラメータ変更処理から構成され、 前記偏微分演算処理、２階偏微分行列変更処理、パラメ
    ータ変更処理を反復して得られたパラメータ増減値を逐
    次加えてパラメータを変更し最小化を行うことを特徴と
    する画像間対応検出方法。
  2. 【請求項２】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る装置であって、 （2a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算手段と、 （2b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算手段と、 （2c）前記２次誤差関数の総和又は部分和を、関数を表
    現するパラメータで再表現し、パラメータについて非線
    形反復最小化によりパラメータを求める非線形反復最小
    化手段から構成され、さらに、前記非線形反復最小化手
    段は、 （2c-1）前記２次誤差関数の総和又は部分和のパラメー
    タに関する１階偏微分ベクトルと２階偏微分行列を求め
    る偏微分演算手段と、 （2c-2）各反復における最小化が所定の期待値を下回る
    程度に応じて２階偏微分行列の対角成分を増加させる２
    階偏微分行列変更手段と、 （2c-3）前記変更された２階偏微分行列の逆行列を前記
    １階偏微分ベクトルに乗してパラメータの増減値を得る
    パラメータ変更手段から構成され、 前記偏微分演算手段、２階偏微分行列変更手段、パラメ
    ータ変更手段を反復して得られたパラメータ増減値を逐
    次加えてパラメータを変更し最小化を行うことを特徴と
    する画像間対応検出装置。
  3. 【請求項３】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る方法であって、 （3a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算処理と、 （3b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算処理と、 （3c）前記２次誤差関数の総和又は部分和を、関数を表
    現するパラメータで再表現し、パラメータについての偏
    導関数が線形関数となる線形最小化可能パラメータとそ
    うはならない非線形最小化パラメータに分け、前者のみ
    を線形最小化により求める線形パラメータ演算処理と （3d）前記２次誤差関数の総和又は部分和を、前記線形
    最小化可能パラメータについては前記線形パラメータ演
    算処理により得られたパラメータを初期値として前記パ
    ラメータ全てを非線形反復最小化により求める全パラメ
    ータ演算処理を有することを特徴とする画像間対応検出
    方法。
  4. 【請求項４】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る装置であって、 （4a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算手段と、 （4b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算手段と、 （4c）前記２次誤差関数の総和又は部分和を、関数を表
    現するパラメータで再表現し、パラメータについての偏
    導関数が線形関数となる線形最小化可能パラメータとそ
    うはならない非線形最小化パラメータに分け、前者のみ
    を線形最小化により求める線形パラメータ演算手段と、 （4d）前記２次誤差関数の総和又は部分和を、前記線形
    最小化可能パラメータについては前記線形パラメータ演
    算手段により得られたパラメータを初期値として前記パ
    ラメータ全てを非線形反復最小化により求める全パラメ
    ータ演算手段を有することを特徴とする画像間対応検出
    装置。
  5. 【請求項５】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る方法であって、 （5a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算処理と、 （5b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とし最小値を零にもつ２次の誤差関数を各部
    分領域について求める誤差関数演算処理と、 （5c）前記２次誤差関数の重み付け総和を、関数を表現
    するパラメータで再表現し、パラメータについて反復最
    小化によりパラメータを求める反復最小化処理と、 （5d）前記反復最小化の反復過程において、前記２次誤
    差関数の値に逆比例して重み付けを設定する重み付け再
    設定処理から構成されることを特徴とする画像間対応検
    出方法。
  6. 【請求項６】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の位置集合へ写像する関数として表現
    し、この関数を特定する写像パラメータを求めることに
    より画像間の動きを得る装置であって、 （6a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算手段と、 （6b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とし最小値を零にもつ２次の誤差関数を各部
    分領域について求める誤差関数演算手段と、 （6c）前記２次誤差関数の重み付け総和を、関数を表現
    するパラメータで再表現し、パラメータについて反復最
    小化によりパラメータを求める反復最小化手段と、 （6d）前記反復最小化の反復過程において、前記２次誤
    差関数の値に逆比例して重み付けを設定する重み付け再
    設定手段から構成されることを特徴とする画像間対応検
    出装置。
  7. 【請求項７】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の直線へ写像する関数として表現し、
    この関数を特定する写像パラメータを求めることにより
    画像間の動きを得る方法であって、 （7a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算処理と、 （7b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算処理と、 （7c）前記２次誤差関数の総和又は部分和を、写像され
    る直線と２次誤差関数の値を決める偏位との関係から関
    数を特定するパラメータで再定義する誤差パラメータ化
    処理と、 （7d）前記再パラメータ化された２次誤差関数の総和又
    は部分和を、パラメータについて最小化し、最小化する
    パラメータを画像間の動きとして出力する最小化処理を
    有することを特徴とする画像間対応検出方法。
  8. 【請求項８】二つの画像の対応を一方の画面上の位置集
    合を他方の画像上の直線へ写像する関数として表現し、
    この関数を特定する写像パラメータを求めることにより
    画像間の動きを得る装置であって、 （8a）画像を分割して得られる複数の部分領域につい
    て、異なる２つの画像の部分領域の対応を誤差として演
    算し、最小誤差となる前記部分領域間の偏位とその近傍
    の誤差値を求める誤差演算手段と、 （8b）前記最小誤差となる偏位とその近傍の誤差値から
    偏位を変数とする２次の誤差関数を各部分領域について
    求める誤差関数演算手段と、 （8c）前記２次誤差関数の総和又は部分和を、写像され
    る直線と２次誤差関数の値を決める偏位との関係から関
    数を特定するパラメータで再定義する誤差パラメータ化
    手段と、 （8d）前記再パラメータ化された２次誤差関数の総和又
    は部分和を、パラメータについて最小化し、最小化する
    パラメータを画像間の動きとして出力する最小化手段を
    有することを特徴とする画像間対応検出装置。
JP17674397A 1997-07-02 1997-07-02 画像間対応検出方法およびその装置 Expired - Fee Related JP3870491B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17674397A JP3870491B2 (ja) 1997-07-02 1997-07-02 画像間対応検出方法およびその装置
US09/373,408 US6546120B1 (en) 1997-07-02 1999-08-12 Correspondence-between-images detection method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP17674397A JP3870491B2 (ja) 1997-07-02 1997-07-02 画像間対応検出方法およびその装置
US09/373,408 US6546120B1 (en) 1997-07-02 1999-08-12 Correspondence-between-images detection method and system

Publications (2)

Publication Number Publication Date
JPH1125277A true JPH1125277A (ja) 1999-01-29
JP3870491B2 JP3870491B2 (ja) 2007-01-17

Family

ID=26497534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17674397A Expired - Fee Related JP3870491B2 (ja) 1997-07-02 1997-07-02 画像間対応検出方法およびその装置

Country Status (2)

Country Link
US (1) US6546120B1 (ja)
JP (1) JP3870491B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008209971A (ja) * 2007-02-23 2008-09-11 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
US7526361B2 (en) 2002-03-01 2009-04-28 Honda Motor Co., Ltd. Robotics visual and auditory system
WO2024018605A1 (ja) * 2022-07-21 2024-01-25 株式会社ソニー・インタラクティブエンタテインメント 画像情報処理装置、画像情報処理方法、及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US20040179121A1 (en) * 2003-03-12 2004-09-16 Silverstein D. Amnon System and method for displaying captured images according to imaging device position
JP4351522B2 (ja) * 2003-11-28 2009-10-28 株式会社日立ハイテクノロジーズ パターン欠陥検査装置およびパターン欠陥検査方法
JP5014987B2 (ja) * 2004-06-30 2012-08-29 トライデント マイクロシステムズ インコーポレイテッド ビデオモード検出による動き補償
US7283677B2 (en) * 2004-08-31 2007-10-16 Hewlett-Packard Development Company, L.P. Measuring sub-wavelength displacements
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
WO2007014216A2 (en) 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US8275049B2 (en) * 2006-06-16 2012-09-25 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
TWI444047B (zh) * 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US8411966B2 (en) * 2009-03-10 2013-04-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
US8571261B2 (en) * 2009-04-22 2013-10-29 Checkvideo Llc System and method for motion detection in a surveillance video
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
JP2012075088A (ja) * 2010-09-03 2012-04-12 Pentax Ricoh Imaging Co Ltd 画像処理システムおよび画像処理方法
US10373057B2 (en) * 2015-04-09 2019-08-06 International Business Machines Corporation Concept analysis operations utilizing accelerators
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
SG10201913017TA (en) * 2019-12-23 2020-07-29 Sensetime Int Pte Ltd Image association method, system and apparatus
CN112262411B (zh) 2019-12-23 2024-04-05 商汤国际私人有限公司 图像关联方法、***和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655028A (en) * 1991-12-30 1997-08-05 University Of Iowa Research Foundation Dynamic image analysis system
JP3147002B2 (ja) * 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526361B2 (en) 2002-03-01 2009-04-28 Honda Motor Co., Ltd. Robotics visual and auditory system
JP2008209971A (ja) * 2007-02-23 2008-09-11 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
WO2024018605A1 (ja) * 2022-07-21 2024-01-25 株式会社ソニー・インタラクティブエンタテインメント 画像情報処理装置、画像情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US6546120B1 (en) 2003-04-08
JP3870491B2 (ja) 2007-01-17

Similar Documents

Publication Publication Date Title
JP3870491B2 (ja) 画像間対応検出方法およびその装置
JP3651590B2 (ja) 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法
JP3020898B2 (ja) アフィンカメラ補正による三次元位置の線形推定方法
Gleicher Projective registration with difference decomposition
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US7599512B2 (en) Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program
JP2006260527A (ja) 画像マッチング方法およびこれを用いた画像補間方法
KR20210119417A (ko) 깊이 추정법
JP2009134509A (ja) モザイク画像生成装置及びモザイク画像生成方法
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
KR20200023211A (ko) 스테레오 이미지의 정류를 위한 방법 및 시스템
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
Davis et al. Equivalence of subpixel motion estimators based on optical flow and block matching
JP4102386B2 (ja) ３次元情報復元装置
Freundlich et al. Exact bias correction and covariance estimation for stereo vision
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
US20030099295A1 (en) Method for fast motion estimation using bi-directional and symmetrical gradient schemes
KR20060007816A (ko) 영상 합성 방법
Lee et al. Low-Latency and Scene-Robust Optical Flow Stream and Angular Velocity Estimation
JPH0688706A (ja) 視点・物点位置決定方法
JP2000261808A (ja) 画像符号化方法、画像復号化方法、および観測系動き推定方法とその装置
Bartoli The geometry of dynamic scenes—On coplanar and convergent linear motions embedded in 3D static scenes
JP2825571B2 (ja) 画像の動きパラメータ推定方法及び装置
EP2507767B1 (en) Camera movement estimation
Chen et al. Single view metrology of wide-angle lens images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040701

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040805

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees