JP2823577B2 - 画像マッチング装置 - Google Patents
画像マッチング装置Info
- Publication number
- JP2823577B2 JP2823577B2 JP1025840A JP2584089A JP2823577B2 JP 2823577 B2 JP2823577 B2 JP 2823577B2 JP 1025840 A JP1025840 A JP 1025840A JP 2584089 A JP2584089 A JP 2584089A JP 2823577 B2 JP2823577 B2 JP 2823577B2
- Authority
- JP
- Japan
- Prior art keywords
- contrast
- luminance
- circuit
- fourier transform
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 (発明の属する技術分野) 本発明は画像のディジタル信号処理を行なう場合の画
像マッチング装置に関するものである。
像マッチング装置に関するものである。
(従来の技術) 従来、動画像の動きベクトル検出やステレオ画像にお
ける被写体の変位ベクトル検出に用いられてきたブロッ
クマッチング方式は、画像間に輝度変化やコントラスト
変化がある場合には正確に変化ベクトルを検出できない
という問題点があった。
ける被写体の変位ベクトル検出に用いられてきたブロッ
クマッチング方式は、画像間に輝度変化やコントラスト
変化がある場合には正確に変化ベクトルを検出できない
という問題点があった。
このブロックマッチング方式は比較すべき画像をN×
Nのブロックに区切って数サンプル分シフトさせ、画像
間の差の絶対値和あるいは2乗和を求め、最小値を与え
るシフトベクトルを変位とする手法である。従って、画
像の平均輝度やコントラストが変化すれば画像の変位と
輝度変化を区別することができず、しばしば現実とは異
なった動きが検出されていた。
Nのブロックに区切って数サンプル分シフトさせ、画像
間の差の絶対値和あるいは2乗和を求め、最小値を与え
るシフトベクトルを変位とする手法である。従って、画
像の平均輝度やコントラストが変化すれば画像の変位と
輝度変化を区別することができず、しばしば現実とは異
なった動きが検出されていた。
(発明の目的) 本発明の目的は、動画像に輝度およびコントラスト変
化がある場合に、正確に動きベクトルを検出すると共に
輝度およびコントラスト変化を検出することにある。ま
た、ステレオ画像間において輝度およびコントラスト変
化がある場合に、被写体の変位と輝度およびコントラス
ト変化を検出することにある。
化がある場合に、正確に動きベクトルを検出すると共に
輝度およびコントラスト変化を検出することにある。ま
た、ステレオ画像間において輝度およびコントラスト変
化がある場合に、被写体の変位と輝度およびコントラス
ト変化を検出することにある。
(発明の構成) (発明の特徴と従来の技術との差異) 本発明は、上記目的を達成するため、離散化された画
像をフーリエ変換係数の位相差の逆変換によって画像の
変位を検出する位相相関法によることを最も主要な特徴
とする。従って本発明は画像の輝度,コントラスト変化
に関係なく変位検出が可能であり、この検出された変位
量を用いて輝度とコントラストの変化の推定を行うこと
ができる。従来のブロックマッチング方式に比べ、
(ア)画像に輝度,コントラスト変化のある場合でも変
位量推定が可能であることと、(イ)位相相関法により
求めた変位量を用いて輝度,コントラスト変化を推定で
きる点が従来と異なる。
像をフーリエ変換係数の位相差の逆変換によって画像の
変位を検出する位相相関法によることを最も主要な特徴
とする。従って本発明は画像の輝度,コントラスト変化
に関係なく変位検出が可能であり、この検出された変位
量を用いて輝度とコントラストの変化の推定を行うこと
ができる。従来のブロックマッチング方式に比べ、
(ア)画像に輝度,コントラスト変化のある場合でも変
位量推定が可能であることと、(イ)位相相関法により
求めた変位量を用いて輝度,コントラスト変化を推定で
きる点が従来と異なる。
(実施例) 第1図は本発明を実施するための一実施例のブロック
構成図を示す。同図において、1及び2は夫々離散化さ
れた入力画像Z,X、3及び4は上記入力画像Z,Xのフーリ
エ変換回路、5及び6は該フーリエ変換回路が求めたフ
ーリエ係数の位相項、7は該位相項5,6の差分を求める
位相差計算回路、8は該位相差計算回路7で求められた
差分を再び逆変換する逆フーリエ変換回路、10は前記入
力画像Xを該フーリエ変換回路8で求めた変位量αでシ
フトさせるデータシフト回路、11はそのデータシフト回
路10の出力であるシフトデータ、12は該シフトデータと
前記入力画像Zを入力とし、輝度推定値13()及びコ
ントラスト推定値14()を求める輝度,コントラスト
推定回路である。
構成図を示す。同図において、1及び2は夫々離散化さ
れた入力画像Z,X、3及び4は上記入力画像Z,Xのフーリ
エ変換回路、5及び6は該フーリエ変換回路が求めたフ
ーリエ係数の位相項、7は該位相項5,6の差分を求める
位相差計算回路、8は該位相差計算回路7で求められた
差分を再び逆変換する逆フーリエ変換回路、10は前記入
力画像Xを該フーリエ変換回路8で求めた変位量αでシ
フトさせるデータシフト回路、11はそのデータシフト回
路10の出力であるシフトデータ、12は該シフトデータと
前記入力画像Zを入力とし、輝度推定値13()及びコ
ントラスト推定値14()を求める輝度,コントラスト
推定回路である。
次にこれの動作を説明すると、離散化された2フレー
ムの入力画像1,2をそれぞれフーリエ変換回路3,4におい
てフーリエ変換し、位相差計算回路7においてフーリエ
係数の位相項5,6の差分を求め、逆フーリエ変換回路8
において再び逆変換する。このとき、フーリエ変換係数
の振幅項は計算には用いない。位相相関関数は変位量
(α)9に一致する点でインパルスを与える。
ムの入力画像1,2をそれぞれフーリエ変換回路3,4におい
てフーリエ変換し、位相差計算回路7においてフーリエ
係数の位相項5,6の差分を求め、逆フーリエ変換回路8
において再び逆変換する。このとき、フーリエ変換係数
の振幅項は計算には用いない。位相相関関数は変位量
(α)9に一致する点でインパルスを与える。
次にデータシフト回路10において入力画像(X)2を
変位量αだけシフトさせる。シフトされたデータ11とも
う一方のオリジナルデータである入力画像(Z)1が輝
度,コントラスト推定回路12に入力される。この輝度,
コントラスト推定回路では、輝度とコントラストの各推
定値13(),14()が計算され出力される。
変位量αだけシフトさせる。シフトされたデータ11とも
う一方のオリジナルデータである入力画像(Z)1が輝
度,コントラスト推定回路12に入力される。この輝度,
コントラスト推定回路では、輝度とコントラストの各推
定値13(),14()が計算され出力される。
次に上記実施例の動作原理について説明する。まず、
位相相関による変位ベクトル推定の原理をのべる。
位相相関による変位ベクトル推定の原理をのべる。
信号x(n)(n=0,1,…,N−1)を変位量αでサン
プルシフト(変位)した信号をy(n)(n=0,1,…,N
−1)とし、それぞれのフーリエ変換をフーリエ変換回
路3,4で行ないX(k),Y(k)(k=0,1,…,N−1)
とすると夫々下記(1)式,(2)式で示される。
プルシフト(変位)した信号をy(n)(n=0,1,…,N
−1)とし、それぞれのフーリエ変換をフーリエ変換回
路3,4で行ないX(k),Y(k)(k=0,1,…,N−1)
とすると夫々下記(1)式,(2)式で示される。
X(k)=|X(k)|exp(jθx(k))……(1) Y(k)=|Y(k)|exp(jθy(k))……(2) 次に位相相関による変位の推定は、逆フーリエ変換回路
8でもって位相差のフーリエ逆変換すると、下記(3)
式で求められる。
8でもって位相差のフーリエ逆変換すると、下記(3)
式で求められる。
d(n)=F−1[exp(jθx(k)exp(−jθy
(k))] ……(3) ここで信号の周期性を仮定したとき、 上記(4)式となり、変位量αの位置でインパルスが得
られる。信号y(n)の振幅が z(n)=ay(n)+b ……(5) と変化しても、信号x(n)と信号y(n)の位相相関
は(3)式で与えられる。従って、これを動画像の動き
補償に用いた場合、入力信号レベルが線形に変化する場
合にも動ベクトル推定が可能である。また、異なった特
性のカメラにより撮像されたステレオ画像間の視差ベク
トルの推定も可能である。
(k))] ……(3) ここで信号の周期性を仮定したとき、 上記(4)式となり、変位量αの位置でインパルスが得
られる。信号y(n)の振幅が z(n)=ay(n)+b ……(5) と変化しても、信号x(n)と信号y(n)の位相相関
は(3)式で与えられる。従って、これを動画像の動き
補償に用いた場合、入力信号レベルが線形に変化する場
合にも動ベクトル推定が可能である。また、異なった特
性のカメラにより撮像されたステレオ画像間の視差ベク
トルの推定も可能である。
次に輝度,コントラスト変化の推定の動作原理をのべ
る。
る。
信号z(n)と変位量が既に推定された信号X(n+
α)の輝度およびコントラストの最良近似を行う。評価
関数Jを次式で定義する。
α)の輝度およびコントラストの最良近似を行う。評価
関数Jを次式で定義する。
ここに、 は比較すべき信号のベクトル表示, である。(6)式をa,bで偏微分して0と置けば、 となり、最小値minJを与える,が得られる。第1図
の輝度,コントラスト推定回路12では、(7)式が実行
される。
の輝度,コントラスト推定回路12では、(7)式が実行
される。
処理対象とする画像信号に異なった変位の被写体が複
数個含まれるときには、(3)式のd(n)は単一のイ
ンパルスではなく複数のピークを与える。そこで、いく
つかのピークを与える座標を変位の候補として、ブロッ
クあるいは画素単位に検定を行い、これら候補の中から
実際の変位を表現するシフト量を抽出する。この検定
は、候補となった複数の変位量αに対応する を求め、最小値を与える に対応する変位量αを変位とすればよい。このとき、局
所的な輝度およびコントラストの推定は を(7)式に代入して得られる。
数個含まれるときには、(3)式のd(n)は単一のイ
ンパルスではなく複数のピークを与える。そこで、いく
つかのピークを与える座標を変位の候補として、ブロッ
クあるいは画素単位に検定を行い、これら候補の中から
実際の変位を表現するシフト量を抽出する。この検定
は、候補となった複数の変位量αに対応する を求め、最小値を与える に対応する変位量αを変位とすればよい。このとき、局
所的な輝度およびコントラストの推定は を(7)式に代入して得られる。
本発明の有効性を確認するため、計算機実験を行っ
た。
た。
第2図ないし第4図(1)はその実験結果を示す図で
ある。第2図はランダム雑音(第4図(2)のS/N=40d
B)を加えた2次元の画像信号X(i,j)(i,j=0,……,
63)(0,255)を示し、図の突出部が輝度の大きさを、
また、平面部のギザギザ模様は雑音を示す。
ある。第2図はランダム雑音(第4図(2)のS/N=40d
B)を加えた2次元の画像信号X(i,j)(i,j=0,……,
63)(0,255)を示し、図の突出部が輝度の大きさを、
また、平面部のギザギザ模様は雑音を示す。
同様に第3図はサンプル変位(αi,αj)=9.9と輝
度,コントラスト変化(a=0.9 b=−5)を施し、雑
音を加えた2次元の画像信号Z(i,j)を示す。図面上
の突出部やギザギザ模様は上記第2図と同じであり、両
図とも(3)式,(7)式により推定を行った。
度,コントラスト変化(a=0.9 b=−5)を施し、雑
音を加えた2次元の画像信号Z(i,j)を示す。図面上
の突出部やギザギザ模様は上記第2図と同じであり、両
図とも(3)式,(7)式により推定を行った。
また第4図(1)はS/N=40dBの場合の位相相関図を
示し、その突出部がインパルスd(n)が得られた位置
である。また第4図(2)は、S/Nを変えたときの変位
ベクトル コントラスト()の推定結果を示す図である。この図
から分かるようにS/Nが∞の場合だけでなく、約40dBの
雑音が重畳している場合にも有効に変位ベクトルと輝
度,コントラストが推定できる。
示し、その突出部がインパルスd(n)が得られた位置
である。また第4図(2)は、S/Nを変えたときの変位
ベクトル コントラスト()の推定結果を示す図である。この図
から分かるようにS/Nが∞の場合だけでなく、約40dBの
雑音が重畳している場合にも有効に変位ベクトルと輝
度,コントラストが推定できる。
(発明の効果) 以上説明したように、位相相関を用いた変位ベクトル
推定は、輝度あるいはコントラスト変化のある場合にも
有効に動作する。従って、本発明によれば、時間的輝度
変化の推定を含んだ動きベクトルの推定や空間的輝度変
化の推定を含んだステレオ画像間の視差ベクトルの推定
を正確に行うことができる。
推定は、輝度あるいはコントラスト変化のある場合にも
有効に動作する。従って、本発明によれば、時間的輝度
変化の推定を含んだ動きベクトルの推定や空間的輝度変
化の推定を含んだステレオ画像間の視差ベクトルの推定
を正確に行うことができる。
第1図は本発明を実施するための一実施例のブロック構
成図、第2図ないし第4図は本発明の有効性を確認する
ため計算機実験を行った時の図を示し、第2図は画像信
号X(i,j)、第3図は画像信号Z(i,j)、第4図は位
相相関関数(1)と推定結果(2)を示す。 1…入力画像Z、2…入力画像X、3,4…フーリエ変換
回路、5,6…位相項、7…位相差計算回路、8…逆フー
リエ変換回路、9…変位ベクトル(シフト量)、10…デ
ータシフト回路、11…シフトデータ、12…輝度,コント
ラスト推定回路、13…輝度推定値、14…コントラスト推
定値。
成図、第2図ないし第4図は本発明の有効性を確認する
ため計算機実験を行った時の図を示し、第2図は画像信
号X(i,j)、第3図は画像信号Z(i,j)、第4図は位
相相関関数(1)と推定結果(2)を示す。 1…入力画像Z、2…入力画像X、3,4…フーリエ変換
回路、5,6…位相項、7…位相差計算回路、8…逆フー
リエ変換回路、9…変位ベクトル(シフト量)、10…デ
ータシフト回路、11…シフトデータ、12…輝度,コント
ラスト推定回路、13…輝度推定値、14…コントラスト推
定値。
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68
Claims (2)
- 【請求項1】入力画像x(n)の位相項を計算する第1
のフーリエ変換回路と、 該入力画像より数フレーム後である信号y(n)の輝度
とコントラストが変化した入力画像z(n)=ay(n)
+bの位相項を計算する第2のフーリエ変換回路と、 前記第1のフーリア変換回路と前記第2のフーリエ変換
回路の位相項の差を計算する位相差計算回路と、 該位相項の差の逆フーリエ変換を行う逆フーリエ変換回
路と、 該逆フーリエ変換回路の出力である変換量αに基づき入
力画像x(n)のデータシフトを行うデータシフト回路
と、 入力画像z(n)と前記データシフトされたx(n)に
基づき輝度およびコントラストを推定する輝度・コント
ラスト推定回路より構成される ことを特徴とする画像マッチング装置。 - 【請求項2】前記輝度・コントラスト推定回路におい
て、輝度、コントラストの推定値、が ただし、Z=[z(0) z(1)…z(N−1)]T, X=[x(0) x(1)…x(N−1)]T, U=[1 1 ……1]T で求められる ことを特徴とする請求項1記載の画像マッチング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1025840A JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1025840A JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH02206294A JPH02206294A (ja) | 1990-08-16 |
JP2823577B2 true JP2823577B2 (ja) | 1998-11-11 |
Family
ID=12177050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1025840A Expired - Fee Related JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2823577B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3032852B2 (ja) * | 1992-04-23 | 2000-04-17 | 三菱電機株式会社 | 動きベクトル抽出回路 |
CN1098509C (zh) * | 1996-11-01 | 2003-01-08 | 株式会社山武 | 图形抽出装置 |
WO1998020454A1 (fr) * | 1996-11-01 | 1998-05-14 | Yamatake Corporation | Appareil d'extraction de structure |
JP4018273B2 (ja) * | 1998-12-10 | 2007-12-05 | キヤノン株式会社 | 映像処理装置及びその制御方法及び記憶媒体 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63287189A (ja) * | 1987-05-20 | 1988-11-24 | Hitachi Ltd | 動き検出回路 |
-
1989
- 1989-02-06 JP JP1025840A patent/JP2823577B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
J.J.Pearson"VIDEO IMAGE CORRELATIONPROCESSOR"SPIE Vol.119 Application of Digital Image Processing (IOCC1977) |
Also Published As
Publication number | Publication date |
---|---|
JPH02206294A (ja) | 1990-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6285797B1 (en) | Method and apparatus for estimating digital video quality without using a reference video | |
KR100677574B1 (ko) | 비디오 시퀀스로부터 노이즈 분포를 추정하는 방법 | |
EP0999521A2 (en) | High precision sub-pixel spatial alignment of digital images | |
KR960033130A (ko) | 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법 | |
JP2006146926A (ja) | 2次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
US8189054B2 (en) | Motion estimation method, device, and system for image processing | |
Hill et al. | On the estimation of global motion using phase correlation for broadcast applications | |
JP4862816B2 (ja) | 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置 | |
JP2823577B2 (ja) | 画像マッチング装置 | |
JPH06292203A (ja) | 動画像解析装置 | |
EP0367310B1 (en) | Picture motion measurement | |
Hadar et al. | Image motion restoration from a sequence of images | |
JPH07505033A (ja) | ビデオ画像運動補償システムにおける非線形画像変換,例えばズーム及びパンを補償するための機械的方法 | |
JP5603341B2 (ja) | 位相面相関のための適応周波数領域フィルタリング | |
GB2187059A (en) | Motion detector for video signal prediction systems | |
KR20050119285A (ko) | 하이브리드 블록기반 움직임 추정장치 및 그 방법 | |
JP2741888B2 (ja) | 階層的画像マッチング処理方法および装置 | |
KR100282305B1 (ko) | 디지탈 카메라의 움직임 번짐에 의해 열화된 영상의 움직임 번짐 정보를 추정하는 장치와 방법 | |
Choudhary et al. | A novel approach for edge detection for blurry images by using digital image processing | |
JP3219458B2 (ja) | 距離測定装置 | |
JPH0766989A (ja) | 動き量検出装置及び動き量検出方法 | |
WO1995024096A1 (en) | Motion estimation | |
JPH06176151A (ja) | 画像の動き量検出装置 | |
JPH07222143A (ja) | 画像間の大域変位の検出方法 | |
JP2937213B2 (ja) | 動きベクトル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |