JP2823577B2 - 画像マッチング装置 - Google Patents
画像マッチング装置Info
- Publication number
- JP2823577B2 JP2823577B2 JP1025840A JP2584089A JP2823577B2 JP 2823577 B2 JP2823577 B2 JP 2823577B2 JP 1025840 A JP1025840 A JP 1025840A JP 2584089 A JP2584089 A JP 2584089A JP 2823577 B2 JP2823577 B2 JP 2823577B2
- Authority
- JP
- Japan
- Prior art keywords
- contrast
- luminance
- circuit
- fourier transform
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 （発明の属する技術分野） 本発明は画像のディジタル信号処理を行なう場合の画
像マッチング装置に関するものである。
像マッチング装置に関するものである。
（従来の技術） 従来、動画像の動きベクトル検出やステレオ画像にお
ける被写体の変位ベクトル検出に用いられてきたブロッ
クマッチング方式は、画像間に輝度変化やコントラスト
変化がある場合には正確に変化ベクトルを検出できない
という問題点があった。
ける被写体の変位ベクトル検出に用いられてきたブロッ
クマッチング方式は、画像間に輝度変化やコントラスト
変化がある場合には正確に変化ベクトルを検出できない
という問題点があった。
このブロックマッチング方式は比較すべき画像をＮ×
Ｎのブロックに区切って数サンプル分シフトさせ、画像
間の差の絶対値和あるいは２乗和を求め、最小値を与え
るシフトベクトルを変位とする手法である。従って、画
像の平均輝度やコントラストが変化すれば画像の変位と
輝度変化を区別することができず、しばしば現実とは異
なった動きが検出されていた。
Ｎのブロックに区切って数サンプル分シフトさせ、画像
間の差の絶対値和あるいは２乗和を求め、最小値を与え
るシフトベクトルを変位とする手法である。従って、画
像の平均輝度やコントラストが変化すれば画像の変位と
輝度変化を区別することができず、しばしば現実とは異
なった動きが検出されていた。
（発明の目的） 本発明の目的は、動画像に輝度およびコントラスト変
化がある場合に、正確に動きベクトルを検出すると共に
輝度およびコントラスト変化を検出することにある。ま
た、ステレオ画像間において輝度およびコントラスト変
化がある場合に、被写体の変位と輝度およびコントラス
ト変化を検出することにある。
化がある場合に、正確に動きベクトルを検出すると共に
輝度およびコントラスト変化を検出することにある。ま
た、ステレオ画像間において輝度およびコントラスト変
化がある場合に、被写体の変位と輝度およびコントラス
ト変化を検出することにある。
（発明の構成） （発明の特徴と従来の技術との差異） 本発明は、上記目的を達成するため、離散化された画
像をフーリエ変換係数の位相差の逆変換によって画像の
変位を検出する位相相関法によることを最も主要な特徴
とする。従って本発明は画像の輝度，コントラスト変化
に関係なく変位検出が可能であり、この検出された変位
量を用いて輝度とコントラストの変化の推定を行うこと
ができる。従来のブロックマッチング方式に比べ、
（ア）画像に輝度，コントラスト変化のある場合でも変
位量推定が可能であることと、（イ）位相相関法により
求めた変位量を用いて輝度，コントラスト変化を推定で
きる点が従来と異なる。
像をフーリエ変換係数の位相差の逆変換によって画像の
変位を検出する位相相関法によることを最も主要な特徴
とする。従って本発明は画像の輝度，コントラスト変化
に関係なく変位検出が可能であり、この検出された変位
量を用いて輝度とコントラストの変化の推定を行うこと
ができる。従来のブロックマッチング方式に比べ、
（ア）画像に輝度，コントラスト変化のある場合でも変
位量推定が可能であることと、（イ）位相相関法により
求めた変位量を用いて輝度，コントラスト変化を推定で
きる点が従来と異なる。
（実施例） 第１図は本発明を実施するための一実施例のブロック
構成図を示す。同図において、１及び２は夫々離散化さ
れた入力画像Z,X、３及び４は上記入力画像Z,Xのフーリ
エ変換回路、５及び６は該フーリエ変換回路が求めたフ
ーリエ係数の位相項、７は該位相項5,6の差分を求める
位相差計算回路、８は該位相差計算回路７で求められた
差分を再び逆変換する逆フーリエ変換回路、10は前記入
力画像Ｘを該フーリエ変換回路８で求めた変位量αでシ
フトさせるデータシフト回路、11はそのデータシフト回
路10の出力であるシフトデータ、12は該シフトデータと
前記入力画像Ｚを入力とし、輝度推定値13（）及びコ
ントラスト推定値14（）を求める輝度，コントラスト
推定回路である。
構成図を示す。同図において、１及び２は夫々離散化さ
れた入力画像Z,X、３及び４は上記入力画像Z,Xのフーリ
エ変換回路、５及び６は該フーリエ変換回路が求めたフ
ーリエ係数の位相項、７は該位相項5,6の差分を求める
位相差計算回路、８は該位相差計算回路７で求められた
差分を再び逆変換する逆フーリエ変換回路、10は前記入
力画像Ｘを該フーリエ変換回路８で求めた変位量αでシ
フトさせるデータシフト回路、11はそのデータシフト回
路10の出力であるシフトデータ、12は該シフトデータと
前記入力画像Ｚを入力とし、輝度推定値13（）及びコ
ントラスト推定値14（）を求める輝度，コントラスト
推定回路である。
次にこれの動作を説明すると、離散化された２フレー
ムの入力画像1,2をそれぞれフーリエ変換回路3,4におい
てフーリエ変換し、位相差計算回路７においてフーリエ
係数の位相項5,6の差分を求め、逆フーリエ変換回路８
において再び逆変換する。このとき、フーリエ変換係数
の振幅項は計算には用いない。位相相関関数は変位量
（α）９に一致する点でインパルスを与える。
ムの入力画像1,2をそれぞれフーリエ変換回路3,4におい
てフーリエ変換し、位相差計算回路７においてフーリエ
係数の位相項5,6の差分を求め、逆フーリエ変換回路８
において再び逆変換する。このとき、フーリエ変換係数
の振幅項は計算には用いない。位相相関関数は変位量
（α）９に一致する点でインパルスを与える。
次にデータシフト回路10において入力画像（Ｘ）２を
変位量αだけシフトさせる。シフトされたデータ11とも
う一方のオリジナルデータである入力画像（Ｚ）１が輝
度，コントラスト推定回路12に入力される。この輝度，
コントラスト推定回路では、輝度とコントラストの各推
定値13（）,14（）が計算され出力される。
変位量αだけシフトさせる。シフトされたデータ11とも
う一方のオリジナルデータである入力画像（Ｚ）１が輝
度，コントラスト推定回路12に入力される。この輝度，
コントラスト推定回路では、輝度とコントラストの各推
定値13（）,14（）が計算され出力される。
次に上記実施例の動作原理について説明する。まず、
位相相関による変位ベクトル推定の原理をのべる。
位相相関による変位ベクトル推定の原理をのべる。
信号ｘ（ｎ）（ｎ＝0,1,…,N−１）を変位量αでサン
プルシフト（変位）した信号をｙ（ｎ）（ｎ＝0,1,…,N
−１）とし、それぞれのフーリエ変換をフーリエ変換回
路3,4で行ないＸ（ｋ）,Y（ｋ）（ｋ＝0,1,…,N−１）
とすると夫々下記（１）式，（２）式で示される。
プルシフト（変位）した信号をｙ（ｎ）（ｎ＝0,1,…,N
−１）とし、それぞれのフーリエ変換をフーリエ変換回
路3,4で行ないＸ（ｋ）,Y（ｋ）（ｋ＝0,1,…,N−１）
とすると夫々下記（１）式，（２）式で示される。
Ｘ（ｋ）＝|X（ｋ）|exp（ｊθｘ（ｋ））……（１） Ｙ（ｋ）＝|Y（ｋ）|exp（ｊθｙ（ｋ））……（２） 次に位相相関による変位の推定は、逆フーリエ変換回路
８でもって位相差のフーリエ逆変換すると、下記（３）
式で求められる。
８でもって位相差のフーリエ逆変換すると、下記（３）
式で求められる。
ｄ（ｎ）＝Ｆ−１［exp（ｊθｘ（ｋ）exp（−ｊθｙ
（ｋ））］ ……（３） ここで信号の周期性を仮定したとき、 上記（４）式となり、変位量αの位置でインパルスが得
られる。信号ｙ（ｎ）の振幅が ｚ（ｎ）＝ay（ｎ）＋ｂ ……（５） と変化しても、信号ｘ（ｎ）と信号ｙ（ｎ）の位相相関
は（３）式で与えられる。従って、これを動画像の動き
補償に用いた場合、入力信号レベルが線形に変化する場
合にも動ベクトル推定が可能である。また、異なった特
性のカメラにより撮像されたステレオ画像間の視差ベク
トルの推定も可能である。
（ｋ））］ ……（３） ここで信号の周期性を仮定したとき、 上記（４）式となり、変位量αの位置でインパルスが得
られる。信号ｙ（ｎ）の振幅が ｚ（ｎ）＝ay（ｎ）＋ｂ ……（５） と変化しても、信号ｘ（ｎ）と信号ｙ（ｎ）の位相相関
は（３）式で与えられる。従って、これを動画像の動き
補償に用いた場合、入力信号レベルが線形に変化する場
合にも動ベクトル推定が可能である。また、異なった特
性のカメラにより撮像されたステレオ画像間の視差ベク
トルの推定も可能である。
次に輝度，コントラスト変化の推定の動作原理をのべ
る。
る。
信号ｚ（ｎ）と変位量が既に推定された信号Ｘ（ｎ＋
α）の輝度およびコントラストの最良近似を行う。評価
関数Ｊを次式で定義する。
α）の輝度およびコントラストの最良近似を行う。評価
関数Ｊを次式で定義する。
ここに、 は比較すべき信号のベクトル表示， である。（６）式をa,bで偏微分して０と置けば、 となり、最小値minJを与える，が得られる。第１図
の輝度，コントラスト推定回路12では、（７）式が実行
される。
の輝度，コントラスト推定回路12では、（７）式が実行
される。
処理対象とする画像信号に異なった変位の被写体が複
数個含まれるときには、（３）式のｄ（ｎ）は単一のイ
ンパルスではなく複数のピークを与える。そこで、いく
つかのピークを与える座標を変位の候補として、ブロッ
クあるいは画素単位に検定を行い、これら候補の中から
実際の変位を表現するシフト量を抽出する。この検定
は、候補となった複数の変位量αに対応する を求め、最小値を与える に対応する変位量αを変位とすればよい。このとき、局
所的な輝度およびコントラストの推定は を（７）式に代入して得られる。
数個含まれるときには、（３）式のｄ（ｎ）は単一のイ
ンパルスではなく複数のピークを与える。そこで、いく
つかのピークを与える座標を変位の候補として、ブロッ
クあるいは画素単位に検定を行い、これら候補の中から
実際の変位を表現するシフト量を抽出する。この検定
は、候補となった複数の変位量αに対応する を求め、最小値を与える に対応する変位量αを変位とすればよい。このとき、局
所的な輝度およびコントラストの推定は を（７）式に代入して得られる。
本発明の有効性を確認するため、計算機実験を行っ
た。
た。
第２図ないし第４図（１）はその実験結果を示す図で
ある。第２図はランダム雑音（第４図（２）のS/N＝40d
B）を加えた２次元の画像信号Ｘ（i,j）（i,j＝0,……,
63）（0,255）を示し、図の突出部が輝度の大きさを、
また、平面部のギザギザ模様は雑音を示す。
ある。第２図はランダム雑音（第４図（２）のS/N＝40d
B）を加えた２次元の画像信号Ｘ（i,j）（i,j＝0,……,
63）（0,255）を示し、図の突出部が輝度の大きさを、
また、平面部のギザギザ模様は雑音を示す。
同様に第３図はサンプル変位（αi,αｊ）＝9.9と輝
度，コントラスト変化（ａ＝0.9 b＝−５）を施し、雑
音を加えた２次元の画像信号Ｚ（i,j）を示す。図面上
の突出部やギザギザ模様は上記第２図と同じであり、両
図とも（３）式，（７）式により推定を行った。
度，コントラスト変化（ａ＝0.9 b＝−５）を施し、雑
音を加えた２次元の画像信号Ｚ（i,j）を示す。図面上
の突出部やギザギザ模様は上記第２図と同じであり、両
図とも（３）式，（７）式により推定を行った。
また第４図（１）はS/N＝40dBの場合の位相相関図を
示し、その突出部がインパルスｄ（ｎ）が得られた位置
である。また第４図（２）は、S/Nを変えたときの変位
ベクトル コントラスト（）の推定結果を示す図である。この図
から分かるようにS/Nが∞の場合だけでなく、約40dBの
雑音が重畳している場合にも有効に変位ベクトルと輝
度，コントラストが推定できる。
示し、その突出部がインパルスｄ（ｎ）が得られた位置
である。また第４図（２）は、S/Nを変えたときの変位
ベクトル コントラスト（）の推定結果を示す図である。この図
から分かるようにS/Nが∞の場合だけでなく、約40dBの
雑音が重畳している場合にも有効に変位ベクトルと輝
度，コントラストが推定できる。
（発明の効果） 以上説明したように、位相相関を用いた変位ベクトル
推定は、輝度あるいはコントラスト変化のある場合にも
有効に動作する。従って、本発明によれば、時間的輝度
変化の推定を含んだ動きベクトルの推定や空間的輝度変
化の推定を含んだステレオ画像間の視差ベクトルの推定
を正確に行うことができる。
推定は、輝度あるいはコントラスト変化のある場合にも
有効に動作する。従って、本発明によれば、時間的輝度
変化の推定を含んだ動きベクトルの推定や空間的輝度変
化の推定を含んだステレオ画像間の視差ベクトルの推定
を正確に行うことができる。
第１図は本発明を実施するための一実施例のブロック構
成図、第２図ないし第４図は本発明の有効性を確認する
ため計算機実験を行った時の図を示し、第２図は画像信
号Ｘ（i,j）、第３図は画像信号Ｚ（i,j）、第４図は位
相相関関数（１）と推定結果（２）を示す。 １…入力画像Ｚ、２…入力画像Ｘ、3,4…フーリエ変換
回路、5,6…位相項、７…位相差計算回路、８…逆フー
リエ変換回路、９…変位ベクトル（シフト量）、10…デ
ータシフト回路、11…シフトデータ、12…輝度，コント
ラスト推定回路、13…輝度推定値、14…コントラスト推
定値。
成図、第２図ないし第４図は本発明の有効性を確認する
ため計算機実験を行った時の図を示し、第２図は画像信
号Ｘ（i,j）、第３図は画像信号Ｚ（i,j）、第４図は位
相相関関数（１）と推定結果（２）を示す。 １…入力画像Ｚ、２…入力画像Ｘ、3,4…フーリエ変換
回路、5,6…位相項、７…位相差計算回路、８…逆フー
リエ変換回路、９…変位ベクトル（シフト量）、10…デ
ータシフト回路、11…シフトデータ、12…輝度，コント
ラスト推定回路、13…輝度推定値、14…コントラスト推
定値。
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (2)
- 【請求項１】入力画像ｘ（ｎ）の位相項を計算する第１
のフーリエ変換回路と、 該入力画像より数フレーム後である信号ｙ（ｎ）の輝度
とコントラストが変化した入力画像ｚ（ｎ）＝ay（ｎ）
＋ｂの位相項を計算する第２のフーリエ変換回路と、 前記第１のフーリア変換回路と前記第２のフーリエ変換
回路の位相項の差を計算する位相差計算回路と、 該位相項の差の逆フーリエ変換を行う逆フーリエ変換回
路と、 該逆フーリエ変換回路の出力である変換量αに基づき入
力画像ｘ（ｎ）のデータシフトを行うデータシフト回路
と、 入力画像ｚ（ｎ）と前記データシフトされたｘ（ｎ）に
基づき輝度およびコントラストを推定する輝度・コント
ラスト推定回路より構成される ことを特徴とする画像マッチング装置。 - 【請求項２】前記輝度・コントラスト推定回路におい
て、輝度、コントラストの推定値、が ただし、Ｚ＝［ｚ（０） z（１）…ｚ（Ｎ−１）］T， Ｘ＝［ｘ（０） x（１）…ｘ（Ｎ−１）］T， Ｕ＝［1 1 ……１］T で求められる ことを特徴とする請求項１記載の画像マッチング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1025840A JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1025840A JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02206294A JPH02206294A (ja) | 1990-08-16 |
| JP2823577B2 true JP2823577B2 (ja) | 1998-11-11 |
Family
ID=12177050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1025840A Expired - Fee Related JP2823577B2 (ja) | 1989-02-06 | 1989-02-06 | 画像マッチング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2823577B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3032852B2 (ja) * | 1992-04-23 | 2000-04-17 | 三菱電機株式会社 | 動きベクトル抽出回路 |
| CN1098509C (zh) * | 1996-11-01 | 2003-01-08 | 株式会社山武 | 图形抽出装置 |
| WO1998020454A1 (fr) * | 1996-11-01 | 1998-05-14 | Yamatake Corporation | Appareil d'extraction de structure |
| JP4018273B2 (ja) * | 1998-12-10 | 2007-12-05 | キヤノン株式会社 | 映像処理装置及びその制御方法及び記憶媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63287189A (ja) * | 1987-05-20 | 1988-11-24 | Hitachi Ltd | 動き検出回路 |
-
1989
- 1989-02-06 JP JP1025840A patent/JP2823577B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| Ｊ．Ｊ．Ｐｅａｒｓｏｎ"ＶＩＤＥＯ ＩＭＡＧＥ ＣＯＲＲＥＬＡＴＩＯＮＰＲＯＣＥＳＳＯＲ"ＳＰＩＥ Ｖｏｌ．１１９ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＯＣＣ１９７７） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02206294A (ja) | 1990-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6285797B1 (en) | Method and apparatus for estimating digital video quality without using a reference video | |
| KR100677574B1 (ko) | 비디오 시퀀스로부터 노이즈 분포를 추정하는 방법 | |
| EP0999521A2 (en) | High precision sub-pixel spatial alignment of digital images | |
| KR960033130A (ko) | 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법 | |
| JP2006146926A (ja) | ２次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| US8189054B2 (en) | Motion estimation method, device, and system for image processing | |
| Hill et al. | On the estimation of global motion using phase correlation for broadcast applications | |
| JP4862816B2 (ja) | 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置 | |
| JP2823577B2 (ja) | 画像マッチング装置 | |
| JPH06292203A (ja) | 動画像解析装置 | |
| EP0367310B1 (en) | Picture motion measurement | |
| Hadar et al. | Image motion restoration from a sequence of images | |
| JPH07505033A (ja) | ビデオ画像運動補償システムにおける非線形画像変換，例えばズーム及びパンを補償するための機械的方法 | |
| JP5603341B2 (ja) | 位相面相関のための適応周波数領域フィルタリング | |
| GB2187059A (en) | Motion detector for video signal prediction systems | |
| KR20050119285A (ko) | 하이브리드 블록기반 움직임 추정장치 및 그 방법 | |
| JP2741888B2 (ja) | 階層的画像マッチング処理方法および装置 | |
| KR100282305B1 (ko) | 디지탈 카메라의 움직임 번짐에 의해 열화된 영상의 움직임 번짐 정보를 추정하는 장치와 방법 | |
| Choudhary et al. | A novel approach for edge detection for blurry images by using digital image processing | |
| JP3219458B2 (ja) | 距離測定装置 | |
| JPH0766989A (ja) | 動き量検出装置及び動き量検出方法 | |
| WO1995024096A1 (en) | Motion estimation | |
| JPH06176151A (ja) | 画像の動き量検出装置 | |
| JPH07222143A (ja) | 画像間の大域変位の検出方法 | |
| JP2937213B2 (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |