JP3448868B2 - 画像一致検出装置及び画像一致検出方法 - Google Patents
画像一致検出装置及び画像一致検出方法Info
- Publication number
- JP3448868B2 JP3448868B2 JP50574195A JP50574195A JP3448868B2 JP 3448868 B2 JP3448868 B2 JP 3448868B2 JP 50574195 A JP50574195 A JP 50574195A JP 50574195 A JP50574195 A JP 50574195A JP 3448868 B2 JP3448868 B2 JP 3448868B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- matching
- blocks
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
ック単位で検出評価する画像一致検出装置と画像一致検
出方法に関し、特に解像度の異なる撮像装置で撮影した
低解像度画像と高解像度画像とを一致させる際に用いて
好適な画像一致検出装置及び画像一致検出方法に関す
る。
メラ系で撮像された画像を用いて一方の撮影画像と他方
の撮影画像との一致を図る方法がある。動き量検出で知
られるブロックマッチング法である。
上に所定の大きさのブロックを設定する。また、上記他
方の撮影画像上には、設定したブロックを探索するため
の探索範囲を設定する。画像一致の評価は、上記ブロッ
クと上記探索範囲内の探索ブロックが類似性を有するか
どうかによって行っている。ブロックマッチング法は、
この一連の処理を画面全体に行って一方の撮影画像と他
方の撮影画像が一致するか検出している。
ラ系で撮影した画像であるから、各画像は画角フォーマ
ット、すなわちアスペクト比が一致しており、画像内の
各画素がそれぞれ一対一の関係になっている。このた
め、各画像の信号特性、特に輝度信号には違いが生じな
い。結果としてブロックマッチング法では、所望の各画
像に対する一致検出を容易に行っている。
く、異なるカメラ系で撮影した際、上述したような一方
の画像と他方の画像の一致検出は、簡単に行うことがで
きない。この原因は、異なるカメラ系の画角フォーマッ
トが一致しないため、すなわち一方の画像のブロックの
画素位置に対する他方の画像の探索範囲内の画素位置が
一致しないために起こる。
るため、例えば使用するカメラの光学フィルタが異なっ
たり、撮像した画像のノイズ特性にも違いを生じてしま
う。このような仕様の異なるカメラ系で撮影することに
よってそれぞれの出力信号特性の違いが顕著になってく
る。特に、解像度の異なるカメラ系で撮影した画像間に
は、定量的に輝度信号のレベル分布と信号間のダイナミ
ックレンジに違いが生じる。このため、異なるフォーマ
ットにおいて撮影した画像間の一致を検出しようとして
も、画像を構成する画素位置が一致しないことと出力画
像間の特性が一致しないことにより、完全に一致した画
像の検出ができなかった。
画像に応じて双方の画素位置が異なってしまう画像であ
っても画像あるいは画素の一致を検出できる画像一致検
出装置及び画像一致検出方法の提供を目的とする。
なる第1の撮像素子が出力する第1の画像と第2の画素
数からなる第2の撮像素子が出力する第2の画像との各
画素間の一致関係を検出する画像一致検出装置であっ
て、上記第1及び第2の画像の基準位置に基づいて低精
度の画素合わせを行う低精度画像一致検出手段と、上記
低精度画像一致検出手段の検出結果に応じて第1の画像
上でのブロックに対応する探索範囲を上記第2の画像上
に設定し、上記第1の画像上のブロックにマッチングす
る第2の画像上のブロックを上記探索範囲内で探索する
ブロックマッチング処理を行うブロックマッチング処理
手段とを有することを特徴とする。
第1及び第2の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする。
画像を高解像度画像とするとき、上記ブロックマッチン
グ処理手段は、上記低精度画像一致検出手段の検出結果
に応じて上記低解像度画像上でのブロックに対応する探
索範囲を上記高解像度画像上に設定し、上記低解像度画
像上のブロックにマッチングする上記高解像度画像上の
ブロックを上記探索範囲内で大域的に探索して候補を見
つけ、さらに上記低解像度画像と上記高解像度画像のそ
れぞれの画素間を補間することによって設定したブロッ
クと探索範囲内のブロックとの類似性を高精度に評価
し、一致がとれる画像を検出することを特徴とする。
体を撮像することを特徴とする。
が付されていることを特徴とする。
素数からなる第1の撮像素子が出力する第1の画像と第
2の画素数からなる第2の撮像素子が出力する第2の画
像との各画素間の一致関係を検出する画像一致検出装置
であって、上記第1及び第2の画像の基準位置に基づい
て低精度の画素合わせを行う低精度画像一致検出手段
と、上記低精度画像一致検出手段の検出結果に応じて上
記第1及び第2の画像を該第2の画像上に探索範囲を設
定して大域的にサーチしてそれぞれの注目点を選定し、
この注目点を含む対応ブロックを上記第1及び第2の画
像に設定してこれらの輝度信号の平均レベル又は標準偏
差が一致するように補正した後に上記対応ブロックにブ
ロックマッチング処理を施すブロックマッチング処理手
段とを有することを特徴とする。
対応ブロックをn回階層的に小さくしながら輝度信号の
平均レベルの差の検出及び補正又は輝度信号の標準偏差
の比の検出及び補正とブロックマッチング処理をn回繰
り返すことを特徴とする。
及び第2の画像の各画素間のデータを補間により生成し
た後に、上記ブロックマッチング処理を行うことを特徴
とする。
体を撮像することを特徴とする。
が付されていることを特徴とする。
からなる第1の撮像素子が出力する第1の画像と第2の
画素数からなる第2の撮像素子が出力する第2の画像と
の各画素間の一致関係を検出する画像一致検出装置であ
って、上記第1及び第2の画像の基準位置に基づいて低
精度の画素合わせを行う低精度画像一致検出手段と、上
記低精度画像一致検出手段の検出結果に応じて上記第1
及び第2の画像を大域的にサーチしてそれぞれの注目点
を選定し、この注目点を含む対応ブロックをそれぞれ設
定した後に、この対応ブロックを段階的に大きくしなが
ら上記第1の画像内のブロックと上記第2の画像内のブ
ロックの輝度信号平均レベルの差又は標準偏差の比を求
め、該差又は比が収束したときの差又は比の値を用い
て、上記対応ブロック内の輝度信号平均レベル又は標準
偏差を補正し、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施すブロ
ックマッチング処理手段とを有することを特徴とする。
第1及び第2の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする。
体を撮像することを特徴とする。
が付されていることを特徴とする。
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、これら高解像度画像と低解像
度画像のそれぞれの画素間を補間することによって設定
したブロックと探索範囲内のブロックとの類似性を高精
度に評価し、一致がとれる画像を検出するブロック一致
検出工程とを有することを特徴とする。
度画像と低解像度画像の輝度信号レベルの平均値又は標
準偏差を画面全体で一致させ、ブロック単位の一致検出
を行う際に、再度、局所的な対応ブロック単位に輝度信
号レベルの平均値又は標準偏差とを一致させることを特
徴とする。
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の相関係数を用いて評価すること
を特徴とする。
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の差分の絶対値和を用いて評価す
ることを特徴とする。
画像と低解像度画像のブロック間の類似性を評価する方
法として、ブロック間の差分の2乗和を用いて評価する
ことを特徴とする。
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、上記候補探索工程で探索した
候補を含む対応ブロックを低解像度及び高解像度の画像
に設定してこれらの輝度信号平均レベル又は標準偏差が
一致するように補正した後に上記対応ブロックの類似性
を高精度に評価し、一致がとれる画像を検出するブロッ
ク一致検出工程とを有することを特徴とする。
ロックをn回階層的に小さくしながら輝度信号の平均レ
ベルの差の検出及び補正又は輝度信号の標準偏差の比の
検出及び補正とブロックマッチング処理をn回繰り返す
ことを特徴とする。
チングの際の評価値を総合的に判定して、マッチング候
補画素の補正を行うことを特徴とする。
値を下位階層の評価値に適用する際、下位階層の評価対
象画素位置に対応する上位階層の評価値が存在するよう
に、マッチングの際のブロックサイズとサーチエリアを
調製することを特徴とする。
るカメラで撮影した各静止画像の一致を検出する画像一
致検出方法において、低解像度画像内に所定の大きさの
ブロックを設定するブロック設定工程と、高解像度画像
上に上記ブロックに対応する探索範囲を設定する探索範
囲設定工程と、上記探索範囲を大域的に探索して候補を
見つける候補探索工程と、上記候補探索工程で探索した
候補を含む対応ブロックをそれぞれ設定した後に、この
対応ブロックを段階的に大きくしながら上記低解像度画
像内のブロックと上記高解像度画像内のブロックの輝度
信号平均レベル又は標準偏差の比を求め、該差又は該比
が収束してときの差又は比の値を用いて、階層的な複数
のブロックの大きいブロックから小さいブロックへ順次
マッチング処理を施し、一致がとれる画像を検出するブ
ロック一致検出工程とを有することを特徴とする。
び第2の画像の各画素間のデータを補間により生成した
後に、上記候補探索工程で探索した候補を含む対応ブロ
ックをそれぞれ設定し、この対応ブロックを段階的に大
きくしながら上記低解像度画像内のブロックと上記高解
像度画像内のブロックの輝度信号平均レベル又は標準偏
差の比を求め、該差又は該比が収束してときの差又は比
の値を用いて、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施し、一
致がとれる画像を検出することを特徴とする。
機能構成を示した機能ブロック図である。
機能ブロック中の前処理部に対応する回路構成を示した
ブロック回路図である。
いるマーカを示した模式図である。
いるマーカの配置関係を示した模式図である。
いて画像一致検出する手順を示したメインフローチャー
トである。
線の位相を合わせた際の両画像の水平方向の画素の位置
関係を示した模式図である。
ルーチンSUB1の手順を示したフローチャートである。
ルーチンSUB2の手順を示したフローチャートである。
ルーチンSUB3の手順を示したフローチャートである。
う際に行うHD画像とSD画像での水平方向の画素間補間の
関係を示した模式図である。
用いて画像一致検出する手順を示したメインフローチャ
ートである。
ルーチンSUB4の手順を示したフローチャートである。
評価値テーブルと最適位置の遷移を示す図である。
ための図である。
行う大域マッチング処理の手順を示したフローチャート
である。
行う解像マッチング処理の手順を示したフローチャート
である。
る。
出方法のいくつかの実施例について、図面を参照しなが
ら説明する。
からなる第1の撮像素子が出力する第1の画像と第2の
画素数からなる第2の撮像素子が出力する第2の画像と
の各画素間の一致関係を検出する装置である。本発明で
は具体的に上記第1の画像として、標準テレビジョン方
式の一つである例えばNTSC方式の525本からなる画像を
低解像度画像(以下、SD(標準解像度)画像という)、
上記第2の画像として、高精細度方式である例えば1125
本からなる高解像度画像(以下、HD(高精細度)画像と
いう)を扱う場合を例に挙げる。
置は、例えば図1に示すように、第1及び上記第2の画
像の基準位置及び画素数に基づいて低精度の画素合わせ
を行う低精度画像一致検出手段としての低精度画像ブロ
ック合わせ機能部1と、低精度画像ブロック合わせ機能
部1の検出結果に応じて各画素間を補間した画像に対し
てブロックマッチング処理を施すブロックマッチング処
理手段としての高精度画像ブロック合わせ機能部2とを
有して構成される。また、画像一致検出装置は、低精度
画像と高精度画像間の信号特性の差を前処理部3に吸収
させている。
精度画像ブロック合わせ機能部1と前処理部3に供給さ
れる。前処理部3は第1及び上記第2の画像の画素から
位置データの関係を示す情報(基準位置情報)及び画素
数データを抽出し、低精度画像ブロック合わせ機能部1
に供給している。低精度画像ブロック合わせ機能部1
は、前処理部3から供給された画素データと基準位置情
報に応じてSD画像とHD画像とに対して低精度の画素合わ
せを行う。この低精度画像ブロック合わせ機能部1が行
う低精度の画素合わせとは、画素のブロック化を行う際
の基準位置としての初期アドレスの設定のことである。
すなわち、この低精度画像ブロック合わせ機能部1で
は、HD画像とSD画像の画像データの位置関係をマーカ位
置を基準にし、予測した対応画素位置を初期値として与
えている。なお、この低精度画像ブロック合わせ機能部
1の処理については後段で詳述する。
に低精度画像ブロック合わせ機能部1の検出結果に応じ
て各画素間を補間した画像に対してブロックマッチング
処理を施す。具体的に、この高精度画像ブロック合わせ
機能部2は、SD画像内に設定された任意の範囲のブロッ
クに対応する探索範囲を上記低精度ブロック合わせ機能
部1の検出結果、すなわち初期アドレスに応じて設定
し、上記SD画像上のブロックに対応する上記HD画像上の
ブロックを上記探索範囲内で大域的に探索して一致領域
の候補を見つけ、さらにSD画像とHD画像のそれぞれの画
素間を補間することによって設定したブロックと探索範
囲内のブロックとの類似性を高精度で評価し、一致がと
れる画像を検出する。そして、高精度に一致が検出され
たそれぞれの画像を出力端子6、7から出力する。な
お、この高精度画像ブロック合わせ機能部2の処理につ
いても後段で詳述する。
めの前処理部3の回路構成について説明する。
様に応じた撮像装置11、12で撮影したマーカ付きの同一
被写体に対するSD画像とHD画像の画像データの中から被
写体内に書き込まれたマーカをそれぞれの画像について
検出するマーカ検出部13と、該マーカ検出部13の検出結
果を基にマーカ位置判定を行うマーカ位置判定部14とで
構成される。
らなる第1の撮像素子部11aと、該第1の撮像素子部11a
で撮像した第1の画像に相当するSD画像を蓄積するSD画
像蓄積部11bと、マーカ位置判定部14から供給される制
御信号に応じて撮影装置の例えば物理的位置、角度、ズ
ーム率等を調整するカメラ調整部11cとで構成される。
素数からなる第2の撮像素子部12aと、該第2の撮像素
子部12aで撮像した第2の画像に相当するHD画像を蓄積
するHD画像蓄積部12bと、マーカ位置判定部14から供給
される制御信号に応じてカメラの調整を行うカメラ調整
部12cとで構成される。
HD画像とをそれぞれSD画像蓄積部11bとHD画像蓄積部12b
とを介してマーカ検出部13に入力させる。マーカ検出部
13は、同一被写体に対するSD画像とHD画像の画像データ
から、基準の画素位置を示すマーカを検出する。このマ
ーカは被写体撮影時に一緒に記録される。マーカ検出部
13で検出されたマーカは、マーカ位置判定部14に供給さ
れる。このマーカ位置判定部14は、マーカ検出部13の検
出結果を基にマーカ位置判定を行う。具体的に、このマ
ーカ位置判定部14は、上記検出結果を基に、低精度画像
ブロック合わせ機能部1に低精度の画素合わせを行わせ
るため、SD画像とHD画像の信号特性の差を吸収する。こ
の処理は、各画像の輝度信号の平均値及び標準偏差をと
ることにより、例えばSD画像の輝度信号を補正してい
る。この結果を基にして設定された画枠条件に検出した
マーカ位置が合致するか判定を行っている。合致しない
場合、マーカ位置判定部14は、撮像装置11、12が有する
カメラ調整部11c、12cにそれぞれ制御信号を供給して撮
像装置11、12の例えば物理的位置、角度、ズーム率、必
要に応じて光量等を調整して再度撮影し、画枠条件を満
足させることができるまで上述した操作を繰り返す。こ
こで、設定された画枠条件については後段で詳述する。
画像とHD画像との信号特性の差を吸収すると共に、アス
ペクト比16:9のHD画像に対してアスペクト比4:3のSD画
像をどのように調整すべきかを画像データや各画素の基
準位置情報から知ることもできる。なお、この前処理部
3のマーカ位置判定部14の判定結果に応じた切換制御信
号を例えば図2に示すように、切換スイッチSWに送って
画像の採用の可否を制御することもできる。
る。
地に黒線が十字に入ったものを用いている。このマーカ
を図4の(a)及び(b)に示すように、被写***置上
で水平方向、垂直方向の4箇所M1、M2、M3及びM4に付
け、該マーカM1、M2、M3及びM4を含んだ画像をそれぞれ
撮影する。各マーカは被写体の上の画枠21内に配され
る。マーカM1、M2が同一の高さで水平方向に、マーカM
3、M4が、同じ列に、すなわち垂直方向にそれぞれ配さ
れている。
向のマーカM1、M2の交点間がw1、垂直方向のマーカM3、
M4の交点間がh1と設定されている。また、SD画像では、
例えば図4(b)に示すように、水平方向のマーカM1、
M2の交点間がw2、垂直方向のマーカM3、M4の交点間がh2
というように、上記HD画像とは画角フォーマットが異な
るため異なる位置に設定されることになる。
の検出手順について簡単に説明する。マーカ検出部13で
は、黒線の交点位置を計算により求めている。先ず、各
画像上に付けられたマーカ近傍で、近傍内が白地と黒線
のみの画像になるようにマーカ領域20を設定する。そし
て、各マーカ領域20内の座標を(x,y)、この座標(x,
y)での輝度信号レベルをYx,yとして、水平x方向、垂
直y方向に対する輝度信号レベルの積算値をそれぞれ求
める。
して一定(すなわちy座標y=h一定)にし、x座標と
しての変数iを例えばゼロからNまで変化させた際の各
画素の輝度信号レベルを加算して求めることによって、 と表される。
カ位置決定において輝度信号レベル積算値Swは、所定の
x座標x=wと固定し、y座標としての示す変数jを例
えばゼロからNまで変化させた際の各画素の輝度信号レ
ベルを加算して求めることによって、 と表される。ここで、添字wは固定するx座標、添字h
は固定するライン位置、Nはマーカ領域20の水平方向と
垂直方向の画素数を示している。この関係から明らかな
ように、この輝度信号レベル積算値Shの最小値min
(Sh)を示す添字hは、十字のマーカの垂直方向の線と
交わるy座標hmを示している。また、輝度信号レベル積
算値Swの最小値min(Sw)を示す添字hは、十字のマー
カの水平方向の線と交わるx座標Wmを示している。従っ
て、マーカの交点座標は、関数min()が最小座標を出
力する関数とすると、 (min(Sw),min(Sh))=(Wm,hm) [条件:w=0,…,N;h=0,…,N] ・・・(3) と表される。
点として検出している。
部14で行う。HD画像とSD画像には、画像上に図4(a)
と図4(b)に示すマーカM1〜M4も撮像して取り込んで
いる。ここでは、撮像装置11、12の相対的位置のずれに
より、撮像した画像に回転成分が入るのを防ぐために、
HD画像とSD画像の水平、垂直性が一致するように撮像す
る。予め被写体に付したマーカの交点座標はマーカM1、
M2のy座標とマーカM3、M4のx座標を同じ位置に配して
いるから、各マーカの上述した座標をポイントにして両
画像も同じ座標値を取る必要が生じる。これらマーカ中
心座標の位置関係を維持して撮像することが、各画像に
おけるマーカ位置に対する撮像条件である。前述したよ
うにこの撮像条件を満足するためマーカ位置判定部14
は、撮像装置11、12に設けているカメラ調整部11c、12c
を制御し、マーカ位置調整を行っている。
合、各画像のフォーマットからHD画像はSD画像に対して
略々2倍の解像度を有している。しかし、マーカ間に含
まれる画素数は、HD画像とSD画像のアスペクト比が異な
るため、マーカ中心の水平、垂直方向でずれてしまう。
また、SD画像をHD画像にアップコンバートするときやHD
画像をSD画像にダウンコンバートするとき、上記アスペ
クト比の違いを考慮して例えば大きなHD画像領域内にSD
画像をはめ込んで表示させたり、画像表示する位置を一
方側に寄せて表示したり、ズーム率を変化させて画面の
一部を削ったりと各種の大きさに画面表示させることが
できる。この両画像の関係を画像データ、画像データの
位置関係から求める必要が生じる。
w1、SD画像における水平方向のマーカ間画素数をw2、HD
画像における垂直方向のマーカ間画素数をh1、SD画像に
おける垂直方向のマーカ間画素数をh2とすると、HD画像
とSD画像のマーカ間画素数関係は、 w1=2×w2 ・・・(4) h1=2×h2 ・・・(5) という関係に表されるが、式(4)と(5)を同時に満
足させることは上述したようなアスペクト比の違いから
できない。
関係、すなわち式(5)を満足させると、HD画像とSD画
像のマーカ間画素数関係は、画素アスペクト比の関係か
ら、 w1<2×w2 ・・・(6) h1=2×h2 ・・・(5) となる(図6の関係を参照)。
わち基準位置条件及び式(6)と式(5)の画素データ
条件を同時に満たすとき、画像一致検出装置は入力した
HD画像とSD画像を採用する。
施例の画像一致検出装置はそれぞれ対応画素を決定する
処理動作を開始する。この手順について例えば図5に示
すメインフローチャートや図6のHD画像とSD画像のマー
カ間画素数関数を示した模式図を参照しながら説明す
る。ここでの手順はおもにSD画像をHD画像にアップコン
バートさせる際の画像一致手順を説明している。
号レベル平均や信号間のダイナミックレンジが異なるた
め、画素合わせが難しい。したがって、最初に画像一致
前処理サブルーチンSUB1では、この信号特性の違いを吸
収するために、例えばそれぞれの画像における輝度信号
レベルの平均値及び標準偏差を補正する。すなわち、画
像一致前処理サブルーチンSUB1では、SD画像をHD画像へ
の対応付けを可能にする輝度信号レベルの平均値(適宜
にオフセットという。)と標準偏差(適宜にゲインとい
う。)の補正を行う。
7を参照しながら説明する。この図7において、ステッ
プS10では、HD画像に対するこの画像の輝度信号レベル
の平均値及び標準偏差が1フレーム中のマッチングをと
る全画素を対象に算出される。
輝度信号レベルの平均値及び標準偏差が1フレーム中の
マッチングをとる全画素を対象に算出される。
値を用いてSD画像の輝度信号レベルの平均値及び標準偏
差をHD画像の輝度信号レベル及び標準偏差に補正する。
この補正方法としては、各変数を例えばHD画像の輝度信
号レベルの平均値をMeanHD、その輝度信号レベルの標準
偏差をStdvHD、SD画像の輝度信号レベルの平均値をMean
SD、その輝度信号レベルの標準偏差をStdvSDとすると、
補正されたSD画像の輝度信号レベルYSDが、 から求められる。
うに補正して信号特性の違いを吸収している。
正が終了すると、ステップS1に進む。
に対応画素の初期アドレスの設定を行わせる。上記
(5)、(6)式に示したように垂直方向の2つのマー
カ間、すなわち、マーカM3とマーカM4間のHD画像の走査
線数がSD画像の走査線数の丁度2倍になる場合、水平方
向の画素位置関係は、図6に示すようにマーカM3とM4の
垂直方向のマーカ中心線MCUを軸として軸対称に画素の
配設する位相がずれる関係になる。従って、マーカ中心
線MCUの位置から水平方向に離れれば離れるほど位相が
ずれることになる。
w1とSD画像における画素数w2の関係が例えば画素数w2=
2個とすると、このSD画素2個の間にHD画素数w1は3個
しか入れることができない。このことより、画素数関係
w1<2×w2が成り立っていることが判る。
直方向に関してHD画素間距離h01とSD画素間距離h02の関
係は、式(5)からHD画素間距離h01を基準にすると、 h02=2h01 である。また、図6の水平方向に関してHD画素間距離w
01とSD画素間距離w02の関係は、式(6)からHD画素間
距離w01を基準にすると、 w02<2w01 になっている。HD画素の画素間距離に対するSD画素の画
素間距離の比率は、w02/w01なる。
画素の画素間距離の比率を求め、画素数で表すとこの比
率は、(2×w2)/w1となる。図6の垂直方向の中心位
置MCUから水平方向に離れた画枠内の任意HDの画素数dHD
は、同様に中心位置MCUから水平方向に離れたSDの画素
数をdSDとすると、 で求めることができる。ステップS1において、この画素
数dSD、dHDを用いて画素のブロック化を行う際の基準位
置としての初期アドレスが設定される。
1で設定された後、該初期アドレスを基に高精度画像ブ
ロック合わせ機能部2は対応画素のブロックマッチング
処理をサブルーチンSUB2のように行う。すなわち、この
サブルーチンSUB2において、高精度画像ブロック合わせ
機能部2は、SD画像内に設定された任意の範囲のブロッ
クに対応する探索範囲を上記低精度ブロック合わせ機能
部1の検出結果、すなわち初期アドレスに応じて設定
し、上記SD画像上のブロックに対応する上記HD画像上の
ブロックを上記探索範囲内で大域的に探索して一致領域
の候補を見つける。
ンSUB2の処理手順を図8を参照しながら説明する。先
ず、ステップS20で図6の中心軸MCV上の画素を対象画素
とし、この対象画素を中心に近傍のブロックをSD画像上
で設定する。図6からも明かなように対象画素近傍のSD
画素とHD画素の水平方向の位相ずれは微小である。
アスペクト比の影響が無視できる。従って、HD画像側に
設けるブロックは、1サンプルおきに画素をとったブロ
ック構成にする。
ックの探索範囲の設定を行う。
像側のブロックとHD画像側の探索ブロックの間で輝度信
号レベルの平均値及び標準偏差をブロック単位で補正処
理する。
フレームの画面について輝度信号レベルの補正を行って
いるが、この補正処理だけでは不十分な場合が多いた
め、個々のブロックについて局所的に再補正を行ってい
る。この補正処理はこの処理により、マッチングをとり
易くすることを狙っている。
にSD画像側のブロックとHD画像側の探索範囲内の探索ブ
ロックでこれら両者のブロックを対応ブロックとして評
価が行われる。
j)は、SD画像側のブロックサイズをM×N画素、探索
範囲を±dm画素、SDフレームの輝度信号レベルをYSD、H
Dフレームの輝度信号レベルをYHDとすると、 で表している。ここで、i,jは−dm以上、dm以下(すな
わち、−dm≦i,j≦dm)の範囲で変化する。また、輝度
信号レベルYHDの変数を(2m+i)、(2n+i)とした
のは、図6に示しすように、SD画像とHD画像とでは対応
画素の抽出度が異なるためである。この式(9)はブロ
ック間の相関係数を求めており、算出したNCCF(i,j)
が最大になるブロック同士を相関がある最適値とする。
なお、この実施例では、評価関数としてNCCF(i,j)を
用いたが、ブロックマッチングさせる方法は評価関数と
してNCCF(i,j)に限定されるものでなく、通常ブロッ
ク間の差分の絶対値和MAD(i,j)やブロック間の差分の
2乗和MSE(i,j)を用いる場合がある。MAD(i,j)とMS
E(i,j)については、それぞれ、 と表す。これらの関数の評価は、最小となるMAD(i,j)
やMSE(i,j)を最適値として用いる。通常、式(10)の
MAD(i,j)を用いる場合が一般的である。このようにス
テップS23で求めたブロックを「候補」として設定する
ことにより、ブロックマッチング処理が行われ、ブロッ
ク間の違いが最も少ない位置を確からしい画素としてを
切り出すことができる。
索が完了したかどうかの判断が行われている。すべての
探索が未完のとき、ステップS20に戻って上述した一連
の処理を繰り返す。また、すべての探索が完了したと
き、処理がすべて完了したものとしてこのサブルーチン
SUB2を終了し図5のメインフローのステップS2に戻る。
索結果を用いて、HD画像とSD画像の対応ブロックを大域
的に探索して最適な「候補」を決定する。
クマッチング処理がサブルーチンSUB3で行われる。この
高精度なブロックマッチング処理について図9及び図10
を参照しながら以下に説明する。先ず、この高精度なブ
ロックマッチング処理を行う必要性は、図6に示したよ
うにHD画像とSD画像における垂直方向の走査線の位相を
一致させても水平方向の画素位置が基準から離れるにつ
れて大きくなるようなずれを生じているので、この水平
方向の画素のずれがあっても画素のマッチングをとって
一致を図るためである。これにより、画素の位相合わせ
は、対応画素のない位置に対しても例えば補間処理によ
って生成した画素を用いて実際の画素以下の精度でマッ
チングをとって行っている。
画像が有する画素以下の画素を設定する。このため、画
素以下の画素は、線形補間した画素で表す。
素と補間画素との関係は、例えば図10に示すような関係
にある。画素間補間の関係を説明すると、HD画像の解像
度がSD画像の略々2倍あるため、SD画像の補間画素数が
HD画像の2倍になるようにする。図10に示した補間画素
の関係は、SD画像の画素間の元々の分解能が4で画素候
補A、Bの間に3つの補間画素Q1、Q2、Q3を配して補間
し、HD画像の画素間の元々の分解能が2で画素候補a、
bの間に1つの補間画素P1を配して補間する関係の場合
を示している。この補間画素の生成は、線形補間処理に
より行っている。
候補A、Bを用いて画素近傍の画素以下の画素である補
間画素Q1、Q2、Q3が計算によって求められる。線形補間
による補間画素Q1、Q2、Q3は、 の各式(12)、(13)、(14)によって求められる。
補a、bを用いて画素近傍の画素以下の画素である補間
画素P1が計算によって求められる。線形補間による補間
画素P1は、 の式(15)によって求められる。
を補間した場合、補間画素値Hiは、 で求めることができる。ここで、上記変数iは、i=1,
・・・,(n−1)である。
分は、サブルーチンSUB2のステップS20〜ステップS24ま
での5ステップ分の処理と全く同じ処理を補間画素を含
めたブロックに対してブロックマッチングを行う。
チングの判定を行う。すなわち、ステップS3では、サブ
ルーチンSUB3で算出した画素以下の精度でマッチングを
調べた候補画素を採用してよいかどうかの判定を行う。
この判定は、マッチングの最適値が補間画素や候補画素
以外の画素位置ではなく、候補画素の位置であること
と、その候補画素の評価値が予め設定しておいた閾値よ
りも良い値のとき採用する。
ッチング処理部は切換スイッチSWにブロックの画素を出
力するように切り換える。このようにして精度の異なる
画像の対応を画素毎に行うことができる。
素位置が最適となる画素位置のアドレスと一致し、さら
にそのときの評価値が妥当と判断されたとき、ステップ
S4に進む。また、妥当と判断されなかったとき、ステッ
プS5に進む。このようにしてステップS3では設定したブ
ロックと探索範囲内の探索ブロックとの類似性が高精度
に評価されている。そして、ステップS4では、マッチン
グのとれた画素アドレスの登録が行われる。
についてのマッチング処理が行われたかどうかを判定し
ている。すべての「候補」の判定がまだ(No)のとき、
ステップS1に戻り、すべてについて終了した(Yesの)
とき、画像一致の処理を終了する。
るHD画像が決定するので、この関係に基づいて例えばSD
画像をHD画像にアップコンバートするように画像一致検
出装置の出力結果を使用することができる。例えばアッ
プコンバートする際に画像一致処理により予めSD画像の
レベル分布に応じた候補を用いて適応的なクラスの選択
を行っているため画像の局所的性質に追従したアップコ
ンバートを可能にしている。したがって、従来のアップ
コンバートにおいて得られるSD画像の解像度と何等変わ
らない補間画像に比べて高精度なHD画像を生成させるこ
とができる。
た場合を示したが、水平方向の画素数を一致させる場合
もある。このときの式(6)、(5)に対応する条件
は、画素数で表すと、 w1=2×w2 ・・・(17) h1<2×h2 ・・・(18) となる。この場合の高精度なブロックマッチングを行う
際の線形補間は、垂直方向に対して行われ、補間画素を
生成することになる。
は、対応画素近傍で設定し、評価を1画素に対して行っ
ているが上述した方法に限定されるものでなく、マッチ
ングをブロック、あるいは領域単位に行うこともでき
る。
をアプリケーションとして適用すると、SD画像とHD画像
のマッチングを行い、マッチングのとれたSD画像をHD画
像に置き換えることにより解像度を改善することができ
るようになる。また、ステレオ視を可能にするカメラ装
置で、例えばカメラ系が異なる画像同士の対応付けにも
適用して画像の対応の認識を行って使用可能なカメラ装
置の範囲を広げることができる。
検出装置について説明する。この画像一致検出装置も、
例えば図1に示すように、低精度画像一致検出手段とし
ての低精度画像ブロック合わせ機能部1と、ブロックマ
ッチング処理手段としての高精度画像ブロック合わせ機
能部2とを有して構成される。また、この画像一致検出
装置は、低精度画像と高精度画像間の信号特性の差を前
処理部3に吸収させている。
第1の実施例のそれと同様であるが、高精度画像ブロッ
ク合わせ機能部2は、上記第1の実施例のそれと異な
る。
部2は、SD画像内に設定された任意の範囲のブロックに
対応する探索範囲を上記低精度ブロック合わせ機能部1
の検出結果、すなわち、初期アドレスに応じて設定し、
上記SD画像上のブロックに対応する上記HD画像上のブロ
ックを上記探索範囲内で大域的に探索して一致領域の候
補を見つけ、さらにSD画像とHD画像のそれぞれの画素間
を補間することによって設定したブロックと探索範囲内
のブロックとの類似性を高精度で評価している。評価方
法は、SD画像側とHD画像側のブロック(対応ブロック)
間で輝度信号の平均値と標準偏差の補正を行い、ブロッ
ク間の違いが最も小さい位置を確からしい対応画素の候
補とするものであった。
チングの時に用いるブロックサイズに比べるとかなり大
きいブロックで探索された画素である。そこで、候補画
素が局所的に見た場合でもマッチングをとる候補画素で
あるかを調べ、ずれが生じていた場合候補位置の補正を
行うことが考えられる。
精度画像ブロック合わせ機能部2に、具体的に、階層構
造を持つマッチングを行わせ、ブロックサイズを順次小
さくすることで画素間補間マッチングのブロックサイズ
に近ずけるものである。
供給された画素データと基準位置情報に応じてSD画像と
HD画像とに対して低精度の画素合わせを行うのは、上記
第1の実施例のそれと同様であるので説明を省略する。
また、前処理部3の構成及び動作も説明を省略する。
定された任意の範囲のブロックに対応する探索範囲を上
記低精度ブロック合わせ機能部1の検出結果、すなわち
初期アドレスに応じて設定し、上記SD画像上のブロック
に対応する上記HD画像上のブロックを上記探索範囲内で
大域的に探索して一致領域の候補を見つけた後、さらに
ブロックサイズとサーチエリアを順次切り換えて該候補
を補正した後、SD画像とHD画像のそれぞれの画素間を補
間することによって高精度で上記ブロックと上記探索ブ
ロックとの類似性を評価し、一致がとれる画像を検出す
る。そして、高精度に一致が検出されたそれぞれの画像
を出力端子6、7から出力する。
像を用いてそれぞれ対応画素を決定する処理動作を図11
に示すメインフローチャートを参照しながら説明する。
ここでの手順はおもにSD画像をHD画像にアップコンバー
トさせる際の画像一致手順を説明している。
B1、ステップS1、サブルーチンSUB2、ステップS2、サブ
ルーチンSUB3、ステップS3、ステップS4及びステップS5
における処理は、図5に示した処理と同様であるのでこ
こでは説明を省略する。この第2の実施例の画像一致検
出装置が第1の画像一致検出装置と異ならせる処理は、
サブルーチンSUB4の処理手順である。このサブルーチン
SUB4は、ステップS2の後、サブルーチン3の前に行われ
る。
ップS2で決定した候補をSUB3で行う画素補間マッチング
のブロックサイズに近い領域に追い込むための階層マッ
チングを行い、マッチング候補を再決定している。すな
わち、候補画像の位置にずれが生じれば、候補画素の位
置を補正し、再度候補を決定する。
図12のフローチャートを参照しながら説明する。この図
12において、ステップS40では、ブロックサイズ、サー
チエリアの設定の変更を行う。階層が進むにつれて、上
記ブロックサイズ、サーチエリアは小さくなるように設
定される。これは、ブロックサイズを大きいブロックか
ら画素マッチングに近い局所ブロックのサイズに追い込
む必要があるからで、順次ブロックを小さくしてブロッ
ク同士の対応がとれるならば、サーチエリアも小さくて
済む。
画素とし、この対応画素を中心に近傍のブロックをSD画
像上で設定する。図6からも明かなように対応画素近傍
のSD画素とHD画素の水平方向の位相ずれは微小である。
このため、SD画像とHD画像の各画素の画角、すなわちア
スペクト比の影響が無視できる。従って、HD画像側に設
けるブロックは、1サンプルおきに画素をとったブロッ
ク構成にする。このブロックのサイズは、上述したよう
に順次小さくする。
ックの探索範囲の設定を行う。
像側のブロックとHD画像側の探索ブロックの間で輝度信
号レベルの平均値(オフセット)及び標準偏差(ゲイ
ン)をブロック単位で補正処理する。
にSD画像側のブロックとHD画像側の探索範囲内のブロッ
ク間でこれら両者のブロックを対応ブロックとして評価
が行われる。ブロックマッチングを行うための評価関数
NCCF(i,j)は、上記(9)式のように表される。ま
た、評価関数としては、上記(10)式や、上記(11)式
に表されるものを用いてもよい。
として設定することにより、ブロックマッチング処理が
行われ、ブロック間の違いが最も少ない位置を確からし
い画素としてを切り出すことができる。
価のためのメモリである評価メモリに加算する。探索を
全て終えると評価値テーブルを参照して、最適な評価値
を選択し、候補画素のアドレスを決定する。
を行うように繰り返すか終わりかの選択を行う。
評価値テーブルから最適な評価値を選択し、その画素位
置が前の階層での位置と異なれば更新する。
プS48の判定が行われる。
域と最適位置の変化の様子を示したものである。最適位
置は階層毎に加算された評価値テーブルにより決定し、
最適位置は変化する。そして、最後の第3階層で決定さ
れた位置が最適位置となる。
ることで、精度を向上させている。この例では、第2階
層の評価値テーブルに、対応する第1階層の評価値を加
算しているが、第3階層と第2階層も同様である。その
とき、評価値テーブルへの加算は、対応する評価値が存
在する必要があるから、それを考慮したブロックサイズ
とサーチエリアの設定が必要である。
サーチエリア±4(制限±2)、第2階層としてブロッ
クサイズ9×9、サーチエリア±2(制限±1)、第3
階層としてブロックサイズ5×5、サーチエリア±1と
いう値を設定する。第1階層と第2階層では、評価値テ
ーブルはサーチエリアサイズだけを算出するが、検出で
きる範囲を制限することで階層毎の加算を行えるように
している。そして、各階層において制限サーチ内で最適
な位置を求める。また、評価値テーブルの重み付け加算
は、 ESTa=W1・EST1+w2・EST2+w3・EST3 ・・・(19) となる。ここで、i=1、2、3は階層番号、wは重み
を表す。
理が終了すると、図11に示すサブルーチンSUB3に進み、
その後ステップS3、ステップS4及びステップS5に進む。
ーチンSUB4に示したようなマッチング候補の再決定処理
を行い、階層マッチングを導入することによって、大域
マッチングと補間によるサブピクセルマッチングのブロ
ックサイズの違いに橋渡し的に働き、ブロックサイズの
違いによる対応ブロックのずれが生じた場合に対応画素
位置を補正することができる。しかも、階層構造の評価
を総合的に行うことによって、精度を向上させることが
できる。
ッチング処理をブロック、あるいは領域単位に行うこと
ができる。
法をアプリケーションとして適用すると、SD画像とHD画
像のマッチングを行い、マッチングのとれたSD画像をHD
画像に置き換えることにより解像度を改善することがで
きるようになる。また、ステレオ視を可能にするカメラ
装置で、例えばカメラ系が異なる画像同士の対応付けに
も適用して画像の対応の認識を行って使用可能なカメラ
装置の範囲を広げることができる。
検出装置について説明する。この画像一致検出装置も、
例えば図1に示すように、低精度画像一致検出手段とし
ての低精度画像ブロック合わせ機能部1と、ブロックマ
ッチング処理手段としての高精度画像ブロック合わせ機
能部2とを有して構成される。また、この画像一致検出
装置は、低精度画像と高精度画像間の信号特性の差を前
処理部3に吸収させている。
第1の実施例及び上記第2の実施例のそれと同様である
が、高精度画像ブロック合わせ機能部2は、上記第1の
実施例又は上記第2の実施例のそれと異なる。
部2は、解像度の異なる画像間のマッチングをとる場
合、大域的に探索した候補画素からさらに階層的なマッ
チングで対応画素を決定している。その時、解像度が異
なっている点を考慮すると、画素単位にマッチングがと
れたかどうかの判定は、画素以下の精度まで追い込むこ
とで精度を確保し判定を行っていた。
イズ等の外乱の影響を受けやすく、ノイズで振られた画
素間の画素以下データはノイズの影響を直接受けた画素
で求められるため、マッチング判定が困難になる可能性
がある。
い条件となるため、マッチングを行った全画素に対する
マッチングのとれた割合であるマッチング率は、4%程
度とかなり低いものになってしまう。マッチング率が低
いと、マッチング画素の傾向を把握するのに必要なデー
タ数は多くなるため、処理に時間を要する可能性があ
る。
平均値(オフセット)及び標準偏差(ゲイン)の補償
は、マッチングの評価をする際の両ブロック毎に補償を
行っており、ブロックサイズを小さくしたときに画像形
状が大きく異なると補償の程度がブロックサイズや画像
形状に依存してしまう可能性がある。
素以下(サブピクセル)でのマッチングを行わず、マッ
チング部での制約条件を工夫し、マッチングの精度を損
なわず、マッチング率を向上させることを目的とする。
しながら説明しておく。図14の(a)に示されたSD画像
には、初期アドレスである対応画素Pを中心としたブロ
ックBSDを設定する。図14の(b)に示されたHD画像に
は探索範囲(サーチエリア)ESを設定する。そして、ブ
ロックBSDとサーチエリアES内の探索ブロックBHDとの間
でマッチングをとる。
を対象とした補正をした後、大域マッチングを行い、最
適な評価を与える画素を候補画素とし、この候補画素に
より近い領域でのマッチングを取るため階層マッチング
を行い、候補画素のマッチングを判定する方法であっ
た。
は、画素アスペクトを考慮した対応画素の初期アドレス
設定を行い、探索ループで最適画素を探索しているが、
その評価、すなわちマッチングの判定条件には相関係数
を用いていた。
ッチングの判定方法を上記相関係数を用いた相関評価の
他に、3つの判定を加えた方法としている。この3つの
判定とは、相関値判定、ゲイン判定及びテーブル形状判
定である。
を図16のフローチャートを参照しながら説明する。
S50に示すように低精度画像ブロック合わせ機能部1に
初期アドレスを設定させる。その後、ステップS51で
は、高精度画像ブロック合わせ機能部2に上記初期アド
レスを基にSD画像内に任意の範囲からなるブロックを設
定させ、HD画像上に該ブロックを探索するための探索範
囲とさらに探索ブロックを設定させ、上記任意の範囲の
ブロックと上記探索ブロックを大域的に探索させて一致
領域の候補となる候補が有るか否かを判定する。実際に
は、SD画像側のブロックとHD画像側のブロックの間で輝
度信号レベルの平均値(オフセット)及び標準偏差(ゲ
イン)をブロック単位で補正処理してから行われる。
ア探索で候補が見つかったという結果を基に、SD画像側
のブロックとHD画像側の探索範囲内の探索ブロック間で
マッチングがとれたか否かの判定が行われる。この判定
は、ブロック間の相関関数を用いて行われる相関評価に
より行われる。そして、ステップS52での判定が終了す
るとステップS51に戻る。
域の候補が見つからない場合、すなわちSD画像側のブロ
ックとHD画像側の探索範囲内の探索ブロック間でマッチ
ングがとれない場合、ステップS53の判定に向かう。こ
のステップS53は、ステップS52での評価値である相関係
数が小さすぎるとサーチエリア内の最適値であってもマ
ッチングがとれないと判定するもので、最適相関値をRS
とするとマッチング条件は、 RS>THg ・・・(20) となる。ここで、THgはしきい値である。
ると、ステップS54に進む。このステップS54は、最適位
置におけるマッチングととったブロックのゲイン、すな
わち標準偏差の比が大きすぎるとマッチングはとれてい
ないと判定する。それぞれの標準偏差をσSd、σhdとす
るとマッチング条件は、 σhd>σS dの場合、 σhd/σS d>THg ・・・(21) となる。
進む。このステップS55では、サーチをしたときの評価
値テーブルの形状を判定して、形状が一つの山で急峻な
ほどマッチングは正しいと判定する。マッチング条件
は、最適評価値に対する割合をrとして、 TH1=r×RS ・・・(23) となるしきい値を求める。テーブル上の評価値Rについ
て、 R>TH1 ・・・(24) を満たす評価値に対して、今度は最適評価値の位置
(xs、ys)とのノルムを積算する。すなわち、評価値の
位置を(xi、yi)として、 但し、nは(24)式を満たす数である。
と判断できることから、マッチング条件は、 Nr<TH2 ・・・(26) である。ここでTH2はしきい値である。
て、(25)式のノルムを求める代わりに、(24)式を満
たす評価値で(xs、ys)から最遠点の距離にある評価値
の位置を(xf、yf)として、 を求め、Dsが小さいほど形状が急峻になる傾向にあるか
ら、マッチング条件は、 r/Ds>TH3 ・・・(28) とする。ここで、TH3はしきい値である。
めると、標準偏差が小さいほど形状が急峻だと判断でき
るから、マッチング条件は、 σR<TH4 ・・・(29) となる。ここで、TH4はしきい値である。
は、後段の階層マッチングに渡される。
ブロックを画素近傍に追い込み、各階層における最適位
置を総合判断して最終的にマッチングがとれたか否かを
判定する。特に、この第3の実施例の画像一致検出装置
の階層マッチングが上述した第2の実施例の画像一致検
出装置の階層マッチング処理と異なるのは、定常オフセ
ット(輝度信号のレベルの平均値)及びゲイン(輝度信
号の標準偏差)による補償を加えたことにある。第2の
実施例の画像一致検出装置では、マッチングの評価をす
る際の両ブロック毎に補償を行っていたが、ブロックサ
イズを小さくしたときに画像形状が大きく異なると補償
の程度がブロックサイズや画像形状に依存してしまう可
能性があった。このため、この第3実施例の画像一致検
出装置では、ブロックサイズや画像形状にあまり左右さ
れない定常値を求めている。
マッチング処理の流れを図17のフローチャートを参照し
ながら説明する。
において、ブロックサイズ、サーチエリアを縮小する。
この縮小は、階層が進むにしたがって進行する。これ
は、ブロックサイズを大きいブロックから画素マッチン
グに近い局所ブロックのサイズに追い込む必要があるか
らで、順次ブロックを小さくしてブロック同士の対応が
とれるならば、サーチエリアも小さくて済む。
プS61において、サーチエリアを探索して、一致領域の
候補となる対応ブロックがあるか否かを判定する。ここ
で有ると判定するとステップS62に進み、無いと判定す
るとステップS64に進む。
ゲインによる補償が行われる。図18(a)及び(b)
は、各信号変化を簡単のため1次元で表した例である。
注目画素(黒点)を中心にしてブロックサイズを大きく
していたとき、それぞれのブロック内の輝度が図19の
(a)及び(b)のように変化したとする。オフセット
Oとは、それぞれの輝度平均Mの差分で、 O=Mhd−Msd ・・・(30) で定義する。定常状態の判定は、各ブロックサイズでの
オフセットをOuとすると、 |Ou−Ou-1|<THm ・・・(31) となる。ただし、ここでuはu−1より大きいブロック
サイズである。この(12)式を満たすオフセットが、N
個連続したときに定常状態と判定し、そのときの定常値
Ofは連続N個の平均で求め、 となる。
あり、 G=σhd/σsd ・・・(33) で定義されているから、各ブロックサイズでのゲインを
Gvとすると、 |Gv−Gv-1|<THs ・・・(34) を満たすゲインが、N個連続したとき定常状態と判定す
る。但し、THsはしきい値であり、vはv−1より大き
いブロックサイズである。
マッチングの探索時の補償を行う。補償とは、低解像度
側のブロックと高解像度側のサーチエリア内のブロック
間でマッチング評価を行う際、低解像度側の輝度平均と
標準偏差を高解像度側に合わせる。それぞれの輝度値を
Ysd、Yhdとすると、 Ysd=(Yhd−Ysd)Gf+Msd+Of ・・・(36) により行う。この補償を行うことによって、ブロックサ
イズや画像形状に左右されず精度のよいマッチング判定
を行うことができる。
判定を行い、その後ステップS61に戻る。
価のためのメモリである評価メモリに加算する。探索を
全て終えると評価値テーブルを参照して、最適な評価値
を選択し、候補画素のアドレスを決定する。すなわち、
このステップS64では、対応HDアドレスをシフトする。
から最適な評価値を選択し、その画素位置が前の階層で
の位置と異なれば更新する。
にステップS65の判定が行われる。ここで、次の階層に
進む場合、上述したように、ステップS60で、ブロック
サイズ、サーチエリアの設定の縮小が行われる。
画像ブロック合わせ機能部2のマッチング処理が終了す
る。
像度の異なるマッチングをとる場合、大域マッチングと
階層マッチングを制約条件を加えながら順次行うことに
よって、マッチングの精度を確保するようになり、画素
以下(サブピクセル)マッチングを行わないため、マッ
チングの率を向上させることができる。
ンの補償を定常値を用いて行っているため、ブロックサ
イズや画像形状に左右されにくくなっている。
Claims (25)
- 【請求項1】第1の画素数からなる第1の撮像素子が出
力する第1の画像と第2の画素数からなる第2の撮像素
子が出力する第2の画像との各画素間の一致関係を検出
する画像一致検出装置であって、 上記第1及び第2の画像の基準位置に基づいて低精度の
画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて第1の
画像上でのブロックに対応する探索範囲を上記第2の画
像上に設定し、上記第1の画像上のブロックにマッチン
グする第2の画像上のブロックを上記探索範囲内で探索
するブロックマッチング処理を行うブロックマッチング
処理手段とを有することを特徴とする画像一致検出装
置。 - 【請求項2】上記ブロックマッチング処理手段は、上記
第1及び第2の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする請求の範囲第1項記載の画像一致検出装置。 - 【請求項3】上記第1の画像を低解像度画像とし上記第
2の画像を高解像度画像とするとき、上記ブロックマッ
チング処理手段は、上記低精度画像一致検出手段の検出
結果に応じて上記低解像度画像上でのブロックに対応す
る探索範囲を上記高解像度画像上に設定し、上記低解像
度画像上のブロックにマッチングする上記高解像度画像
上のブロックを上記探索範囲内で大域的に探索して候補
を見つけ、さらに上記低解像度画像と上記高解像度画像
のそれぞれの画素間を補間することによって設定したブ
ロックと探索範囲内のブロックとの類似性を高精度に評
価し、一致がとれる画像を検出することを特徴とする請
求の範囲第1項記載の画像一致検出装置。 - 【請求項4】上記第1及び上記第2の撮像素子は、同じ
被写体を撮像することを特徴とする請求の範囲第1項記
載の画像一致検出装置。 - 【請求項5】上記被写体には、基準の画素位置を示すマ
ーカが付されていることを特徴とする請求の範囲第4項
記載の画像一致検出装置。 - 【請求項6】第1の画素数からなる第1の撮像素子が出
力する第1の画像と第2の画素数からなる第2の撮像素
子が出力する第2の画像との各画素間の一致関係を検出
する画像一致検出装置であって、 上記第1及び第2の画像の基準位置に基づいて低精度の
画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて上記第
1及び第2の画像を該第2の画像上に探索範囲を設定し
て大域的にサーチしてそれぞれの注目点を選定し、この
注目点を含む対応ブロックを上記第1及び第2の画像に
設定してこれらの輝度信号の平均レベル又は標準偏差が
一致するように補正した後に上記対応ブロックにブロッ
クマッチング処理を施すブロックマッチング処理手段と
を有することを特徴とする画像一致検出装置。 - 【請求項7】上記ブロックマッチング処理手段は、上記
対応ブロックをn回階層的に小さくしながら輝度信号の
平均レベルの差の検出及び補正又は輝度信号の標準偏差
の比の検出及び補正とブロックマッチング処理をn回繰
り返すことを特徴とする請求の範囲第6項記載の画像一
致検出装置。 - 【請求項8】上記ブロックマッチング処理手段は、上記
第1及び第2の画像の各画素間のデータを補間により生
成した後に、上記ブロックマッチング処理を行うことを
特徴とする請求の範囲第6項記載の画像一致検出装置。 - 【請求項9】上記第1及び上記第2の撮像素子は、同じ
被写体を撮像することを特徴とする請求の範囲第6項記
載の画像一致検出装置。 - 【請求項10】上記被写体には、基準の画素位置を示す
マーカが付されていることを特徴とする請求の範囲第9
項記載の画像一致検出装置。 - 【請求項11】第1の画素数からなる第1の撮像素子が
出力する第1の画像と第2の画素数からなる第2の撮像
素子が出力する第2の画像との各画素間の一致関係を検
出する画像一致検出装置であって、 上記第1及び第2の画像の基準位置に基づいて低精度の
画素合わせを行う低精度画像一致検出手段と、 上記低精度画像一致検出手段の検出結果に応じて上記第
1及び第2の画像を大域的にサーチしてそれぞれの注目
点を選定し、この注目点を含む対応ブロックをそれぞれ
設定した後に、この対応ブロックを段階的に大きくしな
がら上記第1の画像内のブロックと上記第2の画像内の
ブロックの輝度信号平均レベルの差又は標準偏差の比を
求め、該差又は比が収束したときの差又は比の値を用い
て、上記対応ブロック内の輝度信号平均レベル又は標準
偏差を補正し、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施すブロ
ックマッチング処理手段とを有することを特徴とする画
像一致検出装置。 - 【請求項12】上記ブロックマッチング処理手段は、上
記第1及び第2の画像の各画素間のデータを補間により
生成した後に、上記ブロックマッチング処理を行うこと
を特徴とする請求の範囲第11項記載の画像一致検出装
置。 - 【請求項13】上記第1及び上記第2の撮像素子は、同
じ被写体を撮像することを特徴とする請求の範囲第11項
記載の画像一致検出装置。 - 【請求項14】上記被写体には、基準の画素位置を示す
マーカが付されていることを特徴とする請求の範囲第13
項記載の画像一致検出装置。 - 【請求項15】解像度の異なるカメラで撮影した各静止
画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
索工程と、 これら高解像度画像と低解像度画像のそれぞれの画素間
を補間することによって設定したブロックと探索範囲内
のブロックとの類似性を高精度に評価し、一致がとれる
画像を検出するブロック一致検出工程とを有することを
特徴とする画像一致検出方法。 - 【請求項16】上記画像一致検出処理を行う前に、高解
像度画像と低解像度画像の輝度信号レベルの平均値又は
標準偏差を画面全体で一致させ、ブロック単位の一致検
出を行う際に、再度、局所的な対応ブロック単位に輝度
信号レベルの平均値又は標準偏差とを一致させることを
特徴とする請求の範囲第15項記載の画像一致検出方法。 - 【請求項17】上記ブロック一致検出工程において、高
解像度画像と低解像度画像のブロック間の類似性を評価
する方法として、ブロック間の相関係数を用いて評価す
ることを特徴とする請求の範囲第15項記載の画像一致検
出方法。 - 【請求項18】上記ブロック一致検出工程において、高
解像度画像と低解像度画像のブロック間の類似性を評価
する方法として、ブロック間の差分の絶対値和を用いて
評価することを特徴とする請求の範囲第15項記載の画像
一致検出方法。 - 【請求項19】上記ブロック一致検出工程において、高
解像度画像と低解像度画像のブロック間の類似性を評価
する方法として、ブロック間の差分の2乗和を用いて評
価することを特徴とする請求の範囲第15項記載の画像一
致検出方法。 - 【請求項20】解像度の異なるカメラで撮影した各静止
画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
索工程と、 上記候補探索工程で探索した候補を含む対応ブロックを
低解像度及び高解像度の画像に設定してこれらの輝度信
号平均レベル又は標準偏差が一致するように補正した後
に上記対応ブロックの類似性を高精度に評価し、一致が
とれる画像を検出するブロック一致検出工程とを有する
ことを特徴とする画像一致検出方法。 - 【請求項21】上記ブロック一致検出工程は、上記対応
ブロックをn回階層的に小さくしながら輝度信号の平均
レベルの差の検出及び補正又は輝度信号の標準偏差の比
の検出及び補正とブロックマッチング処理をn回繰り返
すことを特徴とする請求の範囲第20項記載の画像一致検
出方法。 - 【請求項22】上記ブロック一致検出工程は、各階層毎
にマッチングの際の評価値を総合的に判定して、マッチ
ング候補画素の補正を行うことを特徴とする請求の範囲
第21項記載の画像一致検出方法。 - 【請求項23】上記ブロック一致検出工程は、上位階層
の評価値を下位階層の評価値に適用する際、下位階層の
評価対象画素位置に対応する上位階層の評価値が存在す
るように、マッチングの際のブロックサイズとサーチエ
リアを調製することを特徴とする請求の範囲第21項記載
の画像一致検出方法。 - 【請求項24】解像度の異なるカメラで撮影した各静止
画像の一致を検出する画像一致検出方法において、 低解像度画像内に所定の大きさのブロックを設定するブ
ロック設定工程と、 高解像度画像上に上記ブロックに対応する探索範囲を設
定する探索範囲設定工程と、 上記探索範囲を大域的に探索して候補を見つける候補探
索工程と、 上記候補探索工程で探索した候補を含む対応ブロックを
それぞれ設定した後に、この対応ブロックを段階的に大
きくしながら上記低解像度画像内のブロックと上記高解
像度画像内のブロックの輝度信号平均レベル又は標準偏
差の比を求め、該差又は該比が収束してときの差又は比
の値を用いて、階層的な複数のブロックの大きいブロッ
クから小さいブロックへ順次マッチング処理を施し、一
致がとれる画像を検出するブロック一致検出工程とを有
することを特徴とする画像一致検出方法。 - 【請求項25】上記ブロック一致検出工程は、上記第1
及び第2の画像の各画素間のデータを補間により生成し
た後に、上記候補探索工程で探索した候補を含む対応ブ
ロックをそれぞれ設定し、この対応ブロックを段階的に
大きくしながら上記低解像度画像内のブロックと上記高
解像度画像内のブロックの輝度信号平均レベル又は標準
偏差の比を求め、該差又は該比が収束してときの差又は
比の値を用いて、階層的な複数のブロックの大きいブロ
ックから小さいブロックへ順次マッチング処理を施し、
一致がとれる画像を検出することを特徴とする請求の範
囲第24項記載の画像一致検出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20847493 | 1993-07-31 | ||
JP5-208474 | 1993-07-31 | ||
PCT/JP1994/001246 WO1995004329A1 (fr) | 1993-07-31 | 1994-07-28 | Dispositif et procede de detection de l'appariement d'images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3448868B2 true JP3448868B2 (ja) | 2003-09-22 |
Family
ID=16556775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP50574195A Expired - Lifetime JP3448868B2 (ja) | 1993-07-31 | 1994-07-28 | 画像一致検出装置及び画像一致検出方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US5754692A (ja) |
EP (1) | EP0664525B1 (ja) |
JP (1) | JP3448868B2 (ja) |
KR (1) | KR100327852B1 (ja) |
DE (1) | DE69431791T2 (ja) |
WO (1) | WO1995004329A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5991308A (en) * | 1995-08-25 | 1999-11-23 | Terayon Communication Systems, Inc. | Lower overhead method for data transmission using ATM and SCDMA over hybrid fiber coax cable plant |
US5768269A (en) * | 1995-08-25 | 1998-06-16 | Terayon Corporation | Apparatus and method for establishing frame synchronization in distributed digital data communication systems |
US5745837A (en) * | 1995-08-25 | 1998-04-28 | Terayon Corporation | Apparatus and method for digital data transmission over a CATV system using an ATM transport protocol and SCDMA |
US5793759A (en) * | 1995-08-25 | 1998-08-11 | Terayon Corporation | Apparatus and method for digital data transmission over video cable using orthogonal cyclic codes |
US5805583A (en) * | 1995-08-25 | 1998-09-08 | Terayon Communication Systems | Process for communicating multiple channels of digital data in distributed systems using synchronous code division multiple access |
US5943442A (en) * | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
US20030059124A1 (en) * | 1999-04-16 | 2003-03-27 | Viisage Technology, Inc. | Real-time facial recognition and verification system |
US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
US7242717B2 (en) * | 2001-06-08 | 2007-07-10 | Sharp Laboratories Of America, Inc. | Wavelet domain motion compensation system |
JP2004061446A (ja) * | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | パターンマッチング処理方法及び画像処理装置 |
US7539349B2 (en) * | 2005-10-25 | 2009-05-26 | Hewlett-Packard Development Company, L.P. | Clear image using pixel voting |
EP2059027A4 (en) | 2006-09-14 | 2012-08-08 | Nikon Corp | IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM |
US8149283B2 (en) | 2007-01-23 | 2012-04-03 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
JP4821653B2 (ja) * | 2007-02-28 | 2011-11-24 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
US20100265315A1 (en) * | 2009-04-21 | 2010-10-21 | Panasonic Corporation | Three-dimensional image combining apparatus |
JP5446516B2 (ja) * | 2009-07-01 | 2014-03-19 | コニカミノルタ株式会社 | 画像処理装置 |
JP4971483B2 (ja) | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
EP2395474A3 (en) | 2010-06-11 | 2014-03-26 | Nintendo Co., Ltd. | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method |
CN102012939B (zh) * | 2010-12-13 | 2012-11-14 | 中国人民解放军国防科学技术大学 | 综合颜色和局部不变特征匹配的动画场景自动标注方法 |
US8855421B2 (en) * | 2011-04-25 | 2014-10-07 | Fuji Xerox Co., Ltd. | Methods and apparatuses for Embedded Media Marker identification |
US10013764B2 (en) * | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
JP6591199B2 (ja) * | 2015-05-22 | 2019-10-16 | 株式会社日立製作所 | 超音波診断装置及びプログラム |
CN114713462B (zh) * | 2022-05-10 | 2023-01-31 | 深圳市智力昌智能设备有限公司 | 一种基于工业互联网的点胶机的控制*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4486775A (en) * | 1980-10-17 | 1984-12-04 | Micro Consultants Limited | Object recognition |
US5040223A (en) * | 1988-02-17 | 1991-08-13 | Nippondenso Co., Ltd. | Fingerprint verification method employing plural correlation judgement levels and sequential judgement stages |
JPH01246678A (ja) * | 1988-03-29 | 1989-10-02 | Toshiba Corp | パターン認識装置 |
JPH02255990A (ja) * | 1988-12-23 | 1990-10-16 | Nec Corp | 画像マッチング方式 |
KR920002928B1 (ko) * | 1989-11-28 | 1992-04-10 | 한국과학기술연구원 | 지문 인식 방법 |
DE4023449C1 (ja) * | 1990-07-24 | 1992-01-23 | Ant Nachrichtentechnik Gmbh, 7150 Backnang, De | |
SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
JPH04345394A (ja) * | 1991-05-23 | 1992-12-01 | Sony Corp | テレビジョン信号の動き検出装置 |
US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
-
1994
- 1994-07-28 EP EP94921830A patent/EP0664525B1/en not_active Expired - Lifetime
- 1994-07-28 KR KR1019950701266A patent/KR100327852B1/ko not_active IP Right Cessation
- 1994-07-28 WO PCT/JP1994/001246 patent/WO1995004329A1/ja active IP Right Grant
- 1994-07-28 JP JP50574195A patent/JP3448868B2/ja not_active Expired - Lifetime
- 1994-07-28 US US08/411,771 patent/US5754692A/en not_active Expired - Lifetime
- 1994-07-28 DE DE69431791T patent/DE69431791T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0664525A4 (en) | 1995-12-06 |
WO1995004329A1 (fr) | 1995-02-09 |
US5754692A (en) | 1998-05-19 |
KR950703773A (ko) | 1995-09-20 |
EP0664525B1 (en) | 2002-11-27 |
DE69431791T2 (de) | 2003-07-17 |
DE69431791D1 (de) | 2003-01-09 |
KR100327852B1 (ko) | 2002-07-03 |
EP0664525A1 (en) | 1995-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3448868B2 (ja) | 画像一致検出装置及び画像一致検出方法 | |
US8325812B2 (en) | Motion estimator and motion estimating method | |
US8014632B2 (en) | Super-resolution device and method | |
US8644387B2 (en) | Motion estimation method | |
US7929611B2 (en) | Frame rate converting apparatus, pan/tilt determining apparatus, and video apparatus | |
EP1343116A1 (en) | Image angle detector and scanning line interpolating apparatus | |
JPH05260264A (ja) | 画像処理装置 | |
CN1125375A (zh) | 用于估计图象移动的有效计算方法 | |
KR20080016605A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 | |
KR0182058B1 (ko) | 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 | |
KR100423504B1 (ko) | 영상신호의 라인보간 장치 및 방법 | |
JP4001979B2 (ja) | カムコーダの動き補正装置 | |
US20060222267A1 (en) | Method and apparatus for pixel interpolation | |
US6738497B2 (en) | Method, system and apparatus for image block matching | |
JP4020093B2 (ja) | 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体 | |
JP6772000B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
EP2164246A2 (en) | Methods and apparatuses for upscaling and deinterlacing video | |
JP2000074665A (ja) | 距離画像生成装置及び方法 | |
JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
JPH03101390A (ja) | 画像変換装置及び方法 | |
JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
JP3800638B2 (ja) | 画像情報変換装置および方法 | |
JP2000324495A (ja) | フィールド周波数変換装置および変換方法 | |
JP3033291B2 (ja) | 画素間相関適応型動き検出方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |