JP2001229388A - 画像データのマッチング方法 - Google Patents
画像データのマッチング方法Info
- Publication number
- JP2001229388A JP2001229388A JP2000046737A JP2000046737A JP2001229388A JP 2001229388 A JP2001229388 A JP 2001229388A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2000046737 A JP2000046737 A JP 2000046737A JP 2001229388 A JP2001229388 A JP 2001229388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- data
- difference layer
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】従来技術では、基準の画像からチップ画像をと
り、もう一方の画像の対応点を求めるマッチングを基準
画像の全点について繰り返し行っていたため、高速で精
度よく対応点を探索することができなかった。 【解決手段】複数の画像から3次元の差層データを作成
し、差層データ上で対応点を探索し修正する。このこと
により、高速で精度よく3次元形状計測することができ
る。
り、もう一方の画像の対応点を求めるマッチングを基準
画像の全点について繰り返し行っていたため、高速で精
度よく対応点を探索することができなかった。 【解決手段】複数の画像から3次元の差層データを作成
し、差層データ上で対応点を探索し修正する。このこと
により、高速で精度よく3次元形状計測することができ
る。
Description
【0001】
【発明の属する技術分野】本発明は、画像から地図を作
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。
成する分野や、撮影画像をもとに画像を加工処理する分
野に関する。
【0002】
【従来の技術】本発明に関する画像から対応点を求める
画像マッチング技術の従来技術は、高木幹雄、下田陽久
監修「画像解析ハンドブック」、707頁から712
頁、(東京大学出版会、平成3年1月発行)に記載され
ているように、テンプレートマッチング(チップマッチ
ングとも言う、以下チップマッチングと記す)が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域(サーチエリア)内で類似度(マ
ッチ度)の大きな所を求め、対応点として算出するもの
である。マッチ度は、一般的に小領域での差分の絶対値
を平均して算出する。
画像マッチング技術の従来技術は、高木幹雄、下田陽久
監修「画像解析ハンドブック」、707頁から712
頁、(東京大学出版会、平成3年1月発行)に記載され
ているように、テンプレートマッチング(チップマッチ
ングとも言う、以下チップマッチングと記す)が、一般
的によく知られている。チップマッチングは、基準の画
像から小領域のチップ画像を切り出し、もう一方の画像
中に設定した探索領域(サーチエリア)内で類似度(マ
ッチ度)の大きな所を求め、対応点として算出するもの
である。マッチ度は、一般的に小領域での差分の絶対値
を平均して算出する。
【0003】チップ画像の切り出しでは、基準となる画
像の着目画素I(x,y)を中心としたmxm(mは任意の定数)
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。
像の着目画素I(x,y)を中心としたmxm(mは任意の定数)
の領域の画素にて作成する。また、着目画素I(x,y)をx:
0〜x軸の最大値、y:0〜y軸の最大値として、順次処理す
ることにより、基準画像の全点に対応するもう一方の画
像の対応点を求めることができる。
【0004】
【発明が解決しようとする課題】前記従来技術では、基
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを基準画像の全点について繰り返
し行っていた。このため、次の問題点があった。
準の画像からチップ画像をとり、もう一方の画像の対応
点を求めるマッチングを基準画像の全点について繰り返
し行っていた。このため、次の問題点があった。
【0005】(1)マッチ度を求める差分計算の計算量
は、全点とチップの大きさおよびサーチエリアの大きさ
の乗算を必要とした。この膨大な計算量のため、画像の
対応点を求めるマッチングは低速な処理にとどまってい
た。
は、全点とチップの大きさおよびサーチエリアの大きさ
の乗算を必要とした。この膨大な計算量のため、画像の
対応点を求めるマッチングは低速な処理にとどまってい
た。
【0006】(2)全画素の対応点には、片方の画像に
映っていない隠蔽部分(オクルージョンとも言う)のミ
スマッチした対応点も含まれていた。このミスマッチし
た対応点を判断する基準がなく除去修正することができ
なかった。
映っていない隠蔽部分(オクルージョンとも言う)のミ
スマッチした対応点も含まれていた。このミスマッチし
た対応点を判断する基準がなく除去修正することができ
なかった。
【0007】以上、従来技術のマッチングでは、高速で
精度よく対応点を探索することができなかった。
精度よく対応点を探索することができなかった。
【0008】
【課題を解決するための手段】上記課題を解決するため
に、以下の手段を創案した。
に、以下の手段を創案した。
【0009】撮影した画像に対し、各々画像に映った物
体あるいは場所をもとに、画像に映った物体の形状を計
測する3次元形状計測処理において、1つの画像を基準
画像として基準以外の画像と差分をとり、差層データを
作成する差層作成処理と、差層データの各場所から類似
の程度を評価値として計算し、評価データを作成する評
価処理と、評価データから、立体形状の位置を決定する
位置決定処理を設け、差層作成処理は、基準以外の画像
を視差方向に順次ずらし、ずらした画像と基準画像との
画素ごとの差分をとり差画像を順次作成し、順次作成し
た差画像を積み重ねて、層状の3次元構造をもつ差層デ
ータに登録する。評価処理は、差層データ上の着目デー
タ近傍領域を決め、着目データおよび近傍領域のデータ
から類似度を求め、求めた類似度を評価値として、評価
データである層状の3次元構造をもつ評価層データに登
録する。位置決定処理は、評価データである層状の3次
元構造をもつ評価層データから3次元上の複数の対応点
候補を選択し、選択した複数の対応点候補を1つの集団
とみなし、1つの集団の位置から外れた不適切な場所を
示す対応点候補を削除修正する。
体あるいは場所をもとに、画像に映った物体の形状を計
測する3次元形状計測処理において、1つの画像を基準
画像として基準以外の画像と差分をとり、差層データを
作成する差層作成処理と、差層データの各場所から類似
の程度を評価値として計算し、評価データを作成する評
価処理と、評価データから、立体形状の位置を決定する
位置決定処理を設け、差層作成処理は、基準以外の画像
を視差方向に順次ずらし、ずらした画像と基準画像との
画素ごとの差分をとり差画像を順次作成し、順次作成し
た差画像を積み重ねて、層状の3次元構造をもつ差層デ
ータに登録する。評価処理は、差層データ上の着目デー
タ近傍領域を決め、着目データおよび近傍領域のデータ
から類似度を求め、求めた類似度を評価値として、評価
データである層状の3次元構造をもつ評価層データに登
録する。位置決定処理は、評価データである層状の3次
元構造をもつ評価層データから3次元上の複数の対応点
候補を選択し、選択した複数の対応点候補を1つの集団
とみなし、1つの集団の位置から外れた不適切な場所を
示す対応点候補を削除修正する。
【0010】このことにより、高速で精度よく対応点を
探索することができる。
探索することができる。
【0011】
【発明の実施の形態】(実施の形態1)画像に映った物
体の形状を計測する3次元形状計測処理について、実施
の形態を述べる。3次元形状計測処理の構成を図2に示
す。本実施の形態では、2枚の画像を入力とした例を示
す。以下、図に従い説明する。
体の形状を計測する3次元形状計測処理について、実施
の形態を述べる。3次元形状計測処理の構成を図2に示
す。本実施の形態では、2枚の画像を入力とした例を示
す。以下、図に従い説明する。
【0012】図に示す3次元形状計測処理210は、左
視点の画像110と右視点の画像120を入力とし、画
像中に映った立体の形状を示す立体形状データ150を
出力する。3次元形状計測処理210は、画像入力処理
201、差層作成処理202、評価処理203、位置決
定処理204および出力処理205よりなる。本発明の
実施の形態1では、3次元形状計測処理210を差層作
成処理202、評価処理203、位置決定処理204の
3つの処理で構成したことに特徴がある。
視点の画像110と右視点の画像120を入力とし、画
像中に映った立体の形状を示す立体形状データ150を
出力する。3次元形状計測処理210は、画像入力処理
201、差層作成処理202、評価処理203、位置決
定処理204および出力処理205よりなる。本発明の
実施の形態1では、3次元形状計測処理210を差層作
成処理202、評価処理203、位置決定処理204の
3つの処理で構成したことに特徴がある。
【0013】以下、処理の詳細を(1.1)、(1.
2)、(1.3)、(1.4)および(1.5)にて述
べる。
2)、(1.3)、(1.4)および(1.5)にて述
べる。
【0014】(1.1)画像入力処理201 左視点画像110および右視点画像120をファイルか
ら入力する。
ら入力する。
【0015】(1.2)差層作成処理202 図1に差層作成処理202の概要を、図3に差層作成処
理202のフローチャートを示す。
理202のフローチャートを示す。
【0016】以下、図3のフローチャートに基づき、図
番号をステップ番号として手順を説明する。
番号をステップ番号として手順を説明する。
【0017】ステップ301:初期設定 左視点画像110と右視点画像120の撮影位置による
視差方向から、右視点画像120をずらす初期位置α
(αは任意の定数)と刻み幅β(βは任意の定数)をル
ープ終了回数γ(γは任意の定数)を設定する。視差方
向は、一般的にエピポーララインと呼ばれ、詳細は以下
に示す文献に記載されており、本発明の実施の形態では
省略する。
視差方向から、右視点画像120をずらす初期位置α
(αは任意の定数)と刻み幅β(βは任意の定数)をル
ープ終了回数γ(γは任意の定数)を設定する。視差方
向は、一般的にエピポーララインと呼ばれ、詳細は以下
に示す文献に記載されており、本発明の実施の形態では
省略する。
【0018】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 図1の概要では、視差方向がx座標の方向である例を示
す。以下、実施の形態1では、視差方向をx座標の方向
とした場合について述べる。
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 図1の概要では、視差方向がx座標の方向である例を示
す。以下、実施の形態1では、視差方向をx座標の方向
とした場合について述べる。
【0019】ステップ302:視差方向ずらし 右視点画像120を視差方向にずらす。初期位置αと刻
み幅βからずれ量を求め、ずれ量をもとに右視点画像1
20の全画素を移動する。これにより、ずらした右視点
画像130を作成する。
み幅βからずれ量を求め、ずれ量をもとに右視点画像1
20の全画素を移動する。これにより、ずらした右視点
画像130を作成する。
【0020】ステップ303:差分計算 左視点画像110とずらした右視点画像120を画素ご
とに差分する。差分計算を次式に示す。
とに差分する。差分計算を次式に示す。
【0021】
【数1】
【0022】上記式を全画素について計算することによ
り、差分画像を作成する。
り、差分画像を作成する。
【0023】ステップ304:差分登録 上記ステップ303にて作成した差分画像を差層データ
140に登録する。差層データ140は、図1に示すよ
うに両視点画像のx座標y座標のほかに、z座標からな
る3次元の配列構造である。z座標は、差分画像を順次
保存するための軸であり、ループ回数の値に相当する。
140に登録する。差層データ140は、図1に示すよ
うに両視点画像のx座標y座標のほかに、z座標からな
る3次元の配列構造である。z座標は、差分画像を順次
保存するための軸であり、ループ回数の値に相当する。
【0024】差層データ140のz座標に対し、ループ
回数の層に、上記ステップにて作成した差分画像を保存
し、差分登録を実行する。
回数の層に、上記ステップにて作成した差分画像を保存
し、差分登録を実行する。
【0025】ステップ305:ループ終了 ループ回数を1増加させ、ループ回数がループ終了回数
γとなるまで、ステップ302からステップ304を繰
り返し実行する。
γとなるまで、ステップ302からステップ304を繰
り返し実行する。
【0026】上記の差層作成処理202において、上記
手順を実行し差層データを作成することにより、従来技
術では必要であった差分計算の重複範囲が、本発明では
不必要となり、高速に処理することができる。
手順を実行し差層データを作成することにより、従来技
術では必要であった差分計算の重複範囲が、本発明では
不必要となり、高速に処理することができる。
【0027】(1.3)評価処理203 図4に、評価処理203のフローチャートを示す。
【0028】以下、図4のフローチャートに基づき、図
番号をステップ番号として手順を説明する。
番号をステップ番号として手順を説明する。
【0029】ステップ401:初期設定 評価値を求めるためのmxm(mは任意の定数)評価範囲を
設定する。
設定する。
【0030】ステップ402:評価値計算 評価範囲をもとに、差層データの着目点における評価値
を計算する。評価値計算を次式に示す。
を計算する。評価値計算を次式に示す。
【0031】
【数2】
【0032】ステップ403:評価値登録 上記ステップ403にて算出した評価値を評価層データ
に登録する。評価層データは、差層データと同様の3次
元の配列構造である。差層データ140における着目点
の座標(x,y,z)と同様の評価層データの位置に、評価値
を保存することで、評価登録を実行する。
に登録する。評価層データは、差層データと同様の3次
元の配列構造である。差層データ140における着目点
の座標(x,y,z)と同様の評価層データの位置に、評価値
を保存することで、評価登録を実行する。
【0033】ステップ404:終了判断 差層データの全点が処理されるまで、ステップ402か
らステップ403を繰り返し実行する。
らステップ403を繰り返し実行する。
【0034】上記の評価処理203において、上記手順
を実行し評価層データを作成することにより、次に述べ
る位置決定処理204にて、対応点の削除修正が容易と
なり、精度よく3次元形状計測することができる。
を実行し評価層データを作成することにより、次に述べ
る位置決定処理204にて、対応点の削除修正が容易と
なり、精度よく3次元形状計測することができる。
【0035】(1.4)位置決定処理204 図5に、位置決定処理204のフローチャートを示す。
【0036】以下、図5のフローチャートに基づき、図
番号をステップ番号として手順を説明する。
番号をステップ番号として手順を説明する。
【0037】ステップ501:対応点選定 上記評価処理203にて作成した評価層データを探索
し、評価の最大値を順次求める。図6に評価層データ6
10の探索方向の例を示す。探索の方向には2つの方向
を定める。1つは、x座標、y座標上で、z座標の方向
611に探索する。2つめは、右視点画像120の視差
方向とz座標の方向で合成された方向612に探索す
る。実施の形態1では、視差方向がx座標の方向を例と
してるため、2つめの探索方向612は、x座標の方向
とz座標の方向に順に増加する斜め方向となる。この2
つの方向にて、最大評価値の位置を対応点の候補として
選定する。
し、評価の最大値を順次求める。図6に評価層データ6
10の探索方向の例を示す。探索の方向には2つの方向
を定める。1つは、x座標、y座標上で、z座標の方向
611に探索する。2つめは、右視点画像120の視差
方向とz座標の方向で合成された方向612に探索す
る。実施の形態1では、視差方向がx座標の方向を例と
してるため、2つめの探索方向612は、x座標の方向
とz座標の方向に順に増加する斜め方向となる。この2
つの方向にて、最大評価値の位置を対応点の候補として
選定する。
【0038】ステップ502:対応点修正 上記選定した対応点の候補のなかで、立体形状として不
適切な対応点を削除修正する。図6に、探索し選定した
対応点の候補の削除修正の例を示す。図に示す対応点の
候補601は、周囲の対応点候補からかけ離れた位置に
あり、探索方向612上に対応点の候補602が存在す
る。
適切な対応点を削除修正する。図6に、探索し選定した
対応点の候補の削除修正の例を示す。図に示す対応点の
候補601は、周囲の対応点候補からかけ離れた位置に
あり、探索方向612上に対応点の候補602が存在す
る。
【0039】この場合、対応点の候補601を削除ある
いは周囲の対応点の平均的な位置に修正する。また、対
応点の候補603は、周囲の対応点候補から離れた位置
にあり、探索方向611および探索方向612上に対応
点の候補は見当たらない。この場合についても、対応点
の候補603を削除あるいは周囲の対応点の候補の平均
的な位置に修正する。ここで、平均的な位置とは、周囲
の対応点の候補で構成する仮想面604の位置である。
いは周囲の対応点の平均的な位置に修正する。また、対
応点の候補603は、周囲の対応点候補から離れた位置
にあり、探索方向611および探索方向612上に対応
点の候補は見当たらない。この場合についても、対応点
の候補603を削除あるいは周囲の対応点の候補の平均
的な位置に修正する。ここで、平均的な位置とは、周囲
の対応点の候補で構成する仮想面604の位置である。
【0040】ステップ503:立体形状位置計算 上記ステップにて修正し決定した対応点から、立体形状
位置を計算をする。対応点のx座標、y座標から、左視
点画像110上の点L(x,y)と、視差方向および対応点の
z座標から右視点画像120上の点R(x+z,y)を画像対応
点として、3次元形状位置を計算する。3次元形状位置
の算出の細は以下に示す文献に記載されており、本発明
の実施の形態では省略する。
位置を計算をする。対応点のx座標、y座標から、左視
点画像110上の点L(x,y)と、視差方向および対応点の
z座標から右視点画像120上の点R(x+z,y)を画像対応
点として、3次元形状位置を計算する。3次元形状位置
の算出の細は以下に示す文献に記載されており、本発明
の実施の形態では省略する。
【0041】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 上記の位置決定処理204において、3次元構造上で対
応点の修正を行うことにより、対応点の削除修正が容易
となり、精度よく3次元形状計測することができる。
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 上記の位置決定処理204において、3次元構造上で対
応点の修正を行うことにより、対応点の削除修正が容易
となり、精度よく3次元形状計測することができる。
【0042】(1.5)出力処理205 立体形状データをファイルへ出力する。
【0043】以上、実施の形態1では、3次元構造をも
つ差層データを作成し、差層データを評価し3次元上の
対応点候補を求め、対応点候補の3次元位置から、不適
切な対応点候補を修正する。このことにより、高速で精
度よく対応点を探索でき、3次元形状計測することがで
きる。
つ差層データを作成し、差層データを評価し3次元上の
対応点候補を求め、対応点候補の3次元位置から、不適
切な対応点候補を修正する。このことにより、高速で精
度よく対応点を探索でき、3次元形状計測することがで
きる。
【0044】(実施の形態1の変更例1)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録する方法について述べる。図7
に変更例の概要を示し、図8に変更した差層作成処理1
40のフローチャートを示す。
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録する方法について述べる。図7
に変更例の概要を示し、図8に変更した差層作成処理1
40のフローチャートを示す。
【0045】以下、図8のフローチャートに基づき、図
番号をステップ番号として手順を説明する。
番号をステップ番号として手順を説明する。
【0046】ステップ801:初期設定 初期設定は、実施の形態1のステップ301と同様であ
る。
る。
【0047】ステップ802:視差方向ずらし 視差方向ずらしは、実施の形態1のステップ302と同
様である。
様である。
【0048】ステップ803:差分計算 差分計算は、実施の形態1のステップ303と同様であ
る。
る。
【0049】ステップ804:差分登録 差分登録は、実施の形態1のステップ304と同様であ
る。
る。
【0050】ステップ805:ループ終了 ループ終了は、実施の形態1のステップ305と同様で
ある。
ある。
【0051】ステップ806:微分画像作成 左視点画像110および右視点画像120を微分し、画
像中の対象物エッジからなる画像を作成する。微分方法
についての詳細は以下に示す文献に記載されており、本
発明の実施の形態では省略する。
像中の対象物エッジからなる画像を作成する。微分方法
についての詳細は以下に示す文献に記載されており、本
発明の実施の形態では省略する。
【0052】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、550頁から575頁、(東京大学出版会、
平成3年1月発行) ステップ807:微分画像の視差方向ずらし 右視点の微分画像を視差方向にずらし、ずらした右視点
の画像720を作成する。作成方法は、ステップ802
の対象画像である右視点画像120を右視点の微分画像
に置き換え、ステップ802と同様の処理を実行する。
ブック」、550頁から575頁、(東京大学出版会、
平成3年1月発行) ステップ807:微分画像の視差方向ずらし 右視点の微分画像を視差方向にずらし、ずらした右視点
の画像720を作成する。作成方法は、ステップ802
の対象画像である右視点画像120を右視点の微分画像
に置き換え、ステップ802と同様の処理を実行する。
【0053】ステップ808:エッジ方向ベクトル計算 左視点の微分画像710およびずらした右視点の微分画
像720から各々エッジ方向ベクトルを計算する。着目
画素I(x,y)において、着目画素がδ以上の値(δは任意
の定数)であり、着目画素の近傍画素にδ値以上の画素
値があれば、着目画素からδ値以上の近傍画素の方向を
エッジ方向ベクトルとする。図7に示すように、左視点
の微分画像におけるエッジ方向ベクトル730およびず
らした右視点の微分画像におけるエッジ方向ベクトル7
40となる。両ベクトルを全画素について算出する。
像720から各々エッジ方向ベクトルを計算する。着目
画素I(x,y)において、着目画素がδ以上の値(δは任意
の定数)であり、着目画素の近傍画素にδ値以上の画素
値があれば、着目画素からδ値以上の近傍画素の方向を
エッジ方向ベクトルとする。図7に示すように、左視点
の微分画像におけるエッジ方向ベクトル730およびず
らした右視点の微分画像におけるエッジ方向ベクトル7
40となる。両ベクトルを全画素について算出する。
【0054】ステップ809:エッジ類似度計算 左視点の微分画像におけるエッジ方向ベクトル730お
よびずらした右視点の微分画像におけるエッジ方向ベク
トル740から類似度を算出する。類似度は、両ベクト
ルの内積の絶対値とする。内積についての詳細は以下に
示す文献に記載されており、本発明の実施の形態では省
略する。
よびずらした右視点の微分画像におけるエッジ方向ベク
トル740から類似度を算出する。類似度は、両ベクト
ルの内積の絶対値とする。内積についての詳細は以下に
示す文献に記載されており、本発明の実施の形態では省
略する。
【0055】村上正康ほか「教養の線形代数」、98頁
から101頁、(培風館、1989年1月発行) ステップ810:エッジ類似度登録 上記類似度を差層データ140に登録する。この処理に
より、差層データ140は、差分データとエッジ方向類
似度からなる差エッジベクトル750を3次元の配列構
造の成分として持つ。
から101頁、(培風館、1989年1月発行) ステップ810:エッジ類似度登録 上記類似度を差層データ140に登録する。この処理に
より、差層データ140は、差分データとエッジ方向類
似度からなる差エッジベクトル750を3次元の配列構
造の成分として持つ。
【0056】ステップ811:ループ終了 終了条件を満たすまで、ステップ806からステップ8
10を繰り返し実行する。
10を繰り返し実行する。
【0057】差層作成処理140にて上記ステップを実
行し、評価処理203にてステップ402の評価値計算
を、数2およびベクトル類似度から計算することによ
り、高精度の評価値を求めることができ、実施の形態1
と同様の効果が得られる。
行し、評価処理203にてステップ402の評価値計算
を、数2およびベクトル類似度から計算することによ
り、高精度の評価値を求めることができ、実施の形態1
と同様の効果が得られる。
【0058】(実施の形態1の変更例2)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例2では、視差方向が未知であるとき
の差層データ140の作成する方法について述べる。図
9に変更例の概要を示し、図10に変更した差層作成処
理202のフローチャートを示す。
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例2では、視差方向が未知であるとき
の差層データ140の作成する方法について述べる。図
9に変更例の概要を示し、図10に変更した差層作成処
理202のフローチャートを示す。
【0059】以下、図10のフローチャートに基づき、
図番号をステップ番号として手順を説明する。
図番号をステップ番号として手順を説明する。
【0060】ステップ1001:格子点設定 差層データ140上にx座標にa間隔(aは任意の定
数)、y座標にb間隔(bは任意の定数)、z座標にc
間隔(cは任意の定数)毎の格子点を設定する。
数)、y座標にb間隔(bは任意の定数)、z座標にc
間隔(cは任意の定数)毎の格子点を設定する。
【0061】ステップ1002:視線ベクトル計算 着目格子点930から、両画像の視点までの視線ベクト
ルを計算する。視線ベクトルの詳細については、以下に
示す文献に記載されており、本発明の実施の形態では省
略する。
ルを計算する。視線ベクトルの詳細については、以下に
示す文献に記載されており、本発明の実施の形態では省
略する。
【0062】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 画像Aの実際に撮影した場所の視点911までの視線ベ
クトル912および画像Bの実際に撮影した場所の視点
921までの視線ベクトル922を算出する。
ブック」、594頁から600頁、(東京大学出版会、
平成3年1月発行) 画像Aの実際に撮影した場所の視点911までの視線ベ
クトル912および画像Bの実際に撮影した場所の視点
921までの視線ベクトル922を算出する。
【0063】ステップ1003:交点計算 上記算出した視線ベクトルと撮影面との交点を計算す
る。交点計算は、上記視線ベクトル計算と同様の文献に
記載されており、本発明の実施の形態では省略する。
る。交点計算は、上記視線ベクトル計算と同様の文献に
記載されており、本発明の実施の形態では省略する。
【0064】画像Aの撮影面910における視線ベクト
ル912との交点913および画像Bの撮影面920に
おける視線ベクトル922との交点923を求める。
ル912との交点913および画像Bの撮影面920に
おける視線ベクトル922との交点923を求める。
【0065】ステップ1004:輝度計算 画像Aの交点913の輝度を算出する。画像Aの交点9
13は、画素上の格子点ではなく、一般に浮動小数点で
あり、この浮動小数点近傍の4x4格子点の画素値を用
いて、キュービックコンボリューションにより、交点9
13の輝度を算出する。
13は、画素上の格子点ではなく、一般に浮動小数点で
あり、この浮動小数点近傍の4x4格子点の画素値を用
いて、キュービックコンボリューションにより、交点9
13の輝度を算出する。
【0066】キュービックコンボリューションの詳細は
以下に示す文献に記載されており、本発明の実施の形態
では省略する。
以下に示す文献に記載されており、本発明の実施の形態
では省略する。
【0067】高木幹雄、下田陽久監修「画像解析ハンド
ブック」、443頁から444頁、(東京大学出版会、
平成3年1月発行) 画像Bの交点923についても、同様の処理を実行し、
輝度を計算する。
ブック」、443頁から444頁、(東京大学出版会、
平成3年1月発行) 画像Bの交点923についても、同様の処理を実行し、
輝度を計算する。
【0068】ステップ1005:輝度差分 上記二つの輝度の差分を実行し、着目格子点930に登
録する。
録する。
【0069】ステップ1006:終了判断 差層データ140の全格子点について、ステップ100
2からステップ1005を繰り返し実行する。
2からステップ1005を繰り返し実行する。
【0070】以上の変更例により、実施の形態1と同様
の効果が得られる。
の効果が得られる。
【0071】(実施の形態2)実施の形態1の代替案と
して、複数の画像を伴う3次元形状計測処理210につ
いて、実施の形態を示す。以下、3つの画像に対する処
理について、実施の形態1との変更点のみを述べる。
して、複数の画像を伴う3次元形状計測処理210につ
いて、実施の形態を示す。以下、3つの画像に対する処
理について、実施の形態1との変更点のみを述べる。
【0072】(2.1)画像入力処理201 画像1、画像2および画像3をファイルから入力する。
【0073】(2.2)差層作成処理202 ステップ301:初期設定 初期設定は、実施の形態1と同様である。
【0074】ステップ302:視差方向ずらし 図11に差層作成処理202の概要を示す。画像1(1
110)を基準画像とし、基準以外の画像である画像2
(1120)および画像3(1130)を各々の視差方
向にずらし、ずらした画像2’(1140)および画像
3’(1150)を作成する。
110)を基準画像とし、基準以外の画像である画像2
(1120)および画像3(1130)を各々の視差方
向にずらし、ずらした画像2’(1140)および画像
3’(1150)を作成する。
【0075】ステップ303:差分計算 上記ステップにて作成した画像2’(1140)および
画像3’(1150)と基準画像である画像1(111
0)とを差分する。
画像3’(1150)と基準画像である画像1(111
0)とを差分する。
【0076】ステップ304:差分登録 画像1(1110)と画像2’(1140)の差分およ
び画像1(1110)と画像3’(1150)の 差分
を差ベクトル1160として、差層データ140に登録
する。
び画像1(1110)と画像3’(1150)の 差分
を差ベクトル1160として、差層データ140に登録
する。
【0077】ステップ305:ループ終了 ループ終了は、実施の形態1と同様である。
【0078】(2.3)評価処理203 ステップ401:初期設定 初期設定は、実施の形態1と同様である。
【0079】ステップ402:評価値計算 評価範囲をもとに、差層データ140の着目点における
差ベクトル1160を用いて評価値を計算する。評価値
の計算は、差ベクトル1150の各成分について、実施
の形態1と同様に算出し、各成分の算出結果を自乗平均
することで求める。
差ベクトル1160を用いて評価値を計算する。評価値
の計算は、差ベクトル1150の各成分について、実施
の形態1と同様に算出し、各成分の算出結果を自乗平均
することで求める。
【0080】ステップ403:評価値登録 初期設定は、実施の形態1と同様である。
【0081】ステップ404:終了判断 終了判断は、実施の形態1と同様である。
【0082】(2.4)位置決定処理204 位置決定処理204は、実施の形態1と同様である。
【0083】(2.5)出力処理205 出力処理205は、実施の形態1と同様である。
【0084】以上、実施の形態2では、2枚以上の複数
の画像に対して、差層データを作成することで、精度よ
く3次元形状計測することができる。
の画像に対して、差層データを作成することで、精度よ
く3次元形状計測することができる。
【0085】(実施の形態2の変更例1)上記実施の形
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録することもできる。
態1の差層作成処理202では、差層データ140に左
視点画像110とずらした右視点画像120の差分のみ
を登録した。変更例1では、さらに、画像中の対象物の
エッジを方向ベクトルとおき、方向ベクトルの類似度を
差層データ140に登録することもできる。
【0086】差層作成処理202において、実施の形態
1の変更例1と同様に、3つの画像から各々の微分画像
を作成し、基準以外の微分画像をずらし、各々の着目画
素におけるエッジ方向ベクトルを計算し、エッジ類似度
を求め、差層データに登録する。
1の変更例1と同様に、3つの画像から各々の微分画像
を作成し、基準以外の微分画像をずらし、各々の着目画
素におけるエッジ方向ベクトルを計算し、エッジ類似度
を求め、差層データに登録する。
【0087】評価処理203において、実施の形態1の
変更例1と同様に、ステップ402の評価値計算を、差
分およびベクトル類似度から計算する。
変更例1と同様に、ステップ402の評価値計算を、差
分およびベクトル類似度から計算する。
【0088】以上の変更例により、高精度の評価値を求
めることができ、実施の形態2と同様の効果が得られ
る。
めることができ、実施の形態2と同様の効果が得られ
る。
【0089】(実施の形態2の変更例2)実施の形態2
では視差方向が既知であったが、視差方向が未知である
ときでも、差層データ140を作成することができる。
では視差方向が既知であったが、視差方向が未知である
ときでも、差層データ140を作成することができる。
【0090】差層作成処理202において、実施の形態
1の変更例2と同様に、差層データ140上に格子点設
定し、着目格子点から、両画像の視点までの視線ベクト
ルを計算する。さらに、算出した視線ベクトルと撮影面
との交点から輝度を算出する。各々の画像にて算出した
輝度について、差分をとる。
1の変更例2と同様に、差層データ140上に格子点設
定し、着目格子点から、両画像の視点までの視線ベクト
ルを計算する。さらに、算出した視線ベクトルと撮影面
との交点から輝度を算出する。各々の画像にて算出した
輝度について、差分をとる。
【0091】以上の変更例により、実施の形態2と同様
の効果が得られる。
の効果が得られる。
【0092】
【発明の効果】本発明によれば、以下の効果がある。
【0093】複数の画像から3次元構造をもつ差層デー
タを作成し、差層データを評価し3次元上の対応点候補
を求め、対応点候補の3次元位置から、不適切な対応点
候補を修正する。このことにより、高速で精度よく対応
点を探索でき、3次元形状計測することができる。
タを作成し、差層データを評価し3次元上の対応点候補
を求め、対応点候補の3次元位置から、不適切な対応点
候補を修正する。このことにより、高速で精度よく対応
点を探索でき、3次元形状計測することができる。
【図1】本実施の形態1の差層作成処理の概要を示す図
である。
である。
【図2】本実施の形態1の3次元形状計測処理のフロー
チャートを示す図である。
チャートを示す図である。
【図3】本実施の形態1の差層作成処理のフローチャー
トを示す図である。
トを示す図である。
【図4】本実施の形態1の評価処理のフローチャートを
示す図である。
示す図である。
【図5】本実施の形態1の位置決定処理のフローチャー
トを示す図である。
トを示す図である。
【図6】本実施の形態1の位置決定処理の概要を示す図
である。
である。
【図7】本実施の形態1の変更例1の差層作成処理の概
要を示す図である。
要を示す図である。
【図8】本実施の形態1の変更例1の差層作成処理のフ
ローチャートを示す図である。
ローチャートを示す図である。
【図9】本実施の形態1の変更例2の差層作成処理の概
要を示す図である。
要を示す図である。
【図10】本実施の形態1の変更例2の差層作成処理の
フローチャートを示す図である。
フローチャートを示す図である。
【図11】本実施の形態2の差層作成処理の概要を示す
図である。
図である。
110…左視点画像、120…右視点画像、130…ず
らした右視点画像、140…差層データ、150…立体
形状データ、201…画像入力処理、202…差層作成
処理、203…評価処理、204…位置決定処理、20
5…出力処理、210…3次元形状計測処理、301…
初期設定、302…視差方向ずらし、303…差分計
算、304…差分登録、305…ループ終了、401…
初期設定、402…評価値計算、403…評価値登録、
404…終了判断、501…対応点選定、502…対応
点修正、503…立体形状位置計算、601…対応点の
候補、602…対応点の候補、603…対応点の候補、
604…仮想面、610…評価層データ、611…探索
方向、612…探索方向、710…左視点の微分画像、
720…ずらした右視点の画像、730…左視点の微分
画像におけるエッジ方向ベクトル、740…右視点の微
分画像におけるエッジ方向ベクトル、750…差エッジ
ベクトル、801…初期設定、802…視差方向ずら
し、803…差分計算、804…差分登録、805…ル
ープ終了、806…微分画像作成、807…微分画像の
視差方向ずらし、808…エッジ方向ベクトル計算、8
09…エッジ類似度計算、810…エッジ類似度登録、
811…ループ終了、910…画像Aの撮影面、911
…画像Aの視点、912…画像Aの視線ベクトル、91
3…画像Aの交点、920…画像Bの撮影面、921…
画像Bの視点、922…画像Bの視線ベクトル、923
…画像Bの交点、930…着目格子点、1001…格子
点設定、1002…視線ベクトル計算、1003…交点
計算、1004…輝度計算、1005…輝度差分、10
06…終了判断、1110…画像1、1120…画像
2、1130…画像3、1140…画像2’、1150
…画像3’、1160…差ベクトル。
らした右視点画像、140…差層データ、150…立体
形状データ、201…画像入力処理、202…差層作成
処理、203…評価処理、204…位置決定処理、20
5…出力処理、210…3次元形状計測処理、301…
初期設定、302…視差方向ずらし、303…差分計
算、304…差分登録、305…ループ終了、401…
初期設定、402…評価値計算、403…評価値登録、
404…終了判断、501…対応点選定、502…対応
点修正、503…立体形状位置計算、601…対応点の
候補、602…対応点の候補、603…対応点の候補、
604…仮想面、610…評価層データ、611…探索
方向、612…探索方向、710…左視点の微分画像、
720…ずらした右視点の画像、730…左視点の微分
画像におけるエッジ方向ベクトル、740…右視点の微
分画像におけるエッジ方向ベクトル、750…差エッジ
ベクトル、801…初期設定、802…視差方向ずら
し、803…差分計算、804…差分登録、805…ル
ープ終了、806…微分画像作成、807…微分画像の
視差方向ずらし、808…エッジ方向ベクトル計算、8
09…エッジ類似度計算、810…エッジ類似度登録、
811…ループ終了、910…画像Aの撮影面、911
…画像Aの視点、912…画像Aの視線ベクトル、91
3…画像Aの交点、920…画像Bの撮影面、921…
画像Bの視点、922…画像Bの視線ベクトル、923
…画像Bの交点、930…着目格子点、1001…格子
点設定、1002…視線ベクトル計算、1003…交点
計算、1004…輝度計算、1005…輝度差分、10
06…終了判断、1110…画像1、1120…画像
2、1130…画像3、1140…画像2’、1150
…画像3’、1160…差ベクトル。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/20 G01B 11/24 M G06F 17/40 G06F 15/62 350V G09B 29/00 15/70 400 15/74 330A Fターム(参考) 2C032 HC23 2F065 AA51 DD06 FF05 GG10 QQ13 QQ38 UU05 5B050 BA02 BA04 BA09 BA17 DA01 EA07 EA12 EA18 EA28 5B057 AA13 AA14 CA12 CA16 CB12 CB16 CD02 DA07 DB03 DC08 DC09 DC16 DC32 5L096 CA05 DA02 EA15 FA06 FA10 FA67 FA69 GA02 GA08 JA04 JA11 KA13
Claims (6)
- 【請求項1】 2枚の画像を撮影し、各々画像に映った
物体あるいは場所をもとに、画像に映った物体の形状を
計測する3次元形状計測処理において、 1つの画像を基準画像として基準以外の画像と差分をと
り、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の画像を視差方向に順次
ずらし、該ずらした画像と該基準画像との画素ごとの差
分をとり差画像を順次作成し、該順次作成した差画像を
積み重ねて、層状の3次元構造をもつ該差層データに登
録することを特徴とする画像データのマッチング方法。 - 【請求項2】 請求項1の評価処理において、 該差層データ上の着目データ近傍領域を決め、該着目デ
ータおよび該近傍領域のデータから類似度を求め、求め
た該類似度を評価値として、該評価データである層状の
3次元構造をもつ評価層データに登録することを特徴と
する画像データのマッチング方法。 - 【請求項3】 請求項1の位置決定処理において、 該評価データである層状の3次元構造をもつ評価層デー
タから3次元上の複数の対応点候補を選択し、選択した
該複数の対応点候補を1つの集団とみなし、該1つの集
団の位置から外れた不適切な場所を示す対応点候補を削
除修正することを特徴とする画像データのマッチング方
法。 - 【請求項4】請求項1の差層作成処理の代替案として、 該基準以外の画像を視差方向に順次ずらし、ずらした画
像と基準画像との画素ごとの差分をとり差画像を順次作
成し、該順次作成した差画像を積み重ねて、層状の3次
元構造をもつ該差層データに登録し、 各々の画像を着目画素と着目画素の近傍とで微分した各
々の微分画像を作成し、基準以外の微分画像を視差方向
に順次ずらし、該ずらした微分画像と該基準の微分画像
との画素ごとのエッジ方向の類似度を順次算出し、該順
次算出したエッジ方向の類似度を順次積み重ねて、該差
層データに登録することを特徴とする画像データのマッ
チング方法。 - 【請求項5】 請求項1の差層作成処理の代替案とし
て、 各々の画像において、撮影した視点位置と差層データ上
の着目位置から視線ベクトルを計算し、該視線ベクトル
と画像撮影面の交点を求め、該画像撮影面の交点の画素
輝度を算出し、 各々の画像における該算出した画素輝度の差分をとり、
該差層データに登録することを特徴とする画像データの
マッチング方法。 - 【請求項6】複数の画像を撮影し、各々画像に映った物
体あるいは場所をもとに、画像に映った物体の形状を計
測する3次元形状算出処理において、 1つの画像を基準画像として基準以外の各々の画像と差
分をとり、差層データを作成する差層作成処理と、 該差層データの各場所から類似の程度を評価値として計
算し、評価データを作成する評価処理と、 該評価データから、立体形状の位置を決定する位置決定
処理を設け、 該差層作成処理は、該基準以外の各々の画像を視差方向
に順次ずらし、ずらした各々の画像と基準画像との画素
ごとの差分をとり、各々の画素ごとの差分を成分とした
差ベクトルのデータを順次作成し、該順次作成した差ベ
クトルのデータを順次積み重ねて、層状の3次元構造を
もつ該差層データに登録することを特徴とする画像デー
タのマッチング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000046737A JP2001229388A (ja) | 2000-02-18 | 2000-02-18 | 画像データのマッチング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000046737A JP2001229388A (ja) | 2000-02-18 | 2000-02-18 | 画像データのマッチング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001229388A true JP2001229388A (ja) | 2001-08-24 |
Family
ID=18569101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000046737A Pending JP2001229388A (ja) | 2000-02-18 | 2000-02-18 | 画像データのマッチング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001229388A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
JP2012128623A (ja) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | オブジェクト判別装置、方法、及びプログラム |
US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
JP2020095519A (ja) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 形状推定装置、形状推定方法、プログラム、及び記録媒体 |
CN112504237A (zh) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | 一种倾斜数据轻量化快速生成方法 |
-
2000
- 2000-02-18 JP JP2000046737A patent/JP2001229388A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2390792A (en) * | 2002-07-08 | 2004-01-14 | Vision Rt Ltd | Patient positioning system using images from two viewpoints |
GB2390792B (en) * | 2002-07-08 | 2005-08-31 | Vision Rt Ltd | Image processing system for use with a patient positioning device |
US7889906B2 (en) | 2002-07-08 | 2011-02-15 | Vision Rt Limited | Image processing system for use with a patient positioning device |
US8135201B2 (en) | 2002-07-08 | 2012-03-13 | Vision Rt Limited | Image processing system for use with a patient positioning device |
US8463420B2 (en) | 2010-03-19 | 2013-06-11 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
US8527083B2 (en) | 2010-03-19 | 2013-09-03 | Brother Kogyo Kabushiki Kaisha | Sewing machine and non-transitory computer-readable medium storing sewing machine control program |
JP2012128623A (ja) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | オブジェクト判別装置、方法、及びプログラム |
JP2020095519A (ja) * | 2018-12-13 | 2020-06-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 形状推定装置、形状推定方法、プログラム、及び記録媒体 |
CN112504237A (zh) * | 2020-11-30 | 2021-03-16 | 贵州北斗空间信息技术有限公司 | 一种倾斜数据轻量化快速生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
JP6736257B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US20110235897A1 (en) | Device and process for three-dimensional localization and pose estimation using stereo image, and computer-readable storage medium storing the program thereof | |
EP2568253B1 (en) | Structured-light measuring method and system | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
JP2013186816A (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
US11348323B2 (en) | Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map | |
JP2015056057A (ja) | 姿勢推定方法及びロボット | |
US20110235898A1 (en) | Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof | |
JP2011192214A (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
JP2008082870A (ja) | 画像処理プログラム及びこれを用いた路面状態計測システム | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
JP2012013514A (ja) | 情報処理装置、3次元位置算出方法及びプログラム | |
US20100128972A1 (en) | Stereo matching processing system, stereo matching processing method and recording medium | |
KR101453143B1 (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
JP2020013560A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112184811A (zh) | 单目空间结构光***结构校准方法及装置 | |
CN114187246A (zh) | 一种激光打标机焦距测量方法 | |
JP2001229388A (ja) | 画像データのマッチング方法 | |
JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
JP2001116513A (ja) | 距離画像算出装置 | |
KR20080001794A (ko) | 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 | |
CN111583108B (zh) | 隧道衬砌面线阵图像tof融合拼接方法、装置及存储介质 | |
CN112991372A (zh) | 一种基于多边形匹配的2d-3d相机外参标定方法 |