JPH087102A - 対応点抽出装置 - Google Patents

対応点抽出装置

Info

Publication number
JPH087102A
JPH087102A JP6135495A JP13549594A JPH087102A JP H087102 A JPH087102 A JP H087102A JP 6135495 A JP6135495 A JP 6135495A JP 13549594 A JP13549594 A JP 13549594A JP H087102 A JPH087102 A JP H087102A
Authority
JP
Japan
Prior art keywords
image
image pickup
point extraction
conversion processing
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6135495A
Other languages
English (en)
Inventor
Katsuhiko Mori
克彦 森
Katsumi Iijima
克己 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6135495A priority Critical patent/JPH087102A/ja
Publication of JPH087102A publication Critical patent/JPH087102A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 撮像系を厳密に制御することなく、その撮像
系により得られた画像を画像処理することにより、高精
度の対応点抽出を行い得る対応点抽出装置を提供する。 【構成】 対応点抽出処理部16にて、複数の撮像手段
11によって得られた複数の画像間の対応関係を求め得
るように構成されている。被写体が合焦面に位置する条
件下で複数の画像を回転変換処理する回転変換処理部1
3と、画像の大きさを変換処理する倍率変換処理部15
と、を備えている。対応点抽出処理部16における対応
点抽出処理の前に、回転変換処理及び倍率変換処理が行
われるようにしたものである。回転変換処理では、基準
となる座標軸に対して画像を変換させ、また倍率変換処
理では、画像の大きさを変換させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、特に複数画像間の対応
関係を明らかにするために用いる対応点抽出装置に関す
るものである。
【0002】
【従来の技術】従来より複数の画像を同時に得るための
手段として、例えば図6に示したように複数の撮像系を
有する撮像装置が知られている。このような撮像装置で
得られた画像を使用して、例えば、被写体までの距離を
測ったり、或いは合成してパノラマ画像の作成等を行う
ことができる。そして、これら測距等を目的とする場合
には、画像間の対応関係を明らかにする所謂、対応点抽
出処理が必要になる。
【0003】従来、かかる撮像装置の設置に際して、対
応点抽出精度の向上を図るため、図6に示されるように
撮像系61,62を同じ高さに設置し、また図7に示さ
れるようにそれらの撮像系61,62の光軸71,72
を平行に設置していた。
【0004】また、被写体73を立体的に撮影する場合
等においては、図8に示したように撮像系61,62の
それぞれ光軸81,82の交点Mが被写体73上に存在
するように、撮像系61,62における輻輳角を制御す
るようにしていた。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来の撮像装置において、特に複数の撮像系61,6
2を同じ高さに設置し(図6)、或いは複数の撮像系6
1,62の光軸71,72が正確に平行になるように設
定すること(図7)は、極めて困難である。更に、図8
に示した例の場合において、複数の撮像系61,62の
光軸71,72の交点Mが被写体73上に存在するよう
に輻輳角を制御することは極めて困難であった。また特
に、輻輳角をつけて撮影する場合には、その輻輳角の影
響によって各画像中の被写体の写り方が異なり、そのま
までは対応点抽出の精度が劣化してしまうという問題点
があった。
【0006】本発明はかかる実情に鑑み、撮像系を厳密
に制御することなく、その撮像系により得られた画像を
画像処理することにより、高精度の対応点抽出を行い得
る対応点抽出装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明の対応点抽出装置
は、対応点抽出処理部にて、複数の撮像手段によって得
られた複数の画像間の対応関係を求め得るように構成さ
れているが、特に被写体が合焦面に位置する条件下で前
記複数の画像を回転変換処理する回転変換処理部と、画
像の大きさを変換処理する倍率変換処理部と、を備え、
前記対応点抽出処理部における対応点抽出処理の前に、
前記回転変換処理及び前記倍率変換処理が行われるよう
にしたものである。
【0008】
【作用】本発明によれば、対応点抽出処理の前処理とし
て、撮像装置により得られた画像に対して、回転変換処
理と倍率変換処理を行なう。この場合、回転変換処理
は、基準となる座標軸に対して画像を変換させ、倍率変
換処理は、画像の大きさを変換させるものである。
【0009】
【実施例】以下、図面を参照して、本発明による対応点
抽出装置の好適な実施例を説明する。図1は、本発明装
置の構成例を示している。図において、11は被写体を
撮像するカメラ、12は複数の画像を獲得した時に各撮
像系の輻輳角等の情報を得ることにより、特定の撮像系
の光軸の向きを基準にした時の別の撮像系の光軸の方向
を検出する撮像系相対位置検出部、13は撮像系相対位
置検出部12で得られた撮像系の相対位置に基づき、後
述する回転変換処理において画像を回転変換させる回転
変換部、14は画像を獲得した時の各撮像系の輻輳角、
焦点距離等の情報を得ることにより、後述する倍率変換
処理において回転変換部13で得られた回転変換後の画
像を倍率変換するための倍率を計算する倍率計算部、1
5は倍率計算部14で得られた倍率に基づき画像を倍率
変換させる倍率変換部、16は画像間の対応点抽出処理
を行なう対応点抽出処理部である。
【0010】ここで、本実施例における回転変換処理と
倍率変換処理について説明する。先ず、回転変換処理に
おいては、図2に示したように複数の撮像系22,23
によって被写体21を撮影するものとする。また、これ
らの撮像系22,23は、同一高さに配置されておら
ず、更に撮像系22,23の光軸が相互に平行ではな
く、そして撮像系22,23の光軸の交点が被写体21
上に存在しないものとする。
【0011】次に、上記のような条件下で画像間の対応
点抽出処理の精度を上げるために行なう回転変換処理を
説明する。図3は、撮像系22,23の座標系を示して
いる。図において、Xl ,Yl ,Zl は撮像系22の座
標軸を、またXr ,Yr ,Zr は撮像系23の座標軸を
それぞれ示している。この場合、被写体21はZ軸の方
向に存在しているものとする。また、ωは撮像系22の
Xl 軸を基準にした時の撮像系23のXr 軸まわり(Y
r −Zr 面)の回転を示す。同様にφはYl 軸を基準に
した時のYr 軸まわりの回転を示し、χはZl 軸を基準
にした時のZr 軸まわりの回転を示す。
【0012】また図3において、dxは撮像系22のX
l ,Yl ,Zl 軸を基準にした時の撮像系22のレンズ
中心Ol と撮像系23のレンズ中心Or のXl 軸方向の
距離を示す。同様にdyはYl 軸方向の距離、またdz
はZl 軸方向の距離を示す。更に、fl は撮像系22の
焦点距離を、またfr は撮像系23の焦点距離をそれぞ
れ示している。
【0013】回転変換処理において、撮像系22のXl
,Yl ,Zl 軸を基準にして、撮像系23の画像面3
2の画像を相対回転角度ω,φ,χだけ逆回転させて、
撮像系22と撮像系23の光軸が平行になるように変換
するために、以下の変換式に従って行われる。
【0014】一般的に、図3に示すように、一方の撮像
系22のレンズ中心Ol を原点として、その座標軸(X
l ,Yl ,Zl )を設定した時、焦点距離fl だけ離れ
て存在する画像面31上の座標軸(Xl ″,Yl ″)に
対して、次式が成立する。
【0015】
【数1】
【0016】また、一方の撮像系22のレンズ中心Ol
と、他方の撮像系23のレンズ中心Or とが(dx,d
y,dz)だけ離れているとし、そのOr を原点とする
座標軸(Xr ,Yr ,Zr )が、Ol を原点とする座標
軸(Xl ,Yl ,Zl )に対してそれぞれ角度(ω,
φ,χ)回転している時、Or から焦点距離fr だけ離
れて存在する画像面32上の座標軸(Xr ″,Yr ″)
に対して、次の式が成立する。
【0017】
【数2】
【0018】よって、撮像系22を基準にして、次式に
より表される座標変換を行なう。
【0019】
【数3】
【0020】上記(1),(2)及び(3)式の変換に
より、被写体が合焦面に存在するとした場合における撮
像系22,23の光軸を平行にした時の画像が得られ
る。
【0021】次に、倍率変換処理について説明する。図
4は、上述した回転変換処理後の合焦面等を模式的に示
している。なお、この図4では、説明を簡単化するた
め、図3に示したdy及びdzの値をそれぞれdy=
0,dx=0とし、また撮像系22及び23の焦点距離
fr 及びfl の値をfr =fl =fとしている。更に、
撮像系22の座標軸を基準にした時の撮像系23の座標
軸の回転は、Yr 軸まわりのφのみとする。そして、θ
l ≒θr とし、φ=θr −θl とする。またθl =π−
θr =θとしておくが、撮像系22のセンサ47と撮像
系23のセンサ48はポジ面にあるとする。
【0022】さて、図4において平面被写体402を撮
像系22,23で撮影する場合を考える。撮像系22の
光軸43と撮像系23の光軸44との交点が平面被写体
402上に存在せず、撮像系22の合焦面45と撮像系
23の合焦面46とが図示のように設定されているもの
とする。そして、Yr 軸まわりの回転φに対して回転変
換処理を行なうと撮像系22の合焦面46は回転変換し
た合焦面49に変換されて、光軸43と回転変換された
光軸50は平行になっていることがわかる。
【0023】上記のような条件下で平面被写体402を
撮影し、回転変換処理された画像を図5に示す。図5
(A)において、左側画像51は、撮像系22で平面被
写体402を撮影した画像であり、また回転変換された
画像52は、撮像系23で平面被写体402を撮影して
得た画像を回転変換した画像である。
【0024】この左画像51と回転変換された画像52
において、平面被写体402中の同一部位が撮影されて
成る重複部54が同じ大きさに撮影されていれば、テン
プレートマッチング法等を用いた対応点抽出処理におい
て高精度な結果が得られる。ところが、図4から明らか
なように、撮像系22の合焦面45と回転変換した合焦
面49とは連続していない。即ち、両者のZ方向の距離
が異なるため、この2枚の画像51,52の重複部54
をそのまま重ねると、図5(B)に示されるようにその
重ねられた画像53において被写体の大きさが食い違っ
てしまう。従って、このままでは高精度の対応点抽出処
理を行うことができない。
【0025】そこで、合焦面のZ方向の位置ずれを考慮
して、画像の倍率変換を行なうが、次に倍率変換処理の
倍率の計算について説明する。図4中の撮像系22の合
焦面45と回転変換した合焦面49とが連続するように
倍率変換処理するための比は、回転変換された撮像系
レンズ中心Or ′から撮像系23の合唱面46及び光軸
44の交点Kまでの距離f/β(f=焦点距離であり、
β=拡大率である)と、回転変換された撮像系のレン
ズ中心Or ′から倍率変換された合焦面401及び回転
変換された光軸50の交点K′までの距離f/β−(d
x−2・f/β・cosθ)cosθとの比である。
【0026】つまり、この倍率変換処理で使用する倍率
は次式により与えられる。
【0027】
【数4】
【0028】回転変換処理された画像に対して、上式で
表される倍率を用いて倍率変換処理を行なうことによ
り、図5(C)に示したように倍率変換処理後に重ねた
画像55が得られ、この画像55によれば被写体の大き
さを揃えることが可能となり、高精度な対応点抽出処理
を実現することができる。
【0029】なお、以上の説明においては、輻輳角θの
みが存在する場合(φ≠0,ω=0及びχ=0)を説明
したが、ω≠0,χ≠0の場合においても上記と同様な
作用効果が得られる。
【0030】さて、本発明装置に係る回転変換処理及び
倍率変換処理について具体的に説明したが、次に本発明
装置における実際の動作について順に説明する。図2に
示されるように、被写体21を撮影する際の光軸がその
被写体21上の一点で必ずしも交差しない2つの撮像系
22,23を有するカメラ11が設置され、このカメラ
11から画像が入力される。そして、そのときの各撮像
系22,23の輻輳角等をはじめとする光軸方向の情報
等がエンコーダ(図示されていない)等によって計測さ
れ、それらの情報は撮像系相対位置検出部12へ入力さ
れる。
【0031】撮像系相対位置検出部12において、図3
に示した撮像系22の座標軸Xl ,Yl ,Zl を基準に
して、それらの入力された情報からXl 軸方向の撮像系
のずれdx,Yl 軸方向のずれdy,Zl 軸方向のずれ
dzや、Xl 軸まわりの回転ω,Yl 軸まわりの回転
φ,Zl 軸まわりの回転χを計算する。そして、カメラ
11によって得られた画像及び焦点距離等のレンズ情報
と、撮像系相対位置検出部12にて計算された上記d
x,dy,dz及びω,φ,χが回転変換部13へ入力
される。この回転変換部13では、前述した回転変換処
理を行うが、上記入力パラメータを使用して、片方の画
像を変換することにより、疑似的に同一方向から撮像し
た複数の画像を得ることができる。
【0032】続いて、倍率計算部14に対して焦点距離
等のレンズ情報や輻輳角等の撮像系の位置情報が入力さ
れ、前述した倍率変換処理を行うために用いる倍率を計
算する。そして、回転変換部13にて回転変換された画
像と、倍率計算部14にて計算された倍率とが倍率変換
部15に入力される。倍率変換部15において、入力さ
れた倍率に基づいて、回転変換処理の画像を変換する。
このときの変換では、画像を拡大し、或いは縮小する
が、その場合には線形補間やスプライン補間等の補間処
理が必要的に行われる。
【0033】そして、対応点抽出処理部16に対して、
基準となった撮像系からの画像と、回転変換処理及び倍
率変換処理が行われた画像とが入力され、それらの画像
間にてテンプレートマッチング法等を用いた対応点抽出
処理が行われる。このように対応点抽出処理の前処理と
して、回転変換処理及び倍率変換処理が行われることに
より、高い精度の対応点抽出処理を実現することができ
る。
【0034】なお、上記実施例において、複数の撮像系
を使用する場合の例を説明したが、1台の撮像系でその
光軸の方向を変化させるようにした場合の対応点抽出に
おいても用いることができ、上記実施例と実質的に同様
な作用効果を得ることができる。また、上記実施例にお
いて、一方の撮像系の座標軸を基準にした例を説明した
が、絶対座標を基準にしたこれに合わせるように複数の
画像を変換させるようにしてもよい。
【0035】
【発明の効果】以上説明したように本発明によれば、特
に複数の撮像系の光軸が相互に平行でなく、或いはまた
複数の撮像系の光軸の交点が被写体上に存在しない場合
において、撮像装置の位置や光軸の方向等の装置情報を
使用して、得られた画像に対して前処理として回転変換
処理及び倍率変換処理が行われることにより、高い精度
の対応点抽出処理を実現することができる等の優れた効
果を有している。
【図面の簡単な説明】
【図1】本発明の対応点抽出装置の実施例における構成
例を示す図である。
【図2】本発明の対応点抽出装置の実施例における被写
体と撮像装置の位置関係を示す図である。
【図3】本発明の対応点抽出装置に係る座標系の示す図
である。
【図4】本発明の対応点抽出装置の実施例における倍率
変換処理を原理的に示す図である。
【図5】本発明の対応点抽出装置の実施例における平面
被写体を撮像した場合の画像形成の例を示す図である。
【図6】従来の複数の撮像系を有する撮像装置を示す図
である。
【図7】従来の撮像装置における光軸が平行な場合の例
を示す図である。
【図8】従来の撮像装置における光軸の交点が被写体上
に存在する場合の例を示す図である。
【符号の説明】 11 カメラ 12 撮像系相対位置検出部 13 回転変換部 14 倍率計算部 15 倍率変換部 16 対応点抽出処理部 21 被写体 22,23 撮像系 31,32 画像面 40 平面被写体 43,44 光軸 46 合焦面 47,48 センサ 50 光軸 51,52 画像 54 重複部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 対応点抽出処理部にて、複数の撮像手段
    によって得られた複数の画像間の対応関係を求め得るよ
    うに構成された対応点抽出装置において、 被写体が合焦面に位置する条件下で前記複数の画像を回
    転変換処理する回転変換処理部と、画像の大きさを変換
    処理する倍率変換処理部と、を備え、 前記対応点抽出処理部における対応点抽出処理の前に、
    前記回転変換処理及び前記倍率変換処理が行われるよう
    にしたことを特徴とする対応点抽出装置。
JP6135495A 1994-06-17 1994-06-17 対応点抽出装置 Pending JPH087102A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6135495A JPH087102A (ja) 1994-06-17 1994-06-17 対応点抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6135495A JPH087102A (ja) 1994-06-17 1994-06-17 対応点抽出装置

Publications (1)

Publication Number Publication Date
JPH087102A true JPH087102A (ja) 1996-01-12

Family

ID=15153081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6135495A Pending JPH087102A (ja) 1994-06-17 1994-06-17 対応点抽出装置

Country Status (1)

Country Link
JP (1) JPH087102A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847392B1 (en) 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
JP2006317418A (ja) * 2005-05-16 2006-11-24 Nikon Corp 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP2008199505A (ja) * 2007-02-15 2008-08-28 Mitsubishi Electric Corp 映像監視装置
JP2008281385A (ja) * 2007-05-09 2008-11-20 Olympus Corp 画像処理装置
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847392B1 (en) 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
JP2006317418A (ja) * 2005-05-16 2006-11-24 Nikon Corp 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP2008199505A (ja) * 2007-02-15 2008-08-28 Mitsubishi Electric Corp 映像監視装置
JP2008281385A (ja) * 2007-05-09 2008-11-20 Olympus Corp 画像処理装置
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置

Similar Documents

Publication Publication Date Title
WO2017146202A1 (ja) 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法
TWI521471B (zh) 3 - dimensional distance measuring device and method thereof
JP4306006B2 (ja) 3次元データ入力方法及び装置
JP2000028332A (ja) 3次元計測装置及び3次元計測方法
JP2003136465A (ja) 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ
JPH10122819A (ja) キャリブレーション方法およびその装置
JP3696336B2 (ja) カメラのキャリブレーション方法
JP2559939B2 (ja) 3次元情報入力装置
JP2001296124A (ja) 3次元座標計測方法及び3次元座標計測装置
JPH087102A (ja) 対応点抽出装置
JP2007225434A (ja) 3次元計測装置
JP4918675B2 (ja) 3次元座標測定方法
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法
CN110634136B (zh) 一种管道壁破损检测方法、装置及***
JP2003067726A (ja) 立体モデル生成装置及び方法
JP4359939B2 (ja) 画像測定装置
JP2970835B2 (ja) 三次元座標計測装置
JPH10318732A (ja) 形状測定装置及び形状測定用画像形成装置
JPH0252204A (ja) 3次元座標計測装置
JPH10267621A (ja) 物体の高さ測定装置及びその方法
JPS6247512A (ja) 三次元位置認識装置
JP2626780B2 (ja) セグメント対応による三次元画像計測方法
KR100395773B1 (ko) 두 장의 사진을 이용한 광 삼각법 삼차원 측정 장치
JP4003274B2 (ja) 距離測定装置
Dai et al. High-Accuracy Calibration for a Multiview Microscopic 3-D Measurement System