JP3851483B2 - 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 - Google Patents
像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 Download PDFInfo
- Publication number
- JP3851483B2 JP3851483B2 JP2000042950A JP2000042950A JP3851483B2 JP 3851483 B2 JP3851483 B2 JP 3851483B2 JP 2000042950 A JP2000042950 A JP 2000042950A JP 2000042950 A JP2000042950 A JP 2000042950A JP 3851483 B2 JP3851483 B2 JP 3851483B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- auxiliary
- image point
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 9
- 230000003287 optical effect Effects 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000004075 alteration Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、複数の画像から被写体の測量図を作成する写真測量において、各画像における被写体上の像点の対応付けを高精度に行う像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体に関する。
【0002】
【従来の技術】
従来、写真測量では、互いに固定された2台のカメラを用いて左眼用画像および右眼用画像から成るステレオ画像を得、このステレオ画像に基づいて被写体の測量図が生成される。具体的には、例えば左眼用画像および右眼用画像をモニタ画面上に並列して表示させ、目視により各画像に共通に写し込まれた被写体上の任意の測量点を立体視し、各画像上における測量点、即ち2つの像点を対応付けている。そして、対応付けられた像点および2台のカメラ間の距離から測量点の3次元座標が求められ、測量図が生成される。
【0003】
ステレオ画像上の像点の対応付けは、一方の画像で像点をマウス等で指定し、指定された像点に対応する像点を他方の画像で検索して指定するため、目視による場合には測量図の精度は操作者の能力および経験に依存し、また対応付けに非常な労力および時間を要する。このため、一方の画像で像点を指定した場合に、他方の画像にエピポーラ線と呼ばれる視覚用補助線を表示させて、対応付けを容易にすることが行われている。
【0004】
このエピポーラ線は、一方の画像で指定された像点と双方のカメラの撮影光学系の主点位置とを含む平面と、他方の画像(実際にはカメラの結像面)との交線として定義される。例えばステレオ画像の場合には垂直方向(Y方向)の視差がないので、一方の画像上の像点が指定されてY座標が決定すると、他方の画像におけるエピポーラ線はこのY座標に一致するY座標を有し水平方向(X方向)に延びる直線として定めることができ、対応する像点はエピポーラ線上にあるとみなせる。従って、操作者はこのエピポーラ線上でカーソルを移動させて水平方向の視差を対応付けるだけでよく、これにより作業効率が大幅に向上する。
【0005】
【発明が解決しようとする課題】
しかし、実際にはカメラの撮影光学系は固有の歪曲収差を有しているため、双方の画像における像点の座標は歪曲収差による誤差をそれぞれ含み、一方の画像に基づいて定められたエピポーラ線と他方の画像上の像点との位置がずれ、高精度な像点の対応付けが行えないという問題が生じる。歪曲収差のない撮影光学系を用いればこのような問題は解消されるが、歪曲収差のない撮影光学系は非常に高価であり、実用的ではない。
【0006】
本発明は、この様な点に鑑みてなされたものであり、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える像点対応付け装置、および像点対応付け装置を用いた写真測量方法を提供することが目的である。
【0007】
【課題を解決するための手段】
本発明による像点対応付け装置は、歪曲収差を有する撮影光学系によって同一の被写体を結像して得られた第1画像および第2画像をモニタ画面に表示する画像表示手段と、モニタ画面上の第1画像において、被写体上の所定の測量点が投影された第1像点を指定する第1指定手段と、第1像点に歪曲収差の影響を排除する補正を施して得られた第1補正像点と測量点とを通る所定の直線上に位置する複数の補助点を定義する補助点定義手段と、補助点を歪曲収差を加味して第2画像に投影した補助像点を定義する補助像点定義手段と、補助像点を第2画像に重ねてモニタ画面に表示する補助像点表示手段と、モニタ画面に表示された補助像点に基づいて第2画像上に投影された測量点の第2像点を指定する第2指定手段と、測量点の相対位置を特定するために第1像点および第2像点を対応付ける対応付け手段とを備えることを特徴としている。これにより、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える。
【0008】
像点対応付け装置の補助点定義手段が、さらに具体的には、第1画像が得られたときの撮影光学系の入射瞳位置である第1撮影位置から所定距離離れた所定点が、歪曲収差のない結像面上に投影された投影点を定義する投影点定義手段と、投影点定義手段により得られた投影点の2次元座標に対して、Kararaの式に基づいて座標変換を行うことにより投影点の歪曲収差を加味した2次元座標を得る歪曲収差補正手段と、投影点の歪曲収差を加味した2次元座標が第1像点の2次元座標に一致するように所定点の相対位置を特定し特定された所定点の投影点を第1補正像点として定める第1補正像点特定手段と、第1撮影位置および第1補正像点を通る直線を所定の直線として定義する直線定義手段と、直線定義手段により定義された所定の直線上にあってかつ測量点を含み得る所定範囲内にある補助点を複数個抽出しこれら補助点の3次元座標をそれぞれ算出する補助点抽出手段とを備えていてもよい。
【0009】
像点対応付け装置の補助点抽出手段において抽出される補助点の所定範囲は、第1撮影位置から1メートル以上かつ50メートル以内の範囲であることが好ましい。測量精度を考慮すれば、撮影の範囲は撮影位置から1〜50メートル程度の範囲に限られるため、測量点がこの範囲内に高い確率で含まれる。
【0010】
像点対応付け装置の補助像点定義手段が、さらに具体的には、補助点定義手段により定義された補助点の3次元座標と第2画像が得られたときの撮影光学系の入射瞳位置である第2撮影位置の3次元座標とに基づいて補助点が歪曲収差のない結像面に投影されたときの2次元座標を算出する2次元座標算出手段と、2次元座標算出手段により得られた補助点の2次元座標に対してKararaの式に基づいて歪曲収差を加味する座標変換を行うことにより補助像点の2次元座標を算出する歪曲収差補正手段とを備えていてもよい。
【0011】
像点対応付け装置は、第1および第2撮影位置の3次元座標をそれぞれ算出する撮影位置算出手段を備えていてもよく、撮影位置算出手段は第1および第2画像に写し込まれた所定位置にあるターゲットの寸法形状と、第1および第2画像におけるターゲットの像の寸法形状とに基づいて、第1および第2撮影位置の3次元座標を算出する。これにより、撮影時にターゲットを被写体近傍に置けば基準となる長さを逐一測る必要がなく、撮影作業が簡便になる。さらに好ましくは、撮影位置算出手段が第1および第2画像におけるターゲットの像を歪曲収差に基づいて補正する。これにより、第1および第2撮影位置の3次元座標は、歪曲収差が補正された高精度な値となる。
【0012】
像点対応付け装置のモニタ画面において、補助像点は実質的に線として表示されることが好ましい。撮影光学系が所定数の画素を格子状に配列した撮像素子を有する電子スチルカメラに設けられた場合には、補助点の個数が撮像素子の水平方向の画素数より大きい値であればよく、具体的には1000個以上が好ましい。これにより、第2画像に重ねて表示する補助像点が高精度な線として表示される。
【0013】
また、本発明による像点対応付け方法は、所定の歪曲収差を有する撮影光学系を備えたカメラによって、第1および第2撮影位置から同一の被写体を撮像し、第1画像および第2画像を得る第1ステップと、第1および第2画像をモニタ画面に表示する第2ステップと、モニタ画面に表示された第1画像において、被写体上の所定の測量点が投影された第1像点を指定する第3ステップと、第3ステップにより指定された第1像点を歪曲収差に基づいて補正し得られた第1補正像点に基づいて測量点を通る所定の直線上の複数の補助点を定義する第4ステップと、補助点を歪曲収差を加味して第2画像に投影した補助像点を定義する第5ステップと、補助像点を第2画像に重ねてモニタ画面に表示する第6ステップと、モニタ画面に表示された補助像点に基づいて第2画像上に投影された測量点の第2像点を指定する第7ステップと、測量点の相対位置を特定するために第1像点および第2像点を対応付ける第8ステップとを備えることを特徴としている。これにより、歪曲収差を有する撮影光学系を用いた場合においても、複数の画像上において像点の対応付けが容易かつ高精度に行える。
【0014】
また、本発明による記録媒体は、所定の歪曲収差を有する撮影光学系によって同一の被写体を結像して得られた第1画像および第2画像をモニタ画面に表示する画像表示ルーチンと、モニタ画面に表示された第1画像において指定された被写体上の所定の測量点が投影された第1像点を歪曲収差に基づいて補正し補正された第1像点に基づいて測量点を通る所定の直線上の複数の補助点を定義する補助点定義ルーチンと、補助点を歪曲収差を加味して第2画像に投影した補助像点を定義する補助像点定義ルーチンと、補助像点を第2画像に重ねてモニタ画面に表示する補助像点表示ルーチンと、測量点の相対位置を特定するためにモニタ画面に表示された補助像点に基づいて指定され第2画像上に投影された測量点の第2像点と第1像点とを対応付ける対応付けルーチンとを備えることを特徴とする像点対応付けプログラムを格納している。これにより、汎用のパーソナルコンピュータにおいて像点対応付けプログラムを実行でき、歪曲収差を有する撮影光学系を用いた場合においても複数の画像上において像点の対応付けが容易かつ高精度に行える。
【0015】
【発明の実施の形態】
以下、本発明による像点対応付け方法の実施形態について添付図面を参照して説明する。
【0016】
図1は、像点対応付け装置のブロック図である。像点対応付け装置は、装置全体の動作を制御するCPU10と、画像に関するデータをICメモリカード40から読取るためのカード読取装置12と、読取られた画像を表示するモニタ装置14とを備える。また像点対応付け装置は、像点指定や種々の指示に用いるマウス16およびキーボード17を備える。CPU10、カード読取装置12、モニタ装置14およびマウス16は直接または間接的にバス30に接続される。
【0017】
マウス16およびキーボード17にはバス30に接続された入力制御部26が接続され、マウス16およびキーボード17からの入力がバス30に転送され、またこれらの入力モード等が設定される。
【0018】
ICメモリカード40はカード読取装置12に挿入され、ICメモリカード40内に格納された複数の画像データが装置内に適宜読み込まれる。画像データは、図示しない電子スチルカメラにより撮像された1フレーム分のデジタル画素データと、撮影時の撮影条件や撮影光学系の歪曲収差のデータ、さらに画像に写し込まれたターゲットの寸法形状および配置のデータ等を含む。
【0019】
カード読取装置12の読込み動作および書込み動作は、バス30に接続された記録媒体制御部22により制御される。記録媒体制御部22にはハードディスク13が接続され、このハードディスク13にはICメモリカード40から読み込まれた画像データが格納される。
【0020】
バス30には表示メモリ42および作業メモリ44がそれぞれ接続される。表示メモリ42はモニタ装置14で表示すべき内容をデジタルデータとして保持し、バス30に接続された表示制御部24は保持されたデジタルデータをモニタ装置14のためのアナログRGB信号に変換する。作業メモリ44はCPU10による演算、処理におけるキャッシュメモリ等に使用される。
【0021】
CPU10は、入力状態管理部32、表示状態管理部34、演算処理部36およびデータ管理部38を備え、必要な管理、演算、処理を実行する。入力状態管理部32はマウス16およびキーボード17の設定を管理し、また入力された情報、例えばマウス16の座標、キーボード17から入力された文字等を所定のデジタルデータに変換する。表示状態管理部34はモニタ装置14に表示すべき内容を管理し、表示に関する設定の変更等があったときには表示内容を変更する。演算処理部36は後述する像点等の座標算出や歪曲収差補正等に使用される。データ管理部38はICメモリカード40から読込んだデータ内容を管理し、また読み込まれた画像に基づいて作成された種々の座標データや像点の対応付けのデータ等を管理する。
【0022】
なお、像点対応付け装置には汎用のパーソナルコンピュータが適用され、また画像に関するデータの読込みから作図までの一連の写真測量用画像処理プログラムは像点対応付け装置に着脱自在な記録媒体であるCD−ROM60、または像点対応付け装置に内蔵された記録媒体であるハードディスク13に格納される。ハードディスク13内に写真測量用画像処理プログラムが格納されていない場合には、CPU10はCD−ROMドライブ48を介してCD−ROM60から写真測量用画像処理プログラムを読み出し、ハードディスク13にインストールする。既にハードディスク13にインストールされている場合には、CPU10はハードディスク13内の写真測量用画像処理プログラムを読み出し、種々の処理を実行する。なお、後述する対応付け処理プログラムは写真測量用画像処理プログラムに含まれる。
【0023】
図2はモニタ装置14の表示画面を概念的に示す図である。この表示画面の画像表示領域IMAには、地表面上の所定位置に置かれたターゲット50を含む一対の画像、即ち第1画像IM1、第2画像IM2が並列して表示される。第1画像IM1および第2画像IM2は単一の電子スチルカメラで撮影された画像であり、それぞれの撮影位置はオペレータにより任意に定められる。第1画像IM1および第2画像IM2はICメモリカード40に格納されていたデジタル画素データに基づいて表示され、水平方向にW個、垂直方向にH個の画素が配列される。W、Hは整数(W≧H)であり、例えばW=1000、H=800である。
【0024】
画像表示領域IMAの下側には作図領域DRAが設けられ、2つの画像に基づいて作図された測量図、具体的には道路の外形を示す実線Lが描かれる。測量図は道路を鉛直上方から見た水平面図である。なお、測量点q1 、q2 、q3 、q4 およびターゲット50の角部を示す基準点RPは、作図領域DRAにおいて点表示される。画面の左方にはメニューMMが設けられ、種々のコマンドが選択可能である。
【0025】
測量図の作図に際しては、測量点の各画像における像点がマニュアルで指定されて、対応付けられる。例えば、第1画像IM1において、道路の角の測量点q1 の第1像点AQ11がマウス16によりマニュアル指定されると、第2画像IM2に補助線ADLが重ねて表示され、この補助線ADLを参照しながら第2像点AQ12がマニュアル指定される。
【0026】
第1像点AQ11は、マウス16の指定によりそのピクセル座標(AX11,AY11)が取得され、作業メモリ44に格納される。ピクセル座標(AX11,AY11)は、第1画像IM1の左上隅からの水平および垂直方向の画素数である。第2像点AQ12についても同様、マウス指定によりピクセル座標(AX12,AY12)が得られる。
【0027】
このように測量点q1 の像点として第1像点AQ11および第2像点AQ12が互いに対応付けられると、これら第1像点AQ11および第2像点AQ12のピクセル座標に基づいて測量点q1 の3次元座標が算出されるとともに、作図領域DRAに測量点q1 が点表示される。測量点q2 、q3 、q4 についても同様、像点AQ21と像点AQ22、像点AQ31と像点AQ32、像点AQ41と像点AQ42がそれぞれ互いに対応付けられ、3次元座標が算出される。
【0028】
測量点q1 、q2 、q3 、q4 の3次元座標は、ターゲット50の基準点RPを原点とする共通の3次元座標系における値である。基準点RPの第1画像IM1および第2画像IM2におけるそれぞれの像点はRP1 およびRP2 で示される。
【0029】
なお、本実施形態においては、始めに第1画像IM1の像点指定が行われ、補助線ADLは第2画像IM2上に示されているが、指定の順序が逆、即ち第2画像IM2の像点指定を先に行っても良い。この場合、補助線ADLは第1画像IM1上に表示される。
【0030】
このように、一方の画像で像点を指定すると、他方の画像に対応する像点を含み得る補助線ADLが自動的に表示されるので、オペレータは対応する像点を容易に指定し得る。
【0031】
図3は、測量点qi および測量点qi の2つの対応する第1像点AQi1、第2像点AQi2との関係を概念的に示す図である。iは測量点の数を示すパラメータである。
【0032】
第1画像IM1が得られたときの電子スチルカメラの撮影光学系の入射瞳位置は第1撮影位置M1で示され、その座標はターゲット50に基づいて設定された基準座標系(X,Y,Z)における3次元座標、即ち基準座標(ΔX1 ,ΔY1 ,ΔZ1 )で示される。また撮影光学系の向きは光軸CL1で示され、その回転角はX軸、Y軸およびZ軸周りの回転変位量(Δα1 ,Δβ1 ,Δγ1 )で表される。これら6つのパラメータΔX1 、ΔY1 、ΔZ1 、Δα1 、Δβ1 およびΔγ1 をカメラパラメータと呼ぶ。
【0033】
カメラパラメータは、第1画像IM1が読み込まれた時にCPU10によってターゲット50の寸法形状に基づいて算出される。同様に、第2画像IM2が得られたときのカメラパラメータ、即ち第2撮影位置M2(ΔX2 ,ΔY2 ,ΔZ2 )および光軸CL2(Δα2 ,Δβ2 ,Δγ2 )は画像読込み時に算出される。カメラパラメータの算出に関しては従来公知であり、ここではその説明を省略する。
【0034】
測量点qi は、撮影光学系の結像面に実質的に一致する第1画像IM1(図中、破線で示される)上に第1像点AQi1(図中、白丸で示される)として投影される。測量点qi は、理想的には第1撮影位置M1と第1像点AQi1とを結ぶ直線ELの延長線上に位置するはずであるが、現実には撮影光学系が歪曲収差を有するために直線ELから外れてしまう。
【0035】
そこで、歪曲収差のない撮影光学系によって結像された理想的な結像面を、第1スクリーンS1(図中、実線で示される)として設定し、第1スクリーンS1に投影された測量点qi の像点を第1補正像点Qi1(図中、黒丸で示される)として示す。第1スクリーンS1は光軸CL1に対して垂直な平面であり、かつその結像中心C1は光軸CL1上に位置する。このとき、測量点qi は第1撮影位置M1と第1補正像点Qi1とを通る直線EL上に位置する。
【0036】
第1スクリーンS1には結像中心C1を原点とする第1スクリーン座標系(X’,Y’)が設定され、第1補正像点Qi1の第1スクリーンS1における相対位置はスクリーン座標(Xi1,Yi1)で表される。測量点qi の基準座標(qxi ,qyi ,qzi )と、第1補正像点Qi1のスクリーン座標(Xi1,Yi1)との関係は、(1)式および(2)式により定義付けられる。(1)式および(2)式においてjは画像数を示すパラメータであり、第1画像IM1の場合にはj=1である。
【0037】
【数1】
【0038】
【数2】
【0039】
なお(1)式および(2)式に示される(xij,yij,zij)は、基準座標系とは異なる電子スチルカメラに設定されたカメラ座標系における測量点qi の3次元座標である。詳述すると、第1画像IM1には第1撮影位置M1を原点とする第1カメラ座標系(x’,y’,z’)が設定され、この第1カメラ座標系における測量点qi の座標は(xi1,yi1,zi1)で表される。なお、x’軸は第1スクリーンS1のX’軸に平行であり、電子スチルカメラに設けられた撮像素子の水平方向に一致する。またy’軸はY’軸に平行かつ撮像素子の垂直方向に一致する。同様に第2カメラ座標系(x”,y”,z”)が設定され、この第2カメラ座標系における測量点qi の座標は(xi2,yi2,zi2)で表される。
【0040】
(1)式は測量点qi のカメラ座標(xij,yij,zij)と基準座標(qxi ,qyi ,qzi )との関係を示し、(2)式は測量点qi のカメラ座標(xij,yij,zij)とスクリーン座標(Xi1,Yi1)との関係を示す。(2)式のCmは電子スチルカメラ固有に定められたパラメータであり、双方の撮影位置M1、M2において同値である。
【0041】
第2撮影位置M2に関しても同様に、実際の結像面である第2画像IM2、および理想的な結像面である第2スクリーンS2における測量点qi の像点が、それぞれ第2像点AQi2および第2補正像点Qi2として示される。測量点qi が直線EL上にあることから、直線ELを第2スクリーンS2に投影した直線(以下、投影線と呼ぶ)PEL上には、第2補正像点Qi2が位置する。
【0042】
この投影線PELを歪曲収差を考慮して変換すれば、変換された線上には第2像点AQi2が位置するはずである。本実施形態では、この変換された線を補助線ADL(図中破線で示される)として定義し、図3に示すように第2画像IM2に重ねて表示させている。このように補助線ADLは撮影光学系の歪曲収差を考慮して求められており、これにより第2像点AQi2を容易かつ高精度に指定し得る。
【0043】
具体的には、直線EL上にあってかつ測量点qi を含み得る所定範囲内にあるn個の補助点p1 〜pn を抽出し、これら補助点p1 〜pn を第2スクリーンS2に投影し、さらに歪曲収差に基づいて変換して補助像点AP1 〜APn (図3にはAP1 およびAPn のみを示す)を得、連続する補助像点AP1 〜APn を結ぶことにより補助線ADLを生成する。補助点の数nは多い方が好ましく、少なくとも第1画像IM1の水平方向の画素数Wより大きい値に設定される。この場合、水平方向において1画素単位で補助線ADLを表示でき、高精度かつ滑らかな補助線ADLが得られる。
【0044】
補助点p1 〜pn が抽出される所定範囲としては、第1撮影位置M1から1m以上50m以下の範囲が好ましい。この下限値1mおよび上限値50mは、像点指定を高精度に行うために撮影範囲が1m以上50m以下程度に限られることから経験的に得られた数値であり、特に限定されるものではない。図3に示す画面上のメニューMMで所定範囲を適宜変更しても良い。本実施形態においては水平方向の画素数Wが1000であり、1mから50mの範囲を1000等分することにより1000個の補助点pn (1≦n≦1000)が定義される。
【0045】
補助点pn の基準座標(pxn ,pyn ,pzn )は、(3)式により算出される。(3)式においてtは距離を示すパラメータであり、Rは直線ELの方向を示す方向ベクトル(rX ,rY ,rZ )である。この方向ベクトルRは第1カメラ位置M1からの単位ベクトルである。
【0046】
【数3】
【0047】
補助点pn の第2スクリーンS2上におけるスクリーン座標(Xn2,Yn2)は、前述の(1)式および(2)式により求められる。ここで、パラメータiおよびjにはそれぞれn(1≦n≦1000)および2が代入され、qxn 、qyn およびqzn にはそれぞれ補助点pn の基準座標pxn 、pyn およびpzn が代入される。
【0048】
補助点pn のスクリーン座標(Xn2,Yn2)は、(4)式に示すKararaの歪曲収差補正モデルを用いて、歪曲収差を考慮した値に変換される。変換後の点は補助像点APn で示され、その変換後の2次元座標は(DXn2,DYn2)で表される。(4)式において、D2 、D4 、D6 、P1 、P2 、XcおよびYcは歪曲収差を示すパラメータであり、特にXcおよびYcは光軸CL2 の第2画像IM2の中心に対するX”方向およびY”方向のずれ量である。
【0049】
【0050】
補助像点APn の2次元座標は(DXn2,DYn2)は、結像中心C2を原点とする第2スクリーン座標系における値であり、さらに(5)式によって第2画像IM2におけるピクセル座標(AXn2,AYn2)に変換される。(5)式において、PxおよびPyはそれぞれ撮像素子の水平方向および垂直方向の画素間距離であり、WおよびHは水平方向および垂直方向の画素数である。
【0051】
【0052】
そして、1000個の補助像点APn は、算出されたピクセル座標(AXn2,AYn2)に基づいて、第2画像IM2上に例えば赤色の点で表示され、補助像点APn を連続して結ぶことにより補助線ADLが得られる。
【0053】
図4〜図6を参照して、CPU10の演算処理部36において実行される対応付け処理プログラムについて説明する。
【0054】
図4は対応付け処理プログラムのメインルーチンを示すフローチャートである。このメインルーチンは対応付け処理プログラムが起動されることにより開始される。まず、ステップS102において第1画像IM1および第2画像IM2の画像データがICメモリカード40から読み込まれる。このとき、撮影時の撮影条件や撮影光学系の歪曲収差のデータ、およびターゲット50の寸法形状および配置のデータは作業メモリ44に格納される。
【0055】
続いてステップS104が実行され、第1画像IM1のカメラパラメータ(ΔX1 、ΔY1 、ΔZ1 、Δα1 、Δβ1 、Δγ1 )および第2画像IM2のカメラパラメータ(ΔX2 、ΔY2 、ΔZ2 、Δα2 、Δβ2 、Δγ2 )が算出される。これらカメラパラメータは作業メモリ44の所定領域に格納される。次にステップS106が実行され、第1画像IM1および第2画像IM2がモニタ装置14の画面に設定された画像表示領域IMA(図3)に表示される。
【0056】
ここで、ステップS108において測量点の数を示すパラメータiの値が0に初期化され、ステップS110において第1画像IM1および第2画像IM2における測量点qi の像点の対応付けを継続するか否かが判定される。継続する場合にはステップS112以降が実行され、継続しない場合にはステップS122が実行される。
【0057】
ステップS112においてパラメータiはカウントアップされる。続いてステップS114が実行され、ここでは第1画像IM1における測量点q(i=1) の像点、即ち第1像点AQ11がマニュアル指定され、そのピクセル座標(AX11, AY11)が取得される。
【0058】
そして、ステップS200の補助線描画サブルーチンが実行され、第2画像IM2に補助線ADLが表示される。続いてステップS116において、補助線ADLを参照しつつ第2画像IM2における測量点q(i=1) の像点、即ち第2像点AQ12がマニュアル指定され、これによりそのピクセル座標(AX12, AY12)が取得される。
【0059】
続いてステップS118が実行され、ステップS114で指定された第1像点AQ11と、ステップS116で指定された第2像点AQ12とが、測量点q(i=1) の像点として対応付けられ、それらピクセル座標(AX11, AY11)および(AX12, AY12)が作業メモリ44に格納される。
【0060】
ステップS120では、第1像点AQ11と第2像点AQ12とのピクセル座標および、カメラパラメータに基づいて測量点q(i=1) の基準座標(X1 ,Y1 ,Z1 )が算出され、作図領域DRA(図3)に点表示される。基準座標の算出については公知であり、ここでは説明を省略する。ステップS120の終了後ステップS110へ戻り、次の測量点q(i=2) について像点指定を行う場合にはステップS112〜S120が再実行される。
【0061】
ステップS110において像点指定を終了すると判定されると、ステップS122において作業メモリ44に格納されていたデータ、即ち第1画像IM1および第2画像IM2の画像データやカメラパラメータ、測量点および第1および第2像点に関するデータ、測量図に関するデータ等が所定のフォーマットに基づいてファイルに変換され、ハードディスク13に格納された後、メインルーチン即ち対応付け処理プログラムが終了する。
【0062】
図5は、図4の補助線描画サブルーチン(ステップS200)の詳細を示すフローチャートである。まず、ステップS202において第1画像IM1および第2画像IM2のカメラパラメータが作業メモリ44から読み出される。次に、ステップS300の方向ベクトル算出サブルーチンが実行され、直線ELの方向を定義付ける方向ベクトルR(rX ,rY ,rZ )が算出される。
【0063】
ステップS206では、ステップS204により定義された直線EL上の補助点pn が定義され、具体的には(1)式のパラメータtに数値が代入される。本実施形態においては、距離tには1m以上50m以下の範囲を1000等分した数値が代入される。即ち、ステップS206により1000個の補助点pn (1≦n≦1000)およびその基準座標が得られる。
【0064】
次にステップS208が実行され、補助点pn の基準座標および第2画像IM2のカメラパラメータに基づいて、補助点pn を第2スクリーンS2に投影した点のスクリーン座標が算出され、さらに1000個の投影点のスクリーン座標にはそれぞれ歪曲補正が施される。これにより、補助点pn を画像IM2に投影した補助像点APn の高精度なピクセル座標が得られる。
【0065】
そしてステップS210において、1000個の補助像点APn を連続して結んだ補助線ADLが描画されて、モニタ装置14の画面上の第2画像IM2に重ねて表示され、補助線描画サブルーチンが終了する。
【0066】
図6は、図5の方向ベクトル算出サブルーチン(ステップS300)の詳細を示すフローチャートである。ここでは、方向ベクトルRの先端である第1カメラ位置M1から距離1だけ離れた点RBを第1画像IM1に投影した点と、指定した第1像点AQi1との距離が最小となり得るような、rX 、rY およびrZ の値が求められる。
【0067】
始めにステップS302において、方向ベクトルRのrX 、rY 、およびrZ に適当な初期値が与えられる。次に、ステップS304において(1)式により点RBのカメラ座標が算出される。続いて(2)式、(4)式および(5)式により点RBのスクリーン座標、歪曲収差を考慮した2次元座標、ピクセル座標が順に算出される(ステップS306、308、310)。そしてステップS312が実行され、ステップS310により求められた点RBの第1画像IM1におけるピクセル座標(AXRB,AYRB)と、指定した第1像点AQi1のピクセル座標(AXi1,AYi1)との距離の2乗で表される誤差Φが(6)式により算出される。
【0068】
【数6】
【0069】
ステップS314においては誤差Φが最小値であるか否かが判定され、最小値でないと判定されるとrX 、rY およびrZ の値がより近似した値に変えられてステップS304に戻る。即ち、誤差Φが最小値に収束するまでrX 、rY およびrZ の値が順次変えられて誤差Φの算出が繰り返し行われる。誤差Φが最小値であると判定されると、ステップS316において現在のrX 、rY およびrZ の値が方向ベクトルRとして登録され、方向ベクトル算出サブルーチンが終了する。
【0070】
【発明の効果】
本発明によると、複数の画像上において像点の対応付けが高精度に行える。
【図面の簡単な説明】
【図1】本発明による像点対応付け装置の実施形態を示すブロック図である。
【図2】図1に示すモニタ装置の表示画面を概念的に示す図である。
【図3】測量点および第1像点、第2像点との関係を概念的に示す図である。
【図4】対応付け処理プログラムのメインルーチンを示すフローチャートである。
【図5】図4の補助線描画サブルーチンの詳細を示すフローチャートである。
【図6】図5の方向ベクトル算出サブルーチンの詳細を示すフローチャートである。
【符号の説明】
10 CPU
14 モニタ装置
16 マウス
60 CD−ROM
IM1 第1画像
IM2 第2画像
q1 、q2 、q3 、q4 測量点
AQ11、AQ21、AQ31、AQ41 第1像点
AQ12、AQ22、AQ32、AQ42 第2像点
p1 〜pn 補助点
AP1 〜APn 補助像点
ADL 補助線
Claims (11)
- 歪曲収差を有する撮影光学系によって同一の被写体を結像して得られた第1画像および第2画像をモニタ画面に表示する画像表示手段と、
前記モニタ画面上の前記第1画像において、前記被写体上の所定の測量点が投影された第1像点を指定する第1指定手段と、
前記第1像点に前記歪曲収差の影響を排除する補正を施して、得られた第1補正像点と前記測量点とを通る所定の直線上に位置する複数の補助点を定義する補助点定義手段と、
前記補助点を前記歪曲収差を加味して前記第2画像に投影した補助像点を定義する補助像点定義手段と、
前記補助像点を前記第2画像に重ねて前記モニタ画面に表示する補助像点表示手段と、
前記モニタ画面に表示された前記補助像点に基づいて、前記第2画像上に投影された前記測量点の第2像点を指定する第2指定手段と、
前記測量点の相対位置を特定するために前記第1像点および前記第2像点を対応付ける対応付け手段と
を備えることを特徴とする像点対応付け装置。 - 前記補助点定義手段が、
前記第1画像が得られたときの前記撮影光学系の入射瞳位置である第1撮影位置から所定距離離れた所定点が、前記歪曲収差のない結像面上に投影された投影点を定義する投影点定義手段と、
前記投影点定義手段により得られた投影点の2次元座標に対して、Kararaの式に基づいて座標変換を行うことにより、前記投影点の前記歪曲収差を加味した2次元座標を得る歪曲収差補正手段と、
前記投影点の前記歪曲収差を加味した2次元座標が前記第1像点の2次元座標に一致するように前記所定点の相対位置を特定し、特定された所定点の投影点を前記第1補正像点として定める第1補正像点特定手段と、
前記第1撮影位置および前記第1補正像点を通る直線を前記所定の直線として定義する直線定義手段と、
前記直線定義手段により定義された前記所定の直線上にあって、かつ前記測量点を含み得る所定範囲内にある前記補助点を複数個抽出し、これら補助点の3次元座標をそれぞれ算出する補助点抽出手段とを備えることを特徴とする請求項1に記載の像点対応付け装置。 - 前記所定範囲は、前記第1撮影位置から1メートル以上かつ50メートル以内の範囲であることを特徴とする請求項2に記載の像点対応付け装置。
- 前記補助像点定義手段が、
前記補助点定義手段により定義された前記補助点の3次元座標と、前記第2画像が得られたときの前記撮影光学系の入射瞳位置である第2撮影位置の3次元座標とに基づいて、前記補助点が歪曲収差のない結像面に投影されたときの2次元座標を算出する2次元座標算出手段と、
前記2次元座標算出手段により得られた前記補助点の2次元座標に対して、Kararaの式に基づいて前記歪曲収差を加味する座標変換を行うことにより、前記補助像点の2次元座標を算出する歪曲収差補正手段と
を備えることを特徴とする請求項1に記載の像点対応付け装置。 - 前記第1および第2画像に写し込まれた所定位置にあるターゲットの寸法形状と、前記第1および第2画像における前記ターゲットの像の寸法形状とに基づいて、前記第1および第2画像が得られたときの前記撮影光学系の入射瞳位置である第1および第2撮影位置の3次元座標をそれぞれ算出する撮影位置算出手段を備えることを特徴とする請求項1に記載の像点対応付け装置。
- 前記撮影位置算出手段が、前記第1および第2画像における前記ターゲットの像を前記歪曲収差に基づいて補正することを特徴とする請求項5に記載の像点対応付け装置。
- 前記モニタ画面において、前記補助像点が実質的に線として表示されることを特徴とする請求項1に記載の像点対応付け装置。
- 前記撮影光学系が所定数の画素を格子状に配列した撮像素子を有する電子スチルカメラに設けられ、前記補助点の個数が前記撮像素子の水平方向の画素数より大きい値であることを特徴とする請求項1に記載の像点対応付け装置。
- 前記補助点の個数が少なくとも1000個であることを特徴とする請求項1に記載の像点対応付け装置。
- 所定の歪曲収差を有する撮影光学系を備えたカメラによって、第1および第2撮影位置から同一の被写体を撮像し、第1画像および第2画像を得る第1ステップと、
前記第1および第2画像をモニタ画面に表示する第2ステップと、
前記モニタ画面に表示された前記第1画像において、前記被写体上の所定の測量点が投影された第1像点を指定する第3ステップと、
第3ステップにより指定された前記第1像点を前記歪曲収差に基づいて補正し、得られた第1補正像点に基づいて前記測量点を通る所定の直線上の複数の補助点を定義する第4ステップと、
前記補助点を前記歪曲収差を加味して前記第2画像に投影した補助像点を定義する第5ステップと、
前記補助像点を前記第2画像に重ねて前記モニタ画面に表示する第6ステップと、
前記モニタ画面に表示された前記補助像点に基づいて、前記第2画像上に投影された前記測量点の第2像点を指定する第7ステップと、
前記測量点の相対位置を特定するために、前記第1像点および前記第2像点を対応付ける第8ステップとを備えることを特徴とする像点対応付け方法。 - 所定の歪曲収差を有する撮影光学系によって、同一の被写体を結像して得られた第1画像および第2画像をモニタ画面に表示する画像表示ルーチンと、
前記モニタ画面に表示された前記第1画像において指定された前記被写体上の所定の測量点が投影された第1像点を、前記歪曲収差に基づいて補正し、補正された第1像点に基づいて前記測量点を通る所定の直線上の複数の補助点を定義する補助点定義ルーチンと、
前記補助点を前記歪曲収差を加味して前記第2画像に投影した補助像点を定義する補助像点定義ルーチンと、
前記補助像点を前記第2画像に重ねて前記モニタ画面に表示する補助像点表示ルーチンと、
前記測量点の相対位置を特定するために、前記モニタ画面に表示された前記補助像点に基づいて指定され前記第2画像上に投影された前記測量点の第2像点と、前記第1像点とを対応付ける対応付けルーチンとを備えることを特徴とする像点対応付けプログラムを格納した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000042950A JP3851483B2 (ja) | 2000-02-21 | 2000-02-21 | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000042950A JP3851483B2 (ja) | 2000-02-21 | 2000-02-21 | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001227945A JP2001227945A (ja) | 2001-08-24 |
JP3851483B2 true JP3851483B2 (ja) | 2006-11-29 |
Family
ID=18565948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000042950A Expired - Fee Related JP3851483B2 (ja) | 2000-02-21 | 2000-02-21 | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3851483B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4282361B2 (ja) * | 2003-04-21 | 2009-06-17 | 守 大槻 | 写真測量方法および写真測量プログラム |
JP5671416B2 (ja) * | 2011-07-04 | 2015-02-18 | 大成建設株式会社 | パノラマ画像距離算出装置 |
JP5882153B2 (ja) * | 2012-07-17 | 2016-03-09 | 大成建設株式会社 | 三次元座標算出装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02216404A (ja) * | 1989-02-17 | 1990-08-29 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
-
2000
- 2000-02-21 JP JP2000042950A patent/JP3851483B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001227945A (ja) | 2001-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
US20190392609A1 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
JP3777067B2 (ja) | 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 | |
US6768813B1 (en) | Photogrammetric image processing apparatus and method | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
KR101453143B1 (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
CN113465573A (zh) | 单目测距方法、装置及智能装置 | |
CN112348869A (zh) | 通过检测和标定恢复单目slam尺度的方法 | |
KR101346192B1 (ko) | 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템 | |
JP2001126051A (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
JP3851483B2 (ja) | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 | |
JP2006017632A (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP4550081B2 (ja) | 画像測定方法 | |
CN113256811B (zh) | 建筑物建模方法、设备和计算机可读存储介质 | |
JP2005174151A (ja) | 三次元画像表示装置及び方法 | |
JP4409924B2 (ja) | 三次元画像表示装置及び方法 | |
JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
JP2002135807A (ja) | 3次元入力のためのキャリブレーション方法および装置 | |
JP3441657B2 (ja) | 画像点設定装置及びこの画像点設定装置を用いた写真測量方法 | |
Jachimski | Video Stereo Digitizer-a small digital Stereophotogrammetric Working Station for the needs of SIT and other application | |
JP4427305B2 (ja) | 三次元画像表示装置及び方法 | |
JPH10318715A (ja) | 画像測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060901 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |