JP4359939B2 - 画像測定装置 - Google Patents
画像測定装置 Download PDFInfo
- Publication number
- JP4359939B2 JP4359939B2 JP14706697A JP14706697A JP4359939B2 JP 4359939 B2 JP4359939 B2 JP 4359939B2 JP 14706697 A JP14706697 A JP 14706697A JP 14706697 A JP14706697 A JP 14706697A JP 4359939 B2 JP4359939 B2 JP 4359939B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- data block
- feature pattern
- setting unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
異なるカメラ位置から,三次元計測をする際の前段階の標定作業の自動化ならびに、ステレオマッチングの初期値を自動的に取得し、三次元計測の自動化を行う技術に関する。
【0002】
【従来技術】
地上写真測量において、三次元計測を行う場合、図1に示す流れで計測が行われる。すなわち、対象物のステレオ撮影(a)→位置検出(b)→標定(c)→ステレオモデル形成(d)→三次元計測(e)の処理が必要である。これらの処理はコンヒ゜ュータによる演算が中心であるが、その中で、位置検出(b)及び三次元計測(e)は従来から人手を介して行われている。位置検出(b)は、撮影するカメラの位置や傾き等を求める標定の前処理である。
【0003】
標定(c)でカメラ間と測定対象物の位置関係を求めることにより、立体視可能なステレオモデルを形成することができ、三次元計測が可能となる。標定(c)を行うための位置検出(b)の処理は,異なるカメラに写し込まれている対応する6点以上のそれぞれのカメラ上における座標位置を求める作業である。
【0004】
三次元計測(e)には、ポイント計測と面計測の2種類がある。
【0005】
ポイント計測の場合、対象物上の計測点を人手を介してマニュアルで計測しているが、自動化を画ったり精度を向上するためには、対象物にマークを貼る作業を行っている。
【0006】
面計測の場合、画像処理によるステレオマッチングという手法を利用して自動で行う。その際に、テンプレート画像の決定や探索幅の設定等の初期設定は、人手を介して行う必要があった。
【0007】
【発明が解決しようとする課題】
位置検出(b)の作業は、作業者が撮影された左右画像の対象物上の6点以上の計測点を選択し、各画像を観察しながら対象物上の計測点の対応付け及び座標位置検出を行うものである。ところが、これらの作業は基本的に立体視をしながら行う必要があるため熟練を要し,かつ煩雑,困難,難解であった。
【0008】
特に、計測点を決めて左右画像を対応付け、詳細な位置座標を検出する作業は、個人差が生じ易く結果が各人各様で十分な精度が得難かった。また、人によっては計測不能となることも多々あった。このような不具合を回避するために、対象物にマークを貼る等の処理を行う場合もある。
【0009】
しかし、対象物自体にマークを貼るといった作業が増えることはマイナスであり、更に対象物によっては容易にマークを貼ることができないものもあるため、この手法は余り普及していない。
【0010】
他方、ステレオ運台上に2台のカメラを強固に固定することにより,標定作業を行わずに三次元計測をするという手法もある。
【0011】
しかし、その場合には、運台上の2台のカメラの位置関係が絶対にくるってはならず、測定環境や測定対象物が大幅に限定されてしまう。同時に、そのような装置は大きく重く持ち運び困難であり、かつ高価となるために、この手法による三次元計測法も余り普及していない。
【0012】
また、三次元計測(e)のポイント計測において、測定対象物にマーク等を貼らない場合には、作業者が撮影された画像上を観察しながら計測点を指示して計測する必要があった。このため、測定点が多いと手間や時間がかかっていた。また、精度良く計測しようとするとどうしても個人差が生じ易く、計測不能といった事態も生じていた。
【0013】
対象物にマークを貼って計測すれば上記事態を避けることができるが、その場合には、前述のようにマークを貼るための手間が新たに生じ、対象物によってはマークを貼ることが難しかったり計測不能になることもあった。
【0014】
面計測の場合は、前処理としてステレオマッチングによる自動計測を行う際のテンプレート画像の決定や、最適な探索幅の決定等を人手により行う必要があった。更に、ミスマッチング点等があった場合は人手を介して修正を行う必要があり、結局自動化することが難しかった。
【0015】
本発明は、このような従来技術の問題点に鑑み、標定作業から測定までを効率良くかつ高精度で行え、測定対象物を選ばず持ち運び可能であって簡便な構成の画像測定装置を提供することを目的としている。
【0016】
【問題点を解決するための手段】
本発明は、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求める概略位置測定部と、一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、前記概略位置測定部で求めた位置関係に基づいて基準画像に基準データブロックを設定し、捜索画像に捜索領域を設けその捜索領域中に捜索データブロックを設定するデータ設定部と、その捜索領域中に設定される捜索データブロックと基準データブロックとの対応関係を求める対応判別部とを備え、前記データ設定部は、前記概略位置測定部で求めた位置関係に基づいて、基準画像への基準データブロックの設定、捜索画像への捜索領域の設定及び捜索データブロックの設定の少なくとも一つを行うように構成したことを特徴とする画像測定装置を要旨としている。
【0017】
【発明の実施の形態】
本発明の画像測定装置は、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求める概略位置測定部と、一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、前記概略位置測定部で求めた位置関係に基づいて基準画像に基準データブロックを設定し、捜索画像に捜索領域を設けその捜索領域中に捜索データブロックを設定するデータ設定部と、その捜索領域中に設定される捜索データブロックと基準データブロックとの対応関係を求める対応判別部とを備え、前記データ設定部は、前記概略位置測定部で求めた位置関係に基づいて、基準画像への基準データブロックの設定、捜索画像への捜索領域の設定及び捜索データブロックの設定の少なくとも一つを行うように構成したことを特徴としている。
【0018】
上記一対の画像中には、あらかじめ位置関係がわかっている特徴パターン像が含まれており、前記概略位置測定部は、基準画像中の特徴パターン像の位置及びその捜索画像中の特徴パターン像の位置関係に基づき、一対の画像のそれぞれの画像中での測定対象物の位置関係を概略求めるように構成することができる。
【0019】
前記データ設定部は、捜索画像中の特徴パターン像の位置に基づいて、前記捜索画像に捜索領域の範囲を設定するように構成することができる。
【0020】
前記データ設定部は、捜索画像中の特徴パターン像の位置及び捜索領域の位置と、又は基準画像中の特徴パターン像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲を設定するように構成することが可能である。
【0021】
前記データ設定部は、捜索画像中の特徴パターン像の位置及び捜索領域の位置と、又は基準画像中の特徴パターン像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲の大きさを設定するように構成できる。
【0022】
前記データ設定部は、捜索画像中の特徴パターン像及び捜索領域と、又は基準画像中の特徴パターン像及び基準データブロックとが離れるにつれて捜索画像の捜索領域の範囲の幅又は面積を大きく設定するように構成できる。
【0023】
前記データ設定部は、異なる大きさの複数の捜索領域を設定するように構成できる。
【0024】
前記データ設定部は、基準画像中の特徴パターン像の位置に基づいて、基準画像に基準データブロックを設定するように構成できる。
【0025】
前記データ設定部は、基準画像中の特徴パターン像の位置及び基準データブロック位置とに基づいて、基準画像に基準データブロックの大きさを設定するように構成できる。
【0026】
前記データ設定部は、基準画像中の特徴パターン像の位置及び基準データブロック位置とが離れるにつれて、基準画像に基準データブロックの高さ又は幅を大きく設定するように構成できる。
【0027】
前記データ設定部は、基準画像中の特徴パターン像に基づき異なる大きさの複数の基準データブロックを設定するように構成できる。
【0028】
【実施例】
まず、図17を参照して、本発明による画像測定装置の概要を説明する。
【0029】
画像測定装置30は概略位置測定部31、データ設定部32、対応判別部33を備えている。
【0030】
概略位置測定部31は、予め位置関係が分っている特徴パターン像を用いて、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求める構成になっている。
【0031】
データ設定部32は、一対の画像の一方を基準画像、他方を捜索画像と定め、概略位置測定部31で求めた位置関係に基づいて、基準画像に基準データブロックを設定し、捜索画像に捜索領域を設定する構成になっている。
【0032】
対応判別部33は、捜索領域中に設定された捜索データブロックと基準データブロックとの対応関係を求める構成になっている。
【0033】
この画像測定装置30を利用することにより、以下で詳細に説明する三次元計測の自動化を画り、計測の精度を向上することができる。
【0034】
以下、本発明の画像測定装置を利用した形状測定装置について詳細に説明する。
【0035】
図1は形状測定装置における計測の流れを示しており、図2はその構成を概念的に示すブロック図である。
【0036】
a.対象物のステレオ撮影
まず、コントローラ4からの指示によって特徴パターン投影部3から測定対象物0に特徴パターンをあてる。そして、測定対象物0の画像を左右画像撮影部1及び2により撮影し、特徴パターン抽出部5に画像データを転送する。
【0037】
左右画像撮影部1及び2は、図3に示すように、光学系11、CCD12、CCDドライバ13、オペアンプ14、A/D変換器15等から構成される。
【0038】
図5と図6は、特徴パターンの例を示している。これらの特徴パターン20は円形で構成されているが、特徴パターン投影によるマーク像の位置が求められるものであれば、円形以外のどんな形状のものでも良い。
【0039】
特徴パターン投影部3は、スライドプロジェクターやレーザポインタ等、特徴パターン20を投影できるものなら何でもよい。
【0040】
図4は、特徴パターン抽出部5の詳細なブロック図である。
【0041】
左右画像撮影部1及び2により転送される画像データは、図3のA/D変換器15によりデジタルデータに変換され、特徴パターン抽出部5の特徴パターン投影用画像メモリ51に転送される。
【0042】
次に,コントローラ4からの指示により、特徴パターン投影を停止し、左右画像撮影部1及び2により特徴パターンなしの画像を撮影し、特徴パターン抽出部5の特徴パターンなし用画像メモリ52にデジタル画像データを転送する。
【0043】
特徴パターン投影用画像メモリ51と特徴パターンなし用画像メモリ52に画像転送が終わったら、コントローラ4の指示により、画像差分演算器53を通して二つの画像を差分する。そして、差分画像を、特徴パターン画像メモリ54に取り込む。
【0044】
この結果、特徴パターン画像メモリ54内のデータは、測定対象物0の画像情報が消去されたもの、すなわち特徴パターン20に関する情報(マーク像のデータ)のみとなる。
【0045】
b.位置検出
標定処理を行うために,特徴パターン投影によるマーク像の位置検出を行う。
【0046】
特徴パターン位置検出部55により、特徴パターン画像メモリ54内の特徴パターン座標位置を検出する。
【0047】
特徴パターン20は、その位置が明確にわかるものであればどんな形状のものでも良いが、ここでは図5や図6のような特徴パターン20を仮定する。また、特徴パターンは図5や図6のように6点以上あれば,何点でもかまわない。
【0048】
特徴パターン画像メモリ54には特徴パターン投影によるマーク像以外の情報は含まれていないため、誤検出をなくすことができる。更に、自動で位置検出を行うことが容易になるので、常に安定した位置座標検出を個人差なく高精度で行うことができる。
【0049】
ここでは、点の概略位置検出にテンプレートマッチング法を用い、詳細位置検出にモーメント法を用いる場合を説明する。
【0050】
テンプレートマッチング法については相関法の一種である残差逐次検定法(SSDA法)を説明するが、正規化相関法等を使用しても良い。また、詳細位置検出にはモーメント法でなくLOGフィルタ法等を用いても良い。
【0051】
以下、位置検出処理について説明する。
【0052】
(概略位置検出)
1.テンプレート画像を登録する。
【0053】
テンプレート画像は、図5や図6の投影特徴パターン20の一つのマークと似たようなシミュレーション画像を作成しても良い、あるいは、実際の画像をどれか選んで用いても良い。
【0054】
2.S>R(a,b)となる点を画像全体で探索する(数式1参照)。
【0055】
R(a,b)が0に近いほど類似度が高い。Sは適当な値を前持って決めておく。この場合、特徴パターン以外の画像情報は消去されているため容易に決定できる。テンプレートマッチングには正規化相関法等を用いても良いが、残差逐次検定法を使用すれば、処理をさらに高速化できる。
【0056】
[残差逐次検定法(SSDA法)]
SSDA法の原理図を図7に、式を数式1に示す。
【0057】
残差R(a,b)が最小になる点が求めるマークの位置である。
【0058】
【数1】
式の加算において、R(a,b)の値が過去の残差の最小値を越えたら加算を打ち切り、次の(a,b)に移るよう計算処理を行うことにより、処理の高速化をはかることができる。
【0059】
3.R(a,b)最小かつ隣接するマーク位置の間隔等の条件により、投影特徴パターンのマーク位置をマーク数分決定し、位置座標とする。
【0060】
(詳細位置決定)
1.探索領域決定
前述の(概略位置検出)によって決まった点に対し、そこを中心とした探索領域を設定する。
【0061】
2.マーク領域の決定
探索領域について、濃度値がしきい値以上の領域を一つのマークとする(図8参照)。
【0062】
しきい値は、ある適当な値を予め決めておく。画像は、マーク以外は差分処理を施しているため殆ど0となっている。
【0063】
3.重心位置算出
モーメント法を行い、重心位置座標を算出する。
【0064】
[モーメント法]
図8に示されている通り、しきい値T以上の点について(マークK)、以下の式を施す。
【0065】
【数2】
【0066】
【数3】
この数式2及び数式3によって、サブピクセル位置まで重心位置が算出可能となる。
【0067】
4.点数分だけ1〜3を行う。
【0068】
以上で、図5あるいは図6のような特徴パターン投影によるマーク像の位置座標を算出することができる。
【0069】
概略位置検出を行わずに、最初から詳細位置検出を行っても良く、また、他のアルゴリズムによって位置検出しても構わない。
【0070】
いずれにしても,画像は特徴パターン情報のみなので、高速かつ、高精度に位置を算出することが可能である。
【0071】
c.標定
次に,特徴パターン位置検出部55で求めた座標値を姿勢算出部6に送り、標定計算を行う。
【0072】
この計算により、左右それぞれのカメラの位置等が求めるられる。
【0073】
次の共面条件式により、それらのパラメータを求める。
【0074】
【数4】
モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をX軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。この場合、左側のカメラのX軸の回転角ω1は0なので、考慮する必要ない。
【0075】
このような条件にすると、数式4の共面条件式は数式5のようになり、この式を解けば各パラメータが求まる。
【0076】
【数5】
ここで、モデル座標系XYZとカメラ座標系xyzの間には、次に示すような座標変換の関係式が成り立つ。
【0077】
【数6】
【0078】
【数7】
これらの数式を用いて、次の手順により、未知パラメータを求める。
1.初期近似値は通常0とする。
2.共面条件式5を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数式6、7により求め、観測方程式をたてる。
3.最小二乗法をあてはめ、近似値に対する補正量を求める。
4.近似値を補正する。
5.補正された近似値を用いて、上記2.〜5.までの操作を収束するまで繰り返す。
【0079】
仮に、どこかのマークが対象物の形状等で、うまく位置検出されていない場合には、収束しない場合がありうる。その場合は、1点1点削除して、上記1〜5までを行い、収束したもの、あるいは、一番良いもののパラメータを使用する。
【0080】
d.ステレオモデル形成
次に、標定により求められたパラメータにより、立体視可能なステレオモデル座標系へ画像を変換し、ステレオモデルを形成する。
【0081】
モデル座標への変換式は以下のようになる。
【0082】
【数8】
【0083】
【数9】
【0084】
【数10】
このようにして、三次元計測が可能な状態となる。
【0085】
e.三次元計測
(1)ポイント計測
図6のような6点以上の特徴パターン20を使用し、複数のマークを位置検出(b)と同様な処理をすることにより、その三次元座標を自動で高精度に求められる。
(2)面計測
図6のような投影特徴パターン20を使用することにより、ステレオマッチングの初期値とすることが可能となる。
【0086】
面計測の場合の初期値の決めかたについて説明する。
【0087】
図9と図10は説明図であり、図6のような投影特徴パターンのうちの一部について抜き出したものである。図9は基準とする基準画像、図10は探索を行う捜索画像である。これら基準・捜索画像は、左右どちらの画像でもよい。例えば、左画像を基準画像、右画像を捜索画像と決める。
【0088】
投影特徴パターンは基準画像S’1、S’2、S’5、S’6に対し捜索画像上ではS1、S2、S5、S6が対応している。
【0089】
対応点探索は、基準画像中の基準データブロックをテンプレート画像として、捜索画像中の捜索領域にステレオマッチングを施すことにより行う。ステレオマッチングには画像相関処理等を使用する。
【0090】
[捜索領域の決定]
投影特徴パターンをもとに、捜索領域を決定する方法について説明する。
【0091】
投影特徴パターンS1〜S2(水平方向)を幅A、S1〜S5(垂直方向)を幅Bとし、S1,S2、S5,S6で囲まれた部分を捜索領域R1とする。以下同様にS2,S3、S6,S7で囲まれた部分を捜索領域R2、…と順次それぞれの投影特徴パターンで囲まれた部分を捜索領域として決定する。
【0092】
実際の投影特徴パターンによるマーク像は、それぞれ図11に示されるように、対象物の形状やCCDの向きによって同一ライン上にあるとは限らない。そこで、各投影特徴パターンの4点から最大のA、Bの幅が得られるような四角形を作成し、捜索領域とする。例えば図11では、S1,S2,S5,S6でとりうる最大の幅は水平方向A1,垂直方向B1となり、これで作成した四角形の領域を捜索領域R1、同様に、S2,S3,S6,S7でとりうる最大幅A2,B2で作成される四角形を捜索領域R2とする。このようにすると、多少オーバーラップする領域ができるが、R1、R2領域の境界も確実に探索が可能となる。
【0093】
これは、既に求めた捜索画像中のマーク像の位置に基づいて、捜索画像に捜索領域の範囲を決定するものである。
【0094】
図12はこの捜索領域決定の変形例である。
【0095】
例えば、それぞれの投影特徴パターンは、左右画像上ですでに対応点として求められているので、捜索領域の捜索開始位置と終了位置を投影点近隣の領域とすると効率がよい。すなわち、図11の例だと、垂直方向にS1からS5まで捜索幅A1づつ探索を進めていくと、S5のライン周辺に近づくにつれ、無駄な探索領域(明らかに対応点が存在しない領域)がでる。
【0096】
そこで、図12のS1〜S5間(垂直方向)の1/2のD1までは、S1と同一の水平方向の点を捜索領域の開始点とし、D1〜S5間ではD1とS5を結んだ線上を水平方向の捜索開始点にとる。
【0097】
このような処理を各投影点につき捜索領域として設定し、捜索領域を多少オーバーラップさせながらステレオマッチングを行えば、ある程度効率のよい探索が可能となる。
【0098】
図13、図14は、捜索領域中の捜索データブロックを設定することにより、さらに捜索領域の探索を効率化したものである。
【0099】
たとえば、捜索画像中のマークS1〜S2のA1の区間において、図9で示される基準画像上の基準データブロックT1、T2、T3…、それぞれに対応する捜索領域上の位置を求めるとき、それぞれの捜索データブロックを図13で示されるように、U1、U2、U3、…、と何ブロックかにわけて設定する。このようにすれば、捜索領域探索における時間を短かくし効率的に探索できる。この場合、捜索データブロックの範囲は、基準データブロックをいくつにとるかで決定できる。例えば基準画像S’1〜S’2のA’間でn個基準データブロックを設定するとすれば、A1/n、あるいはA1/(n−1)等とすれば良い。(n−1)としたのは、多少捜索データブロックをオーバーラップさせて探索を行う場合である。
【0100】
これは、既に求めた捜索画像中のマーク像の位置及び捜索領域の位置に基づいて、捜索画像に捜索領域の範囲を設定するものである。見方を変えると基準画像中のマーク像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲を設定するものともいえる。
【0101】
図13の方式の変形例が図14に示されている。これは、捜索データブロックのサイズを可変としたものである。すなわち、マークS1、S2の近隣領域は、基準データブロックに対する対応点が近くにあることがわかっているので、捜索データブロックのサイズを小さく、離れるにしたがって対応点位置が不確かとなるため大きくするものである。従って、基準データブロックがA’/2の位置で最大の捜索データブロックサイズとなる。
【0102】
これら捜索データブロックのサイズは、S1〜S2の捜索領域A1より決定する。
【0103】
例えば、nをA’間の基準データブロック数とすれば、
・S1〜S1+A1/2の区間の捜索データブロックサイズ:
(1+t×i/n)×A1/n、
・S1+A1/2〜S2の区間の捜索データブロックサイズ:
(1+t×(n−i)/n)×A1/n、
但し、iはそれぞれの基準データブロックに対応する捜索データブロックの位置、すなわちi=1〜nとする。また、tは倍率の定数で所定の値に設定する。例えばS1+A1/2の位置でS1の位置(U1)の捜索データブロックサイズの倍にしたければ2を選ぶ。
【0104】
これら捜索データブロックサイズは、基準画像中のマークS’1、S’2及び基準データブロックT1,T2、…、に基づいて決定してもよい。その際は、上述のA1をA’とし、倍率A1/A’を加味した項を掛け合わせる。
【0105】
このように、捜索領域及び捜索データブロックを設定することにより、対応点探索を効率よく、すなわち高速かつ信頼性を高めながら行うことが可能となる。
【0106】
この方式では、捜索画像中のマーク像の位置及び捜索領域の位置との位置関係に基づいて、見方を変えれば基準画像中のマーク像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲の大きさを設定している。
【0107】
[基準データブロックの決定]
基準となる基準データブロックは、基準画像上のS’1、S’2、S’5、S’6、あるいは捜索画像上のS1、S2、S5、S6から決定する。例えば基準画像(図9)S’1〜S’2をA’、S’1〜S’5をB’とすれば、水平方向の基準データブロック幅はA’/n、垂直方向はB’/mのように決定できる。
【0108】
あるいは、左右画像の比率に比例した大きさにしてもよい。例えば、水平方向はA’/A*n、垂直方向は、B’/B*mのように設定する。
【0109】
n、mは計測したい対象物の大きさと画素数の関係によって適切な大きさを求めることができるが、A’、B’の値によって適宜定数としても良い。
【0110】
図15は基準データブロックサイズを1種類でなく3種類として相関積をとりながら、上述の処理と同様にステレオマッチングしていく方法である。この場合も、この3種類のサイズをA’,B’の情報をもとに決定できる。
【0111】
図16は、本発明の基準データブロック決定における更なる変形例である。S’1及びS’2近隣の領域は、基準・捜索画像上で比較的対応が取れているために基準データブロックは小さくてよいが、離れるにしたがって、対応位置が不確かとなるため基準データブロックサイズを動的に変化させる。たとえば、T1位置、T2位置、T3位置において図14のように基準データブロックを拡大していく。そして、基準データブロック位置がA’/2地点で最大の大きさとする。A’/2からS’2に向かっては、基準データブロックサイズを逆に順次小さくしていく。
【0112】
このようにすることにより、ステレオマッチングの信頼性を高めることができる。
【0113】
これら基準データブロックサイズは、S’1〜S’2の水平方向の幅A’、S’1〜S’5の垂直方向の幅B’より決定する。
【0114】
例えば、n,mをA’、B’間の基準データブロック数とすれば、
・S’1〜S’1+A’/2の区間の基準データブロックサイズ:
水平方向:(1+t×i/n)×A’/n、
垂直方向:(1+t×l/m)×B’/m
・S’1+A’/2〜S’2の区間の基準データブロックサイズ
水平方向:(1+t×(n−i)/n)×A’/n、
垂直方向:(1+t×(m−i)/m)×B’/m
但し、i,lはそれぞれの基準データブロック位置、すなわちi=1〜n、l=1〜mとする。
【0115】
ここで、tは倍率の定数であり、所望の値に設定する。例えばS’1+A’/2の位置でS’1の位置(T1)の基準データブロックサイズの倍にしたければ2を選ぶ。
【0116】
このようにすれば、基準データブロックを可変にできる。
【0117】
また、図15のような3種類の基準データブロックを上述の例のように可変とし、相関積をとることにより、ステレオマッチングしていけば、更に信頼性の高い対応点探索が可能となる。
【0118】
これら基準データブロックの決定は、捜索画像におけるマークS1,S2によって同様に行ってもよい。その際は、A’をA1、B’をB1として更に基準画像と捜索画像の倍率A’/A1を加味した項を掛け合わせる。
【0119】
以上のようにすることによって、各初期値が自動で求められる。
【0120】
次に、実際に行う計測(ステレオマッチング)の手順について説明する。
【0121】
例として図6の投影特徴パターンS1〜S8の場合について、図9、11により説明する。
【0122】
垂直方向は標定処理が終了し、縦視差が除去されている(位置合わせしてある)ので、基準画像、捜索画像の同一ライン上を探索するだけで良い。また捜索データブロックを設定する際は、各捜索領域において上述のように適宜設定して行う。
【0123】
1.捜索画像のS1〜S2までの捜索領域R1の水平方向のラインL1の探索幅A1に対し、
基準画像中のT1、T2、T3、…の基準データブロックで順次対応点探索を行う。
【0124】
これら初期値は、先に述べたような方法で決定しておく。
【0125】
捜索領域R1のラインL1上のA1が終了したら、
2.S2〜S3の捜索領域R2に対し、この領域で決められた基準データブロック位置からラインL1のA2上の対応点探索を順次繰り返す。
【0126】
3.次に、S3〜S4の捜索領域R3のラインL1のA3を対応点探索する。捜索領域R3に対しては、この領域で決められたテンプレートサイズ、位置で順次行う。
【0127】
ラインL1の対応点探索が終了したら、次のラインL2に移動して、また、捜索領域R1の探索幅A1から、対応点探索を1〜3と同様に繰り返す。
【0128】
これを必要なライン数分繰り返す。
【0129】
以上のようにすれば、投影特徴パターンの位置から、ステレオマッチングする際の初期値、すなわち、捜索領域、捜索データブロック、および基準データブロックを自動で決定し、自動計測が可能となる。
【0130】
さらに、基準・捜索画像の捜索領域と基準データブロックをA’、B’以内と限定できるため、通常のステレオマッチングよりはるかに高速な処理が可能となる。すなわち、通常は、各探索位置において1水平ライン分(図6、line)ステレオマッチングを行うのであるが、その処理時間が投影点の数により数分の1となる。
【0131】
また、基準・捜索画像上の対応領域があらかじめ限定され求められているため、ミスマッチングが大幅に減少できる。すなわち、ステレオマッチングの信頼性を大幅に向上させることができる。
【0132】
これに加えて、基準データブロックや捜索領域、捜索データブロックを投影点の位置情報により適切に決定できるので、更にステレオマッチングの信頼性が高められる。
【0133】
また、基準データブロックや捜索データブロックをその探索位置により動的に可変可能となるので、信頼性がそれ以上に高められる。
【0134】
そして、これらステレオマッチングは、投影特徴パターンのない画像上で行えるので特徴パターンによる誤検出が生じない。また、特徴パターンがない画像は画像データベースとしての価値が生じ,計測と同時に原画像の蓄積が行える。
【0135】
さらに、前述の実施例によれば、特徴パターンを投影した画像と投影しない画像を使用するために、対象物に計測用のマークを貼るという作業が必要なくなり、マークの貼れないような対象物においても計測が可能になる。
【0136】
このように、特徴パターンがある画像とない画像を差分することにより、特徴パターン情報のみの画像が作成できることから、特徴パターン位置検出〜標定〜ステレオモデル形成〜三次元計測までを、人手によらず自動で精度良く行うことが可能となる。すなわち、従来熟練を要し煩雑であった人手による標定作業と三次元計測作業をなくすことができ、すべてを自動で行って信頼性を向上することが可能となる。
【0137】
さらに,カメラをステレオ運台上に強固に固定する必要はなく、現場で2台のカメラをラフに設置して撮影するだけで、高精度な三次元計測が可能になるので、現場や対象物によらず簡便に計測可能であるという卓越した効果がある。
【0138】
また,特徴パターンの点を増やすことにより,ステレオマッチングの初期値とすること、すなわち自動で探索幅、テンプレート画像の決定を行いステレオマッチングすることが可能となり、更にステレオマッチング時間の短縮と信頼性を大幅に向上させながら,対象物の表面形状を自動測定できるという卓越した効果がある。
【0139】
【発明の効果】
本発明によれば、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求め、一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、前記概略位置測定部で求めた位置関係に基づいて基準画像に基準データブロックを設定し、捜索画像に捜索領域を設けその捜索領域中に捜索データブロックを設定し、その捜索領域中に設定される捜索データブロックと基準データブロックとの対応関係を求めるに当たって、概略の位置関係に基づいて、基準画像への基準データブロックの設定、捜索画像への捜索領域の設定及び捜索データブロックの設定の少なくとも一つを行うように構成することにより、対応関係を正確に求めることができる。
【図面の簡単な説明】
【図1】本発明の形状測定装置における計測の流れを示すブロック図。
【図2】本発明の形状測定装置を概念的に示すブロック図。
【図3】形状測定装置の左右画像撮影部を示す概念図。
【図4】形状測定装置のパターン抽出部を示すブロック図。
【図5】投影パターンの一例を示す平面図
【図6】投影パターンの別の例を示す平面図
【図7】SSDA法によるテンプレートマッチングを示す説明図。
【図8】モーメント法を示す説明図。
【図9】基準画像を示す説明図。
【図10】捜索画像を示す説明図。
【図11】捜索画像を示す説明図。
【図12】捜索画像を示す説明図。
【図13】捜索画像を示す説明図。
【図14】捜索画像を示す説明図。
【図15】基準画像を示す説明図。
【図16】基準画像を示す説明図。
【図17】本発明による画像測定装置の概要を示すブロック図。
【符号の説明】
0 測定対象物
1,2 左右画像撮影部
3 パターン投影部
4 コントローラ
5 パターン抽出部
6 姿勢算出部
7 ステレオモデル形成部
8 形状測定部
9 テンプレートマッチング画像
10 形状測定装置
11 光学系
12 CCD
13 CCDドライバ
14 オペアンプ
15 A/D変換器
20 投影パターン
30 画像測定装置
31 概略位置測定部
32 データ設定部
33 対応判別部
51 パターン投影用画像メモリ
52 パターンなし用画像メモリ
53 画像差分演算部(器)
54 パターン画像メモリ
55 パターン位置検出部
Claims (10)
- あらかじめ位置関係がわかっている特徴パターンが形成されている測定対象物を、異なる方向から撮影し、撮影された一対の画像中での測定対象物の特徴点の位置関係をマーク像の位置検出によって概略求める概略位置測定部と、
一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、基準画像に基準データブロックを設定し、捜索画像に捜索領域を設け、その捜索領域中に捜索データブロックを設定するデータ設定部と、
その捜索領域中に設定される捜索データブロックと基準データブロックとの対応関係を求める対応判別部とを備え、
前記データ設定部は、前記概略位置測定部で求めた位置関係に基づいて、前記基準データブロックの設定と前記捜索領域の設定と前記捜索データブロックの設定とを行うように構成したことを特徴とする画像測定装置。 - 請求項1記載の画像測定装置において、前記データ設定部は、捜索画像中の特徴パターン像の位置に基づいて、前記捜索画像に捜索領域の範囲を設定するように構成したことを特徴とする画像測定装置。
- 請求項1記載の画像測定装置において、前記データ設定部は、捜索画像中の特徴パターン像の位置及び捜索領域の位置と、又は基準画像中の特徴パターン像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲を設定するように構成したことを特徴とする画像測定装置。
- 請求項1記載の画像測定装置において、前記データ設定部は、捜索画像中の特徴パターン像の位置及び捜索領域の位置と、又は基準画像中の特徴パターン像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲の大きさを設定するように構成したことを特徴とする画像測定装置。
- 請求項4記載の画像測定装置において、前記データ設定部は、捜索画像中の特徴パターン像及び捜索領域と、又は基準画像中の特徴パターン像及び基準データブロックとが離れるにつれて捜索画像の捜索領域の範囲の幅又は面積を大きく設定するように構成したことを特徴とする画像測定装置。
- 請求項2乃至5のいずれか1項に記載の画像測定装置において、前記データ設定部は、異なる大きさの複数の捜索領域を設定するように構成したことを特徴とする画像測定装置。
- 請求項1記載の画像測定装置において、前記データ設定部は、基準画像中の特徴パターン像の位置に基づいて、基準画像に基準データブロックを設定するように構成したことを特徴とする画像測定装置。
- 請求項1記載の画像測定装置において、前記データ設定部は、基準画像中の特徴パターン像の位置及び基準データブロック位置とに基づいて、基準画像に基準データブロックの大きさを設定するように構成したことを特徴とする画像測定装置。
- 請求項1記載の画像測定装置において、前記データ設定部は、基準画像中の特徴パターン像の位置及び基準データブロック位置とが離れるにつれて、基準画像に基準データブロックの高さ又は幅を大きく設定するように構成したことを特徴とする画像測定装置。
- 請求項7乃至9のいずれか1項に記載の画像測定装置において、前記データ設定部は、基準画像中の特徴パターン像に基づき異なる大きさの複数の基準データブロックを設定するように構成したことを特徴とする画像測定装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14706697A JP4359939B2 (ja) | 1997-05-22 | 1997-05-22 | 画像測定装置 |
DE69829091T DE69829091T2 (de) | 1997-05-22 | 1998-05-20 | Messungsgerät |
EP04009639A EP1455303B1 (en) | 1997-05-22 | 1998-05-20 | Apparatus for determining correspondences in a pair of images |
DE69833813T DE69833813T2 (de) | 1997-05-22 | 1998-05-20 | Vorrichtung zur Korrespondenzsuche in einem Bildpaar |
EP98109138A EP0880010B1 (en) | 1997-05-22 | 1998-05-20 | Measuring apparatus |
US09/081,620 US6442292B1 (en) | 1997-05-22 | 1998-05-20 | Measuring apparatus |
US10/194,285 US7016528B2 (en) | 1997-05-22 | 2002-07-15 | Measuring apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14706697A JP4359939B2 (ja) | 1997-05-22 | 1997-05-22 | 画像測定装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007081913A Division JP4550081B2 (ja) | 2007-03-27 | 2007-03-27 | 画像測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10318715A JPH10318715A (ja) | 1998-12-04 |
JP4359939B2 true JP4359939B2 (ja) | 2009-11-11 |
Family
ID=15421721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14706697A Expired - Fee Related JP4359939B2 (ja) | 1997-05-22 | 1997-05-22 | 画像測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4359939B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003042730A (ja) * | 2001-07-30 | 2003-02-13 | Topcon Corp | 表面形状測定装置、及びその方法、並びに表面状態図化装置 |
JP4680558B2 (ja) * | 2004-09-30 | 2011-05-11 | 株式会社リコー | 撮影及び3次元形状復元方法、並びに撮影及び3次元形状復元システム |
JP4550081B2 (ja) * | 2007-03-27 | 2010-09-22 | 株式会社トプコン | 画像測定方法 |
JP5432545B2 (ja) * | 2009-02-25 | 2014-03-05 | 株式会社トプコン | 対象物検出装置 |
JP7139953B2 (ja) * | 2019-01-08 | 2022-09-21 | オムロン株式会社 | 三次元形状測定装置、三次元形状測定方法及びプログラム |
CN113829353B (zh) * | 2021-06-07 | 2023-06-13 | 深圳市普渡科技有限公司 | 机器人、地图构建方法、装置和存储介质 |
-
1997
- 1997-05-22 JP JP14706697A patent/JP4359939B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10318715A (ja) | 1998-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
JP2919284B2 (ja) | 物体認識方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2009150848A (ja) | 画像処理装置 | |
JP4234059B2 (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
JP2014013147A5 (ja) | ||
US6442292B1 (en) | Measuring apparatus | |
JP2001126051A (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
JP4550081B2 (ja) | 画像測定方法 | |
JP5363878B2 (ja) | ステレオ画像撮影装置及びその方法 | |
JP4359939B2 (ja) | 画像測定装置 | |
JP3842988B2 (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
KR102420856B1 (ko) | 이미지를 이용한 3차원 객체의 존재 판독 방법 및 그 장치 | |
JP3696335B2 (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
JP2003065737A (ja) | 表面形状測定装置及びその方法、並びに表面状態図化装置 | |
JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
JP4006296B2 (ja) | 写真測量による変位計測方法及び変位計測装置 | |
JP2006317418A (ja) | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 | |
JP3910844B2 (ja) | 新旧写真画像を用いた標定方法及び修正図化方法 | |
CN113140031B (zh) | 三维影像建模***、方法及应用其的口腔扫描设备 | |
CN110634136B (zh) | 一种管道壁破损检测方法、装置及*** | |
JP4153322B2 (ja) | 写真測量における計測点の対応付け方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070327 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070522 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090604 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090803 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |