JP5563930B2 - 非接触三次元計測装置及び非接触三次元計測方法 - Google Patents
非接触三次元計測装置及び非接触三次元計測方法 Download PDFInfo
- Publication number
- JP5563930B2 JP5563930B2 JP2010191099A JP2010191099A JP5563930B2 JP 5563930 B2 JP5563930 B2 JP 5563930B2 JP 2010191099 A JP2010191099 A JP 2010191099A JP 2010191099 A JP2010191099 A JP 2010191099A JP 5563930 B2 JP5563930 B2 JP 5563930B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- line
- dimensional
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000005259 measurement Methods 0.000 claims description 170
- 238000000691 measurement method Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000001678 irradiating effect Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 16
- 238000013075 data extraction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 22
- 239000003550 marker Substances 0.000 description 12
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 101100444142 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) dut-1 gene Proteins 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
前記被計測物にラインレーザを照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係を計算するための外部標定を行う標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理する画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択し、
前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択し、
前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出し、
前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出し、
前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上における前記第2対象領域内に計算し、
前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する。
(a)互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラについて、互いの位置関係を計算するための外部標定を行う外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択する第1対象領域選択ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択する第2対象領域選択ステップと、
(f)前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(g)前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(h)前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(i)前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上の前記第2対象領域内に計算するエピポーラ線計算ステップと、
(j)前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(k)前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する三次元座標算出ステップと、
を含む。
前記第2対象領域選択ステップにおいて、前記矩形領域の長辺が前記第2の画像を記録した際の走査線の方向と平行となるように、前記第2対象領域を選択してもよい。
互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラを含む第1組のカメラ系と、
前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、前記被計測物を撮影する第3のカメラ及び第4のカメラを含む第2組のカメラ系と、
前記被計測物にラインレーザを照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う第1標定部と、
前記第3のカメラ及び前記第4のカメラについて、互いの位置関係に関する外部標定を行う第2標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理すると共に、前記ラインレーザが照射された被計測物を前記第3のカメラで撮影した第3の画像と、前記第4のカメラで撮影した第4の画像とを画像処理する、画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の撮影された前記ラインレーザに対応する第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算して、
前記第2の画像上において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上における前記特徴点と、前記第2の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第3の画像上の撮影された前記ラインレーザに対応する第3線分データの中の一つの点を特徴点として選択し、
前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算して、
前記第4の画像上において、撮影された前記ラインレーザに対応する第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第3の画像上における前記特徴点と、前記第4の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求め、得られた座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル
(a)互いに距離をおいて配置され、被計測物を撮影する第1組のカメラ系を構成する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う第1外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る第1のカメラ系による画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算するエピポーラ線計算ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る第1組のカメラ系による三次元座標算出ステップと、
(j)前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物を撮影する第2組のカメラ系を構成する第3のカメラ及び第4のカメラについて、互いの位置関係に関する外部標定を行う第2外部標定ステップと、
(k)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(l)前記ラインレーザが照射された被計測物を前記第3のカメラ及び前記第4のカメラでそれぞれ撮影して、前記第3のカメラによる第3の画像と、前記第4のカメラによる第4の画像とを得る第2組のカメラ系による画像撮影ステップと、
(m)前記第3の画像において、前記ラインレーザが撮影された部分を第3線分データとして抽出する第3線分データ抽出ステップと、
(n)前記第4の画像において、前記ラインレーザが撮影された部分を第4線分データとして抽出する第4線分データ抽出ステップと、
(o)前記第3の画像から抽出された前記第3線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(p)前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算するエピポーラ線計算ステップと、
(q)前記第4の画像から抽出された前記第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(r)前記第3の画像における前記特徴点と、前記第4の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る第2組のカメラ系による三次元座標算出ステップと、
(s)前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求める座標変換関係算出ステップと、
(t)得られた前記座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、座標変換ステップと、
を含む。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル
(i−2)前記第1画像から抽出された前記第1線分上の点すべてに対して、前記ステップ(f)〜前記ステップ(i)を繰り返して、前記被計測物のラインレーザが照射されたライン部分の全体に対して三次元座標を算出する三次元座標算出ステップ
をさらに含んでもよい。
(s−2)前記第3画像から抽出された前記第3線分上の点すべてに対して、前記ステップ(o)〜前記ステップ(s)を繰り返して、前記被計測物のラインレーザが照射されたライン部分の全体に対して三次元座標を算出する三次元座標算出ステップ
をさらに含んでもよい。
図1は、実施の形態1に係る非接触三次元計測装置10の構成を示す概略図である。
この非接触三次元計測装置10は、距離を置いて設置された2台のカメラ2a、2bと、被計測物1にラインレーザを照射するラインレーザ4と、2台のカメラ2a、2bの位置関係を計算する外部標定を行う標定部6と、ラインレーザが照射された被計測物1を第1のカメラ2aで撮影した第1の画像20と、第2のカメラ2bで撮影した第2の画像30とを画像処理する画像処理部8と、を含む。それぞれのカメラ2a、2bは、レンズ中心や焦点距離、歪補正係数などの内部標定(内部パラメータ)が予め算出されていることが望ましい。さらに、撮影された画像は、内部標定データを利用して歪補正された画像が望ましいが、必須ではない。また、ラインレーザ4は、被計測物1の表面全体にわたって走査できる。また、標定部6は、第1のカメラ2a及び第2のカメラ2bについて、互いの位置関係に関する外部標定を行う。画像処理部8は、第1の画像20上の撮影されたラインレーザに対応する第1線分データ22を含む矩形領域を第1対象領域26として選択し、第1対象領域26内の前記第1線分データの中の一つの点を特徴点24として選択する。次いで、画像処理部8は、第2の画像30上の撮影されたラインレーザ4に対応する第2線分データ32を含む矩形領域を第2対象領域36として選択し、上記特徴点24に該当するエピポーラ線33を第2の画像30上の第2対象領域36内に計算して、第2の画像30上の第2対象領域36内において、撮影されたラインレーザに対応する第2線分データ32とエピポーラ線33との交点を、第1の画像20上の第1対象領域26内で選択した特徴点24と対応する対応点34として決定する。さらに、画像処理部8は、第1の画像20上の第1対象領域26内における特徴点24と、第2の画像30上の第2対象領域36内における対応点34とを用いて、特徴点及び対応点に該当する被計測物1上の該当点14の三次元座標を算出する。
<2つのカメラ及び画像について>
2つのカメラ(第1のカメラ2a、第2のカメラ2b)のそれぞれのレンズ中心を点A及び点Bとして表している。
第1のカメラ2aによる第1の画像20では、被計測物1に照射されたラインレーザに対応する部分である第1線分データ22を含む第1対象領域26を選択する(図3)。この第1対象領域26は、関心領域(ROI:region of interest)とも呼ばれ、第1の画像20全体の中で、第1線分データを含むように選択するので、第1線分データに含まれる特徴点24を選択するにあたって必要十分な範囲である。この第1対象領域内の第1線分データ22の中から一つの特徴点24を選択する。第1のカメラ2aのレンズ中心、焦点距離、歪補正係数等は内部標定によって得られる。なお、カメラの内部標定は、例えば、非特許文献5に記載の方法に基づいて計算できる。
また、第2のカメラによる第2の画像30においても、被計測物1に照射されたラインレーザに対応する部分である第2線分データ32を含む第2対象領域36を選択する(図4)。この第2対象領域36は、第2の画像30全体の中で、第2線分データ32を含むように選択するので、エピポーラ線33と第2線分データ32との交点である対応点34を決定するにあたって必要十分な範囲である。第2対象領域36内において、第1線分データから選択された特徴点24に対応するエピポーラ線33と第2線分データ32との交点である対応点34が決定される。なお、第2のカメラ2bのレンズ中心、焦点距離、歪補正係数等は内部標定によって得られる。また、エピポーラ線は、非特許文献4に記載の方法に基づいて計算することができる。
ラインレーザ4は、ライン状のレーザを被計測物1に照射できるものであればよい。また、ラインレーザ4は、被計測物1の全体にわたって走査することができることが好ましい。あるいは、ラインレーザ4は、ライン状のレーザを回転させることができるものであってもよい。さらに、ラインレーザ4は、赤外、赤色、グリーン、青色等、どの色のラインレーザを用いても良い。また、ラインレーザ4として、複数の色のレーザを併用してもよい。複数の色のレーザを併用することで、各色のレーザ毎に特徴点と対応点を計算できるため、一度の撮影で同時に複数の線分を抽出することができ、さらに高速に三次元座標を計算することができる。
また、被計測物1に照射されたラインレーザの部分12と、特徴点24及び対応点34とに該当する被計測物1上の該当点14を示している。この該当点14は点Cとしても示している。
また、画像処理部8は、矩形領域の長辺が第1の画像20及び第2の画像30を記録した際の走査線の方向と平行となるように、第1対象領域26及び第2対象領域36を選択してもよい。さらに、画像処理部8は、第1対象領域26内でのみ特徴点24を選択し、第2対象領域36内でのみ対応点を決定することができる。
またさらに、ラインレーザ4は、第1のカメラ2aと第2のカメラ2bとを結ぶ直線と交差するように被計測物1にラインレーザを照射してもよい。図9に示すように、エピポーラ線は、第1のカメラ2aと第2のカメラ2bとを結ぶ直線とほぼ同様の方向に延びる。そのため、上記のようにラインレーザを第1のカメラ2aと第2のカメラ2bとを結ぶ直線と交差するように照射することで、エピポーラ線と第2線分データ32とを交差させることができる。
a)第1のカメラ2aのレンズ中心Aと、第2のカメラ2bのレンズ中心Bとの間の位置関係及び、各カメラの方向は外部標定によって求められる。二つのカメラ2a、2b間の外部標定は、例えば非特許文献1に記載の方法により計算できる。
b)また、第1のカメラ2a及び第2のカメラ2bのレンズ中心、焦点距離、歪補正係数等は内部標定を利用することによって求められる。
c)次に、被計測物1上の該当点14の点Cは、第1のカメラ2aのレンズ中心Aから第1の画像20上の第1対象領域26内の特徴点24に向かって延長したライン上に存在すると共に、第2のカメラ2bのレンズ中心Bから第2の画像30上の第2対象領域36内の対応点34に向かって延長したライン上に存在する。そのため、写真測量の原理によって、これらの交点として点Cが得られる。なお、該当点の三次元座標は、例えば非特許文献1に記載の方法によって計算できる。
以上によって、被計測物1上の該当点14(C)を三次元計測することができる。
(a)被計測物1が写る範囲に、被計測物1を撮影する2台のカメラ(第1のカメラ2a及び第2のカメラ2b)を、互いに距離をおいて配置する(図1、図2)。それぞれのカメラ2a、2bは、レンズ中心、焦点距離、歪補正係数などの内部標定(内部パラメータ)が予め算出されていることが望ましい。なお、カメラの内部標定が行われていない場合には、例えば、非特許文献5に挙げられる算出方法によって内部標定を求めることができる。
(b)第1のカメラ2a及び第2のカメラ2bについて、互いの位置関係に関する外部標定を行う(S01)。
この外部標定によって、複数のカメラの位置関係を知ることができる。例えば、非特許文献1に挙げられる方法として、被計測物1の周りのあらかじめ知られた対応点を8点以上抽出することによって外部標定を実施することができる。
(d)ラインレーザが照射された被計測物1を第1のカメラ2a及び第2のカメラ2bでそれぞれ撮影して、第1のカメラ2aによる第1の画像(図3)と、第2のカメラ2bによる第2の画像(図4)とを得る(S03)。
(e)第1の画像20において、ラインレーザが撮影された部分を含む矩形領域を第1対象領域26として選択する(S04)(図3)。
(f)第2の画像30において、ラインレーザが撮影された部分を含む矩形領域を第2対象領域36として選択する(S05)(図4)。
(g)第1対象領域26において、撮影されたラインレーザに対応する部分を第1線分データ22として抽出する(S06)(図3)。
(h)第2対象領域36において、撮影されたラインレーザに対応する部分を第2線分データ32として抽出する(S07)(図4)。
(j)特徴点24に対応するエピポーラ線33を第2の画像上の第2対象領域36内で計算する(S09)(図6)。なお、エピポーラ線とは、第1のカメラ2aのレンズ中心と、第1の画像20上の特徴点24に該当する被計測物1上の点とを結ぶ仮想的な線が第2のカメラに投影された線分である。第2の画像30上の第2対象領域36内でエピポーラ線33がどのように計算されるかは、第1のカメラ2a及び第2のカメラ2bの内部標定と、第1のカメラ2a及び第2のカメラ2bの位置関係を計算する外部標定とによって決定できる。エピポーラ線は、例えば非特許文献4に記載の方法によって計算できる。第2の画像30上の第2対象領域36内で計算されるエピポーラ線33上のどこかに特徴点24と対応する対応点が存在する。
(k)第2対象領域36内の第2線分データ32とエピポーラ線33との交点を第1対象領域26内で選択した特徴点24と対応する対応点34として決定する(S10)(図6)。
(l)第1対象領域26内における特徴点24と、第2対象領域36内における対応点34とを用いて、特徴点及び対応点に該当する被計測物1上の該当点14の三次元座標を算出する(S11)。上記該当点14の三次元座標は、例えば非特許文献1に記載の方法によって計算できる。
(m)第1の画像20上の第1対象領域26内の第1線分上の点すべてに対して、上記ステップ(i)〜ステップ(l)を繰り返して、被計測物のラインレーザが照射されたライン部分に対して三次元座標を算出する(S12)。
以上の各ステップによって、特徴点24及び対応点34に該当する被計測物1の該当点14の三次元座標を得ることができる。
図10は、実施の形態1の変形例に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、ラインレーザを被計測物の全体にわたって走査する点で相違する。
(a)及び(b)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(c)被計測物1にわたってラインレーザを走査する(S13)。ここでは、ラインレーザ4を任意の方向に照射し、被計測物1の全体にわたって順に走査していくことを表している。
(d)から(k)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(l)被計測物1の全体について走査したか確認する(S14)。被計測物1の全体について走査していない場合には、(c)から(k)を繰り返して、被計測物1の全体について三次元計測を行う。
以上の各ステップによって、被計測物1の全体にわたって三次元計測を行うことができる。
図11は、実施の形態2に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、ラインレーザ4を照射方向の所定の軸について回転させて被計測物1に照射する点で相違する。
(a)及び(b)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。実施の形態2では、ステップ(c)のラインレーザの照射について、以下のように行う。
(c)ラインレーザを所定の軸について回転させて被計測物1に照射する(S15)。実施の形態1の変形例では、ラインレーザを任意の方向に走査して被計測物1の全体にわたって走査していたが、ラインレーザ4を所定の軸について回転させることによっても被計測物1の全体について走査することができる。
(d)から(m)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
(n)ラインレーザを全角度に回転させて照射したか確認する(S16)。被計測物1の全体について走査していない場合には、(c)から(k)を繰り返して、被計測物1の全体について三次元計測を行う。
以上の各ステップによって、被計測物1の全体にわたって三次元計測を行うことができる。
図12は、実施の形態3に係る非接触三次元計測方法のフローチャートである。この変形例の非接触三次元計測方法では、図8の実施の形態1に係る非接触三次元計測方法と対比すると、(i)で第2線分データ32とエピポーラ線33との交点が単一ではなく2つ以上の交点が存在する場合に、ラインレーザを特徴点24に該当する被計測物1上の該当点14を中心に回転させて照射する点で相違する。
(a)から(j)は、実施の形態1に係る非接触三次元計測方法と同じであるので説明を省略する。
ステップ(k)の前に、第2の画像30上において、エピポーラ線33と第2線分32との交点は単一か、確認する(S17)。交点が一つの場合には、実施の形態1に係る非接触三次元計測方法の(k)から(m)を行って、特徴点及び対応点に該当する被計測物1の該当点14の三次元座標を得ることができる。
図13は、実施の形態4に係る非接触三次元計測装置100の構成を示す概略図である。この非接触三次元計測装置100は、実施の形態1に係る非接触三次元計測装置と比較すると、2台のカメラ2a、2bからなる第1組のカメラ系に加えて、第1組のカメラ系とは異なる箇所から被計測物1を撮影する2台のカメラ(第3のカメラ2c及び第4のカメラ2d)からなる第2組のカメラ系をさらに備えることを特徴とする。なお、第2組のカメラ系は、物理的に第1組のカメラ系と別個に用意してもよいが、第1組のカメラ系による最初の位置での撮影及び画像処理の後、第1組のカメラ系を最初の位置とは異なる箇所にそのまま移動させて第2組のカメラ系として撮影及び画像処理を行ってもよい。また、この非接触三次元計測装置では、ラインレーザ4を少なくとも一つ備えていればよい。あるいは、第1組のカメラ系と、第2組のカメラ系とでそれぞれ別々に2組のラインレーザを用意してもよい。
(1)まず、実施の形態1と同様に、第1組のカメラ系における被計測物上の三次元座標系を得る。例えば、第1組のカメラ系による三次元座標をM(x、y,z)とする。
(2)次いで、第2組のカメラ系における被計測物上の三次元座標系を得る。例えば、第2組のカメラ系による三次元座標をN(x、y,z)とする。
(3)その後、第2組のカメラ系における被計測物上の三次元座標のうち、第1組のカメラ系における被計測物上の三次元座標と対応する少なくとも3つの点、つまり少なくとも三つのマーカの三次元座標を選択する。例えば、第1組のカメラ系によるi番目のマーカの三次元座標をAi(x、y、z)とし、第2組のカメラ系によるi番目のマーカの三次元座標をBi(x、y、z)とする。
(4)選択した少なくとも3つの三次元座標について、第2組のカメラ系の三次元座標系から第1組のカメラ系の三次元座標系への座標変換関係を求める。これは、第2組のカメラ系によるi番目のマーカの三次元座標Bi(x、y、z)を第1組のカメラ系によるi番目のマーカの三次元座標Ai(x、y、z)に対応させる座標変換関係を得るものである。これは、選択した少なくとも3つの三次元座標について、第2組のカメラ系の三次元座標系N(x,y,z)から第1組のカメラ系の三次元座標系M(x,y,z)への相似変換の関係に基づいて、座標変換関係を求めることができる。さらに具体的には、上記相似変換は、例えば、下記式で表される。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル
(5)そして、得られた座標変換関係、上記例の場合、スケールs、回転行列R、並進ベクトルt等を用いて、第2組のカメラ系の三次元座標系N(x、y、z)を第1組のカメラ系の三次元座標系M(x、y、z)に座標変換して、第1組のカメラ系の三次元座標系に基づく被計測物の三次元座標を得る。
なお、図16は、第1組のカメラ系の第1のカメラ2aによって撮影された第1の画像20を示す概略図である。図17は、第1組のカメラ系の第2のカメラ2bによって撮影された第2の画像30を示す概略図である。図18は、図16の第1の画像20について、第1線分データ22中の一つの点を特徴点24として選択する場合の概略図である。図19は、図17の第2の画像30において、第1の画像20上の特徴点24に該当するエピポーラ線33が計算された第2の画像30を示す概略図である。
(a)互いに距離をおいて配置され、被計測物1を撮影する第1組のカメラ系を構成する第1のカメラ2a及び第2のカメラ2bについて、互いの位置関係に関する外部標定を行う(S21)。
(b)第1組のカメラ系において被計測物1にラインレーザを照射する(S22)(図20)。
(c)ラインレーザが照射された被計測物1を第1のカメラ2a及び第2のカメラ2bでそれぞれ撮影して、第1のカメラ2aによる第1の画像20(図16)と、第2のカメラ2bによる第2の画像30(図17)とを得る(S23)。
(d)第1の画像20において、撮影されたラインレーザに対応する部分を第1線分データ22として抽出する(S24)(図16)。
(e)第2の画像30において、撮影されたラインレーザに対応する部分を第2線分データ32として抽出する(S25)(図17)。
(f)第1の画像20から抽出された第1線分データ22の中の一つの点を特徴点24として選択する(S26)(図18)。
(g)第1の画像20上で選択した特徴点24に対応するエピポーラ線33を第2の画像30上で計算する(S27)(図19)。
(h)第2の画像30から抽出された第2線分データ32とエピポーラ線33との交点を、第1の画像20上で選択した特徴点24と対応する対応点34として決定する(S28)(図19)。
(i)第1の画像20における特徴点24と、第2の画像30における対応点34とを用いて、特徴点24及び対応点34に該当する被計測物1上の該当点14の三次元座標を算出し、第1組のカメラ系における被計測物1上の三次元座標系を得る(S29)(図20)。
(j)第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物1を撮影する第2組のカメラ系を構成する第3のカメラ2c及び第4のカメラ2dについて、互いの位置関係に関する外部標定を行う(S30)。
(k)被計測物1にラインレーザを照射する(S31)
(l)ラインレーザが照射された被計測物1を第3のカメラ2c及び第4のカメラ2dでそれぞれ撮影して、第3のカメラ2cによる第3の画像40(図21)と、第4のカメラ2dによる第4の画像50(図22)とを得る(S32)。
(m)第3の画像40において、撮影されたラインレーザに対応する部分を第3線分データ42として抽出する(S33)(図21)。
(n)第4の画像50において、撮影されたラインレーザに対応する部分を第4線分データ52として抽出する(S34)(図22)。
(o)第3の画像40から抽出された第3線分データ42の中の一つの点を特徴点44として選択する(S35)(図23)。
(p)第3の画像40上で選択した特徴点44に対応するエピポーラ線53を第4の画像50上で計算する(S36)(図24)。
(q)第4の画像50から抽出された第4線分データ52とエピポーラ線53との交点を、第3の画像40上で選択した特徴点44と対応する対応点54として決定する(S37)(図24)。
(r)第3の画像40における特徴点44と、第4の画像50における対応点54とを用いて、特徴点44及び対応点54に該当する被計測物1上の該当点の三次元座標を算出し、第2組のカメラ系における被計測物上の三次元座標系を得る(S38)(図25)。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル
(t)得られた座標変換関係、例えば上記例では、スケールs、回転行列R、並進ベクトルt等を用いて、第2組のカメラ系の三次元座標系を第1組のカメラ系の三次元座標系に座標変換して、第1組のカメラ系の三次元座標系に基づく被計測物の三次元座標を得る(S40)。
以上によって、第1組のカメラ系の三次元座標系に基づく被計測物の三次元座標を得ることができる。
以下に、相似変換の関係式を再度掲載する。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル
上記座標変換関係のスケールs、回転行列R、並進ベクトルtのそれぞれの求め方の一例を挙げる。
第1組のカメラ系によるマーカのi番目とi+1番目の三次元座標A(x,y,z)の間での座標ベクトルの引き算をそれぞれ行って、第2組のカメラ系による対応するマーカのi番目とi+1番の三次元座標B(x,y,z)の間での座標ベクトルの引き算を行って、両辺のベクトルの大きさの2乗を得ると、上記の相似変換の関係式から、下記式が得られる。
(Ai−Ai+1)2=s2(Bi−Bi+1)2
上記式では、並進ベクトルtを削除でき、全体としてスカラーのみとすることができる。これによって、スケールsを算出できる。なお、マーカの数が3以上あるので、3以上の異なるスケールsの値が得られ、その平均値をスケールsとして得ることができる。
まず、上記相似変換の式を以下のように変形しておく。
Mi=sR(Ni−t)=R(sNi−st)=R(sNi)−R(st)
次に、マーカのi+1番目からi番目への引き算を行う。
Mi+1−Mi=(R(sNi+1)−R(st))−(R(sNi)−R(st))
Mi+1−Mi=R(sNi+1)−R(sNi)
=R((sNi+1)−(sNi))
ここで、
mi=Mi+1−Mi
ni=sNi+1−sNi
と置き換えると、下記式が得られる。
mi=Rni
の条件を満たす回転行列Rを求めることである。なお、上記最小二乗法による回転行列Rは、通常の方法によって得られる。その求め方の詳細については、例えば、非特許文献3等に詳しい。
上記相似変換の関係式を変形すると、
となる。なお、RTは、回転行列Rの転置行列である。複数のマーカのそれぞれについて並進ベクトルtiが得られるので、その平均値を全体の並進ベクトルtとする。
以上によって、座標変換関係のスケールs、回転行列R、並進ベクトルtのそれぞれが得られる。なお、上記の座標変換関係のスケールs、回転行列R、並進ベクトルtの求め方は一例であってこれらに限られない。
2a 第1のカメラ
2b 第2のカメラ
2c 第3のカメラ
2d 第4のカメラ
4 ラインレーザ
6 標定部
6a 第1標定部
6b 第2標定部
8 画像処理部
10 非接触三次元計測装置
12 照射されたラインレーザ
14 該当点
20 第1の画像
22 第1線分データ
24 特徴点
26 第1対象領域
30 第2の画像
32 第2線分データ
33 エピポーラ線
34 対応点
36 第2対象領域
40 第3の画像
42 第3線分データ
44 特徴点
50 第4の画像
52 第4線分データ
54 対応点
60 マーカ
100 非接触三次元計測装置
Claims (29)
- 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラと、
前記被計測物にラインレーザを照射方向の所定の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係を計算する外部標定を行う標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理する画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択し、
前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択し、
前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出し、
前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出し、
前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上の前記第2対象領域内に計算して、
前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、
前記第1の画像から抽出された前記第1線分上の点すべてに対して、前記該当点の三次元座標を算出する処理を繰り返して、前記被計測物の前記ラインレーザが照射されたライン部分に対して三次元座標を算出する非接触三次元計測装置であって、
前記画像処理部は、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するごとに、前記画像処理を繰り返すことを特徴とする、非接触三次元計測装置。 - 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラと、
前記被計測物にラインレーザを照射方向の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係を計算する外部標定を行う標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理する画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択し、
前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択し、
前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出し、
前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出し、
前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上の前記第2対象領域内に計算して、
前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する、非接触三次元計測装置であって、
前記画像処理部で対応点を決定する処理において、前記エピポーラ線と前記第2線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第1の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第2の画像上で前記エピポーラ線と前記第2線分データとの単一の交点を前記特徴点と対応する対応点として決定することを特徴とする、
非接触三次元計測装置。 - 前記第1のカメラ及び前記第2のカメラは、撮影した画像データを、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差する方向の走査線に沿って記録する画像メモリを備え、それぞれ前記第1の画像及び前記第2の画像として出力する、請求項1又は2に記載の非接触三次元計測装置。
- 前記画像処理部は、前記矩形領域の長辺が前記第1の画像及び前記第2の画像を記録した際の走査線の方向と平行となるように、前記第1対象領域及び前記第2対象領域を選択する、請求項3に記載の非接触三次元計測装置。
- 前記画像処理部は、前記第1対象領域内でのみ前記特徴点を選択し、前記第2対象領域内でのみ前記対応点を決定する、請求項1から4のいずれか一項に記載の非接触三次元計測装置。
- 前記ラインレーザは、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差するように前記被計測物にラインレーザを照射する、請求項1から5のいずれか一項に記載の非接触三次元計測装置。
- (a)互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択する第1対象領域選択ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択する第2対象領域選択ステップと、
(f)前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(g)前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(h)前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(i)前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上の前記第2対象領域内に計算するエピポーラ線計算ステップと、
(j)前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(k)前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する三次元座標算出ステップと、
(l)前記第1画像から抽出された前記第1線分上の点すべてに対して、前記ステップ(h)〜前記ステップ(k)を繰り返して、前記被計測物のラインレーザが照射されたライン部分に対して三次元座標を算出する三次元座標算出ステップと、
を含む、非接触三次元計測方法であって、
前記ラインレーザ照射ステップ(b)において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するラインレーザ走査ステップをさらに含み、前記ラインレーザを回転させて前記被計測物に照射するごとに、前記ステップ(c)〜前記ステップ(l)を繰り返すことを特徴とする、非接触三次元計測方法。 - (a)互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第1対象領域として選択する第1対象領域選択ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を含む矩形領域を第2対象領域として選択する第2対象領域選択ステップと、
(f)前記第1対象領域において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(g)前記第2対象領域において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(h)前記第1対象領域内の前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(i)前記第1の画像上の前記第1対象領域内で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上の前記第2対象領域内に計算するエピポーラ線計算ステップと、
(j)前記第2の画像上の前記第2対象領域内において、撮影された前記ラインレーザに対応する前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上の前記第1対象領域内で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(k)前記第1の画像上の前記第1対象領域内における前記特徴点と、前記第2の画像上の前記第2対象領域内における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出する三次元座標算出ステップと、
を含む、非接触三次元計測方法であって、
前記対応点決定ステップ(j)において、前記エピポーラ線と前記第2線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第1の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第2の画像上で前記エピポーラ線と前記第2線分データとの単一の交点を前記特徴点と対応する対応点として決定することを特徴とする、非接触三次元計測方法。 - 前記画像撮影ステップにおいて、前記第1のカメラ及び前記第2のカメラによって撮影した画像データを、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差する方向の走査線に沿って記録し、それぞれ前記第1の画像及び前記第2の画像として出力する、請求項7又は8に記載の非接触三次元計測方法。
- 前記第1対象領域選択ステップにおいて、前記矩形領域の長辺が前記第1の画像を記録した際の走査線の方向と平行となるように、前記第1対象領域を選択し、
前記第2対象領域選択ステップにおいて、前記矩形領域の長辺が前記第2の画像を記録した際の走査線の方向と平行となるように、前記第2対象領域を選択する、請求項9に記載の非接触三次元計測方法。 - 前記特徴点選択ステップにおいて、前記第1対象領域内でのみ前記特徴点を選択し、前記対応点決定ステップにおいて、前記第2対象領域内でのみ前記対応点を決定する、請求項7から10のいずれか一項に記載の非接触三次元計測方法。
- 前記ラインレーザ照射ステップにおいて、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差するように前記被計測物にラインレーザを照射する、請求項7から11のいずれか一項に記載の非接触三次元計測方法。
- 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラを含む第1組のカメラ系と、
前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、前記被計測物を撮影する第3のカメラ及び第4のカメラを含む第2組のカメラ系と、
前記被計測物にラインレーザを照射方向の所定の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う第1標定部と、
前記第3のカメラ及び前記第4のカメラについて、互いの位置関係に関する外部標定を行う第2標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理すると共に、前記ラインレーザが照射された被計測物を前記第3のカメラで撮影した第3の画像と、前記第4のカメラで撮影した第4の画像とを画像処理する、画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の撮影された前記ラインレーザに対応する第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算して、
前記第2の画像上において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上における前記特徴点と、前記第2の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、
前記第1の画像から抽出された前記第1線分上の点すべてに対して、前記該当点の三次元座標を算出する処理を繰り返して、前記被計測物の前記ラインレーザが照射されたライン部分の全体に対して前記第1組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第3の画像上の撮影された前記ラインレーザに対応する第3線分データの中の一つの点を特徴点として選択し、
前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算して、
前記第4の画像上において、撮影された前記ラインレーザに対応する第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第3の画像上における前記特徴点と、前記第4の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求め、得られた座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測装置であって、
前記画像処理部は、
前記第1組のカメラ系において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するごとに、前記被計測物の前記ラインレーザが照射されたライン部分の全体に対して、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る処理を繰り返すことを特徴とする、非接触三次元計測装置。 - 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラを含む第1組のカメラ系と、
前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、前記被計測物を撮影する第3のカメラ及び第4のカメラを含む第2組のカメラ系と、
前記被計測物にラインレーザを照射方向の所定の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う第1標定部と、
前記第3のカメラ及び前記第4のカメラについて、互いの位置関係に関する外部標定を行う第2標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、
前記第2のカメラで撮影した第2の画像とを画像処理すると共に、前記ラインレーザが照射された被計測物を前記第3のカメラで撮影した第3の画像と、前記第4のカメラで撮影した第4の画像とを画像処理する、画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の撮影された前記ラインレーザに対応する第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算して、
前記第2の画像上において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上における前記特徴点と、前記第2の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第3の画像上の撮影された前記ラインレーザに対応する第3線分データの中の一つの点を特徴点として選択し、
前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算して、
前記第4の画像上において、撮影された前記ラインレーザに対応する第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第3の画像上における前記特徴点と、前記第4の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、
前記第3の画像から抽出された前記第3線分上の点すべてに対して、前記該当点の三
次元座標を算出する処理を繰り返して、前記被計測物の前記ラインレーザが照射されたライン部分の全体に対して前記第2組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求め、得られた座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、
非接触三次元計測装置であって、
前記画像処理部は、
前記第2組のカメラ系において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するごとに、前記被計測物の前記ラインレーザが照射されたライン部分の全体に対して、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る処理を繰り返すことを特徴とする、非接触三次元計測装置。 - 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラを含む第1組のカメラ系と、
前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、前記被計測物を撮影する第3のカメラ及び第4のカメラを含む第2組のカメラ系と、
前記被計測物にラインレーザを照射方向の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う第1標定部と、
前記第3のカメラ及び前記第4のカメラについて、互いの位置関係に関する外部標定を行う第2標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、
前記第2のカメラで撮影した第2の画像とを画像処理すると共に、前記ラインレーザが照射された被計測物を前記第3のカメラで撮影した第3の画像と、前記第4のカメラで撮影した第4の画像とを画像処理する、画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の撮影された前記ラインレーザに対応する第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算して、
前記第2の画像上において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上における前記特徴点と、前記第2の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第3の画像上の撮影された前記ラインレーザに対応する第3線分データの中の一つの点を特徴点として選択し、
前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算して、
前記第4の画像上において、撮影された前記ラインレーザに対応する第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第3の画像上における前記特徴点と、前記第4の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求め、得られた座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、
非接触三次元計測装置であって、
前記画像処理部で、前記第1組のカメラ系の対応点を決定する処理において、前記エピポーラ線と前記第2線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第1の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第2の画像上で前記エピポーラ線と前記第2線分データとの単一の交点を前記特徴点と対応する対応点として決定することを特徴とする、
非接触三次元計測装置。 - 互いに距離をおいて配置され、被計測物を撮影する第1のカメラ及び第2のカメラを含む第1組のカメラ系と、
前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、前記被計測物を撮影する第3のカメラ及び第4のカメラを含む第2組のカメラ系と、
前記被計測物にラインレーザを照射方向の軸について回転させて照射するラインレーザと、
前記第1のカメラ及び前記第2のカメラについて、互いの位置関係に関する外部標定を行う第1標定部と、
前記第3のカメラ及び前記第4のカメラについて、互いの位置関係に関する外部標定を行う第2標定部と、
前記ラインレーザが照射された被計測物を前記第1のカメラで撮影した第1の画像と、前記第2のカメラで撮影した第2の画像とを画像処理すると共に、前記ラインレーザが照射された被計測物を前記第3のカメラで撮影した第3の画像と、前記第4のカメラで撮影した第4の画像とを画像処理する、画像処理部と、
を備え、
前記画像処理部は、
前記第1の画像上の撮影された前記ラインレーザに対応する第1線分データの中の一つの点を特徴点として選択し、
前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算して、
前記第2の画像上において、撮影された前記ラインレーザに対応する第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第1の画像上における前記特徴点と、前記第2の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第3の画像上の撮影された前記ラインレーザに対応する第3線分データの中の一つの点を特徴点として選択し、
前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算して、
前記第4の画像上において、撮影された前記ラインレーザに対応する第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定し、
前記第3の画像上における前記特徴点と、前記第4の画像上における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得ると共に、
前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求め、得られた座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測装置であって、
前記画像処理部で、前記第2組のカメラ系の対応点を決定する処理において、前記エピポーラ線と前記第4線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第3の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第4の画像上で前記エピポーラ線と前記第4線分データとの単一の交点を前記特徴点と対応する対応点として決定することを特徴とする、非接触三次元計測装置。 - 前記画像処理部は、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への相似変換の関係に基づいて、座標変換関係を求める、請求項13から16のいずれか一項に記載の非接触三次元計測装置。
- 前記第2組のカメラ系の三次元座標系N(x,y,z)から前記第1組のカメラ系の三次元座標系M(x,y,z)への前記相似変換は、下記式で表される、請求項17に記載の非接触三次元計測装置。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル - 前記ラインレーザは、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差するように前記被計測物にラインレーザを照射する、請求項13から18のいずれか一項に記載の非接触三次元計測装置。
- 第1組のカメラ系による被計測物の三次元座標系の算出と、第2組のカメラ系による被計測物の三次元座標系の算出とを行った後、得られた前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測方法であって、
(a)互いに距離をおいて配置され、被計測物を撮影する第1組のカメラ系を構成する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う第1外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る第1のカメラ系による画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算するエピポーラ線計算ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る第1組のカメラ系による三次元座標算出ステップと、
(i−2)前記第1画像から抽出された前記第1線分上の点すべてに対して、前記ステップ(f)〜前記ステップ(i)を繰り返して、前記被計測物のラインレーザが照射されたライン部分の全体に対して三次元座標を算出する三次元座標算出ステップと、
(j)前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物を撮影する第2組のカメラ系を構成する第3のカメラ及び第4のカメラについて、互いの位置関係に関する外部標定を行う第2外部標定ステップと、
(k)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(l)前記ラインレーザが照射された被計測物を前記第3のカメラ及び前記第4のカメラでそれぞれ撮影して、前記第3のカメラによる第3の画像と、前記第4のカメラによる第4の画像とを得る第2組のカメラ系による画像撮影ステップと、
(m)前記第3の画像において、前記ラインレーザが撮影された部分を第3線分データとして抽出する第3線分データ抽出ステップと、
(n)前記第4の画像において、前記ラインレーザが撮影された部分を第4線分データとして抽出する第4線分データ抽出ステップと、
(o)前記第3の画像から抽出された前記第3線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(p)前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算するエピポーラ線計算ステップと、
(q)前記第4の画像から抽出された前記第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(r)前記第3の画像における前記特徴点と、前記第4の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る第2組のカメラ系による三次元座標算出ステップと、
(s)前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求める座標変換関係算出ステップと、
(t)得られた前記座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、座標変換ステップと、
を含む、非接触三次元計測方法であって、
第1組のカメラ系による前記ラインレーザ照射ステップ(b)において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するラインレーザ走査ステップをさらに含み、前記ラインレーザを回転させて前記被計測物に照射するごとに、前記ステップ(c)〜前記ステップ(i−2)を繰り返すことを特徴とする、非接触三次元計測方法。 - 第1組のカメラ系による被計測物の三次元座標系の算出と、第2組のカメラ系による被計測物の三次元座標系の算出とを行った後、得られた前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測方法であって、
(a)互いに距離をおいて配置され、被計測物を撮影する第1組のカメラ系を構成する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う第1外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る第1のカメラ系による画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算するエピポーラ線計算ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る第1組のカメラ系による三次元座標算出ステップと、
(j)前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物を撮影する第2組のカメラ系を構成する第3のカメラ及び第4のカメラについて、互いの位置関係に関する外部標定を行う第2外部標定ステップと、
(k)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(l)前記ラインレーザが照射された被計測物を前記第3のカメラ及び前記第4のカメラでそれぞれ撮影して、前記第3のカメラによる第3の画像と、前記第4のカメラによる第4の画像とを得る第2組のカメラ系による画像撮影ステップと、
(m)前記第3の画像において、前記ラインレーザが撮影された部分を第3線分データとして抽出する第3線分データ抽出ステップと、
(n)前記第4の画像において、前記ラインレーザが撮影された部分を第4線分データとして抽出する第4線分データ抽出ステップと、
(o)前記第3の画像から抽出された前記第3線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(p)前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算するエピポーラ線計算ステップと、
(q)前記第4の画像から抽出された前記第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(r)前記第3の画像における前記特徴点と、前記第4の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る第2組のカメラ系による三次元座標算出ステップと、
(s)前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求める座標変換関係算出ステップと、
(s−2)前記第3画像から抽出された前記第3線分上の点すべてに対して、前記ステップ(o)〜前記ステップ(s)を繰り返して、前記被計測物のラインレーザが照射されたライン部分の全体に対して三次元座標を算出する三次元座標算出ステップと、
(t)得られた前記座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、座標変換ステップと、
を含む、非接触三次元計測方法であって、
第2組のカメラ系による前記ラインレーザ照射ステップ(k)において、前記ラインレーザを照射方向の所定の軸について回転させて前記被計測物に照射するラインレーザ走査ステップをさらに含み、前記ラインレーザを回転させて前記被計測物に照射するごとに、前記ステップ(l)〜前記ステップ(s−2)を繰り返すことを特徴とする、非接触三次元計測方法。 - 第1組のカメラ系による被計測物の三次元座標系の算出と、第2組のカメラ系による被計測物の三次元座標系の算出とを行った後、得られた前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測方法であって、
(a)互いに距離をおいて配置され、被計測物を撮影する第1組のカメラ系を構成する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う第1外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る第1のカメラ系による画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算するエピポーラ線計算ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る第1組のカメラ系による三次元座標算出ステップと、
(j)前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物を撮影する第2組のカメラ系を構成する第3のカメラ及び第4のカメラについて、互いの位置関係に関する外部標定を行う第2外部標定ステップと、
(k)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(l)前記ラインレーザが照射された被計測物を前記第3のカメラ及び前記第4のカメラでそれぞれ撮影して、前記第3のカメラによる第3の画像と、前記第4のカメラによる第4の画像とを得る第2組のカメラ系による画像撮影ステップと、
(m)前記第3の画像において、前記ラインレーザが撮影された部分を第3線分データとして抽出する第3線分データ抽出ステップと、
(n)前記第4の画像において、前記ラインレーザが撮影された部分を第4線分データとして抽出する第4線分データ抽出ステップと、
(o)前記第3の画像から抽出された前記第3線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(p)前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算するエピポーラ線計算ステップと、
(q)前記第4の画像から抽出された前記第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(r)前記第3の画像における前記特徴点と、前記第4の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る第2組のカメラ系による三次元座標算出ステップと、
(s)前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求める座標変換関係算出ステップと、
(t)得られた前記座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、座標変換ステップと、
を含む、非接触三次元計測方法であって、
第1組のカメラ系による前記対応点決定ステップ(h)において、前記エピポーラ線と前記第2線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第1の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第2の画像上で前記エピポーラ線と前記第2線分データとの単一の交点を前記特徴点と対応する対応点として決定することを特徴とする、非接触三次元計測方法。 - 第1組のカメラ系による被計測物の三次元座標系の算出と、第2組のカメラ系による被計測物の三次元座標系の算出とを行った後、得られた前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、非接触三次元計測方法であって、
(a)互いに距離をおいて配置され、被計測物を撮影する第1組のカメラ系を構成する第1のカメラ及び第2のカメラについて、互いの位置関係に関する外部標定を行う第1外部標定ステップと、
(b)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(c)前記ラインレーザが照射された被計測物を前記第1のカメラ及び前記第2のカメラでそれぞれ撮影して、前記第1のカメラによる第1の画像と、前記第2のカメラによる第2の画像とを得る第1のカメラ系による画像撮影ステップと、
(d)前記第1の画像において、前記ラインレーザが撮影された部分を第1線分データとして抽出する第1線分データ抽出ステップと、
(e)前記第2の画像において、前記ラインレーザが撮影された部分を第2線分データとして抽出する第2線分データ抽出ステップと、
(f)前記第1の画像から抽出された前記第1線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(g)前記第1の画像上で選択した前記特徴点に対応するエピポーラ線を前記第2の画像上に計算するエピポーラ線計算ステップと、
(h)前記第2の画像から抽出された前記第2線分データと前記エピポーラ線との交点を、前記第1の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(i)前記第1の画像における前記特徴点と、前記第2の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第1組のカメラ系における前記被計測物上の三次元座標系を得る第1組のカメラ系による三次元座標算出ステップと、
(j)前記第1組のカメラ系とは違う位置で、互いに距離をおいて配置され、被計測物を撮影する第2組のカメラ系を構成する第3のカメラ及び第4のカメラについて、互いの位置関係に関する外部標定を行う第2外部標定ステップと、
(k)前記被計測物にラインレーザを照射するラインレーザ照射ステップと、
(l)前記ラインレーザが照射された被計測物を前記第3のカメラ及び前記第4のカメラでそれぞれ撮影して、前記第3のカメラによる第3の画像と、前記第4のカメラによる第4の画像とを得る第2組のカメラ系による画像撮影ステップと、
(m)前記第3の画像において、前記ラインレーザが撮影された部分を第3線分データとして抽出する第3線分データ抽出ステップと、
(n)前記第4の画像において、前記ラインレーザが撮影された部分を第4線分データとして抽出する第4線分データ抽出ステップと、
(o)前記第3の画像から抽出された前記第3線分データの中の一つの点を特徴点として選択する特徴点選択ステップと、
(p)前記第3の画像上で選択した前記特徴点に対応するエピポーラ線を前記第4の画像上に計算するエピポーラ線計算ステップと、
(q)前記第4の画像から抽出された前記第4線分データと前記エピポーラ線との交点を、前記第3の画像上で選択した前記特徴点と対応する対応点として決定する対応点決定ステップと、
(r)前記第3の画像における前記特徴点と、前記第4の画像における前記対応点とを用いて、前記特徴点及び前記対応点に該当する前記被計測物上の該当点の三次元座標を算出し、前記第2組のカメラ系における前記被計測物上の三次元座標系を得る第2組のカメラ系による三次元座標算出ステップと、
(s)前記第2組のカメラ系における前記被計測物上の三次元座標のうち、前記第1組のカメラ系における前記被計測物上の三次元座標と対応する少なくとも3つの三次元座標を選択し、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への座標変換関係を求める座標変換関係算出ステップと、
(t)得られた前記座標変換関係を用いて、前記第2組のカメラ系の三次元座標系を前記第1組のカメラ系の三次元座標系に座標変換して、前記第1組のカメラ系の三次元座標系に基づく前記被計測物の三次元座標を得る、座標変換ステップと、
を含む、非接触三次元計測方法であって、
第2組のカメラ系による前記対応点決定ステップ(q)において、前記エピポーラ線と前記第4線分データとの交点が2つ以上存在する場合、前記ラインレーザを前記第3の画像上の前記特徴点に該当する前記被計測物上の該当点への照射方向の軸について回転させて照射して、前記第4の画像上で前記エピポーラ線と前記第4線分データとの単一の交点を前記特徴点と対応する対応点として決定する、非接触三次元計測方法。 - 前記座標変換関係算出ステップにおいて、前記選択した少なくとも3つの三次元座標について、前記第2組のカメラ系の三次元座標系から前記第1組のカメラ系の三次元座標系への相似変換の関係に基づいて、座標変換関係を求める、請求項20から23のいずれか一項に記載の非接触三次元計測方法。
- 前記第2組のカメラ系の三次元座標系N(x,y,z)から前記第1組のカメラ系の三次元座標系M(x,y,z)への前記相似変換は、下記式で表される、請求項24に記載の非接触三次元計測方法。
Mi=sR(Ni−t)
Mi:第1組のカメラ系の三次元座標(座標ベクトル)
Ni:第2組のカメラ系の三次元座標(座標ベクトル)
s:スケール(スカラー値)
R:回転行列
t:並進ベクトル - 第1組のカメラ系による前記ラインレーザ照射ステップにおいて、前記第1のカメラと前記第2のカメラとを結ぶ直線と交差するように前記被計測物にラインレーザを照射する、請求項20から25のいずれか一項に記載の非接触三次元計測方法。
- 第2組のカメラ系による前記ラインレーザ照射ステップにおいて、前記第3のカメラと前記第4のカメラとを結ぶ直線と交差するように前記被計測物にラインレーザを照射する、請求項20から26のいずれか一項に記載の非接触三次元計測方法。
- 前記ラインレーザは、複数の色のラインレーザを併用することを特徴とする、請求項1から6、13から19のいずれか一項に記載の非接触三次元計測装置。
- 前記ラインレーザを照射するステップにおいて、前記ラインレーザとして複数の色のラインレーザを併用することを特徴とする、請求項7から12、20から27のいずれか一項に記載の非接触三次元計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010191099A JP5563930B2 (ja) | 2010-08-27 | 2010-08-27 | 非接触三次元計測装置及び非接触三次元計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010191099A JP5563930B2 (ja) | 2010-08-27 | 2010-08-27 | 非接触三次元計測装置及び非接触三次元計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012047637A JP2012047637A (ja) | 2012-03-08 |
JP5563930B2 true JP5563930B2 (ja) | 2014-07-30 |
Family
ID=45902685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010191099A Active JP5563930B2 (ja) | 2010-08-27 | 2010-08-27 | 非接触三次元計測装置及び非接触三次元計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5563930B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022078440A1 (zh) * | 2020-10-15 | 2022-04-21 | 左忠斌 | 一种包含运动物体的空间占用率采集判断设备及方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107806857A (zh) * | 2017-11-08 | 2018-03-16 | 沈阳上博智像科技有限公司 | 无人驾驶的可移动设备 |
CN107957247B (zh) * | 2017-12-22 | 2023-09-08 | 易思维(天津)科技有限公司 | 一种手持式间隙、面差视觉测量装置及方法 |
CN108195843B (zh) * | 2018-02-01 | 2024-01-23 | 中铁电气化局集团有限公司 | 一种锚段吊弦状态检测装置及方法 |
CN114543664B (zh) * | 2021-12-30 | 2024-05-07 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于激光扫描的加油锥套定位方法及装置 |
CN115131344B (zh) * | 2022-08-25 | 2022-11-08 | 泉州华中科技大学智能制造研究院 | 一种通过光强数据实现制鞋成型胶线提取的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2714277B2 (ja) * | 1991-07-25 | 1998-02-16 | 株式会社東芝 | リード形状計測装置 |
JP4158300B2 (ja) * | 1999-12-24 | 2008-10-01 | コニカミノルタセンシング株式会社 | 3次元入力方法及び3次元入力装置 |
JP4010753B2 (ja) * | 2000-08-08 | 2007-11-21 | 株式会社リコー | 形状計測システムと撮像装置と形状計測方法及び記録媒体 |
JP4529157B2 (ja) * | 2004-06-15 | 2010-08-25 | 株式会社トプコン | 3次元測量システム及び電子的記憶媒体 |
JP2009036736A (ja) * | 2007-08-04 | 2009-02-19 | Djtech Co Ltd | 印刷半田検査方法及び装置 |
JP2009055235A (ja) * | 2007-08-24 | 2009-03-12 | Murata Mach Ltd | 画像データの処理方法および画像処理装置 |
JP2009085689A (ja) * | 2007-09-28 | 2009-04-23 | Juki Corp | 電子部品の三次元測定装置 |
JP4655242B2 (ja) * | 2008-09-30 | 2011-03-23 | マツダ株式会社 | 車両用画像処理装置 |
-
2010
- 2010-08-27 JP JP2010191099A patent/JP5563930B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022078440A1 (zh) * | 2020-10-15 | 2022-04-21 | 左忠斌 | 一种包含运动物体的空间占用率采集判断设备及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2012047637A (ja) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2874710B2 (ja) | 三次元位置計測装置 | |
JP5563930B2 (ja) | 非接触三次元計測装置及び非接触三次元計測方法 | |
JP6217227B2 (ja) | 校正装置、方法及びプログラム | |
CN111442721B (zh) | 一种基于多激光测距和测角的标定设备及方法 | |
JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
JP6282098B2 (ja) | キャリブレーション装置及び方法 | |
JP2012533222A (ja) | 画像ベースの表面トラッキング | |
CN102376089A (zh) | 一种标靶校正方法及*** | |
JP2003130621A (ja) | 3次元形状計測方法およびその装置 | |
EP3049756B1 (en) | Modeling arrangement and method and system for modeling the topography of a three-dimensional surface | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像***的标定方法及装置 | |
CN111445529B (zh) | 一种基于多激光测距的标定设备及方法 | |
CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
CN113538589A (zh) | 利用远心线扫描相机对对象进行高效3d重建的***和方法 | |
CN107633532B (zh) | 一种基于白光扫描仪的点云融合方法及*** | |
JPWO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP5457865B2 (ja) | 非接触三次元計測装置及び非接触三次元計測方法 | |
JP4085671B2 (ja) | データ処理方法、データ処理プログラムおよび記録媒体 | |
JP6237032B2 (ja) | 色と三次元形状の計測方法及び装置 | |
US7046839B1 (en) | Techniques for photogrammetric systems | |
US20230070281A1 (en) | Methods and systems of generating camera models for camera calibration | |
JP4550081B2 (ja) | 画像測定方法 | |
JP4077755B2 (ja) | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 | |
CN112304250B (zh) | 一种移动物体之间的三维匹配设备及方法 | |
CN114782556A (zh) | 相机与激光雷达的配准方法、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5563930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |