JP5256745B2 - 3D shape measuring device - Google Patents
3D shape measuring device Download PDFInfo
- Publication number
- JP5256745B2 JP5256745B2 JP2008007827A JP2008007827A JP5256745B2 JP 5256745 B2 JP5256745 B2 JP 5256745B2 JP 2008007827 A JP2008007827 A JP 2008007827A JP 2008007827 A JP2008007827 A JP 2008007827A JP 5256745 B2 JP5256745 B2 JP 5256745B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- unit
- shape measuring
- measuring apparatus
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 38
- 239000000284 extract Substances 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 13
- 210000003127 knee Anatomy 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000000149 argon plasma sintering Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、光切断法を用いた三次元形状計測装置に関する。 The present invention relates to a three-dimensional shape measuring apparatus using a light cutting method.
従来から、非接触型の三次元計測方法として、測定対象物にパターン光を投射して物体の三次元形状を求める光切断法が公知である。ここで、測定対象物の形状や表面状態に応じて光の反射率は大きく変化する。そのため、光切断法で三次元形状の計測を行うときに撮影条件を固定して測定対象物を走査すると、パターン光を撮像した画像において輝度不足や白トビが発生し、計測の精度が著しく低下しうる。 2. Description of the Related Art Conventionally, as a non-contact type three-dimensional measurement method, a light cutting method for obtaining a three-dimensional shape of an object by projecting pattern light onto a measurement object is known. Here, the reflectance of light changes greatly according to the shape and surface state of the measurement object. For this reason, when measuring a 3D shape using the light-cutting method and scanning the measurement object with the shooting conditions fixed, insufficient brightness and white stripes occur in the image of the pattern light, and the measurement accuracy is significantly reduced. Yes.
その対策の一例として、特許文献1には、撮影条件の異なる複数の画像を合成することで、任意の走査位置での光切断線の画像を生成する光学式計測装置の構成が開示されている。
しかし、上記の特許文献1の技術では、複数の画像を合成して一つのパターン(光切断線)の画像を生成するため、計測装置に高い処理能力が要求される点でなお改善の余地があった。 However, since the technique of the above-mentioned Patent Document 1 generates a single pattern (light cutting line) image by combining a plurality of images, there is still room for improvement in that a high processing capability is required for the measuring device. there were.
そこで、本発明の目的は、光切断法による三次元形状計測において、測定対象物の形状を比較的に少ない処理能力で精度よく計測できる手段を提供することにある。 Therefore, an object of the present invention is to provide means capable of measuring the shape of a measurement object with high accuracy with relatively little processing capability in three-dimensional shape measurement by the light cutting method.
一の形態に係る三次元形状計測装置は、測定対象物に対してパターン光を照射する投光部と、撮像部と、輝度条件調整部と、走査手段と、制御部と、演算部を備える。撮像部は、パターン光によって測定対象物の表面に形成されるパターンを含む画像を撮像する。輝度条件調整部は、予め定められた複数の画像の輝度に影響を与えるパラメータに対応してそのパラメータを変化させる。走査手段は、測定対象物とパターン光の照射位置とを所定方向に相対的に走査させる。測定対象物とパターン光とを所定方向に相対的に走査させる。制御部は、走査手段によりパターン光の照射位置を測定対象物に対して相対的に走査している間にそれぞれ異なる走査位置での複数の画像を取得し、複数の画像が異なるパラメータで撮影されるように撮像部と輝度条件調整部を制御する。演算部は、複数の画像から、パターンの像が形成された領域にある画素の輝度レベルが所定範囲に収まる画像を対象画像として抽出し、該対象画像に対応するパターンの輝度情報を用いて測定対象物の三次元形状を求める。 A three-dimensional shape measurement apparatus according to one aspect includes a light projecting unit that irradiates a measurement target with pattern light, an imaging unit, a luminance condition adjusting unit, a scanning unit, a control unit, and a calculation unit. . The imaging unit captures an image including a pattern formed on the surface of the measurement object by the pattern light. Brightness condition adjusting unit changes its parameters in response to parameters that affect the brightness of the plurality of predetermined image. The scanning unit relatively scans the measurement object and the irradiation position of the pattern light in a predetermined direction. The measurement object and the pattern light are relatively scanned in a predetermined direction. The control unit acquires a plurality of images at different scanning positions while scanning the pattern light irradiation position relative to the measurement object by the scanning unit, and the plurality of images are captured with different parameters. The image pickup unit and the luminance condition adjustment unit are controlled as described above. The arithmetic unit extracts, as a target image, an image in which the luminance level of pixels in a region where the pattern image is formed falls within a predetermined range from a plurality of images, and measures using the luminance information of the pattern corresponding to the target image Find the 3D shape of the object.
なお、上記の一の形態の三次元形状計測装置の動作を三次元形状計測方法として表現したものや、この三次元形状計測方法を装置に実行させるためのプログラムなども、本発明の具体的態様として有効である。 In addition, what expressed operation | movement of the three-dimensional shape measuring apparatus of said one form as a three-dimensional shape measuring method, the program for making an apparatus perform this three-dimensional shape measuring method, etc. are the specific aspects of this invention. It is effective as
本発明では、光切断法による三次元形状計測において、測定対象物の形状を比較的に少ない処理能力で精度よく計測できる。 In the present invention, in the three-dimensional shape measurement by the light cutting method, the shape of the measurement object can be accurately measured with a relatively small processing capability.
<一実施形態の説明>
図1は、一実施形態である三次元形状計測装置の構成例を示している。図1の三次元形状計測装置は、駆動装置11aを有するステージ11と、投光部12と、照明部13と、カメラユニット14と、第1メモリ15と、タイミングコントローラ16と、パターン光抽出部17と、輝度判定部18と、サブピクセル演算部19と、点群データ生成部20と、撮像条件演算部21と、輝度制御部22と、操作部23と、CPU24と、第2メモリ25とを有している。ここで、ステージ11の駆動装置11a、投光部12、カメラユニット14、タイミングコントローラ16、輝度判定部18、点群データ生成部20、輝度制御部22、操作部23、第2メモリ25はそれぞれCPU24と接続されている(なお、図1では輝度制御部22とCPU24との信号線の図示は省略する)。
<Description of Embodiment>
FIG. 1 shows a configuration example of a three-dimensional shape measuring apparatus according to an embodiment. 1 includes a
ステージ11の上面には測定対象物10が載置される。この実施形態でのステージ11は、例えばモータおよびネジ送り機構を有する駆動装置11aによって走査方向(図1の左右方向)に移動可能となっている。そのため、ステージ11の移動により、投光部12およびカメラユニット14に対して測定対象物10の位置を調整することができる。なお、駆動装置11aはエンコーダを内蔵しており、CPU24に対してステージの位置情報を出力する。
A
投光部12は、走査方向と交差(好ましくは直交)するスリット状のパターン光をステージ11上の測定対象物10に対して照射する。また、照明部13は、必要に応じて測定対象物10の全体を照明する。
The
カメラユニット14は、光電変換によって二次元の画像を撮像する電子カメラであって、投光部12のパターン光の照射方向に対して光軸を傾けて配置されている。そして、カメラユニット14は、パターン光によって測定対象物10の表面に形成されるパターン(以後、光切断線と適宜称する)を含む画像を撮像する。また、カメラユニット14の画像出力は、第1メモリ15に接続されている。なお、この実施形態での投光部12およびカメラユニット14の位置はいずれも固定された状態にある。
The
第1メモリ15は、パターン光抽出部17による処理の前工程で画像のデジタルデータを一時的に記憶するバッファメモリである。この第1メモリ15の出力はパターン光抽出部17に接続されている。
The
タイミングコントローラ16は、第1メモリ15およびパターン光抽出部17の動作を同期制御するICである。このタイミングコントローラ16は、画像のデータの読み出しを制御する制御信号を第1メモリ15およびパターン光抽出部17にそれぞれ供給する。また、タイミングコントローラ16は、CPU24に対して画像処理のタイミングを示すタイミング信号を出力する。
The
パターン光抽出部17は、画像のデータを水平ライン毎にパイプライン式に読み込むとともに、各水平ラインにおける画素の輝度レベルから画像に含まれる光切断線の画素位置を抽出する。そして、パターン光抽出部17は、各画像において光切断線に対応する画素の位置とその輝度レベルとを示す輝度分布データを出力する。また、パターン光抽出部17の出力は、輝度判定部18および撮像条件演算部21に接続されている。
The pattern
輝度判定部18は、輝度分布データに基づいて、カメラユニット14で撮像した画像のうちから測定対象物10の三次元形状を求めるための対象画像を抽出する。具体的には、輝度判定部18は、光切断線に対応する画素の輝度レベルが閾値の範囲内にある画像を抽出して対象画像とする。なお、輝度判定部18が対象画像を抽出するときの閾値は、カメラユニット14の出力特性に基づいて決定される。
Based on the luminance distribution data, the
また、輝度判定部18は、サブピクセル演算部19と接続されている。そして、輝度判定部18は、対象画像の輝度分布データをサブピクセル演算部19に出力する。さらに、輝度判定部18は、対象画像を識別するための判定結果データをCPU24に対して出力する。
In addition, the
サブピクセル演算部19は、対象画像の輝度分布データを用いて、カメラユニット14の画素分解能以上のパターン光の変位(サブピクセル変位)を求める。このサブピクセル演算部19は、公知のサブピクセル推定のアルゴリズムによって上記の演算処理を実行する。また、サブピクセル演算部19の出力は、点群データ生成部20と接続されている。
The
点群データ生成部20は、サブピクセル演算部19が対象画像の輝度分布データから求めた光切断線のサブピクセル変位のデータを用いて、測定対象物10の三次元形状を示す点群データ(空間座標値のデータ)を生成する。なお、点群データ生成部20の出力は、不図示の記録部に接続されている。
The point cloud
撮像条件演算部21は、輝度分布データを用いて画像の輝度分布解析を行うとともに、その解析結果に基づく制御信号を輝度制御部22に出力する。例えば、撮像条件演算部21は、点群データを生成する本走査に先だって行われる予備計測において、本走査で適用する撮像条件を求める。また、撮像条件演算部21は、本走査のときに輝度分布データをフィードバックして撮像条件を調整することもできる。
The imaging
輝度制御部22は、撮像条件演算部21から入力される制御信号に基づいて、投光部12におけるパターン光の光量、照明部13の照明光量およびカメラユニット14の露光時間を制御する。また、操作部23は、三次元形状計測の実行指示を含む各種の入力を受け付ける。
The
CPU24は、三次元形状計測装置の動作を統括的に制御するプロセッサである。例えば、CPU24は、プログラムに従って予備計測および本走査を実行する。また、CPU24は、本走査で取得した各々の画像と、測定対象物10の走査位置との対応関係を示す画像管理データを生成する。また、CPU24は、判定結果データに基づいて、対象画像を示す情報を画像管理データに対応付けする。
The
第2メモリ25は、CPU24が生成した画像管理データを記憶する。また、第2メモリ25には、CPU24の実行するプログラムが記憶されている。
The
次に、図2の流れ図を参照しつつ、一実施形態における点群データの生成処理の例を説明する。以下の例では、点群データを生成する本走査のときに、カメラユニット14が撮像条件を変更しつつ複数の画像を撮像する。なお、図2では、パターン光の空間重心によって測定対象物10の三次元形状を求めている。
Next, an example of point cloud data generation processing according to an embodiment will be described with reference to the flowchart of FIG. In the following example, the
ステップS101:CPU24は、三次元形状計測の実行指示を操作部23から受け付けると、測定対象物10の予備計測を実行する。具体的には、CPU24は、投光部12からパターン光を照射しつつステージ11を移動させて、パターン光の重畳した位置がそれぞれ異なる測定対象物10のサンプル画像をカメラユニット14で複数撮像する。なお、予備計測で撮像されるサンプル画像のフレーム数は、後述の本走査で撮像するフレーム数よりも少なく設定される。そして、撮像条件演算部21は、一連のサンプル画像から生成された複数の輝度分布データに基づいて、本走査で用いる1周期分の複数の撮像条件(カメラユニット14の露光時間、パターン光の光量)を決定する。
Step S101: When the
ここで、本実施形態では、本走査のときに1周期分として2種類の撮像条件(第1撮像条件、第2撮像条件)を交互に適用して画像を撮像する例を前提として説明を行う。なお、本実施形態の例では、第1撮像条件および第2撮像条件はいずれもパターン光の光量が同じであって、第1撮像条件の露光時間は第2撮像条件の4倍に設定されるものとする。 Here, in the present embodiment, the description will be made on the assumption that an image is captured by alternately applying two types of imaging conditions (first imaging condition and second imaging condition) for one cycle during main scanning. . In the example of the present embodiment, both the first imaging condition and the second imaging condition have the same amount of pattern light, and the exposure time of the first imaging condition is set to four times the second imaging condition. Shall.
ステップS102:CPU24は、ステージ11を初期位置に戻すとともに、測定対象物10の本走査を開始する。まず、輝度制御部22は、カメラユニット14の撮像条件を第1撮像条件に設定する。そして、CPU24は、投光部12からパターン光を照射しつつ、ステージ11を走査方向に移動させる。なお、ステージ11の移動は本走査が終了するまで継続する。
Step S102: The
ステップS103:カメラユニット14は、現在設定されている撮像条件を適用して、パターン光によって測定対象物10の表面に形成される光切断線を含む画像を撮像する。このS103で撮像される画像は、測定対象物10を走査したときの所定の走査位置における光切断線の形状を示すものである。カメラユニット14から出力された1フレーム分の画像のデータは、第1メモリ15に記憶される。
Step S <b> 103: The
また、CPU24は、S103で撮像した画像と、測定対象物10の走査位置(この場合にはステージ11の位置)との対応関係を示す画像管理データを第2メモリ25に記録する。
Further, the
ステップS104:パターン光抽出部17は、S103で撮像された画像のデータを用いて、光切断線に対応する画素の位置および輝度レベルを示す輝度分布データを生成する。具体的には、パターン光抽出部17は、タイミングコントローラ16の制御信号に応じて、S103で撮像した画像のデータを水平ライン毎に第1メモリ15から順次読み込む。
Step S104: The pattern
次に、パターン光抽出部17は、水平ライン単位で各画素の輝度値を参照し、処理対象の水平ラインで輝度レベルがピークとなっている高輝度画素を探索する。一例として、パターン光抽出部17は、処理対象の水平ラインで最高輝度の画素を上記の高輝度画素とする。その後、パターン光抽出部17は、処理対象の水平ラインで高輝度画素とその前後の数画素をそれぞれ抽出し、各々の水平ラインで抽出された画素の位置とこれらの画素の輝度レベルとを示す輝度分布データを生成する。
Next, the pattern
ステップS105:輝度判定部18は、S104で生成された輝度分布データを参照し、光切断線に対応する画素の輝度レベルがいずれも閾値の範囲内にあるか否かを判定する。上記要件を満たす場合(YES側)にはS106に移行する。一方、上記要件を満たさない場合(NO側)には、CPU24はS104で生成した輝度分布データを破棄して、S109に移行する。この場合(S105でのNO側)には、最終的な点群データにおいて、破棄された輝度分布データに対応する走査位置のデータは欠落することとなる。
Step S105: The
ここで、S105における輝度レベルの閾値の範囲は、カメラユニット14の出力特性に着目して、カメラユニット14への入射光量に対して出力される輝度レベルが線形性を有する範囲を基準としている。
Here, the range of the threshold of the luminance level in S105 is based on the range in which the luminance level output with respect to the amount of light incident on the
図3は、カメラユニット14の出力特性の一例を示している。図3の縦軸は、カメラユニット14の出力する輝度レベルの値(16bit:0〜65535)を示している。一方、図3の横軸は、カメラユニット14で画像を撮像するときの露光時間を示している。なお、図3に示す出力特性では、高輝度側(輝度レベルが40000を超える部分)において出力特性の傾きが非線形で小さくなるニー領域が存在する。カメラユニット14から出力された輝度レベルがニー領域の値である場合には、カメラユニット14への入射光量と輝度レベルとの線形性が失われるため、サブピクセル変位を推定するときの精度が低下する。そのため、図3の例であれば、輝度判定部18は、輝度レベルが40000以下となる輝度分布データを用いて点群データを生成する。
FIG. 3 shows an example of output characteristics of the
以下、図4、図5を参照しつつ、カメラユニット14の出力特性が異なる場合の重心演算誤差をより具体的に説明する。図4は、飽和レベルまで線形性のある出力特性のカメラユニット14を用いた計測例である。一方、図5は、高輝度側にニー領域を有する出力特性のカメラユニット14を用いた計測例である。図4、図5の例において、正確な重心位置の値は35.75とする。また、図4および図5のグラフの縦軸は輝度レベルを示し、グラフの横軸はパターン光の投射位置を示している。なお、図5の例において、エンコーダ値30,40,50に対応する輝度レベルの値は、ニー領域の出力値である。
Hereinafter, the gravity center calculation error when the output characteristics of the
図4のように、飽和レベルまで線形性のある出力特性のカメラユニット14の計測値を用いて重心演算を行うと、重心位置の演算結果の値は35.78となる。一方、図5のように、高輝度側にニー領域を有する出力特性のカメラユニット14の計測値を用いて重心演算を行うと、重心位置の演算結果の値は35.69となる。以上から、ニー領域の出力値を用いて重心演算を行った場合には、重心位置の誤差が大きくなることが分かる。
As shown in FIG. 4, when the centroid calculation is performed using the measurement value of the
ステップS106:輝度判定部18は、入力された輝度分布データの画像を対象画像とする。そして、輝度判定部18は、現在処理中の画像が対象画像となったことを示す判定結果データをCPU24に対して出力する。なお、CPU24は、第2メモリ25の画像管理データに対象画像を示す情報を対応付けして記録する。
Step S106: The
ステップS107:サブピクセル演算部19は、対象画像の輝度分布データ(S106)を用いて、光切断線のサブピクセル変位を求める。
Step S107: The
ステップS108:点群データ生成部20は、光切断線のサブピクセル変位のデータ(S107で求めたもの)と、CPU24から入力される走査位置のデータとに基づいて、測定対象物10の所定の走査位置での点群データを生成する。そして、点群データ生成部20は、生成した点群データを記録部に記録する。
Step S <b> 108: The point cloud
ステップS109:CPU24は、本走査が終了したか否かを判定する。本走査が終了した場合(YES側)には、CPU24は一連の処理を終了して待機状態に移行する。一方、本走査が終了していない場合(NO側)には、S110に移行する。
Step S109: The
ステップS110:輝度制御部22は、CPU24の指示に応じて現在設定されている撮像条件の切り替えを実行する。本実施形態の例であれば、輝度制御部22は、第1撮像条件と第2撮像条件(露光量が第1撮像条件の1/4)との切り替えを行う。その後、CPU24は、S103に戻って上記動作を繰り返す。これにより、次の走査位置では、前の走査位置とは異なる撮像条件でカメラユニット14が画像を撮像することとなる。以上で、図2の流れ図の説明を終了する。
Step S110: The
図6は、一実施形態での本走査における対象画像の抽出例を示している。図6では、簡単のため、4フレーム分の同じ水平ライン(1H)での輝度レベルの状態を模式的に示すものとする。なお、図6において、第1フレームおよび第2フレームは測定対象物10の表面反射率が低い部分に対応し、第3フレームおよび第4フレームは測定対象物10の表面反射率が高い部分に対応する。
FIG. 6 shows an example of extraction of a target image in the main scan in one embodiment. In FIG. 6, for the sake of simplicity, the state of the luminance level in the same horizontal line (1H) for four frames is schematically shown. In FIG. 6, the first frame and the second frame correspond to portions where the surface reflectance of the
本走査における各フレームは、それぞれ異なる走査位置の光輪郭線に対応している。そして、本走査での奇数フレームは露光時間の長い第1撮像条件で撮像され、本走査での偶数フレームは露光時間の短い第2撮像条件で撮像される。 Each frame in the main scan corresponds to a light contour line at a different scanning position. The odd frames in the main scan are imaged under the first imaging condition with a long exposure time, and the even frames in the main scan are imaged under the second imaging condition with a short exposure time.
測定対象物10の表面反射率が低く、パターン光の散乱が少ない部分では、第1撮像条件で撮像された第1フレームの輝度レベルは適正な範囲に収まる一方で、第2撮像条件で撮像された第2フレームでは光量不足によって輝度の階調が埋もれている。この場合には、輝度判定部18は第1フレームを対象画像とする一方で、第2フレームを対象画像から除外する。
In a portion where the surface reflectance of the
また、測定対象物10の表面反射率が高く、パターン光の散乱が多い部分では、第1撮像条件で撮像された第3フレームでは白トビが生じる一方で、第2撮像条件で撮像された第4フレームの輝度レベルは適正な範囲に収まっている。この場合には、輝度判定部18は第4フレームを対象画像とする一方で、第3フレームを対象画像から除外する。上記の処理によって、測定対象物10の表面反射率が大きく異なる箇所がある場合でも、精度の高い点群データを生成することが可能となる。
In addition, in the portion where the surface reflectance of the
次に、一実施形態での作用効果を説明する。一実施形態の三次元形状計測装置は、本走査のときに各々の走査位置で撮像条件を周期的に変更しながら光切断線の画像を順次撮像する。そして、三次元形状計測装置は、輝度レベルが所定の範囲に収まる画像を対象画像として抽出し、この対象画像に対応する輝度分布データを用いて点群データを生成する。 Next, the effect in one embodiment is demonstrated. The three-dimensional shape measurement apparatus according to an embodiment sequentially captures images of light cutting lines while periodically changing imaging conditions at each scanning position during the main scanning. Then, the three-dimensional shape measuring apparatus extracts an image whose luminance level falls within a predetermined range as a target image, and generates point cloud data using luminance distribution data corresponding to the target image.
したがって、一実施形態では測定対象物10に投影された光切断線を複数の異なる撮像条件で撮像し、輝度レベルが適正な範囲から外れている画像を除外して点群データを生成するので、測定対象物10の三次元形状を一回の本走査で精度良く求めることができる。また、一実施形態では、画像合成のような複雑な画像処理を行わないため、より少ない演算負荷で測定対象物10の三次元形状を精度良く求めることができる。
Therefore, in one embodiment, the light cutting line projected on the
さらに、一実施形態では測定対象物10の形状が複雑で表面反射率が大きく異なる箇所がある場合でも、それぞれの場所で輝度レベルが適正な範囲にある画像を高い確率で確保できる。そのため、計測不能な部分や計測の精度が低い部分が生じるおそれを大幅に抑制できる。
Furthermore, in one embodiment, even when there is a place where the shape of the
<他の実施形態の説明>
図7は、他の実施形態における三次元形状計測装置の構成例を示している。図7に示す三次元形状計測装置は、図1に示した三次元形状計測装置の変形例であって、両者で共通する構成要素については同一符号を付して重複説明を省略する。
<Description of other embodiments>
FIG. 7 shows a configuration example of a three-dimensional shape measuring apparatus according to another embodiment. The three-dimensional shape measuring apparatus shown in FIG. 7 is a modification of the three-dimensional shape measuring apparatus shown in FIG. 1, and the same reference numerals are given to components common to both, and duplicate description is omitted.
図7に示す他の実施形態の三次元形状計測装置は、パターン光の時間重心によって測定対象物10の三次元形状を求める。図7での三次元形状計測装置では、ステージ11およびカメラユニット14の位置が固定されており、投光部12の位置が駆動装置12aによって移動するように構成されている。
The three-dimensional shape measuring apparatus according to another embodiment shown in FIG. 7 obtains the three-dimensional shape of the measuring
次に、他の実施形態での点群データの生成処理の例を説明する。他の実施形態における本走査では、CPU24は投光部12を移動させつつ、撮像条件を周期的に変化させてカメラユニット14に複数の画像を撮像させる。例えば、上記の一実施形態のように、2つの撮像条件を交互に切り替えて画像を撮像するようにしてもよい。また、他の実施形態においても、輝度判定部18は、光切断線に対応する画素の輝度レベルがいずれも閾値の範囲内にある対象画像のデータを用いて点群データを生成する。
Next, an example of point cloud data generation processing in another embodiment will be described. In the main scanning in the other embodiment, the
ここで、本走査のときに同じ撮像条件で取得した複数の画像の一点(注目画素)に着目すると、注目画素で撮像される範囲の測定対象物10表面をパターン光が通過するタイミングで注目画素の輝度レベルが高くなる。そのため、他の実施形態の三次元形状計測装置は、各画素の輝度レベルの時間重心を求め、時間重心のタイミングに対応するパターン光の入射位置から測定対象物10の形状を演算する。
Here, when attention is paid to one point (target pixel) of a plurality of images acquired under the same imaging conditions during the main scan, the target pixel is transmitted at the timing when the pattern light passes through the surface of the
以下、図8を参照しつつ、撮像条件の異なる画像群を用いて時間重心を求める例を説明する。図8の例では、簡単のため、2つの撮像条件を交互に切り替えて6フレーム分の画像を撮像した場合を前提とする。このとき、奇数フレームは上記の一実施形態の第1撮像条件で撮像され、偶数フレームは上記の一実施形態の第2撮像条件で撮像されたものとする。なお、図8の各グラフは、いずれも同一の注目画素について同じ撮像条件で撮像した3つのフレーム間での輝度レベルの変化を示している。 Hereinafter, an example in which the time centroid is obtained using image groups having different imaging conditions will be described with reference to FIG. In the example of FIG. 8, for the sake of simplicity, it is assumed that images of 6 frames are captured by alternately switching two imaging conditions. At this time, it is assumed that the odd-numbered frames are imaged under the first imaging condition of the one embodiment, and the even-numbered frames are imaged under the second imaging condition of the one embodiment. Note that each graph in FIG. 8 shows a change in luminance level between three frames captured under the same imaging condition for the same target pixel.
図8(a)は、第1撮像条件で撮像された奇数フレームの輝度レベルを用いた時間重心演算の結果を示している。一方、図8(b)は、第2撮像条件で撮像された偶数フレームの輝度レベルを用いた時間重心演算の結果を示している。奇数フレームは偶数フレームよりも露光時間が4倍と長いため、奇数フレームを用いた時間重心演算(図8(a)の場合)は特にパターン光の散乱が少ない部分で効果が大きい。一方、偶数フレームを用いた時間重心演算(図8(b)の場合)は特にパターン光の散乱が多い部分で効果が大きくなる。 FIG. 8A shows the result of time centroid calculation using the luminance level of the odd frame imaged under the first imaging condition. On the other hand, FIG. 8B shows the result of time centroid calculation using the luminance level of the even frame imaged under the second imaging condition. Since the exposure time of the odd frame is four times longer than that of the even frame, the time center of gravity calculation (in the case of FIG. 8A) using the odd frame is particularly effective in a portion where the pattern light scattering is small. On the other hand, the time centroid calculation using even frames (in the case of FIG. 8B) is particularly effective in a portion where pattern light scattering is large.
かかる他の実施形態によれば、撮像条件が同一でかつ輝度レベルが適正範囲にある画像を用いて、時間重心演算により測定対象物10の三次元形状を測定する。そのため、測定対象物10の形状が複雑で表面反射率が大きく異なる箇所がある場合でも、撮像条件が同一の画像群のうち輝度レベルが適正範囲にある方を適用して時間重心演算を行うことで、測定対象物10の三次元形状を精度良く求めることができる。
According to such another embodiment, the three-dimensional shape of the
<実施形態の補足事項>
(1)上記の各実施形態において、予備計測の工程を省略して最初から本走査を開始するようにしてもよい。また、上記実施形態の予備測定では、測定対象物10の全体をカメラユニット14で撮像し、1回の撮像で測定対象物10の表面反射率を求めるようにしてもよい。
<Supplementary items of the embodiment>
(1) In each of the embodiments described above, the preliminary scanning step may be omitted and the main scanning may be started from the beginning. Moreover, in the preliminary measurement of the said embodiment, the
(2)輝度制御部22が調整する撮像条件のパラメータの組み合わせは上記の各実施形態に限定されない。例えば、輝度制御部22は、本走査のときに3種類以上の撮像条件を周期的に適用するようにしてもよい。また、輝度制御部22は、カメラユニット14の露光時間を一定にしてパターン光の光量を調整してもよく、あるいはカメラユニット14の露光時間とパターン光の光量とを両方とも変化させてもよい。さらに、輝度制御部22は、測定対象物10の全体を照明する照明部13の光量を制御してもよい。
(2) The combination of imaging condition parameters adjusted by the
(3)上記の一実施形態において、撮像条件演算部21は、本走査で取得された輝度分布データを用いて、以後の本走査での撮像条件が適正になるようにフィードバック制御を行ってもよい。
(3) In the above-described embodiment, the imaging
一例として、第2撮像条件で取得した画像の輝度レベルは適正な範囲に収まるが、第1撮像条件で取得した画像の輝度レベルが閾値の範囲から外れる状態が所定期間継続するとき、撮像条件演算部21は、本走査において第1撮像条件で撮像を行う設定に変更する。その後、第1撮像条件で取得した画像の輝度レベルが閾値の範囲から外れた場合には、撮像条件演算部21は、本走査において第1撮像条件および第2撮像条件を交互に切り替えて撮像を行う設定に再び戻す。この場合には、本走査のときに適正な輝度レベルで撮像される画像のデータが増加するので、測定対象物10の三次元形状の測定精度がより一層向上する。
As an example, when the luminance level of the image acquired under the second imaging condition falls within an appropriate range, but the state where the luminance level of the image acquired under the first imaging condition deviates from the threshold range continues for a predetermined period, the imaging condition calculation The
(4)上記の一実施形態の三次元形状計測装置では、ステージ11の位置を固定して、カメラユニット14および投光部12を移動させて本走査を行うようにしてもよい。
(4) In the three-dimensional shape measuring apparatus according to the above-described embodiment, the main scanning may be performed by fixing the position of the
なお、本発明における多くの特徴点および利点は詳細な説明から明らかになるであろう。それは、請求の範囲が、本請求項の精神と権利範囲を逸脱しない範囲で、実施形態における特徴および利点にまで及ぶことを意図するものである。さらに、当該技術分野において通常の技術を有する者は、あらゆる改良および変更を容易に思い付くことができるはずであり、本願における発明性のある実施形態の範囲をここに説明・表現された構成に限定する意図はない。したがって、本発明の範囲は、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 Many features and advantages of the present invention will become apparent from the detailed description. It is intended that the scope of the claims extend to the features and advantages of the embodiments without departing from the spirit and scope of the claims. Further, those having ordinary skill in the art should be able to easily come up with any improvements and modifications, and limit the scope of the inventive embodiments herein to the configurations described and represented herein. There is no intention to do. Therefore, the scope of the present invention can be based on appropriate improvements and equivalents included in the scope disclosed in the embodiments.
10…測定対象物、12…投光部、13…照明部、14…カメラユニット、17…パターン光抽出部、18…輝度判定部、19…サブピクセル演算部、20…点群データ生成部、21…撮像条件演算部、22…輝度制御部、24…CPU、25…第2メモリ
DESCRIPTION OF
Claims (9)
前記パターン光によって前記測定対象物の表面に形成されるパターンを含む画像を撮像する撮像部と、
予め定められた複数の前記画像の輝度に影響を与えるパラメータに対応して前記パラメータを変化させる輝度条件調整部と、
前記測定対象物と前記パターン光の照射位置とを所定方向に相対的に走査させる走査手段と、
前記走査手段により前記パターン光の照射位置を前記測定対象物に対して相対的に走査している間にそれぞれ異なる走査位置での複数の画像を取得し、前記複数の画像が異なる前記パラメータで撮影されるように前記撮像部と前記輝度条件調整部を制御する制御部と、
前記複数の画像から、前記パターンの像が形成された領域にある画素の輝度レベルが所定範囲に収まる画像を対象画像として抽出し、該対象画像に対応するパターンの輝度情報を用いて前記測定対象物の三次元形状を求める演算部と、
を備えることを特徴とする三次元形状計測装置。 A light projecting unit that emits pattern light to the measurement object;
An imaging unit that captures an image including a pattern formed on the surface of the measurement object by the pattern light;
A luminance condition adjusting unit that changes the parameter in response to a predetermined parameter that affects the luminance of the image ;
Scanning means for relatively scanning the measurement object and the irradiation position of the pattern light in a predetermined direction;
While the irradiation position of the pattern light is scanned relative to the measurement object by the scanning unit, a plurality of images at different scanning positions are acquired, and the plurality of images are captured with the different parameters. A control unit for controlling the imaging unit and the luminance condition adjustment unit,
From the plurality of images, an image in which the luminance level of a pixel in the region where the pattern image is formed falls within a predetermined range is extracted as a target image, and the measurement target is extracted using luminance information of the pattern corresponding to the target image An arithmetic unit for obtaining a three-dimensional shape of an object;
A three-dimensional shape measuring apparatus comprising:
前記制御部は、前記パラメータを周期的に変化させることを特徴とする三次元形状計測装置。 The three-dimensional shape measuring apparatus according to claim 1,
The three-dimensional shape measuring apparatus, wherein the control unit periodically changes the parameter.
前記走査手段は、前記投光部と前記撮像部を前記測定対象物に対して相対的に走査させることを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to claim 1 or 2,
The three-dimensional shape measuring apparatus, wherein the scanning unit scans the light projecting unit and the imaging unit relative to the measurement object.
前記演算部は、前記撮像部への入射光量と前記輝度レベルとの相関が線形性を示す範囲で前記対象画像を抽出することを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to any one of claims 1 to 3,
The three-dimensional shape measuring apparatus, wherein the calculation unit extracts the target image in a range in which a correlation between a light amount incident on the imaging unit and the luminance level shows linearity.
前記輝度条件調整部は、前記パターン光の光量、前記撮像部の露光時間および前記測定対象物の全体を照明する照明光の光量のうち少なくとも1つを変化させることを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to any one of claims 1 to 4,
The luminance condition adjustment unit changes at least one of the light amount of the pattern light, the exposure time of the imaging unit, and the light amount of illumination light that illuminates the entire measurement object, and the three-dimensional shape measurement apparatus.
前記輝度条件調整部は、前記走査に先立って実行された予備計測の結果に基づいて、前記予め定められた複数のパラメータに対応した前記走査のときの前記パラメータの変化量を決定することを特徴とする三次元形状計測装置。 In the three-dimensional shape measuring apparatus according to any one of claims 1 to 5,
The luminance condition adjusting unit determines a change amount of the parameter at the time of the scanning corresponding to the plurality of predetermined parameters based on a result of preliminary measurement performed prior to the scanning. A three-dimensional shape measuring device.
前記演算部は、前記パターン光の像の空間重心から前記測定対象物の三次元形状を求めることを特徴とする三次元形状計測装置。 The three-dimensional shape measuring apparatus according to any one of claims 1 to 6 ,
The three-dimensional shape measuring apparatus, wherein the calculation unit obtains a three-dimensional shape of the measurement object from a spatial center of gravity of the pattern light image.
前記演算部は、前記パターン光の強度の時間重心から前記測定対象物の三次元形状を求めることを特徴とする三次元形状計測装置。The calculation unit obtains a three-dimensional shape of the measurement object from a time centroid of the intensity of the pattern light.
前記制御部は、前記撮像部の任意の画素に対応する前記被測定対象物表面の領域に対して、複数の異なる前記パラメータの条件で複数の画像を得るように前記撮像部と前記輝度条件調整部を制御することを特徴とする三次元形状計測装置。The control unit adjusts the imaging condition and the luminance condition so as to obtain a plurality of images with a plurality of different parameter conditions for a region of the surface of the measurement target corresponding to an arbitrary pixel of the imaging unit. A three-dimensional shape measuring apparatus characterized by controlling a part.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007827A JP5256745B2 (en) | 2008-01-17 | 2008-01-17 | 3D shape measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007827A JP5256745B2 (en) | 2008-01-17 | 2008-01-17 | 3D shape measuring device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009168658A JP2009168658A (en) | 2009-07-30 |
JP2009168658A5 JP2009168658A5 (en) | 2011-05-12 |
JP5256745B2 true JP5256745B2 (en) | 2013-08-07 |
Family
ID=40969991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008007827A Active JP5256745B2 (en) | 2008-01-17 | 2008-01-17 | 3D shape measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5256745B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110645912A (en) * | 2019-10-11 | 2020-01-03 | 哈尔滨理工大学 | Machine vision panoramic measurement system and measurement method |
JP7334153B2 (en) | 2017-11-30 | 2023-08-28 | ライカ マイクロシステムズ リミテッド シャンハイ | Control of a motorized microtome |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9267784B2 (en) * | 2013-07-15 | 2016-02-23 | Faro Technologies, Inc. | Laser line probe having improved high dynamic range |
JP6267486B2 (en) * | 2013-10-30 | 2018-01-24 | キヤノン株式会社 | Image processing apparatus and image processing method |
EP2869023B1 (en) | 2013-10-30 | 2018-06-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and corresponding computer program |
US9658061B2 (en) | 2013-12-31 | 2017-05-23 | Faro Technologies, Inc. | Line scanner that uses a color image sensor to improve dynamic range |
US9531967B2 (en) | 2013-12-31 | 2016-12-27 | Faro Technologies, Inc. | Dynamic range of a line scanner having a photosensitive array that provides variable exposure |
JP2017083234A (en) | 2015-10-26 | 2017-05-18 | オムロン株式会社 | Three-dimensional shape measurement device, three-dimensional shape measurement system, program, computer-readable recording medium, and three-dimensional shape measurement method |
JP6604514B2 (en) * | 2016-02-26 | 2019-11-13 | 株式会社東京精密 | Surface shape measuring apparatus and surface shape measuring method |
JP6770254B2 (en) * | 2018-02-07 | 2020-10-14 | オムロン株式会社 | 3D measuring device, 3D measuring method and 3D measuring program |
US11054546B2 (en) | 2018-07-16 | 2021-07-06 | Faro Technologies, Inc. | Laser scanner with enhanced dymanic range imaging |
CN110567375A (en) * | 2019-10-11 | 2019-12-13 | 哈尔滨理工大学 | Multi-workpiece parallel vision measurement precision sliding table |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0526638A (en) * | 1991-07-23 | 1993-02-02 | Mitsubishi Heavy Ind Ltd | Three-dimensional shape recognizing device |
JPH05340727A (en) * | 1992-06-05 | 1993-12-21 | Yunisun:Kk | Three-dimensional shape measuring instrument |
JPH08201023A (en) * | 1995-01-31 | 1996-08-09 | Minolta Co Ltd | Three-dimensional measuring instrument |
JPH10124646A (en) * | 1996-10-17 | 1998-05-15 | Minolta Co Ltd | Three-dimensional measuring device |
JPH10103937A (en) * | 1996-09-27 | 1998-04-24 | Nachi Fujikoshi Corp | Optical axis inclination measuring method for laser light and apparatus therefor |
JP3873401B2 (en) * | 1996-11-19 | 2007-01-24 | コニカミノルタセンシング株式会社 | 3D measurement system |
JPH11125508A (en) * | 1997-10-21 | 1999-05-11 | Toyota Central Res & Dev Lab Inc | Measuring method for cross-sectional shape |
JP3575693B2 (en) * | 2001-03-25 | 2004-10-13 | オムロン株式会社 | Optical measuring device |
JP2007271519A (en) * | 2006-03-31 | 2007-10-18 | Sunx Ltd | Displacement sensor and shape measuring system |
JP2007327875A (en) * | 2006-06-08 | 2007-12-20 | Mitsubishi Heavy Ind Ltd | Position sensor and balance device |
-
2008
- 2008-01-17 JP JP2008007827A patent/JP5256745B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7334153B2 (en) | 2017-11-30 | 2023-08-28 | ライカ マイクロシステムズ リミテッド シャンハイ | Control of a motorized microtome |
CN110645912A (en) * | 2019-10-11 | 2020-01-03 | 哈尔滨理工大学 | Machine vision panoramic measurement system and measurement method |
Also Published As
Publication number | Publication date |
---|---|
JP2009168658A (en) | 2009-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5256745B2 (en) | 3D shape measuring device | |
JP4821934B1 (en) | Three-dimensional shape measuring apparatus and robot system | |
JP6296401B2 (en) | Distance measuring device and solid-state imaging device | |
US9451150B2 (en) | Image capturing apparatus comprising focus detection, and method for controlling the same | |
JP3714063B2 (en) | 3D shape measuring device | |
JP4889373B2 (en) | Three-dimensional shape measuring method and apparatus | |
CA2981970C (en) | Shape measurement apparatus and shape measurement method | |
US20160205376A1 (en) | Information processing apparatus, control method for the same and storage medium | |
JP5784435B2 (en) | Image processing apparatus, fluorescence microscope apparatus, and image processing program | |
JP4831760B2 (en) | 3D information detection method and apparatus | |
JP2012225807A (en) | Distance image camera and distance image synthesis method | |
JP2015144475A (en) | Imaging apparatus, control method of the same, program and storage medium | |
JP5668227B2 (en) | Image measuring device | |
US20190108617A1 (en) | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium | |
JP2015142364A (en) | Image processing device, imaging apparatus and image processing method | |
JP2012173243A (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
JP6989819B2 (en) | Data correction device, data correction method, and data correction program | |
JP2011002401A (en) | Correction coefficient calculating method in luminance measuring apparatus, and luminance measuring apparatus | |
JP2014098859A (en) | Imaging apparatus and imaging method | |
JP5163163B2 (en) | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method | |
JP6657880B2 (en) | Image processing apparatus, image processing method, and program | |
JP2020064034A (en) | Measurement device, calibration method thereof, and program | |
JP2009068986A (en) | Shape measuring instrument | |
JP5206499B2 (en) | Measuring method, measuring device, measurement control program | |
JP2009186216A (en) | Three-dimensional shape measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5256745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |