JP2022083132A - Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program - Google Patents
Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program Download PDFInfo
- Publication number
- JP2022083132A JP2022083132A JP2020194407A JP2020194407A JP2022083132A JP 2022083132 A JP2022083132 A JP 2022083132A JP 2020194407 A JP2020194407 A JP 2020194407A JP 2020194407 A JP2020194407 A JP 2020194407A JP 2022083132 A JP2022083132 A JP 2022083132A
- Authority
- JP
- Japan
- Prior art keywords
- point
- dimensional shape
- hypothetical
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、物体に符号化パターン画像を投影して、符号化パターン画像が投影された物体を撮影することで当該物体の3次元形状を計測する3次元形状計測システム、3次元形状計測方法、3次元形状計測プログラムに関する。 The present invention is a three-dimensional shape measurement system, a three-dimensional shape measurement method, which measures a three-dimensional shape of an object by projecting a coded pattern image onto the object and photographing the object on which the coded pattern image is projected. Regarding 3D shape measurement program.
3次元形状計測技術は、生産現場における対象物(ワーク)の傷の検査や、乱雑に置かれた対象物(ワーク)のアームロボットによる把持などに有用な技術である。なかでもプロジェクタとカメラの組み合わせ(以下、「プロカム」という。)に基づく光計測法は、面計測方式であるため実時間での計測ができ、コストを抑えることができ、工業的な応用価値が高い。プロカムシステムに基づく3次元計測法として、グレイコード法や位相シフト法(例えば、非特許文献1、2)、特殊な投影パターンを用いた高速計測手法(例えば、非特許文献3)が知られている。 The three-dimensional shape measurement technique is a useful technique for inspecting scratches on an object (work) at a production site and for grasping a randomly placed object (work) by an arm robot. Among them, the optical measurement method based on the combination of a projector and a camera (hereinafter referred to as "Pro Cam") is a surface measurement method, so it can measure in real time, can reduce costs, and has industrial application value. high. As a three-dimensional measurement method based on the Procam system, a Gray code method, a phase shift method (for example, Non-Patent Documents 1 and 2), and a high-speed measurement method using a special projection pattern (for example, Non-Patent Document 3) are known. ing.
しかしながら、従来の3次元計測システムでは、ベルトコンベア上に置かれた物体やロボットアームに把持された物体など、動く物体を計測する際には、効率が悪く、あるいはコストが高いという問題があった。すなわち、動く物体を一旦停止させて計測を行うと、効率が悪くなる。動く物体を停止させずに計測するために高速センサを用いることができるが、高速センサは高価であり、コストが高くなる。 However, the conventional three-dimensional measurement system has a problem of inefficiency or high cost when measuring a moving object such as an object placed on a belt conveyor or an object held by a robot arm. .. That is, if a moving object is temporarily stopped and measurement is performed, the efficiency deteriorates. High-speed sensors can be used to measure moving objects without stopping, but high-speed sensors are expensive and costly.
そこで、本発明では、既知の移動をする物体について、物体の移動を停止させることなく、かつ低コストで3次元形状計測を行うことができる3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラムを提供することを目的とする。 Therefore, in the present invention, a three-dimensional shape measurement system, a three-dimensional shape measurement method, and a three-dimensional shape measurement method capable of performing three-dimensional shape measurement at low cost without stopping the movement of a known moving object, and 3. It is an object of the present invention to provide a three-dimensional shape measurement program.
本発明の一態様の3次元形状計測システムは、既知の移動をする物体の3次元形状を計測する3次元形状計測システムであって、前記物体に符号化パターンを有するプロジェクタ画像を投影する投影部と、前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成する撮影部と、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元部とを備えた構成を有する。 The three-dimensional shape measurement system of one aspect of the present invention is a three-dimensional shape measurement system that measures a known three-dimensional shape of a moving object, and is a projection unit that projects a projector image having a coding pattern on the object. And, a plurality of hypothetical points are set on the camera line of sight for an arbitrary point of the camera image and a shooting unit that continuously shoots the object on which the projector image is projected to generate a plurality of camera images. It has a configuration including a restoration unit for determining a hypothetical point satisfying a motion constraint based on the known motion as a restoration point of the arbitrary point among the plurality of hypothetical points.
この構成により、動き制約を利用して物体上の点を復元するので、物体が移動している場合に、その移動を停止することなく当該物体の3次元形状を計測できる。 With this configuration, since the point on the object is restored by using the motion constraint, when the object is moving, the three-dimensional shape of the object can be measured without stopping the movement.
上記の3次元形状計測システムにおいて、前記復元部は、前記既知の移動を表す動きパラメタで前記複数の仮説点を移動させて、移動させた前記複数の仮説点を前記カメラ画像及び前記プロジェクタ画像にそれぞれ透視投影することで得られる輝度変化パターンの組の相関が最大となる前記仮説点を前記動き制約を満たすと判断して、当該仮説点を前記復元点として決定してよい。 In the above three-dimensional shape measurement system, the restoration unit moves the plurality of hypothetical points with motion parameters representing the known movements, and the moved plurality of hypothetical points are converted into the camera image and the projector image. The hypothetical point at which the correlation of the set of brightness change patterns obtained by perspective projection is maximized may be determined to satisfy the motion constraint, and the hypothetical point may be determined as the restoration point.
この構成により、移動する物体上の奥行き点を複数の仮説点の中から探索する際に、既知の動きパラメタで物体が移動することを制約として用いて、正しい奥行き値の仮説点で得た投影座標と撮影座標の輝度変化パターンの組が最大の相関を得ることを利用して形状復元をすることができる。 With this configuration, when searching for a depth point on a moving object from among multiple hypothetical points, the projection obtained at the hypothetical point with the correct depth value is used as a constraint that the object moves with known motion parameters. Shape restoration can be performed by utilizing the fact that the set of brightness change patterns of coordinates and shooting coordinates obtains the maximum correlation.
上記の3次元形状計測システムは、前記復元部で設定された初期の前記仮説点及び移動された前記仮説点がエピポーラ拘束及び/又は奥行き拘束を満たさない場合に、当該仮説点を前記復元点の候補から除外する幾何拘束処理部をさらに備えていてよい。 In the above three-dimensional shape measurement system, when the initial hypothesis point set by the restoration unit and the moved hypothesis point do not satisfy the epipolar constraint and / or the depth constraint, the hypothesis point is set to the restoration point. It may further include a geometric constraint processing unit to be excluded from the candidates.
この構成により、カメラ視線上に複数の仮説点を設定すると仮説数が爆発してしまい、計算効率が非常に悪くなるほか、正しい復元点が得られる確率が減ってしまうところ、エピポーラ拘束及び/又は奥行き拘束によって仮説点の数を制限して復元点の探索を行うことができる。 With this configuration, if multiple hypothesis points are set in the line of sight of the camera, the number of hypotheses will explode, the calculation efficiency will be very poor, and the probability of obtaining the correct restoration point will decrease. The number of hypothetical points can be limited by the depth constraint to search for restoration points.
上記の3次元形状計測システムは、前記物体の代わりに校正パターンを用いて、前記投影部、前記撮影部、及び前記復元部によって得られた前記校正パターン上の点の復元点の移動フローを求めることで、前記動きパラメタを求める動きパラメタ取得部をさらに備えていてよい。 The above-mentioned three-dimensional shape measurement system uses a calibration pattern instead of the object to obtain a movement flow of a restoration point of a point on the calibration pattern obtained by the projection unit, the photographing unit, and the restoration unit. Therefore, a motion parameter acquisition unit for obtaining the motion parameter may be further provided.
この構成により、実際に動く物体について3次元形状計測を行うときと同じ既知の移動を用いて動きパラメタを推定することができる。 With this configuration, it is possible to estimate the motion parameters using the same known motion as when performing 3D shape measurement on an actually moving object.
上記の3次元形状計測システムにおいて、前記投影部は、互いに異なる複数の前記符号化パターンを用いて、互いに異なる複数の前記プロジェクタ画像を順に投影してよい。 In the above three-dimensional shape measurement system, the projection unit may sequentially project a plurality of different projector images using the plurality of coding patterns different from each other.
この構成により、投影される符号化パターン画像をフレームごとに異なるものとすることができ、より広い光学現象に対応しつつ動き制約を満たす復元点を決定できる。 With this configuration, the projected coded pattern image can be different for each frame, and a restoration point that satisfies the motion constraint while corresponding to a wider optical phenomenon can be determined.
本発明の一態様の3次元形状計測方法は、既知の移動をする物体の3次元形状を計測する3次元形状計測方法であって、前記物体に符号化パターンを有するプロジェクタ画像を投影する投影ステップと、前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成する撮影ステップと、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元ステップとを含む構成を有している。 The three-dimensional shape measuring method of one aspect of the present invention is a three-dimensional shape measuring method for measuring a three-dimensional shape of a known moving object, and is a projection step of projecting a projector image having a coding pattern on the object. A shooting step of continuously shooting the object on which the projector image is projected to generate a plurality of camera images, and setting a plurality of hypothetical points on the camera line of sight for any point of the camera image. It has a configuration including a restoration step of determining a hypothetical point satisfying a motion constraint based on the known motion as a restoration point of the arbitrary point among the plurality of hypothetical points.
この構成によっても、動き制約を利用して物体上の点を復元するので、物体が移動している場合に、その移動を停止することなく当該物体の3次元形状を計測できる。 Also in this configuration, since the point on the object is restored by using the movement constraint, when the object is moving, the three-dimensional shape of the object can be measured without stopping the movement.
本発明の一態様の3次元形状計測プログラムは、既知の移動をする物体の3次元形状を計測する3次元形状計測プログラムであって、プロジェクタ及びカメラに接続された情報処理装置にて実行されることで、前記プロジェクタに、前記物体に符号化パターンを有するプロジェクタ画像を投影させ、前記カメラに、前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成させ、前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する構成を有している。 The three-dimensional shape measurement program of one aspect of the present invention is a three-dimensional shape measurement program that measures a known three-dimensional shape of a moving object, and is executed by an information processing device connected to a projector and a camera. This causes the projector to project a projector image having a coding pattern on the object, and the camera continuously captures the object on which the projector image is projected to generate a plurality of camera images. A plurality of hypothetical points are set on the line of sight of the camera for any point in the camera image, and among the plurality of hypothetical points, a hypothetical point that satisfies the motion constraint based on the known movement is set as a restoration point of the arbitrary point. It has a configuration to be determined as.
この構成によっても、動き制約を利用して物体上の点を復元するので、物体が移動している場合に、その移動を停止することなく当該物体の3次元形状を計測できる。 Also in this configuration, since the point on the object is restored by using the movement constraint, when the object is moving, the three-dimensional shape of the object can be measured without stopping the movement.
本発明によれば、動き制約を利用して物体上の点を復元するので、物体が移動している場合に、その移動を停止することなく当該物体の3次元形状を計測できる。 According to the present invention, since the point on the object is restored by using the motion constraint, when the object is moving, the three-dimensional shape of the object can be measured without stopping the movement.
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the embodiments described below show an example of the case where the present invention is carried out, and the present invention is not limited to the specific configuration described below. In carrying out the present invention, a specific configuration according to the embodiment may be appropriately adopted.
図1は、本発明の実施の形態の3次元形状計測システムの応用シーンを示す図である。3次元形状計測システム100は、プロジェクタ10と、カメラ20と、3次元形状計測装置30とを含んで構成される。プロジェクタ10は、所定のフレームレートで変化する符号化パターン画像を投影する。カメラ20は、3次元形状計測の対象物であるワークWを撮影するように設置される。カメラ20は、プロジェクタ10によって投影されてワークWで反射した符号化パターン画像を所定のフレームレートで撮影して、カメラ画像を生成する。
FIG. 1 is a diagram showing an application scene of the three-dimensional shape measurement system according to the embodiment of the present invention. The three-dimensional
プロジェクタ10とカメラ20との幾何的関係、即ち位置及び姿勢の関係は、運用時には固定されており、この幾何的関係は3次元形状計測装置30において既知である。また、プロジェクタ10及びカメラ20は、いずれも3次元形状計測装置30に有線又は無線で通信可能に接続されている。なお、図1では、プロジェクタ10とカメラ20とが一体的に構成される例を示しているが、プロジェクタ10とカメラ20とが別体で構成されてもよい。
The geometrical relationship between the
3次元形状計測装置30は、プロジェクタ10が投影した符号化パターン画像と、カメラ20が撮影したカメラ画像とに基づいて、ワークWの位置情報を含む3次元形状を計測する。3次元形状計測装置30は、例えば、汎用のコンピュータが本実施の形態の3次元形状計測プログラムを実行することで実現されてよい。
The three-dimensional
図1の例では、ベルトコンベアC上に複数のワークWが載せられて、ベルトコンベアCの回転によってワークWが一定の方向に一定の速度で移動している。3次元形状計測装置30は、アームロボット40に接続されている。アームロボット40は、複数の関節を有するアームを備え、移動しているワークWに対して、ワークWを把持するという仕事をする。3次元形状計測装置30にて得られたワークWの3次元形状計測の結果は、アームロボット40に与えられる。アームロボット40は、ワークWの位置情報及び3次元形状情報に基づいて動作する。これにより、アームロボット40は、目的とするワークWに対して適切に仕事をすることができ、例えばワークWを適切にピッキングすることが可能となる。このようなシステムをロボットピッキングシステムという。
In the example of FIG. 1, a plurality of work Ws are placed on the belt conveyor C, and the work W moves in a certain direction and at a constant speed due to the rotation of the belt conveyor C. The three-dimensional
以下では、まず本実施の形態の3次元形状計測システム100による3次元形状計測の原理を説明し、その後に、そのような3次元形状計測を行うための構成を説明する。
Hereinafter, the principle of three-dimensional shape measurement by the three-dimensional
図2は、本発明の実施の形態の3次元形状計測システムによる3次元形状計測の原理を説明する図である。本実施の形態の3次元形状計測システム100は、物体がベルトコンベアCによって運ばれることによる既知の移動を動き制約という幾何制約として利用して物体の3次元形状を計測する。ベルトコンベアCは、一方向に等速で動くものとし、その上に載っている物体及び物体上の点Pも同じ動きをするものとする。この点Pの動きベクトルをオブジェクトフローという。プロジェクタ10によってプロジェクタ画像101を投影しながら物体がベルトコンベアC上を動いていくシーンをカメラ20で同期撮影してカメラ画像210を得る。
FIG. 2 is a diagram illustrating the principle of three-dimensional shape measurement by the three-dimensional shape measurement system according to the embodiment of the present invention. The three-dimensional
本実施の形態のように物体の移動ないしオブジェクトフローを厳密に設定できるという環境では、カメラ20によって撮影されたカメラ画像201及びプロジェクタ10が投影するプロジェクタ画像101において、物体上の点Pは、エピポーラ線外で動くことになる。すなわち、エピポーラ拘束以外の新しい制約軸が与えられる。3次元形状計測システム100は、この制約を幾何制約として用いる。この幾何制約を動き制約という。
In an environment where the movement of an object or the object flow can be strictly set as in the present embodiment, in the
図3は、本発明の実施の形態の動き制約を用いた復号化及び仮説点決定のアルゴリズムの処理工程を説明するための図である。動き制約を用いた計測アルゴリズムの概要は以下のとおりである。まず、カメラ画像201中の任意の点p0について、カメラ視線L上で奥行方向に幾何拘束条件を満たす複数の仮説点m1~m4を設定する。ここで、カメラ視線Lは、カメラ20の焦点とカメラの撮像面における当該任意の点P0とを結ぶ線である。
FIG. 3 is a diagram for explaining a processing process of an algorithm for decoding and hypothesis point determination using motion constraints according to the embodiment of the present invention. The outline of the measurement algorithm using motion constraints is as follows. First, for any point p0 in the
そして、複数の仮説点m1~m4をカメラ画像201とプロジェクト画像101に透視投影をする。この透視投影を、各仮説点m1~m4をオブジェクトフロー方向Fに動かしながら行う。このとき、投影するプロジェクト画像の符号化パターンは動きに同期して変化させる。また、この段階で、幾何拘束条件を満たさない仮説点は排除する。そして、複数の仮説点m1~m4の、カメラ画像に透視投影された輝度変化パターン(以下、「復号化信号」ともいう。)202とプロジェクタ画像に透視投影された輝度変化パターン(以下、「符号化信号」ともいう。)102との組(ペア)が得られ、これらの全ての組の符号化信号と復号化信号との相関値を計算し、相関値が最大となる仮説点を復元点とする。図3の例では、仮説点m2の相関が最も大きいので、仮説点m2が復元点とされる。
Then, a plurality of hypothetical points m1 to m4 are perspectively projected onto the
図4は、本発明の実施の形態の3次元形状計測システムにおける機能構成を示すブロック図である。3次元形状計測システム100は、投影部1と撮影部2と、同期制御部3と、情報処理部4と、3次元情報出力部5とを備えている。
FIG. 4 is a block diagram showing a functional configuration in the three-dimensional shape measurement system according to the embodiment of the present invention. The three-dimensional
投影部1は、プロジェクタ10で構成される。撮影部2は、カメラ20で構成される。同期制御部3、情報処理部4、及び3次元情報出力部5は、3次元形状計測装置30に備えられてもよく、あるいは、その一部のみが3次元形状計測装置30に備えられ、他の一部はプロジェクタ10若しくはカメラ20、又は3次元形状計測装置30に接続された他の装置に備えられてもよい。
The projection unit 1 is composed of a
投影部1は、後述する符号化パターン生成部43で生成された符号化パターンに基づいて符号化パターン画像を投影する。投影部1は、符号化パターン画像列を構成する複数の符号化パターン画像を順に投影する。なお、投影部1としては、DMDを用いた高速駆動(例えば、5000Hz程度)が可能なDLPプロジェクタを用いてもよい。
The projection unit 1 projects a coded pattern image based on the coded pattern generated by the coded
撮影部2は、撮影を行ってカメラ画像を得る。撮影部2は、連続する複数のカメラ画像からなるカメラ画像列を得る。本実施の形態では、撮影部2は、入射する光の輝度値のみを検出して、カメラ画像としてモノクロ画像を生成する。また、本実施の形態では、撮影部2は、1024×768ピクセルの解像度の撮像素子を用いてカメラ画像を得る。
The photographing
同期制御部3は、投影部1と撮影部2との同期をとる。これにより、撮影部2において、投影部1で時系列に変化する符号化パターン画像列の各タイムフレームの画像を確実に撮像することができる。
The
情報処理部4は、幾何キャリブレーションパラメタ取得部41、動きパラメタ取得部42、符号化パターン生成部43、復元部44、及び幾何拘束処理部45を備えている。
The information processing unit 4 includes a geometric calibration
幾何キャリブレーションパラメタ取得部41は、投影部1及び撮影部2とオブジェクトフローとの幾何的なキャリブレーションを実施する。投影部1と撮影部2とオブジェクトフローとの関係が固定されている場合には、幾何キャリブレーションパラメタは一定である。
The geometric calibration
動きパラメタ取得部42は、所定の移動をする物体のオブジェクトフローを推定によって取得する。符号化パターン生成部43は、投影部1が符号化パターン画像を投影するための符号化パターンを生成する。投影部1は、直交性の高い複数の互いに異なる符号化パターンを生成する。
The motion
復元部44は、カメラ画像列、符号化パターン画像列、幾何キャリブレーションパラメタ、及び動きパラメタを用いて、複数の奥行き仮説点の中から動き制約を満たす点を復号化することで奥行き(復元点)の推定を行う。幾何拘束処理部45は、復元部44が奥行きの推定を行う際に、幾何学的制約を満たさない仮説点を候補から除外する。
The
3次元情報出力部5は、復元部44で得られた復元点の集合を物体の3次元形状の計測結果として出力する。
The three-dimensional
図5は、本発明の実施の形態の3次元形状計測方法のフローチャートである。まず、幾何キャリブレーションパラメタ取得部41は、あらかじめ得ていた幾何的なキャリブレーションパラメタを取得する(ステップS41)。また、動きパラメタ取得部42は、投影部1及び撮影部2と移動する対象物との相対的な動きパラメタ、即ちオブジェクトフローを取得する(ステップS42)。
FIG. 5 is a flowchart of the three-dimensional shape measuring method according to the embodiment of the present invention. First, the geometric calibration
符号化パターン生成部43は、N個の符号化パターンを生成し、投影部1は、生成されたN個の符号化パターンを入力して、動きパラメタ取得部42で取得した動きパラメタに従って移動する物体に符号化パターン画像を投影する(ステップS43)。撮影部2は、符号化パターン画像が投影された物体をN枚撮影し、それらのカメラ画像列を入力データとして情報処理部4に入力する(ステップS44)。
The coding
復元部44は、撮影部2からの入力データを用いて、幾何拘束処理部45で定義される幾何拘束条件を満たす奥行き仮説点をM個生成し、符号化信号102と復号化信号202との組のスコアが最大となる奥行き仮説点を復元点として採用する(ステップS45)。最後に、3D情報出力部5は、最終的に得られた3次元復元結果を出力する(ステップS46)。
The
図6は、本発明の実施の形態の動きパラメタ推定のフローチャートである。図7は、本発明の実施の形態の動きパラメタを推定するための装置を示す図である。まず、計測対象の物体の動きと同じ動きをする装置に、チェスパターンを有する校正ボード61を設置する(ステップS61)。撮影フレームnでの計測対象の物体と同じ位置で校正ボードを撮影し、次の位置へ移動して撮影するという処理を繰り返す(ステップS62)。
FIG. 6 is a flowchart of motion parameter estimation according to the embodiment of the present invention. FIG. 7 is a diagram showing an apparatus for estimating motion parameters according to the embodiment of the present invention. First, a
動きパラメタ取得部42は、校正ボード61のカメラ画像列を用いてフレームn-1からフレームnへの動きパラメタ(R,T)nを推定する(ステップS63)。このとき、動きパラメタ取得部42は、校正ボード61のチェスパターンのコーナーの3次元的な平均動きフローから、動きパラメタを推定する。
The motion
具体的には、例えば、特定の傾きをした校正ボードを10mmずつ動かしながら7回撮影した場合、あるコーナーに注目するとnフレームのコーナーの3次元点とn-1フレームのコーナーの3次元点との差から6個のベクトルが得られ、これらの平均を求めることで、そのコーナーの平均動きフローを求めることができる。この処理を全コーナーに対して行い、それぞれの平均動きフローを求め、さらにそれらを平均化することで、全体の平均動きフローを求めることができる。動きパラメタ取得部42は、この全体の平均動きフローをオブジェクトフロー、即ち動きパラメタとする。
Specifically, for example, when a calibration board with a specific inclination is moved by 10 mm and photographed seven times, when focusing on a certain corner, the three-dimensional points of the n-frame corner and the three-dimensional point of the n-1 frame corner are obtained. Six vectors are obtained from the difference between the above, and the average movement flow of the corner can be obtained by calculating the average of these vectors. By performing this process for all corners, obtaining the average movement flow for each, and averaging them, the overall average movement flow can be obtained. The motion
なお、より複雑な動きをするロボットアームのような装置でも、同様の方法で各コーナーの[Rt]を求めることができる。コーナーをより密にとるために複数の校正器を用いてもよく、コーナーがない領域は周囲のコーナーの動きフローを線形補間などで補間してもよい。 It should be noted that even with a device such as a robot arm that makes more complicated movements, the [Rt] of each corner can be obtained by the same method. A plurality of calibrators may be used to make the corners denser, and the movement flow of the surrounding corners may be interpolated by linear interpolation or the like in the area without the corners.
図8は、本発明の実施の形態の符号化パターン画像生成のフローチャートである。符号化パターン生成部43は、まず、符号化パターンの各画素について、適当なシードを基にして、0~255のランダム数を生成する(ステップS81)。本実施の形態では、符号化パターン生成部43は、メルセンヌツイスタ又はM系列を用いてランダム数を生成する。符号化生成パターン画像生成部43は、各画素について、生成されたランダム数が閾値128以上であれば、当該画素の画素値を255とし、生成されたランダム数が128未満であれば、当該画素の画素値を0とする(ステップS82)。
FIG. 8 is a flowchart of coded pattern image generation according to the embodiment of the present invention. First, the coding
図9は、本発明の実施の形態の符号化パターン画像の例を示す図である。符号化パターン生成部43が上記の処理をすべての画素について行うことで(ステップS83)、図9に示すようなランダムパターンの符号化パターンが生成される。符号化パターン生成部43は、上記の処理をN回行うことで(ステップS84)、N枚の符号化パターンを生成する。
FIG. 9 is a diagram showing an example of a coded pattern image according to the embodiment of the present invention. When the coding
図10は、本発明の実施の形態の復元のフローチャートである。復元部44は、まず、符号化パターン画像が投影された移動する物体を撮影してカメラ画像を取得する(ステップS101)。次に、復元部44は、カメラ画像の画素pで幾何拘束条件であるエピポーラ拘束と奥行き拘束の2つの満たす奥行き仮説点をM_p個設定する(ステップS102)。
FIG. 10 is a flowchart of restoration of the embodiment of the present invention. First, the
復元部44は、仮説点mを各フレームの動きパラメタ(R,T)_nで3次元座標変換する(ステップS103)。移動された仮説点m_pをカメラ画像とプロジェクタ画像に透視投影する処理をNフレーム分繰り返し、符号化信号102と復号化信号202との組(ペア)を得る(ステップS104)(図3参照)。復元部44は、次に、仮説点m_pについての符号化信号102と復号化信号202の相関をゼロ平均正規化相互相関で求め、得られた相関値を保存する(ステップS105)。
The
復元部44は、M_p個の仮説点で相関を得る処理が終了したか否かを判断し(ステップS106)、終了していない場合は(ステップS106でNO)、ステップS103に戻って処理を繰り返す。M_p個の仮説点について相関値が得られた場合には(ステップS106でYES)、M_p個の相関値のなかで最大を得た仮説点m_pを当該画素pについての復元点として採用する(ステップS107)。復元部44は、上記の処理をカメラ画像の全画素について行う(ステップS108)。
The
図11は、本発明の実施の形態の幾何拘束処理のフローチャートである。幾何拘束処理部45は、初期位置から移動したフレームn時点の奥行き仮説点m_pを取得する(ステップS111)。幾何拘束処理部45は、仮説点m_pの奥行き値が復元範囲内であるか否か(奥行き拘束)を判断する(ステップS112)。ここで、計測対象物とカメラ20及びプロジェクタ10との位置関係から事前に復元範囲をヒューリスティックに設定することが一般的に行われているが、奥行き拘束は、その奥行き方向に着目した拘束である。
FIG. 11 is a flowchart of the geometric constraint process according to the embodiment of the present invention. The geometric
仮説点m_pの奥行き値が復元範囲内である場合は(ステップS112でYES)、幾何拘束処理部45は、仮説点m_pをカメラ画像とプロジェクタ画像に透視投影し(ステップS113)、透視投影された点がエピポーラ線上にあるか否か(エピポーラ拘束)を判断する(ステップS114)。エピポーラ拘束は、事前に幾何キャリブレーションで得られたパラメタ(F行列)から求められる。幾何拘束処理部45は、カメラ画像及びプロジェクタ画像の双方のエピポーラ線上に仮説点の透視投影点が乗るか否かを判断する。
When the depth value of the hypothetical point m_p is within the restoration range (YES in step S112), the geometric
エピポーラ線からある程度の距離を許す閾値を用いて、キャリブレーション誤差の影響を低減させてよい。例えば、カメラ20の画素数が1024×768画素であり、プロジェクタ10の画素数が1280×800画素である場合は、カメラ20側では閾値th_Cを10~20画素程度としてよく、プロジェクタ10側ではそれに画素サイズの比を賭けた誤差(閾値th_P=th_C×(1280/1024))を許容してよい。
A threshold that allows some distance from the epipolar line may be used to reduce the effect of calibration error. For example, when the number of pixels of the
幾何拘束処理部45は、透視投影された点がエピポーラ線上にある場合(ステップS114でYES)、すなわち、奥行き拘束もエピポーラ拘束も満たす場合には、その奥行き仮説点m_pは幾何制約を満たす仮説点であると判断する(ステップS115)。奥行き拘束又はエピポーラ拘束のいずれかを満たさない場合は(ステップS112でNO、又はステップS114でNO)、幾何拘束処理部45は、その奥行き仮説点m_pは幾何制約を満たさない仮説点であると判断する(ステップS116)。
When the perspective-projected point is on the epipolar line (YES in step S114), that is, when both the depth constraint and the epipolar constraint are satisfied, the geometric
以上のように、本実施の形態では、既知のオブジェクトフローに沿って移動する物体に対して、プロジェクタ10からランダムパターンを有するプロジェクタ画像を照射してカメラ20で撮影し、カメラ画像における任意の点にカメラ視線上に複数の奥行き仮説点を設定して、仮説点をオブジェクトフローに沿って移動しながらカメラ画像及びプロジェクタ画像に透視投影することで、カメラ画像における当該仮説点の輝度変化とプロジェクタ画像の時系列変化とを比較し、それらの相関が最も高い仮説点を復元点として決定する。これにより、プロジェクタ10及びカメラ20として高速(高フレームレート)のものを用いなくても、移動する物体の移動を止めることなく、当該物体の3次元形状を計測できる。
As described above, in the present embodiment, an object moving along a known object flow is irradiated with a projector image having a random pattern from the
なお、上記の実施の形態では、計測対象の物体がランバートに近い反射特性を持つことを想定しているが、物体がランバート反射物でない場合に本実施の形態を適用してもよい。相対的に静止した状態での計測では、鏡面反射光の影響で復元が欠損する領域が発生してしまうが、本実施の形態によって動きながら対象物の情報を得ることで、欠損を低減できる。 In the above embodiment, it is assumed that the object to be measured has a reflection characteristic close to that of Lambertian, but this embodiment may be applied when the object is not a Lambertian reflective object. In the measurement in a relatively stationary state, there is a region where the restoration is lost due to the influence of the specularly reflected light, but the loss can be reduced by obtaining the information of the object while moving according to the present embodiment.
また、上記の実施の形態では、プロジェクタ画像の符号化パターンとして、複数のランダムパターンを用いたが、ランダムパターンを1枚用いてもよく、あるいは1枚又は複数枚のライン型のM系列画像用いてもよい。パターン画像が1枚の場合であっても、物体が動くため、仮説点からカメラ画像及びプロジェクタ画像へ透視投影される画素値は異なる信号となり、複数のパターン画像を用いた場合と同等の符号化信号102と復号化信号202との組の生成が可能である。
Further, in the above embodiment, a plurality of random patterns are used as the coding pattern of the projector image, but one random pattern may be used, or one or a plurality of line-type M-sequence images may be used. You may. Even if there is only one pattern image, the object moves, so the pixel values that are perspectively projected from the hypothetical point to the camera image and the projector image are different signals, and the encoding is the same as when multiple pattern images are used. It is possible to generate a pair of the
また、上記の符号化パターン生成部43において生成するモノクロの符号化パターンのドットは、大きい方が幾何キャリブレーション及び動き推定の誤差を吸収できるので望ましい。また、復元部44で仮説点を設定してオブジェクトフローに沿って仮説点を移動させていくときに、仮説点が符号化パターンにおけるドットとドットの境界(境界画素)に相当する場合がある。
Further, it is desirable that the monochrome coded pattern dots generated by the coded
この場合には、そのような仮説点は白と黒の中間の値の画素値を持つことになる。よって、境界画素となることが多い仮説点については、復元点の候補から除外するようにしてもよい。例えば、仮説点を50フレームに亘って移動させる場合に、そのうちの20枚(40%)以上が境界画素となる場合にはそのような仮説点を復元点の候補から除外してよい。 In this case, such a hypothetical point will have a pixel value between white and black. Therefore, hypothetical points that often become boundary pixels may be excluded from the candidates for restoration points. For example, when the hypothetical points are moved over 50 frames and 20 or more of them (40%) are boundary pixels, such hypothetical points may be excluded from the candidates for the restoration point.
また、上記の実施の形態では、1つのプロジェクタ10と1つのカメラ20を用いたが、これらを複数台用いてもよい。例えば、プロジェクタ1台とカメラ2台、あるいはプロジェクタ3台とカメラ3台などを組み合わせでも、プロジェクタそれぞれで独自の符号化パターン画像列を生成し、かつ、各々が発生させる符号化信号のZNCCが相対的に低い場合は、符号化情報の分離が可能である。
Further, in the above embodiment, one
本発明は、動き制約を利用して物体上の点を復元するので、物体が移動している場合に、その移動を停止することなく当該物体の3次元形状を計測できるという効果を有し、物体に符号化パターン画像を投影して、符号化パターン画像が投影された物体を撮影することで当該物体の3次元形状を計測する3次元形状計測システム等として有用である。 Since the present invention restores a point on an object by using a movement constraint, it has an effect that when the object is moving, the three-dimensional shape of the object can be measured without stopping the movement. It is useful as a three-dimensional shape measuring system or the like that measures a three-dimensional shape of an object by projecting a coded pattern image onto the object and photographing the object on which the coded pattern image is projected.
1 投影部
2 撮影部
3 同期制御部
4 情報処理部
41 幾何キャリブレーションパラメタ取得部
42 動きパラメタ取得部
43 符号化パターン生成部
44 復元部
45 幾何拘束処理部
5 3次元情報出力部
10 プロジェクタ
20 カメラ
30 3次元形状計測装置
40 アームロボット
100 3次元形状計測システム
101 プロジェクタ画像
102 プロジェクタ画像に透視投影された仮説点の輝度変化パターン(符号化信号)
201 カメラ画像
202 カメラ画像に透視投影された仮説点の輝度変化パターン(復号化信号)
W ワーク
1
W work
Claims (7)
前記物体に符号化パターンを有するプロジェクタ画像を投影する投影部と、
前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成する撮影部と、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元部と、
を備えた、3次元形状計測システム。 It is a 3D shape measurement system that measures the 3D shape of a known moving object.
A projection unit that projects a projector image having a coding pattern on the object,
A shooting unit that continuously shoots the object on which the projector image is projected to generate a plurality of camera images, and a shooting unit.
A plurality of hypothetical points are set on the line of sight of the camera for any point in the camera image, and a hypothetical point among the plurality of hypothetical points that satisfies the motion constraint based on the known movement is restored to the arbitrary point. The restoration part that is determined as a point, and
3D shape measurement system equipped with.
前記物体に符号化パターンを有するプロジェクタ画像を投影する投影ステップと、
前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成する撮影ステップと、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する復元ステップと、
を含む、3次元形状計測方法。 It is a three-dimensional shape measurement method that measures the three-dimensional shape of a known moving object.
A projection step of projecting a projector image having a coding pattern on the object,
A shooting step of continuously shooting the object on which the projector image is projected to generate a plurality of camera images, and
A plurality of hypothetical points are set on the line of sight of the camera for any point in the camera image, and a hypothetical point among the plurality of hypothetical points that satisfies the motion constraint based on the known movement is restored to the arbitrary point. Restoration steps to determine as points and
Three-dimensional shape measurement method including.
前記プロジェクタに、前記物体に符号化パターンを有するプロジェクタ画像を投影させ、
前記カメラに、前記プロジェクタ画像が投影された前記物体を連続的に撮影して複数のカメラ画像を生成させ、
前記カメラ画像の任意の点について、カメラ視線上に複数の仮説点を設定するとともに、前記複数の仮説点のうち、前記既知の動きに基づく動き制約を満たす仮説点を、当該任意の点の復元点として決定する、
3次元形状計測プログラム。 It is a 3D shape measurement program that measures the 3D shape of a known moving object, and is executed by an information processing device connected to a projector and a camera.
A projector image having a coding pattern is projected onto the object on the projector.
The camera continuously captures the object on which the projector image is projected to generate a plurality of camera images.
A plurality of hypothetical points are set on the line of sight of the camera for any point in the camera image, and a hypothetical point among the plurality of hypothetical points that satisfies the motion constraint based on the known movement is restored to the arbitrary point. Determine as a point,
3D shape measurement program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020194407A JP2022083132A (en) | 2020-11-24 | 2020-11-24 | Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020194407A JP2022083132A (en) | 2020-11-24 | 2020-11-24 | Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022083132A true JP2022083132A (en) | 2022-06-03 |
Family
ID=81811202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020194407A Pending JP2022083132A (en) | 2020-11-24 | 2020-11-24 | Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022083132A (en) |
-
2020
- 2020-11-24 JP JP2020194407A patent/JP2022083132A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133279B2 (en) | Apparatus of updating key frame of mobile robot and method thereof | |
US10275649B2 (en) | Apparatus of recognizing position of mobile robot using direct tracking and method thereof | |
US10307910B2 (en) | Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof | |
JP4961234B2 (en) | Object tracking device | |
US9014433B2 (en) | Measurement apparatus, information processing apparatus, information processing method, and storage medium | |
US6754370B1 (en) | Real-time structured light range scanning of moving scenes | |
KR20130032368A (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium | |
Furukawa et al. | Depth estimation using structured light flow--analysis of projected pattern flow on an object's surface | |
US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
US20220222843A1 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
JP7184203B2 (en) | Image processing device, three-dimensional measurement system, image processing method | |
US11348271B2 (en) | Image processing device and three-dimensional measuring system | |
JP6975106B2 (en) | 3D shape measurement system, 3D shape measurement method, and 3D shape measurement program | |
US9752870B2 (en) | Information processing apparatus, control method thereof and storage medium | |
US20210156881A1 (en) | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking | |
JP2532985B2 (en) | Three-dimensional image evaluation device | |
Hattori et al. | Handy rangefinder for active robot vision | |
CN112233139A (en) | System and method for detecting motion during 3D data reconstruction | |
JP2022083132A (en) | Three-dimensional shape measuring system, three-dimensional shape measuring method, and three-dimensional shape measuring program | |
US20230044371A1 (en) | Defect detection in a point cloud | |
JP2015132523A (en) | Position/attitude measurement apparatus, position/attitude measurement method, and program | |
JP2023158825A (en) | Three-dimensional shape measurement system, three-dimensional shape measurement method and three-dimensional shape measurement program | |
JP2021018219A (en) | Three-dimensional shape measurement system, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
US20220254151A1 (en) | Upscaling triangulation scanner images to reduce noise | |
KR20200074798A (en) | Method and apparatus for 3-dimensional scanning |