JP2015087243A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2015087243A JP2015087243A JP2013225819A JP2013225819A JP2015087243A JP 2015087243 A JP2015087243 A JP 2015087243A JP 2013225819 A JP2013225819 A JP 2013225819A JP 2013225819 A JP2013225819 A JP 2013225819A JP 2015087243 A JP2015087243 A JP 2015087243A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- controlling
- exposure amount
- unit
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 4
- 238000003384 imaging method Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 8
- 229920006395 saturated elastomer Polymers 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000276498 Pollachius virens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、対象物に対する距離計測を行うための技術に関するものである。 The present invention relates to a technique for measuring a distance to an object.
対象物に対してプロジェクタなどの投影部を用いてパターン光を投影し、該対象物をカメラなどの撮像部で撮像した撮像画像からパターン光の位置を特定することで距離を計測する方法が知られている。 A method is known in which pattern light is projected onto an object using a projection unit such as a projector, and the distance is measured by specifying the position of the pattern light from a captured image obtained by imaging the object with an imaging unit such as a camera. It has been.
対象物表面の反射率と対象物が置かれる姿勢は様々であるため、投影部から投影されるパターン光の撮影画像における画像輝度階調値は様々に変化する。そのため、多様な条件でのパターン光の位置特定を実現するためには、パターン光の明るさ調整と、撮像部の露光量調整と、を適切に行う必要がある。これらの調整が不適切であれば、撮像画像におけるパターン光が飽和、あるいは黒つぶれし、パターン光の位置の特定が不可能となる。また、これらの調整が不十分であれば、パターン光の位置の特定は可能であっても、その位置の特定精度は低下する。 Since the reflectance of the object surface and the posture on which the object is placed vary, the image luminance gradation value in the captured image of the pattern light projected from the projection unit varies. Therefore, in order to realize the position specification of the pattern light under various conditions, it is necessary to appropriately perform the brightness adjustment of the pattern light and the exposure amount adjustment of the imaging unit. If these adjustments are inappropriate, the pattern light in the captured image is saturated or obscured, and the position of the pattern light cannot be specified. Further, if these adjustments are insufficient, the position specifying accuracy decreases even if the position of the pattern light can be specified.
特許文献1では、事前に均一なパターン光を投影してから撮像した撮像画像の画像輝度階調値をもとに最大反射率を決定し、その反射率に基づいてパターン光の明るさと、撮像部の露光量を決定する。
In
特許文献2では、光切断線を投影してから撮像した撮像画像の画像輝度階調値のヒストグラムを用いて、撮像部の露光量の調整を行う。具体的には、画像輝度階調値ヒストグラムにおいて、光切断線部分に対応する第一のピークと、計測環境の照明光により発生する背景光に対応する第二のピークと、の間の差が閾値以上となるように調整する。さらに、第一のピークが予め設定された上限値を超えないように調整する。
In
特許文献1で開示されている方法では、位置特定に用いるパターン光ではなく、均一なパターン光の画像輝度階調値をもとに、パターン光の明るさと撮像部の露光量を決定している。そのため、位置特定に用いるパターン光において発生する投影光学系や撮像光学系のボケなどに起因するパターン光のコントラストの低下の影響が考慮されない。その結果、パターン光においての調整が不十分になり、パターン位置特定の精度低下を招くケースがある。また、画像輝度階調値の最大値をもとに最大反射率を決定し、露光量を決定するため、光沢性の高い対象物の場合には、一部分で発生するハレーションの影響を受けて画面全体に渡って適切な調整がなされないケースも起こり得る。
In the method disclosed in
特許文献2に開示されている発明は、投影光による画像輝度階調値ヒストグラムのピークと背景光のピークが明瞭に分離されるケースにおいては有効に機能する。しかし、背景光の輝度が高く、投影光による輝度と同程度であるケースにおいては、投影光と背景光の画像輝度階調値ヒストグラムのピークを区別することが困難となり、有効に機能しない可能性が高い。
The invention disclosed in
本発明はこのような問題に鑑みてなされたものであり、パターン光の位置特定を確実、且つ高精度に行うための技術を提供する。 The present invention has been made in view of such problems, and provides a technique for reliably and highly accurately specifying the position of pattern light.
本発明の一様態は、パターンが投影された対象物を撮像手段によって撮像した撮像画像を取得する取得手段と、前記取得した撮像画像中のパターンの輝度値に応じて、前記パターンを投影する投影手段から投影される該パターンの明暗を制御するためのパラメータ、及び前記撮像手段の露光量を制御するためのパラメータ、のうち少なくともいずれか一方を制御する制御手段とを備えることを特徴とする。 According to one aspect of the present invention, an acquisition unit that acquires a captured image obtained by capturing an object on which a pattern is projected by an imaging unit, and a projection that projects the pattern according to a luminance value of the pattern in the acquired captured image. And a control means for controlling at least one of a parameter for controlling brightness and darkness of the pattern projected from the means and a parameter for controlling the exposure amount of the imaging means.
本発明の構成によれば、パターン光の位置特定を確実、且つ高精度に行うことができる。 According to the configuration of the present invention, the position of the pattern light can be specified reliably and with high accuracy.
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific examples of the configurations described in the claims.
[第1の実施形態]
先ず、本実施形態に係る画像処理装置(距離計測装置)の機能構成例について、図1のブロック図を用いて説明する。図1の如く、画像処理装置は、対象物5にパターン光を投影する投影部30と、パターン光が投影された対象物5を撮像する撮像部20と、投影部30及び撮像部20を制御し、空間符号化法に基づいて対象物5に対する距離計測を行う画像処理部40とを有する。
[First Embodiment]
First, a functional configuration example of the image processing apparatus (distance measuring apparatus) according to the present embodiment will be described with reference to the block diagram of FIG. As shown in FIG. 1, the image processing apparatus controls the
先ず、投影部30について説明する。投影部30は、図1に示す如く、光源31と、照明光学系32と、表示素子33と、投影絞り34と、投影光学系35と、を備える。
First, the
光源31は、例えばハロゲンランプ、LEDなどの各種の発光素子である。照明光学系32は、光源31から照射された光を表示素子33へと導く機能を持つ光学系であり、例えば、ケーラー照明や拡散板などの輝度の均一化に適した光学系が用いられる。表示素子33は、供給されたパターンに応じて、照明光学系32からの光の透過率、または、反射率を空間的に制御する機能を有する素子であり、例えば、透過型LCD、反射型LCOS、DMDなどが用いられる。表示素子33へのパターンの供給については、投影部30内に保持されている複数種のパターンを順次表示素子33に供給しても良いし、外部装置(例えば画像処理部40)に保持されている複数種のパターンを順次取得して表示素子33に供給しても良い。投影光学系35は、表示素子33から導かれた光(パターン光)を対象物5の特定位置に結像させるように構成された光学系である。投影絞り34は、投影光学系35のFナンバーを制御するために用いられる。
The
次に、撮像部20について説明する。撮像部20は、図1に示す如く、撮像光学系23と、撮像絞り22と、撮像素子21と、を備える。
Next, the
撮像光学系23は、対象物5の特定位置を撮像素子21上に結像させるよう構成された光学系である。撮像絞り22は、撮像光学系23のFナンバーを制御するために用いられる。撮像素子21は、例えばCMOSセンサ、CCDセンサなどの各種の光電変換素子である。なお、撮像素子21で光電変換されたアナログ信号は、撮像部20内の不図示の制御部により標本化ならびに量子化され、デジタル画像信号に変換される。更にこの制御部は、このデジタル画像信号から、各画素が輝度階調値(濃度値、画素値)を有する画像(撮像画像)を生成し、この撮像画像を適宜撮像部20内のメモリや画像処理部40に対して送出する。
The imaging
なお、撮像部20は、投影部30が異なるパターン光を投影する度に対象物5を撮像する。すなわち、撮像部20と投影部30とは同期して動作しており、結果として撮像部20は、それぞれ異なるパターン光が投影された対象物5の画像を撮像することができる。
The
次に、画像処理部40について説明する。図1に示す如く、画像処理部40は、調整部41、明暗判定部42、パターン位置特定部43、距離計測部44、パターン光明るさ制御部45、撮像画像露光量制御部46を備える。
Next, the
パターン位置特定部43は、撮像部20によって撮像された撮像画像を取得し、該取得した撮像画像から、該撮像画像中に写っているパターン光の位置(パターン位置)を特定する。
The pattern
明暗判定部42は、撮像部20によって撮像された撮像画像を取得し、該取得した撮像画像を構成する各画素の輝度階調値と、該撮像画像からパターン位置特定部43が特定したパターン位置と、を用いて、明暗判定を行う。
The
調整部41は、撮像部20が次回撮像する撮像画像の明暗を制御するためのパラメータを、明暗判定部42による判定の結果に応じて決定する。「撮像部20が次回撮像する撮像画像の明暗を制御するためのパラメータ」には、撮像部20に対するパラメータや、投影部30に対するパラメータがあり、両方を決定しても良いし、一方を決定しても良い。
The
パターン光明るさ制御部45は、調整部41が「投影部30に対するパラメータ」を決定した場合には、投影部30から投影されるパターン光の明るさを、該パラメータに応じて制御する。パターン光の明るさを制御する方法は、例えば以下の3つの方法がある。
When the
1つ目の方法は、光源31の発光輝度を制御することである。ハロゲンランプの場合には、印加電圧を高くすると発光輝度は高くなる。LEDの場合には、流す電流を大きくすると発光輝度は高くなる。然るにこのような場合、「投影部30に対するパラメータ」とは、光源31の発光輝度を制御するためのパラメータ、となる。
The first method is to control the light emission luminance of the
2つ目の方法は、表示素子33の表示階調値を制御することである。LCDの場合には、表示階調値を大きくすると透過率が高くなり、結果として、パターン光は明るくなる。LCOSの場合には、表示階調値を大きくすると反射率が高くなり、結果として、パターン光は明るくなる。DMDの場合には、表示階調値を大きくすると、フレームあたりのONの回数が増加するため、結果として、パターン光は明るくなる。然るにこのような場合、「投影部30に対するパラメータ」とは、表示素子33の表示階調値を制御するためのパラメータ、となる。
The second method is to control the display gradation value of the
3つ目の方法は、投影絞り34を制御することである。絞りを開けることで、パターン光は明るくなる。逆に絞りを絞ることで、パターン光は暗くなる。投影絞り34を制御する場合には、投影光学系の被写界深度も変化するため、その影響を考慮する必要がある。然るにこのような場合、「投影部30に対するパラメータ」とは、投影絞り34を制御するためのパラメータ、となる。
The third method is to control the
撮像画像露光量制御部46は、調整部41が「撮像部20に対するパラメータ」を決定した場合には、撮像部20における撮像時の露光量を、該パラメータに応じて制御し、これにより、撮像画像の輝度階調値を制御する。撮像部20の露光量を制御する方法は、例えば以下の2つの方法がある。
When the
1つ目の方法は、撮像素子21の露光時間(シャッタースピード)を制御することである。露光時間を長くすると、撮像画像の輝度階調値は高くなり、逆に露光時間を短くすると、輝度階調値は低くなる。然るにこのような場合、「撮像部20に対するパラメータ」とは、撮像素子21の露光時間(シャッタースピード)を制御するためのパラメータ、となる。
The first method is to control the exposure time (shutter speed) of the
2つ目の方法は、撮像絞り22を制御することである。絞りを開けることで、撮像画像の輝度階調値は高くなり、逆に絞りを絞ることで、撮像画像の輝度階調値は低くなる。撮像絞り22を制御する場合には、撮像光学系の被写界深度も変化するため、その影響を考慮する必要がある。然るにこのような場合、「撮像部20に対するパラメータ」とは、撮像絞り22を制御するためのパラメータ、となる。
The second method is to control the
距離計測部44は、投影部30が複数種類のパターン光のそれぞれを投影するたびに撮像部20が撮像した撮像画像を取得する。そして距離計測部44は、該取得した撮像画像からデコードした空間コードと、該取得した撮像画像についてパターン位置特定部43が特定したパターン位置と、を用いて、三角測量の原理で、撮像部20(撮像光学系23)から対象物5までの距離を計測する。
The
本実施形態では上記の通り、空間符号化法に基づいて距離計測を行うが、この空間符号化法には派生形が複数存在する。本実施形態では、特開2011−47931号公報で開示されている方法を用いる。以下にその原理を簡単に説明する。 In the present embodiment, as described above, distance measurement is performed based on the spatial encoding method, and there are a plurality of derivatives in this spatial encoding method. In the present embodiment, the method disclosed in JP 2011-47931 A is used. The principle will be briefly described below.
図2に、4ビットの空間符号化法における投影パターン(パターン光)を示す。図2(a)に示されている投影パターン(全点灯パターン)と図2(b)に示されている投影パターン(全消灯パターン)は、影領域の検出と明暗判定閾値を決めるために使われる。図2(c)〜(f)の投影パターン(それぞれ1〜4ビットポジティブパターン)は、空間コードを決定するために使用される。図2(g)の投影パターン(4ビットネガティブパターン)は、4ビットポジティブパターンとともにパターン位置の特定を高精度に行うために使用される。 FIG. 2 shows a projection pattern (pattern light) in the 4-bit spatial encoding method. The projection pattern (all lighting pattern) shown in FIG. 2 (a) and the projection pattern (all lighting pattern) shown in FIG. 2 (b) are used to detect a shadow area and determine a light / dark judgment threshold. Is called. The projection patterns (1 to 4 bit positive patterns, respectively) in FIGS. 2C to 2F are used to determine the spatial code. The projection pattern (4-bit negative pattern) shown in FIG. 2G is used for specifying the pattern position with high accuracy together with the 4-bit positive pattern.
4ビットの場合、空間コードの数は16となる。投影パターンのビット数をNとすると、空間コードの数は2Nとなる。図2に示した1ビットから4ビットの投影パターンは、グレイコード(GrayCode)と呼ばれる符号に基づいて、パターンの明暗(白黒)の配置を決定している。図3に4ビットグレイコードを示す。グレイコードは隣合うコードとのハミング距離が1となるパターンであるため、コードの判定を誤ったとしても誤差が最小に抑えられる。そのため、空間符号化法の投影パターンとして用いられることが多い。 In the case of 4 bits, the number of spatial codes is 16. If the number of bits of the projection pattern is N, the number of spatial codes is 2N . The projection pattern of 1 to 4 bits shown in FIG. 2 determines the arrangement of light and dark (black and white) patterns based on a code called a Gray code. FIG. 3 shows a 4-bit gray code. Since the gray code is a pattern in which the Hamming distance between adjacent codes is 1, an error can be minimized even if the code determination is wrong. For this reason, it is often used as a projection pattern of the spatial encoding method.
次に、撮像画像から空間コードをデコードする方法について述べる。図2に示した1ビットから4ビットの投影パターンを計測対象物に対して投影し、それぞれの投影パターンが投影された計測対象物の画像を撮像する。そして、この撮像により得られたそれぞれの撮像画像中の各画素の輝度階調値から、該画素が投影パターンの明部が照射されている箇所であるのか、それとも暗部が照射されている箇所であるのかを判定する。この判定のための判定基準は、全点灯パターンと全消灯パターンの輝度階調値の平均値を用いることができる。すなわち、撮像画像中の各画素について、該画素の輝度階調値が平均値以上であれば、該画素を明部、平均値未満であれば該画素を暗部と判定する。明部と判定された画素にはビット値「1」を割り当て、暗部と判定された画素にはビット値「0」を割り当てる。このような処理を、1ビットから4ビットの投影パターンの撮像画像のそれぞれに対して行うことで、該撮像画像中の各画素に対して4ビット分のビット値(4ビット分のグレイコード)が与えられることになる。この4ビット分のグレイコードを空間コードに変換することで、投影部からの出射方向を一意に特定することができる。図3に示すように、例えばある画素に「0110」というコードが割り振られた場合、グレイコードは6となる。このグレイコードを空間コードに変換すると4となる。 Next, a method for decoding a spatial code from a captured image will be described. The 1-bit to 4-bit projection patterns shown in FIG. 2 are projected onto the measurement object, and an image of the measurement object on which each projection pattern is projected is captured. Then, from the luminance gradation value of each pixel in each captured image obtained by this imaging, whether the pixel is a portion where the bright portion of the projection pattern is irradiated or a portion where the dark portion is irradiated Determine if there is. As a determination criterion for this determination, an average value of luminance gradation values of all lighting patterns and all lighting patterns can be used. That is, for each pixel in the captured image, if the luminance gradation value of the pixel is equal to or greater than the average value, the pixel is determined to be a bright portion, and if the pixel is less than the average value, the pixel is determined to be a dark portion. A bit value “1” is assigned to a pixel determined to be a bright portion, and a bit value “0” is assigned to a pixel determined to be a dark portion. By performing such processing on each of the captured images of the projection pattern of 1 to 4 bits, a bit value for 4 bits (gray code for 4 bits) for each pixel in the captured image. Will be given. By converting the 4-bit gray code into a spatial code, the emission direction from the projection unit can be uniquely specified. As shown in FIG. 3, for example, when a code “0110” is assigned to a certain pixel, the gray code is 6. When this gray code is converted into a spatial code, 4 is obtained.
図4に示すように、撮像画像の画素位置から撮像部(より詳しくは撮像部の主点位置)への光の入射方向が決まる。また、その画素位置の空間コードが決まると、投影部からの出射方向が特定される。2つの方向が決まると、三角測量の原理に基づき、計測対象物に対する距離計測が可能となる。以上が空間符号化法に基づく距離計測の原理である。 As shown in FIG. 4, the incident direction of light from the pixel position of the captured image to the imaging unit (more specifically, the main point position of the imaging unit) is determined. When the spatial code of the pixel position is determined, the emission direction from the projection unit is specified. When the two directions are determined, distance measurement with respect to the measurement object can be performed based on the principle of triangulation. The above is the principle of distance measurement based on the spatial coding method.
空間符号化法では、投影パターンの明暗を反転させたパターン光(図2の場合、(g)の4ビットネガティブパターン)を併用することで、誤差を低減することができる。その誤差の低減方法について、引き続き図4を用いて説明する。 In the spatial encoding method, errors can be reduced by using together pattern light (in the case of FIG. 2, the 4-bit negative pattern of (g)) in which the brightness of the projection pattern is inverted. A method for reducing the error will be described with reference to FIG.
投影部からの出射方向は空間コード1つ分の幅だけ広がりを持つため、ΔZで示した分だけ距離計測誤差を生む。その誤差を低減するために、最下位のビット(図2では4ビット目のビット)の投影パターン(図2の場合、(f)の4ビットポジティブパターン)の明暗を反転させたネガティブパターン(図2の場合、(g)の4ビットネガティブパターン)をさらに投影する。そして、ポジティブパターンを投影した対象物の撮像画像を構成する各画素の輝度値から成る輝度値波形と、ネガティブパターンを投影した対象物の撮像画像を構成する各画素の輝度値から成る輝度値波形と、の交点位置をパターン位置とする。このパターン位置は、上記の距離計測に使用する。交点位置は隣合う空間コードとの境界位置であるため、理想的には幅を持たない。現実には、デジタル画像信号として取り込む際に量子化と標本化を実施するとともに、撮像画像の輝度階調値に撮像素子ノイズが含まれるため、幅は0にはならないが、距離計測誤差を大きく低減できる。この交点位置を特定する処理はパターン位置特定部43で実行される。以上が距離計測誤差を低減させる方法の説明である。
Since the emission direction from the projection unit has a width corresponding to one space code, a distance measurement error is generated by the amount indicated by ΔZ. In order to reduce the error, a negative pattern (FIG. 2) in which the lightness and darkness of the projection pattern of the least significant bit (the fourth bit in FIG. 2) (the 4-bit positive pattern of (f) in FIG. 2) is inverted is shown. In the case of 2, (g) 4-bit negative pattern) is further projected. Then, a luminance value waveform composed of the luminance value of each pixel composing the captured image of the object projected with the positive pattern and a luminance value waveform composed of the luminance value of each pixel composing the captured image of the object projected with the negative pattern The position of the intersection of and is the pattern position. This pattern position is used for the distance measurement. Since the intersection position is a boundary position with an adjacent space code, ideally, it does not have a width. In reality, quantization and sampling are performed when capturing as a digital image signal, and the image sensor noise is included in the luminance gradation value of the captured image, so the width is not zero, but the distance measurement error is greatly increased. Can be reduced. The pattern
次に、パターン位置の特定精度について、図5を用いて説明する。図5(a)は横軸に画像座標、縦軸に輝度階調値をとったグラフである。横軸の画像座標は、撮像画像中の投影パターンの縞の方向に対して垂直な方向における座標とした。実線は、ポジティブパターンを投影した対象物の撮像画像において、該ポジティブパターンの縞の方向に対して垂直な方向に沿った1ライン上の各画素の輝度値から成る輝度値波形(ポジティブパターン波形)を示す。点線は、ネガティブパターンを投影した対象物の撮像画像において、該ネガティブパターンの縞の方向に対して垂直な方向に沿った1ライン上の各画素の輝度値から成る輝度値波形(ネガティブパターン波形)を示す。なお、それぞれの波形は、それぞれの撮像画像で同じ位置のライン上の各画素の輝度値から成る輝度値波形である。太い実線で囲まれた領域のそれぞれの波形を拡大したものを図5(b)に示す。 Next, the pattern position specifying accuracy will be described with reference to FIG. FIG. 5A is a graph in which the horizontal axis represents image coordinates and the vertical axis represents luminance gradation values. The image coordinates on the horizontal axis are the coordinates in the direction perpendicular to the direction of the stripes of the projection pattern in the captured image. A solid line represents a luminance value waveform (positive pattern waveform) composed of luminance values of pixels on one line along a direction perpendicular to the stripe direction of the positive pattern in the captured image of the object on which the positive pattern is projected. Indicates. A dotted line indicates a luminance value waveform (negative pattern waveform) composed of luminance values of pixels on one line along a direction perpendicular to the stripe direction of the negative pattern in the captured image of the object on which the negative pattern is projected. Indicates. Each waveform is a luminance value waveform composed of the luminance value of each pixel on the line at the same position in each captured image. FIG. 5B shows an enlarged view of each waveform in the area surrounded by the thick solid line.
図5(b)では、ポジティブパターン波形とネガティブパターン波形との交点近傍の4点(何れもポジティブパターン波形上若しくはネガティブパターン波形上)に着目している。交点位置から左側にある2点(何れも画像座標(横軸の値)は同じ)のうちポジティブパターン波形上の点における輝度階調値をPL、ネガティブパターン波形上の点における輝度階調値をNLとしている。また、交点位置から右側にある2点(何れも画像座標(横軸の値)は同じ)のうちポジティブパターン波形上の点における輝度階調値をPR、ネガティブパターン波形上の点における輝度階調値をNRとしている。また、輝度階調値の差分(PL−NL)の絶対値をDLとし、輝度階調値の差分(PR−NR)の絶対値をDRとする。 In FIG. 5B, attention is paid to four points near the intersection of the positive pattern waveform and the negative pattern waveform (all on the positive pattern waveform or on the negative pattern waveform). The luminance gradation value at the point on the positive pattern waveform is PL and the luminance gradation value at the point on the negative pattern waveform among the two points on the left side from the intersection position (both are the same image coordinates (value on the horizontal axis)). NL. Also, PR is the luminance gradation value at the point on the positive pattern waveform among the two points on the right side from the intersection position (both are the same image coordinates (value on the horizontal axis)), and the luminance gradation at the point on the negative pattern waveform The value is NR. In addition, the absolute value of the luminance gradation value difference (PL-NL) is DL, and the absolute value of the luminance gradation value difference (PR-NR) is DR.
そして、交点近傍の輝度波形を直線近似する(輝度階調値PLの点と輝度階調値PRの点との間、輝度階調値NLの点と輝度階調値NRの点との間、のそれぞれを直線で近似する)と、それぞれの直線の交点位置C(画像座標)は、以下の(式1)で表される。 Then, the luminance waveform in the vicinity of the intersection is linearly approximated (between the point of the luminance gradation value PL and the point of the luminance gradation value PR, between the point of the luminance gradation value NL and the point of the luminance gradation value NR, And the intersection position C (image coordinates) of each straight line is expressed by the following (Equation 1).
C=L+DL/(DL+DR) (式1)
ここで、Lは、輝度階調値PLの点(輝度階調値NLの点)の画像座標(横軸の値)である。以下では説明を簡単にするために、交点位置Cを、輝度階調値PLの点(輝度階調値NLの点)の画像座標を基準とした相対位置で説明するため、C=DL/(DL+DR)とする。
C = L + DL / (DL + DR) (Formula 1)
Here, L is the image coordinate (value on the horizontal axis) of the point of the luminance gradation value PL (the point of the luminance gradation value NL). In order to simplify the description below, the intersection position C is described as a relative position with reference to the image coordinates of the point of the luminance gradation value PL (the point of the luminance gradation value NL), so that C = DL / ( DL + DR).
ここで、輝度階調値PL、PR、NL、NRは撮像素子ノイズσだけ揺らぎを持つとする。このとき、交点位置も幅ΔCだけ揺らぎをもつことになる。この幅が交点のサブピクセル位置推定誤差である。サブピクセル位置推定誤差ΔCは下記式で求めることができる。 Here, it is assumed that the luminance gradation values PL, PR, NL, and NR have fluctuations by the image sensor noise σ. At this time, the intersection position also fluctuates by the width ΔC. This width is the subpixel position estimation error at the intersection. The subpixel position estimation error ΔC can be obtained by the following equation.
ΔC=σ/(DL+DR) (式2)
交点のサブピクセル位置推定誤差ΔCが小さいほど、距離計測誤差は小さくなる。(式2)から、サブピクセル位置推定誤差ΔCを低減するためには、分母(輝度階調値の差分であるDLやDRの値)を大きくすればよいことがわかる。輝度階調値の差分DL(DR)は、輝度階調値に比例して大きくなる。さらに、撮像素子ノイズσのうち、ショットノイズ成分は輝度階調値の平方根の値に比例する特性を示すことが多いので、輝度階調値の大きさを大きくすると相対的にノイズσの影響は小さくなる。輝度階調値を大きくするためには、撮像部20における露光量を大きくする、または、パターン光の明るさを明るく、するという2通りの方法がある。
ΔC = σ / (DL + DR) (Formula 2)
The smaller the subpixel position estimation error ΔC at the intersection, the smaller the distance measurement error. From (Equation 2), it can be seen that in order to reduce the subpixel position estimation error ΔC, the denominator (the value of DL or DR which is the difference between the luminance gradation values) may be increased. The luminance gradation value difference DL (DR) increases in proportion to the luminance gradation value. Furthermore, among the image sensor noise σ, the shot noise component often exhibits a characteristic proportional to the square root value of the luminance gradation value. Therefore, when the luminance gradation value is increased, the influence of the noise σ is relatively small. Get smaller. In order to increase the luminance gradation value, there are two methods of increasing the exposure amount in the
この2通りの方法の両方を実行しても構わないし一方のみを実行しても構わない。本実施形態では一例として、撮像部20における露光量を制御する方法のみを実行する。さらに、露光量の制御方法のうち、露光時間のみを制御することとする。しかし、露光量の制御は、露光時間の制御以外の方法によっても実現可能であり、特定の方法に限るものではない。露光量の制御方法のうち、撮像絞り22を制御する方法にも適用できる。また、パターン光の明るさを制御する方法である、光源31の発光輝度の制御、表示素子33の表示階調値の制御、投影絞り34の制御にも適用できる。また、単一の制御量のみを制御する方法に限られるものでなく、複数の制御量を同時に制御することも可能である。
Both of these two methods may be executed, or only one of them may be executed. In the present embodiment, as an example, only the method for controlling the exposure amount in the
次に、露光時間を変更した際の輝度階調値の変化について、図6を用いて説明する。現在の露光時間をNとし、露光時間Nで撮像された撮像画像の輝度階調値の波形を図6(a)に示す。図6(a)の状態では、輝度階調値の波形がすべて飽和レベルには達していないため、精度向上の余地がある。ただし、いたずらに露光時間を大きくすればよいというものではない。 Next, a change in luminance gradation value when the exposure time is changed will be described with reference to FIG. FIG. 6A shows a waveform of luminance gradation values of a captured image captured at the exposure time N, where N is the current exposure time. In the state of FIG. 6A, since all of the luminance gradation value waveforms have not reached the saturation level, there is room for improvement in accuracy. However, it is not necessary to unnecessarily increase the exposure time.
図6(b)に、露光時間を2倍の2Nにしたときの輝度階調値の波形を示す。この波形の中央部では、飽和レベルを超えている。図6(b)では便宜上、飽和レベルを超えた波形を図示したが、実際には飽和レベルを超えた波形は飽和レベルの輝度階調値に頭打ちされて出力される。図6(b)では、交点位置が飽和レベルの輝度階調値に頭打ちされるため、交点位置の特定が不可能となる。交点位置の特定と、サブピクセル推定誤差の低減を両立させるためには、輝度階調値の波形のうち、パターン位置の特定に使用する交点位置近傍の輝度階調値が、飽和レベルの一歩手前まで調整された状態が望ましい。 FIG. 6B shows a waveform of the luminance gradation value when the exposure time is doubled to 2N. In the central part of this waveform, the saturation level is exceeded. In FIG. 6B, for the sake of convenience, the waveform exceeding the saturation level is illustrated, but in reality, the waveform exceeding the saturation level is output by being peaked at the luminance gradation value of the saturation level. In FIG. 6B, since the intersection position reaches the saturation level luminance gradation value, it is impossible to specify the intersection position. In order to achieve both the specification of the intersection position and the reduction of the subpixel estimation error, the luminance gradation value near the intersection position used for specifying the pattern position in the luminance gradation value waveform is one step before the saturation level. The state adjusted to is desirable.
図6(c)に、露光時間を1.5倍の1.5Nにしたときの輝度階調値の波形を示す。図6(c)においては全点灯パターンの波形やポジティブパターン、ネガティブパターンの波形において一部飽和レベルを超えているが、パターン位置の特定に使用する交点位置近傍の輝度階調値は飽和レベルを超えていない。そのため、交点位置の特定も可能であるし、交点近傍の輝度階調値も高い値となるため、サブピクセル位置推定誤差を低減することができる。 FIG. 6C shows a waveform of luminance gradation values when the exposure time is 1.5 times 1.5 times. In FIG. 6C, the waveform of all lighting patterns, the waveform of the positive pattern, and the waveform of the positive pattern partially exceed the saturation level, but the luminance gradation value near the intersection position used for specifying the pattern position shows the saturation level. Not exceeded. Therefore, the position of the intersection can be specified, and the luminance gradation value in the vicinity of the intersection becomes a high value, so that the subpixel position estimation error can be reduced.
なお、金属のように光沢性の高い対象物を対象物5として用いる場合は、対象物のほんの1部分のみにおいて正反射条件が成立し、著しく輝度階調値が高くなることがある。図7にその一例を示す。光沢性の高い対象物としての対象物5上の点51において、投影部からの入射光と撮像部への反射光との間に正反射条件が成立しているとする。正反射条件とは、入射光の入射角と反射光の反射角が等しくなる条件である。このとき、対象物5の光沢性が高い場合には、その領域からの反射光が周りに対して著しく大きくなり、結果として、輝度階調値が著しく高くなる。その部位が飽和レベルに達しないように輝度値を調整すると、その部位を除く画像全体の輝度は低下するため、画像全体として距離計測精度が低くなる結果を招く。従って、本実施形態では、画像中の対象領域(例えば対象物5を包含する領域)全体の画素総数に対してある程度の画素数が飽和レベルに達することを許容する仕組みを導入している。この仕組みについては明暗判定部42に係る説明で詳細に述べる。
Note that when a highly glossy object such as metal is used as the
本実施形態では上記で述べたように、パターン位置の特定に使用する画素の輝度階調値が飽和レベルの一歩手前になるように、撮像画像の露光量やパターン光の明るさを調整する方法を提供する。これにより、高精度なパターン位置の特定を可能とする。さらに、金属光沢のように、一部の領域で著しい飽和を起こすような対象物であっても、飽和レベルの許容範囲を設定することで、一部の領域を犠牲にして、画像全体におけるパターン位置の特定精度を向上させる方法も提供する。 In the present embodiment, as described above, the method of adjusting the exposure amount of the captured image and the brightness of the pattern light so that the luminance gradation value of the pixel used for specifying the pattern position is one step before the saturation level. I will provide a. Thereby, the pattern position can be specified with high accuracy. Furthermore, even for objects that cause significant saturation in some areas, such as metallic luster, by setting the saturation level tolerance, the pattern in the entire image is sacrificed at the expense of some areas. A method for improving the position specifying accuracy is also provided.
次に、画像処理部40が、撮像部20の露光量を調整するために行う処理について、同処理のフローチャートを示す図8を用いて説明する。先ず、ステップS4101では、調整部41は、予め設定されている若しくはユーザが不図示の操作部を介して設定した露光量の初期値(パラメータ)を設定する。撮像画像露光量制御部46は、この露光量の初期値に応じて、撮像部20の露光量を制御する。また、調整部41は、予め設定されている若しくはユーザが不図示の操作部を介して設定したパターン光の明るさの初期値(パラメータ)を設定する。パターン光明るさ制御部45は、このパターン光の明るさの初期値に応じて、投影部30から投影されるパターン光の明るさを制御する。また、調整部41は、露光量の変更量の初期値(パラメータ)を設定する。露光量の変更量の初期値は、例えば、露光量の初期値の1/2の値とすれば良い。もちろん、露光量の変更量の初期値はこの値に限るものではない。
Next, processing performed by the
次に、ステップS4102では、調整部41は、露光量の調整回数の上限値に値AN(ANは2以上の整数)を設定する。調整回数を増加させるほど、より細かい調整が実施できるが、露光量の調整終了までにかかる時間はより長くなる。経験的には10数回程度が好適である。次に、ステップS4103では、調整部41は、露光量の調整回数をカウントするためのカウンタkに値「1」を設定する。
Next, in step S4102, the
ステップS4104では、投影部30は、上記の複数枚の投影パターンから1つずつ順次選択し、該選択した投影パターンを対象物5に対して照射し、撮像部20は、該対象物5を撮像する。投影パターンの種別は、全点灯パターン、全消灯パターン、ポジティブパターン(図2の場合、(c)〜(f)の4つのポジティブパターン)、ネガティブパターン(図2の場合、(g)のネガティブパターン)の4種類である。4ビットの空間符号化法の場合、パターンポジティブパターンとして、4ビットポジティブパターンを、ネガティブパターンとして、4ビットネガティブパターンを使用する。撮像部20は、選択されたパターン光が投影される度に対象物5を撮像する。
In step S <b> 4104, the
ステップS4105では、明暗判定部42及びパターン位置特定部43によって、撮像部20が撮像した撮像画像を用いた明暗判定を行う。ステップS4105における処理の詳細については、図9のフローチャートを用いて後述する。そしてこの明暗判定の結果、明と判断した場合には、処理はステップS4106に進み、暗と判断した場合には、処理はステップS4107に進む。
In step S4105, the brightness determination using the captured image captured by the
ステップS4106では、調整部41は、撮像部20が次回撮像する撮像画像が今回撮像した撮像画像よりも暗くなるように、撮像部20の現在の露光量を示すパラメータを、変更量だけ変更する。そして、撮像画像露光量制御部46は、撮像部20の露光量を、この調整されたパラメータに応じて制御する。
In step S4106, the
一方、ステップS4107では、調整部41は、撮像部20が次回撮像する撮像画像が今回撮像した撮像画像よりも明るくなるように、撮像部20の現在の露光量を示すパラメータを、変更量だけ変更する。そして、撮像画像露光量制御部46は、撮像部20の露光量を、この調整されたパラメータに応じて制御する。
On the other hand, in step S4107, the
ステップS4108では、調整部41は、カウンタkの値がANを超えたか否かを判断する。この判断の結果、k>ANであれば、本処理は終了する。一方、k≦ANであれば、処理はステップS4109に進む。
In step S4108, the
ステップS4109では、調整部41は、カウンタkの値を1つインクリメントする。ステップS4110では、調整部41は、露光量の変更量を更新する。変更量は、調整回数が増加するに従って、段々と小さくしていくことが望ましい。例えば2分探索のような方法が考えらえる。この方法では、変更量を前回の変更量の1/2にしていく。
In step S4109, the
ステップS4110で変更量が更新されると、k≦ANが満たされている間は、ステップS4104〜S4110の各ステップにおける処理が繰り返し実行されることになる。調整回数を重ねていくにしたがって、露光量が探索的に更新され、適切な露光量に近づく。 When the change amount is updated in step S4110, while k ≦ AN is satisfied, the processes in steps S4104 to S4110 are repeatedly executed. As the number of adjustments is repeated, the exposure amount is updated in an exploratory manner and approaches an appropriate exposure amount.
次に、上記のステップS4105における処理の詳細について、図9のフローチャートを用いて説明する。明暗判定部42は、4枚の撮像画像In1〜In4を使用して明暗判定を行い、Out1:暗判定、Out2:暗判定、の何れか一方を、明暗判定の結果として出力する。ここで、撮像画像In1は、全点灯パターンが投影された対象物5の撮像画像、撮像画像In2は、全消灯パターンが投影された対象物5の撮像画像である。また、撮像画像In3は、ポジティブパターンが投影された対象物5の撮像画像、撮像画像In4は、ネガティブパターンが投影された対象物5の撮像画像である。
Next, details of the processing in step S4105 will be described using the flowchart of FIG. The light /
また、明暗判定は2段階で実施される。第1段階目では、撮像画像In1と撮像画像In2とを使用して大まかな明暗判定を行う。第2段階目では、撮像画像In3と撮像画像In4とを用いて、詳細な明暗判定を行う。なお、本実施形態では、このように、第1段階及び第2段階の2段階構成で明暗判定を行うものとして説明するが、第1段階目の明暗判定を省略し、第2段階目の明暗判定のみを行うようにしても構わない。 The light / dark determination is performed in two stages. In the first stage, rough contrast determination is performed using the captured image In1 and the captured image In2. In the second stage, detailed light / dark determination is performed using the captured image In3 and the captured image In4. In the present embodiment, it is assumed that the light / dark determination is performed in the two-stage configuration of the first stage and the second stage as described above, but the light / dark determination in the first stage is omitted, and the light / dark determination in the second stage. Only the determination may be performed.
先ず、第1段階目の明暗判定について説明する。 First, the light / dark determination in the first stage will be described.
ステップS4201では、明暗判定部42は、撮像画像In1若しくは撮像画像In2に対して調整領域を設定する。例えば、撮像画像In1若しくは撮像画像In2の何れか一方を表示対象画像として不図示の表示部に表示させ、ユーザが不図示の操作部を操作して、表示対象画像中に写っている対象物5の領域を調整領域として指定(設定)するようにしても構わない。もちろん、調整領域の設定方法はこれに限るものではなく、撮像画像In1若しくは撮像画像In2中の対象物5の領域が予め決まっている若しくは認識処理により決定した場合は、ユーザ操作を介することなく、対象物5の領域を調整領域として設定しても良い。なお、一方の撮像画像に対して調整領域を設定すると、他方の撮像画像中の同位置にも調整領域が設定されたものとする。次に、ステップS4202では、明暗判定部42は、調整領域内の画素数を、「調整領域画素数X」としてカウントする。
In step S4201, the
次に、ステップS4203では、明暗判定部42は、撮像画像In1中の調整領域若しくは撮像画像In2中の調整領域から、影とおぼしき領域(影領域)を検出する。影領域の検出方法には、例えば、次のような方法がある。即ち、撮像画像In1中の調整領域内の各画素と撮像画像In2中の調整領域内の各画素とで位置的に対応する画素間の輝度階調値の差分値を計算し、差分値が予め設定された閾値(影領域閾値)を下回る画素位置における画素から成る領域を影領域と判定する。ただし、この判定方法だけでは、撮像画像In2中の調整領域内の輝度階調値が飽和レベルに近い、あるいは、飽和レベルに達しているケースにおいても、上記の差分値は小さくなるので、影領域と判定してしまう。このようなケースに対処するために、撮像画像In2の輝度階調値に影領域閾値の値を加算した値が飽和レベルを超える場合には、影領域から除外するという判定式をさらに導入するとよい。もちろん、画像から影領域を特定する方法は上記の方法に限るものではない。
Next, in step S4203, the light /
ステップS4204では、明暗判定部42は、ステップS4202でカウントした調整領域画素数から、ステップS4203で検出した影領域内の画素数を差し引いた残りの画素数を、非影領域の画素数Yとして求める。非影領域の画素数とは、調整領域から影領域を除いた残りの領域内の画素数である。
In step S4204, the light /
ステップS4205では、明暗判定部42は、非影領域の画素数Yを調整領域内の画素数Xで割った値(調整領域内の画素数Xに対する非影領域の画素数Yの割合)が、予め設定されている閾値Aを超えているか否かを判断する。調整領域内に影領域が多く占めている場合には、Y/Xは比較的小さな値をとることになる。然るに、Y/X≦閾値A(閾値以下)であれば、調整領域内には影領域が多く占めており、その結果、明暗判定部42は、明暗判定の結果として「暗判定(Out1)」を出力する。
In step S4205, the
一方、調整領域内に非影領域が多く占めている場合には、Y/Xは比較的大きな値をとることになる。然るに、Y/X>閾値Aであれば、第2段階目の明暗判定を実行すべく、処理はステップS4206に進む。 On the other hand, when there are many non-shadow areas in the adjustment area, Y / X takes a relatively large value. However, if Y / X> threshold A, the process advances to step S4206 to execute the second-level light / dark determination.
続いて、第2段階目の明暗判定について説明する。第2段階目の明暗判定では、上記の如く、撮像画像In3と撮像画像In4とを用いる。ステップS4206では、パターン位置特定部43は、撮像画像In3(撮像画像In4)における調整領域内で、上記の交点位置を、パターン位置として推定する処理を行う。例えば、撮像画像In3内の画素位置(x−1,y)における輝度階調値をP1、撮像画像In3内の画素位置(x+1,y)における輝度階調値をP2とする。また、撮像画像In4内の画素位置(x−1,y)における輝度階調値をQ1、撮像画像In4内の画素位置(x+1,y)における輝度階調値をQ2とする。このとき、「P1>Q1ならばP2<Q2」(条件1)若しくは「P1<Q1ならばP2>Q2」(条件2)が満たされていれば、画素位置(x、y)は交点位置と判断する。一方、条件1及び条件2の何れも満たされていない場合には、画素位置(x、y)は交点位置ではないと判断する。このようにして、撮像画像In3(撮像画像In4)における調整領域内の全ての画素位置(x、y)についてこのような条件判定を行うことで、各画素位置が交点位置か否かを判断することができる。ステップS4207では、パターン位置特定部43は、ステップS4206で推定した交点位置(計測画素)の数を、「計測画素数Z」としてカウントする。
Next, the second level light / dark determination will be described. In the second-level light / dark determination, the captured image In3 and the captured image In4 are used as described above. In step S4206, the pattern
ステップS4208では、明暗判定部42は、計数画素数Zを非影領域の画素数Yで割った値(非影領域の画素数Yに対する計数画素数Zの割合、即ち、計測画素の検出量に相当)が、予め設定されている閾値Bを超えているか否かを判断する。非影領域の画素数に対する交点位置の数の割合が低い場合、調整領域内の多くの画素の輝度階調値が飽和レベルに達しているために、交点位置があまり多く得られていないと考えられる。例えば、図6(b)の中央付近では、交点位置における画素の輝度階調値は何れも飽和レベルを超えており、結果としてこれら交点位置を求めることはできないために、Z/Yの値は比較的小さな値となる。然るに、Z/Y≦閾値Bであれば、明暗判定部42は、明暗判定の結果として「明判定(Out2)」を出力する。一方、Z/Y>閾値Bであれば、交点位置の多くが算出可能であるために、処理はステップS4209に進む。
In step S4208, the
ステップS4209では、明暗判定部42は、各交点位置について、該交点位置の近傍位置にある画素の輝度階調値が飽和しているか否かを判断する。より詳しくは、先ず、交点位置に近接する、ポジティブパターン波形上の2点及びネガティブパターン波形上の2点の計4点(図5(b)の場合、PR,PL,NR,NLのそれぞれの輝度階調値を有する4点)の輝度階調値を参照する。そしてこの4点のうち、輝度階調値が飽和レベル以上となる点が1以上あれば、交点位置における画素を、飽和計測画素と判定する。このような処理を、求めたそれぞれの交点位置について行う。ステップS4210では、明暗判定部42は、ステップS4209で飽和計測画素として判定された画素の個数を、「飽和計測画素数g」としてカウントする。
In step S4209, the light /
ステップS4211では、明暗判定部42は、「飽和計測画素数g」を「計測画素数Z」で割った値(計測画素数Zに対する飽和計測画素数gの割合)が、予め設定されている閾値Cを超えているか否かを判断する。そして明暗判定部42は、g/Z>閾値Cの場合には、明暗判定の結果として「明判定(Out2)」を出力し、g/Z≦閾値Cの場合には、明暗判定の結果として「暗判定(Out1)」を出力する。
In step S4211, the
なお、金属のように光沢性が高い対象物では、入射光と反射光の間に正反射条件が成立するところで、輝度階調値が著しく高くなることを前述した。ステップS4209〜ステップS4211において、飽和レベルを超える近傍画素をある程度許容する仕組みを導入しているため、光沢性が高い対象物においても、正反射領域の影響を受けることなく、明暗判定を適切に行うことが可能となる。結果として、光沢性が高い部品においても露光量の調整処理が適切に機能する。 As described above, in an object having high gloss such as metal, the luminance gradation value is remarkably increased when the regular reflection condition is established between the incident light and the reflected light. In steps S4209 to S4211, since a mechanism that allows some neighboring pixels exceeding the saturation level is introduced to some extent, even for an object with high glossiness, light / dark determination is appropriately performed without being affected by the regular reflection region. It becomes possible. As a result, the exposure adjustment process functions properly even for parts with high glossiness.
<変形例>
第1の実施形態では、パターン位置の特定に、空間符号化法のポジティブパターン波形とネガティブパターン波形との交点位置を用いる方法を述べたが、パターン位置の特定方法はこれに限るものではない。例えば、輝度階調波形のピーク位置を用いてパターン位置を特定するようにしても構わない。パターン光としては、例えば図14に示す複数本のライン光から構成されるパターン光を用いることができる。輝度階調波形からピーク位置を求める方法としては、輝度階調波形の差分値(微分値)を求め、差分値が0となる位置をピーク位置とする方法を用いることが多い。
<Modification>
In the first embodiment, the method of using the intersection position between the positive pattern waveform and the negative pattern waveform of the spatial encoding method is described for specifying the pattern position. However, the method for specifying the pattern position is not limited to this. For example, the pattern position may be specified using the peak position of the luminance gradation waveform. As the pattern light, for example, pattern light composed of a plurality of line lights shown in FIG. 14 can be used. As a method for obtaining the peak position from the luminance gradation waveform, a method is often used in which a difference value (differential value) of the luminance gradation waveform is obtained and a position where the difference value is 0 is set as the peak position.
図15(a)、図15(b)は、横軸に画像座標を、縦軸に輝度階調値をとったグラフであり、ピーク位置近傍の範囲を拡大表示したものである。図15(c)、図15(d)は、横軸に画像座標を、縦軸に輝度階調値の差分値をとったグラフである。差分値とは、注目している画素と隣合う画素の輝度階調値との差である。 FIG. 15A and FIG. 15B are graphs in which the horizontal axis represents image coordinates and the vertical axis represents luminance gradation values, in which the range near the peak position is enlarged and displayed. FIG. 15C and FIG. 15D are graphs in which the horizontal axis represents the image coordinates and the vertical axis represents the difference value of the luminance gradation value. The difference value is the difference between the pixel of interest and the luminance gradation value of the adjacent pixel.
図15(a)が飽和レベルを超えない場合の輝度階調波形で、図15(c)が対応する輝度階調値の差分値の波形である。図15(b)が飽和レベルを超える場合の輝度階調波形で、図15(d)が対応する画像輝度階調値の差分値の波形である。 FIG. 15A is a luminance gradation waveform when the saturation level is not exceeded, and FIG. 15C is a waveform of the difference value of the corresponding luminance gradation value. FIG. 15B is a luminance gradation waveform when the saturation level is exceeded, and FIG. 15D is a waveform of the difference value of the corresponding image luminance gradation value.
図15(c)においてはピーク位置の検出結果が一意に求まることがわかる。一方で図15(d)の場合には、図15(b)の輝度階調波形が飽和レベルに頭打ちされるため、差分値が0となる範囲が広く、ピーク位置の検出結果の誤差が大きくなることがわかる。飽和レベルを超えない場合においても、撮像素子のノイズ影響があるため、輝度階調値が高いほど、ピーク位置の検出精度は高くなる。つまり、ピーク位置検出によりパターン光の位置を特定する方法においても、輝度階調値が飽和レベルの一歩手前まで調整された状態が望ましく、上記の明暗判定処理、および、調整部における処理の大枠が適用できる。本変形例の場合の明暗判定処理は、以下の点で第1の実施形態と異なる。 In FIG. 15C, it can be seen that the detection result of the peak position is uniquely obtained. On the other hand, in the case of FIG. 15D, since the luminance gradation waveform of FIG. 15B reaches the saturation level, the range where the difference value becomes 0 is wide, and the error in the detection result of the peak position is large. I understand that Even when the saturation level is not exceeded, there is an influence of noise on the image sensor, so that the higher the luminance gradation value, the higher the peak position detection accuracy. In other words, even in the method of specifying the position of the pattern light by detecting the peak position, it is desirable that the luminance gradation value is adjusted to one step before the saturation level, and the outline of the above-described light / dark determination process and the process in the adjustment unit is as follows. Applicable. The light / dark determination process in the case of this modification is different from the first embodiment in the following points.
第1の実施形態では、空間符号化法の場合、交点位置を求めるためには、撮像画像In3及び撮像画像In4を必要としたが、本変形例(ピーク位置を用いる方法)では、図14に示したパターン光を投影した対象物5の撮像画像のみを用いる。ステップS4206における処理では、撮像画像において輝度階調値の微分値が0になる画素の位置を上記の交点位置の代わりに特定する。以降は第1の実施形態と同様である。
In the first embodiment, in the case of the spatial encoding method, the captured image In3 and the captured image In4 are required to obtain the intersection position, but in the present modification (method using the peak position), FIG. Only the captured image of the
このように、計測に使用する画素の輝度階調値に基づいて露光量を調整するため、計測精度を高めることが可能である。また、ある程度の画素が飽和レベルを超えることを許容する仕組みをさらに有するため、光沢性の高い部品においても画像全体の計測精度を高めるように露光量調整することが可能となる。 As described above, since the exposure amount is adjusted based on the luminance gradation value of the pixel used for measurement, it is possible to improve the measurement accuracy. In addition, since it further has a mechanism that allows a certain amount of pixels to exceed the saturation level, it is possible to adjust the exposure amount so as to improve the measurement accuracy of the entire image even in a highly glossy part.
また、第1の実施形態では、探索に基づく露光量調整を実施した。探索には複数回の画像撮像を伴うため、露光量調整に時間を要するが、対象物に関する知識がない場合に有効に働く。また、調整パラメータと撮影画像輝度間の関係性が不明確な場合にも有効である。 In the first embodiment, the exposure amount adjustment based on the search is performed. Since the search involves imaging multiple times, it takes time to adjust the exposure amount, but it works effectively when there is no knowledge about the object. It is also effective when the relationship between the adjustment parameter and the captured image luminance is unclear.
[第2の実施形態]
本実施形態に係る画像処理装置の機能構成例について、図10のブロック図を用いて説明する。なお、図10において、図1に示した機能部と同じ機能部には同じ参照番号を付しており、これらの機能部に係る説明は省略する。図10に示した構成は、図1の構成において、明暗判定部42を適切露光量算出部47に置き換えた構成となっている。
[Second Embodiment]
A functional configuration example of the image processing apparatus according to the present embodiment will be described with reference to the block diagram of FIG. In FIG. 10, the same functional units as those shown in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted. The configuration shown in FIG. 10 is a configuration in which the
適切露光量算出部47は、初期の露光量に応じて撮像部20が撮像した撮像画像から、次回用の適切な露光量を算出する。本実施形態では、第1の実施形態とは異なり、探索を必要としないため、調整に要する時間が短くて済むが、一方で、初期露光量がある程度妥当な範囲に調整済みである必要がある。また、調整パラメータと輝度階調値との間の関係性を把握しておく必要がある。撮像部の露光時間が調整パラメータであれば、露光時間を2倍にした場合に、撮像画像の輝度階調値も凡そ2倍になるように線形性が高いため、本実施形態を適用するのに好適な調整パラメータであるといえる。ただし、本実施形態の適用できる調整パラメータが線形性が高いものに限られるものではなく、事前に調整パラメータと輝度階調値との関係性が見いだせていればよい。例えば、光源にLEDを使用する場合に、その電流の値と輝度階調値の関係性は一般に非線形となる。このときは事前にLED電流の値と輝度階調値との関係を測定しておけばよい。
The appropriate exposure
本実施形態に係る画像処理部40が露光量を調整する為に行う処理について、同処理のフローチャートを示す図11を用いて説明する。ステップS4121では、調整部41は、予め設定されている若しくはユーザが不図示の操作部を介して設定した露光量の初期値(パラメータ)を設定する。本実施形態における初期露光量はある程度妥当な範囲に事前に調整されているものとする。例えば、第1の実施形態の露光量調整を事前に実施しておき、それを初期露光量とするとよい。撮像画像露光量制御部46は、この露光量の初期値に応じて、撮像部20の露光量を制御する。また、調整部41は、予め設定されている若しくはユーザが不図示の操作部を介して設定したパターン光の明るさの初期値(パラメータ)を設定する。パターン光明るさ制御部45は、このパターン光の明るさの初期値に応じて、投影部30から投影されるパターン光の明るさを制御する。
Processing performed by the
ステップS4102では、投影部30は、ポジティブパターン、ネガティブパターンのそれぞれから1つずつ順次選択し、該選択した投影パターンを対象物5に対して照射し、撮像部20は、該対象物5を撮像する。4ビットの空間符号化法の場合、4ビットパターンを使用する。撮像部20は、選択されたパターン光が投影される度に対象物5を撮像する。
In step S4102, the
ステップS4123では、適切露光量算出部47及びパターン位置特定部43により、撮像部20が撮像した撮像画像を用いて適切な露光量(パラメータ)を算出する処理を行う。ステップS4123における処理の詳細については、図12のフローチャートを用いて後述する。ステップS4124では、撮像画像露光量制御部46は、撮像部20における撮像時の露光量を、ステップS4123で算出したパラメータに応じて制御する。
In step S4123, the appropriate exposure
次に、上記のステップS4123における処理の詳細について、図12のフローチャートを用いて説明する。ステップS4221では、パターン位置特定部43は、上記のステップS4206における処理と同様にして、撮像画像In3(撮像画像In4)における調整領域内で、上記の交点位置を推定する処理を行う。
Next, details of the processing in step S4123 will be described using the flowchart of FIG. In step S4221, the pattern
ステップS4222で適切露光量算出部47は、交点位置の近傍且つポジティブパターン波形上の2点及びネガティブパターン波形上の2点の計4点(図5(b)の場合、PR,PL,NR,NLのそれぞれの輝度階調値を有する4点)の輝度階調値を参照する。そして参照した4点の輝度階調値のうち最大値を、該交点位置における輝度階調値とする。これを、それぞれの交点位置について行う。
In step S4222, the appropriate exposure
ステップS4223では、適切露光量算出部47は、それぞれの交点位置についてステップS4222で求めた輝度階調値のヒストグラム(分布)を作成する。そしてステップS4224では、適切露光量算出部47は、ヒストグラムにおいて、飽和レベル以上の輝度階調値を有する交点位置数(画素数)を総交点位置数で割った値が規定の閾値と規定の範囲内で同じであるような露光量を算出する。
In step S4223, the appropriate exposure
ステップS4222及びS4223における処理について、図13を用いて説明する。図13(a)に、調整前のヒストグラムを示す。なお、横軸が輝度階調値であり、縦軸が画素数である。輝度階調値と調整パラメータとの間の関係は予め把握できている。そのため、(飽和レベル以上の画素の総数)/(計測画素の総数)≒閾値になる調整パラメータが一意に決まる。調整後のヒストグラムは図13(b)のようになる。そして、撮像画像露光量制御部46は、撮像部20における撮像時の露光量を、このように算出されたパラメータに応じて制御する。
Processing in steps S4222 and S4223 will be described with reference to FIG. FIG. 13A shows a histogram before adjustment. The horizontal axis is the luminance gradation value, and the vertical axis is the number of pixels. The relationship between the luminance gradation value and the adjustment parameter can be grasped in advance. Therefore, an adjustment parameter that uniquely satisfies ((total number of pixels above the saturation level) / (total number of measurement pixels) ≈threshold) is uniquely determined. The adjusted histogram is as shown in FIG. And the captured image exposure
なお、本実施形態では、露光量のみを調整する場合について説明したが、投影部30に対するパラメータを調整しても構わないし、露光量及び投影部30に対するパラメータの双方を調整するようにしても構わない。
In this embodiment, the case of adjusting only the exposure amount has been described. However, the parameter for the
[第3の実施形態]
画像処理部40を構成する各機能部は何れもハードウェアで構成しても良いが、ソフトウェア(コンピュータプログラム)で構成しても良い。このような場合、このコンピュータプログラムをインストールすると該コンピュータプログラムを実行する装置は、画像処理部40に適用可能である。画像処理部40に適用可能な装置のハードウェア構成例について、図16のブロック図を用いて説明する。
[Third Embodiment]
Each functional unit configuring the
CPU1601は、RAM1602やROM1603に格納されているコンピュータプログラムやデータを用いて処理を実行することで、本装置全体の動作制御を行うと共に、画像処理部40が行うものとして上述した各処理を実行する。
The
RAM1602は、外部記憶装置1606からロードされたコンピュータプログラムやデータ、I/F(インターフェース)1607を介して外部から受信したデータなどを一時的に記憶するためのエリアを有する。更にRAM1602は、CPU1601が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1602は、各種のエリアを適宜提供することができる。ROM1603には、本装置の設定データやブートプログラムなどが格納されている。
The
操作部1604は、キーボードやマウスなどにより構成されており、本装置のユーザが操作することで、各種の指示をCPU1601に対して入力することができる。例えば、上記の調整領域の指定は、この操作部1604を操作することで指定することができる。
The
表示部1605は、CRTや液晶画面等により構成されており、CPU1601による処理結果を画像や文字などでもって表示することができる。例えば、撮像画像In1や撮像画像In2を含む、調整領域を指定するための画面を表示することができる。
The display unit 1605 is configured by a CRT, a liquid crystal screen, or the like, and can display a processing result by the
外部記憶装置1606は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。この外部記憶装置1606には、OS(オペレーティングシステム)や、図1,10に示した画像処理部40内の各機能部が行うものとして上述した各処理をCPU1601に実行させるためのコンピュータプログラムやデータが保存されている。このデータには、上記の説明において既知の情報として説明した情報も含まれる。外部記憶装置1606に保存されているコンピュータプログラムやデータは、CPU1601による制御に従って適宜RAM1602にロードされ、CPU1601による処理対象となる。
The
I/F1607は、本装置が外部機器と通信を行うためのものであり、例えば、このI/F1607には、上記の撮像部20や投影部30を接続することができる。上記の各部は何れも、バス1608に接続されている。
The I /
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (13)
前記取得した撮像画像中のパターンの輝度値に応じて、前記パターンを投影する投影手段から投影される該パターンの明暗を制御するためのパラメータ、及び前記撮像手段の露光量を制御するためのパラメータ、のうち少なくともいずれか一方を制御する制御手段と
を備えることを特徴とする画像処理装置。 An acquisition means for acquiring a captured image obtained by imaging the object on which the pattern is projected by the imaging means;
Parameters for controlling the brightness of the pattern projected from the projection means for projecting the pattern according to the brightness value of the pattern in the acquired captured image, and parameters for controlling the exposure amount of the imaging means And a control means for controlling at least one of the image processing apparatus.
第1のパターンが投影された前記対象物の第1の撮像画像を構成する各画素の輝度値から成る輝度値波形と、該第1のパターンにおける明暗を反転させた第2のパターンが投影された前記対象物の第2の撮像画像を構成する各画素の輝度値から成る輝度値波形と、の交点を求め、
前記撮像画像の画素数に対する前記交点の数の割合に応じて、前記投影手段から投影されるパターンの明暗を制御するためのパラメータ、及び前記撮像手段の露光量を制御するためのパラメータ、のうち少なくともいずれか一方を制御する
を備えることを特徴とする請求項1に記載の画像処理装置。 The control means includes
A luminance value waveform composed of luminance values of the respective pixels constituting the first captured image of the object on which the first pattern is projected, and a second pattern obtained by inverting the brightness in the first pattern are projected. The intersection of the luminance value waveform composed of the luminance value of each pixel constituting the second captured image of the object is obtained,
A parameter for controlling brightness and darkness of a pattern projected from the projection unit and a parameter for controlling an exposure amount of the imaging unit according to a ratio of the number of intersections to the number of pixels of the captured image; The image processing apparatus according to claim 1, further comprising: at least one of which is controlled.
該第2の割合が閾値を超えている場合には、前記投影手段から投影されるパターンの明暗を制御するためのパラメータを該パターンがより暗くなるように制御する、若しくは前記撮像手段の露光量を制御するためのパラメータを該露光量がより小さくなるように制御し、
該第2の割合が閾値以下であれば、前記投影手段から投影されるパターンの明暗を制御するためのパラメータを該パターンがより明るくなるように制御する、若しくは前記撮像手段の露光量を制御するためのパラメータを該露光量がより大きくなるように制御する
ことを特徴とする請求項3または4に記載の画像処理装置。 When the ratio exceeds a threshold value, the control means obtains a ratio of the number of intersection points obtained by referring to a pixel having a saturated pixel value as a second ratio with respect to the number of intersection points,
When the second ratio exceeds a threshold value, the parameter for controlling the brightness of the pattern projected from the projection unit is controlled so that the pattern becomes darker, or the exposure amount of the imaging unit Control the parameter for controlling the exposure amount to be smaller,
If the second ratio is equal to or less than a threshold value, the parameter for controlling the brightness of the pattern projected from the projection unit is controlled so that the pattern becomes brighter, or the exposure amount of the imaging unit is controlled. The image processing apparatus according to claim 3, wherein the parameter for controlling the exposure amount is controlled to be larger.
該第2の割合が閾値を超えている場合には、前記投影手段から投影されるパターンの明暗を制御するためのパラメータを該パターンがより暗くなるように制御する、且つ前記撮像手段の露光量を制御するためのパラメータを該露光量がより小さくなるように制御し、
該第2の割合が閾値以下であれば、前記投影手段から投影されるパターンの明暗を制御するためのパラメータを該パターンがより明るくなるように制御する、且つ前記撮像手段の露光量を制御するためのパラメータを該露光量がより大きくなるように制御する
ことを特徴とする請求項3または4に記載の画像処理装置。 When the ratio exceeds a threshold value, the control means obtains a ratio of the number of intersection points obtained by referring to a pixel having a saturated pixel value as a second ratio with respect to the number of intersection points,
When the second ratio exceeds a threshold value, the parameter for controlling the brightness of the pattern projected from the projection unit is controlled so that the pattern becomes darker, and the exposure amount of the imaging unit Control the parameter for controlling the exposure amount to be smaller,
If the second ratio is equal to or less than a threshold value, the parameter for controlling the brightness of the pattern projected from the projection unit is controlled so that the pattern becomes brighter, and the exposure amount of the imaging unit is controlled. The image processing apparatus according to claim 3, wherein the parameter for controlling the exposure amount is controlled to be larger.
前記撮像手段による撮像画像を用いて、前記対象物に対する距離計測を行う手段を備えることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 Furthermore,
The image processing apparatus according to claim 1, further comprising a unit that measures a distance to the object using an image captured by the imaging unit.
前記撮像画像からパターンの位置を検出するために参照したそれぞれの画素の画素値のうち最大の画素値を特定し、該最大の画素値の分布を取得する手段と、
前記分布を用いて、前記パターンを投影した投影手段から投影されるパターンの明暗を制御するためのパラメータ、若しくは前記撮像手段の露光量を制御するためのパラメータ、を制御する制御手段と
を備えることを特徴とする画像処理装置。 An acquisition means for acquiring a captured image obtained by imaging an object on which a pattern is projected by an imaging means;
Means for specifying a maximum pixel value among pixel values of each pixel referred to detect a position of a pattern from the captured image, and acquiring a distribution of the maximum pixel value;
Control means for controlling a parameter for controlling the brightness of the pattern projected from the projection means that projected the pattern, or a parameter for controlling the exposure amount of the imaging means, using the distribution. An image processing apparatus.
前記画像処理装置の取得手段が、パターンが投影された対象物を撮像手段によって撮像した撮像画像を取得する取得工程と、
前記画像処理装置の制御手段が、前記取得した撮像画像中のパターンの輝度値に応じて、前記パターンを投影する投影手段から投影される該パターンの明暗を制御するためのパラメータ、及び前記撮像手段の露光量を制御するためのパラメータ、のうち少なくともいずれか一方を制御する制御工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition unit of the image processing apparatus acquires a captured image obtained by imaging an object on which a pattern is projected by the imaging unit;
Parameters for controlling brightness and darkness of the pattern projected from the projecting means for projecting the pattern according to the brightness value of the pattern in the acquired captured image by the control means of the image processing apparatus, and the imaging means And a control step for controlling at least one of the parameters for controlling the exposure amount of the image.
前記画像処理装置の取得手段が、パターンが投影された対象物を撮像手段によって撮像された撮像画像を取得する取得工程と、
前記画像処理装置の分布を取得する手段が、前記撮像画像からパターンの位置を検出するために参照したそれぞれの画素の画素値のうち最大の画素値を特定し、該最大の画素値の分布を取得する工程と、
前記画像処理装置の制御手段が、前記分布を用いて、前記パターンを投影した投影手段から投影されるパターンの明暗を制御するためのパラメータ、若しくは前記撮像手段の露光量を制御するためのパラメータ、を制御する制御工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition unit of the image processing apparatus acquires a captured image obtained by imaging an object on which a pattern is projected by the imaging unit;
The means for acquiring the distribution of the image processing device identifies the maximum pixel value among the pixel values of each pixel referred to in order to detect the position of the pattern from the captured image, and determines the distribution of the maximum pixel value. A process of acquiring;
The control means of the image processing apparatus uses the distribution to control parameters for controlling the brightness of the pattern projected from the projection means that projected the pattern, or parameters for controlling the exposure amount of the imaging means, An image processing method comprising: a control step of controlling
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013225819A JP6267486B2 (en) | 2013-10-30 | 2013-10-30 | Image processing apparatus and image processing method |
EP14003573.4A EP2869023B1 (en) | 2013-10-30 | 2014-10-20 | Image processing apparatus, image processing method and corresponding computer program |
US14/519,270 US9819872B2 (en) | 2013-10-30 | 2014-10-21 | Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount |
CN201410601537.3A CN104601899B (en) | 2013-10-30 | 2014-10-30 | Image processing apparatus and image processing method |
US15/715,297 US10257428B2 (en) | 2013-10-30 | 2017-09-26 | Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013225819A JP6267486B2 (en) | 2013-10-30 | 2013-10-30 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015087243A true JP2015087243A (en) | 2015-05-07 |
JP6267486B2 JP6267486B2 (en) | 2018-01-24 |
Family
ID=53050174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013225819A Active JP6267486B2 (en) | 2013-10-30 | 2013-10-30 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6267486B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017003469A (en) * | 2015-06-11 | 2017-01-05 | キヤノン株式会社 | Three-dimensional measurement device, three-dimensional measurement device control method and program |
JP2017009351A (en) * | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | Information processing unit, information processing method and program |
JP2017125764A (en) * | 2016-01-14 | 2017-07-20 | 株式会社リコー | Object detection apparatus and image display device including the same |
JP2019100852A (en) * | 2017-12-01 | 2019-06-24 | オムロン株式会社 | Image processing system and image processing method |
CN114615483A (en) * | 2020-12-03 | 2022-06-10 | 精工爱普生株式会社 | Adjustment method, measurement method, projection system, information processing apparatus, and recording medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008032608A (en) * | 2006-07-31 | 2008-02-14 | Aisin Seiki Co Ltd | Method and apparatus for measuring three-dimensional shape |
JP2008096439A (en) * | 2006-10-11 | 2008-04-24 | Steinbichler Optotechnik Gmbh | Method and device for determining three-dimensional coordinates of object |
JP2009168658A (en) * | 2008-01-17 | 2009-07-30 | Nikon Corp | Three-dimensional shape measuring device |
JP2012127821A (en) * | 2010-12-15 | 2012-07-05 | Canon Inc | Distance measuring device, distance measurement method, and program |
US20130141544A1 (en) * | 2011-12-06 | 2013-06-06 | Canon Kabushiki Kaisha | Information processing apparatus, control method for the same and storage medium |
JP2013185832A (en) * | 2012-03-05 | 2013-09-19 | Canon Inc | Information processing apparatus and information processing method |
-
2013
- 2013-10-30 JP JP2013225819A patent/JP6267486B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008032608A (en) * | 2006-07-31 | 2008-02-14 | Aisin Seiki Co Ltd | Method and apparatus for measuring three-dimensional shape |
JP2008096439A (en) * | 2006-10-11 | 2008-04-24 | Steinbichler Optotechnik Gmbh | Method and device for determining three-dimensional coordinates of object |
US20080130016A1 (en) * | 2006-10-11 | 2008-06-05 | Markus Steinbichler | Method and an apparatus for the determination of the 3D coordinates of an object |
JP2009168658A (en) * | 2008-01-17 | 2009-07-30 | Nikon Corp | Three-dimensional shape measuring device |
JP2012127821A (en) * | 2010-12-15 | 2012-07-05 | Canon Inc | Distance measuring device, distance measurement method, and program |
US20130141544A1 (en) * | 2011-12-06 | 2013-06-06 | Canon Kabushiki Kaisha | Information processing apparatus, control method for the same and storage medium |
JP2013120092A (en) * | 2011-12-06 | 2013-06-17 | Canon Inc | Information processing apparatus, control method for the same and program |
JP2013185832A (en) * | 2012-03-05 | 2013-09-19 | Canon Inc | Information processing apparatus and information processing method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017003469A (en) * | 2015-06-11 | 2017-01-05 | キヤノン株式会社 | Three-dimensional measurement device, three-dimensional measurement device control method and program |
US10378886B2 (en) | 2015-06-11 | 2019-08-13 | Canon Kabushiki Kaisha | Three dimensional measurement apparatus, control method for three dimensional measurement apparatus, and storage medium |
JP2017009351A (en) * | 2015-06-18 | 2017-01-12 | キヤノン株式会社 | Information processing unit, information processing method and program |
US10334147B2 (en) | 2015-06-18 | 2019-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2017125764A (en) * | 2016-01-14 | 2017-07-20 | 株式会社リコー | Object detection apparatus and image display device including the same |
JP2019100852A (en) * | 2017-12-01 | 2019-06-24 | オムロン株式会社 | Image processing system and image processing method |
US11118901B2 (en) | 2017-12-01 | 2021-09-14 | Omron Corporation | Image processing system and image processing method |
CN114615483A (en) * | 2020-12-03 | 2022-06-10 | 精工爱普生株式会社 | Adjustment method, measurement method, projection system, information processing apparatus, and recording medium |
CN114615483B (en) * | 2020-12-03 | 2023-08-01 | 精工爱普生株式会社 | Adjustment method, measurement method, projection system, information processing apparatus, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6267486B2 (en) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2869023B1 (en) | Image processing apparatus, image processing method and corresponding computer program | |
JP6346427B2 (en) | Image processing apparatus and image processing method | |
JP6267486B2 (en) | Image processing apparatus and image processing method | |
US10917581B2 (en) | Optical measurement system with dynamic exposure time and operating method therefor | |
US20170061226A1 (en) | Optical encoder capable of identifying absolute positions and operating method thereof | |
US20170186222A1 (en) | Image processing apparatus and control method thereof | |
US9329702B2 (en) | Navigational device with adjustable tracking parameter | |
US20180335298A1 (en) | Three-dimensional shape measuring apparatus and control method thereof | |
US20120274606A1 (en) | Optical navigation system with object detection | |
US20200041253A1 (en) | Optical distance measurement system | |
US20180184053A1 (en) | Compensating for vignetting | |
TW201633077A (en) | Image processing method capable of detecting noise and related navigation device | |
US8804029B2 (en) | Variable flash control for improved image detection | |
TWI618450B (en) | Illuminance acquisition device, lighting control system and program | |
EP4094180A1 (en) | Determination of illumination sections | |
CN109661683B (en) | Structured light projection method, depth detection method and structured light projection device based on image content | |
TWI479372B (en) | Optical displacement detection apparatus and optical displacement detection method | |
JP2014035294A (en) | Information acquisition device and object detector | |
JP5978829B2 (en) | Image sensor exposure control apparatus and method, and image pickup apparatus | |
TWI708166B (en) | Optical navigation mechanism capable of dynamically learning different materials of different working surfaces | |
KR20220024901A (en) | How to determine one or more groups of exposure settings to use in the 3D image acquisition process | |
CN108332720B (en) | Optical distance measuring system | |
JP2011041036A (en) | Image processing apparatus, image processing method, and electronic equipment | |
TWI427508B (en) | An optical sensing device and a method of adjusting an exposure condition for the same | |
SE2251254A1 (en) | Method for estimating pupil size |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6267486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |