JP2014115264A - 3次元形状測定装置及びその制御方法 - Google Patents

3次元形状測定装置及びその制御方法 Download PDF

Info

Publication number
JP2014115264A
JP2014115264A JP2012271775A JP2012271775A JP2014115264A JP 2014115264 A JP2014115264 A JP 2014115264A JP 2012271775 A JP2012271775 A JP 2012271775A JP 2012271775 A JP2012271775 A JP 2012271775A JP 2014115264 A JP2014115264 A JP 2014115264A
Authority
JP
Japan
Prior art keywords
pattern
imaging
projection
dimensional shape
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012271775A
Other languages
English (en)
Other versions
JP6161276B2 (ja
JP2014115264A5 (ja
Inventor
Tomomi Tsuyuki
智美 露木
Toshinori Ando
利典 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012271775A priority Critical patent/JP6161276B2/ja
Priority to US14/095,160 priority patent/US10066934B2/en
Priority to CN201310674771.4A priority patent/CN103868471B/zh
Priority to EP13196610.3A priority patent/EP2743636A1/en
Publication of JP2014115264A publication Critical patent/JP2014115264A/ja
Publication of JP2014115264A5 publication Critical patent/JP2014115264A5/ja
Application granted granted Critical
Publication of JP6161276B2 publication Critical patent/JP6161276B2/ja
Priority to US16/049,901 priority patent/US20180335298A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】 三角測量時に位置を決定づける少なくとも1つ以上の第1のパターンでは、それ以外のパターンよりも露光量を大きくし、その第1のパターンにおけるショットノイズの影響を低くして精度を高めると共に、全体としての消費電力も低減させる。
【解決手段】 複数種類のパターンのパターン光を計測対象物に投影し、前記計測対象物を撮像して前記計測対象物の3次元形状を測定する3次元形状測定装置において、投影手段及び撮像手段を制御し、複数種類のパターンのうち、第1のパターンについては、当該第1のパターン以外のパターンよりも露光量を大きくする。
【選択図】 図1

Description

本発明は計測対象物にパターン光を投影し、これを撮像することで測定対象物の3次元形状データを取得する技術に関するものである。
投影装置と撮像装置とを既知の関係に配置し、投影装置から複数のパターン光を計測対象物に投影し、投影するたびに撮像装置が計測対象物を撮像することで、計測対象物の3次元形状データを取得する3次元計測装置が広く知られている。
特許文献1では、計測対象物に複数の二値化パターンを投影し、3次元空間をコード化して計測対象物の3次元形状の情報を取得する技術が開示されている。
特開2007−192608号公報
撮像素子に用いられるCCDイメージセンサなど各種の光検出素子に光が入射すると、光の強度に応じた信号が得られるのと同時に、量子的に発生する不可避なショットノイズが発生する。このショットノイズはパターンの位置検出の精度に影響を及ぼす。特に、撮像素子に入射する光の強度が弱い場合、光の強度に対してショットノイズは相対的に大きくなるためSN比が低下し、検出される位置検出精度が下がる。
撮像時、撮像素子に入射する露光量を増やすことで、このショットノイズの影響を軽減し、位置検出の精度を上げることが可能である。しかし、複数パターンを投影する3次元形状測定において、撮像素子に入射する露光量の増加を、投影側の光源輝度で調節を行う場合は電力の増加が発生する。また撮像時の露光時間で調節を行う場合は、形状測定までに時間が掛かるなどという問題が発生する。
この課題を解決するため、例えば本発明の3次元形状測定装置は以下の構成を備える。すなわち、
複数種類のパターンのパターン光を計測対象物に投影し、前記計測対象物を撮像して前記計測対象物の3次元形状を測定する3次元形状測定装置であって、
パターンデータに基づき、前記計測対象物にパターン光を投影する投影手段と、
該投影手段でパターン光が投影された前記計測対象物を撮像する撮像手段と、
前記投影手段及び前記撮像手段を制御する制御手段とを有し、
前記制御手段は、
前記投影手段及び前記撮像手段を制御し、前記複数種類のパターンのうち、第1のパターンについては、当該第1のパターン以外のパターンよりも露光量を大きくすることを特徴とする。
本願明細書によれば、三角測量時に位置を決定づける少なくとも1つ以上の第1のパターンでは、それ以外のパターンよりも露光量を大きくし、その第1のパターンにおけるショットノイズの影響を低くして精度を高めると共に、全体としての消費電力も低減させることが可能になる。
実施形態における3次元形状測定装置の構成図。 第1の実施形態で使用するパターンを示す図。 撮像したパターンのコード化を示す図。 パターンDを撮像した画像データから取得した階調値を示す図。 第1の実施形態における処理手順を示すフローチャート。 第2の実施形態における処理手順を示すフローチャート。 第3の実施形態における処理手順を示すフローチャート。 第4の実施形態における処理手順を示すフローチャート。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
図1は本実施形態における3次元形状測定装置の構成を示している。本装置は、投影部1、撮像部8、投影撮像制御部20、光切断位置検出部21と、図示しない3次元形状測定部を有する。
投影部1は、液晶パネル3、該液晶パネル3を照明する照明部2、該液晶パネル3の像を被検面5近傍に配置された計測対象物6上に投影する投影光学系4を有する。投影部1は投影撮像制御部20の指令によって、投影時の光量を調節しつつ、液晶パネル3を介して所定のパターンを計測対象物6上に投影する。
撮像部8は、撮像素子10、及び、前記計測対象物6上に投影されたパターンを該撮像素子10上に輝度分布として結像し撮像させる撮像光学系9を有する。そして、撮像部8は投影撮像制御部20の指令によって、撮像時の露光時間を調節し撮像動作を行い、撮像素子上の輝度分布を、撮像素子で離散的にサンプリングされた階調分布として光切断位置検出部21に出力する。本明細書においては三角測量に用いられる画像中のパターン光の位置を光切断位置と呼ぶ。
投影撮像制御部20は本装置全体の制御を司るものであり、投影部1を用いて所定のタイミングで所定パターンを計測対象物に投影させるとともに、撮像部8を用いて計測対象物上のパターンを撮像させる。また、投影撮像制御部20は、その内部に、後述する露光パターンを示すパターンデータを保持するメモリを有する。
また、実施形態における3次元形状測定装置は図示しない環境照明の元に設置され、計測対象物の撮像においては投影パターンに該環境照明による輝度分布が加わっている。光切断位置検出は、投影部1が少なくとも2種類のパターンを投影し、それぞれに対する撮像を撮像部8を用いて行う。
本実施形態では、光切断位置の検出において複数種類のパターンを使用するが、ここでは具体例として図2に示す4種のパターンA〜Dを使用する。図2に示す各パターンは、投影部1の液晶パネル3上における液晶各画素の明暗を示すパターンでもある。白部分が光を透過する部位(測定対象の表面を明るくする部分)、黒部分が遮蔽する部位であるものとする。同図の如く、パターンA〜Cに比べてパターンDは明部と暗部の線幅が細くなっている。
本第1の実施形態では、図2のパターンA〜Dは光切断位置を識別するために用い、特にパターンDは光切断位置を規定するのにも用いられるパターンである。ここで図2のパターンA〜Cのいずれか一つ以上が、本願の第2のパターンを表し、パターンDが本願の第1のパターンを表わすことになる。
次に実施形態における光切断位置の識別、規定に説明する。
上記の通り、図2の明暗の線幅が一番細かいパターンDは、光切断位置を識別するだけではなく、光切断位置の規定を行うパターンである。そこで、パターンDを用いた光切断位置の規定方法の例を述べる。
パターンDに相当するパターン光を投影部1から測定対象物に投影し、撮像部8により撮像を行った場合、撮像素子で離散的にサンプリングされた図4のような階調分布を取得することができる。同図の横軸は撮像素子の画素位置であり、縦軸は階調値(輝度値)である。
サンプリングされたパターンの明暗1周期Hの中で、各々一番階調値が高い階調点、及び、一番階調値が低い階調点をポイントをP1とし、このP1の位置を光切断位置と本実施形態では規定する。なお、光切断位置の規定に使用するパターンや、手法はこれに限るものではない。
次に光切断位置の識別について説明する。光切断位置の識別に使用するパターンA、B、Cを投影し、撮像を行い、各々撮像画像を取得する。前述したパターンDの撮像画像によって規定した光切断位置において、撮像されたパターンA〜Cの撮像画像の輝度値の明暗を図3に示すような「1」、「0」に2値化する。
また、パターンDの撮像画像によって規定した光切断位置における階調値から、撮像されたパターンDの明暗を同じように2値化して表す。そして、パターンA〜Dの2値化から光切断位置を識別するための10進数のコード値を決定する。
なお、本実施形態では、4種のパターンを用いて光切断位置を識別するためのコード値を決定しているが、測定状況に応じ投影パターン数は変更しても構わない。
また図2では1種のパターンの中で明暗の幅が等間隔になっているが、グレイコードなど他の手法を用い、1種のパターンの中で明暗の線幅が異なっていても構わない。グレイコードは良く知られた手法であるので、詳細は省略する。パターン数の変化、パターンの明暗の線幅の変化に伴いコード値の数も変化する。図3の例ではコード値を10進数で表しているが、2進数で求めても、また、グレイコードなどを用いても構わない。
図示しない3次元形状測定部では光切断位置検出部により規定された光切断位置と、識別されたコード値に基づき、三角測量の原理で各光切断位置の3次元座標値を測定する。
ここで、取得したパターンDの撮像結果に、ショットノイズや環境中の外光成分が含まれていた場合、規定する光切断位置に誤差が生じる。
規定した光切断位置に誤差が発生すると、3次元形状測定の検出精度が劣化してしまうため、パターンDの撮像結果はショットノイズや外乱光の要因を低減した状態にしてから光切断位置を規定する必要がある。
しかし、コード値を決定するためだけに用いられるパターンA〜Cは、撮像結果のパターンの明暗の濃淡から2値化「1」「0」が識別できればよいので、撮像結果にショットノイズや外乱成分などが含まれていても3次元形状測定の検出精度には影響しない。つまり、光切断位置を識別するパターンの撮像結果にはノイズ成分が含まれていても問題が少ないが、光切断位置の規定に必要とするパターンDの撮像結果にはノイズ成分などが含まれない精度の高い撮像結果が要求される。
本実施形態ではパターンDの撮像結果からショットノイズの要因を低減させるための手法を図5のフローチャートを用いて詳しく説明する。
ステップS501において、光切断位置を規定するパターンDを投影する光量を設定(もしくは調整)する。ステップS502において、投影部1は、明部と暗部とが交互に配置された第1のパターンである、パターンDを計測対象物7へ投影する。そして撮像部8は、パターンDが投影された計測対象物7を撮像し、撮像結果G1を取得する。そして、また、図4に示すような光切断位置を規定するP1を撮像結果G1から算出する。
ステップS503では光切断位置を識別するためパターン投影時の光量を設定する。
光切断を識別するためのパターンの撮像結果は、光切断位置を規定するための撮像結果よりノイズ成分が含まれていても3次元形状測定の精度に影響が少ないので、ステップ501の光量に対して減らすように光量を調節する。
ステップS504において、投影部1は、明部と暗部とが交互に配置された第2のパターンである、パターンA〜Cを順次計測対象物7へ投影する。そして撮像部8は、パターンA〜Cが投影された計測対象物7を撮像し、撮像結果G2〜G4を取得する。
最後にステップS505において撮像結果G1〜G4を用いてコード値を算出する。
上記実施形態の如く、光切断位置を識別するためのパターン投影を行う場合、投影部の光量を減らして撮像素子に入射する光量を減らすと、投影時の電力を抑えることができる。
本実施形態では、光切断位置を識別するためのみのパターンは3種であるが、測定範囲や測定条件に応じ、パターン数が大幅に増えることがある。その時は無駄な電力を省く効果がとても大きい。また本実施形態では、撮像素子に入射する露光量の調節を投影部の光量調節で行っているが、例えばステップ501と504を「撮像部の露光時間の設定」、撮像部の露光時間で撮像素子に入射する露光量の調節を行うことも可能である。
撮像部の露光時間を減らして撮像素子に入射する光量を減らす場合、光切断位置を識別するためのパターン全種において撮像する露光時間を短縮することができ、3次元形状測定の検出までの時間を短くできるという利点がある。特に、撮像における露光時間の短縮は、光切断位置を識別するための投影撮像を行うパターン数が増加した場合は、3次元形状測定の検出までの時間を大幅に短縮することができる。
このようにして、光切断位置を認識するためのパターンの投影撮像の場合は撮像素子に入射する光量は減らし、光切断位置を規定するパターンの場合は増やすことで、必要なパターンのみショットノイズを低減し、精度良く3次元形状測定を検出することが可能となる。
図5のフローチャートでは、光切断位置を規定するパターンDの投影撮像後に、光切断位置を識別するパターンの投影撮像を行っているが、測定パターンの順序は、本特徴を満たしていれば逆になっても問題ない。
[第2の実施形態]
図6のフローチャートを用いて、複数回撮像したパターンDの撮像結果を積算することでショットノイズを低減させるための手法を第2の実施形態として説明する。なお、装置構成は上記第1の実施形態と同じであるとして、その説明は省略する。
まず、ステップS601において、光切断位置を規定するパターンDの投影する光量を設定する。
ステップS602〜S605では光切断位置を規定するパターンの撮像を5回繰り返す。ステップS603ではパターンDを計測対象物7へ投影し、撮像部8は、パターンDが投影された計測対象物7を5回撮像し、撮像結果G(1)〜G(5)を取得する。
そして、ステップS605にて、5回撮像を行った撮像結果G(1)〜G(5)の合算結果Stとして算出する。
ステップS606では、光切断位置を規定するP1を合算結果Stから算出する。
ショットノイズは統計的にランダムに発生するので、複数枚の撮影の度に発生量が変化する。そのため、パターンDの撮像結果を複数枚合算することで、合算された光の強度に対してショットノイズの影響を低減することができる。そのため、合算したStを用いると精度良く光切断位置を規定することができる。
ステップS607〜S609は図5のS503〜S505と同じなので説明は省略する。
以上説明した本第2の実施形態では、撮像素子に入射する露光量の調節を投影部の光量調節で行っているが、例えばステップS601を撮像部の露光時間の設定、ステップS606を撮像部の露光時間を減らすように調節として露光時間で調節を行うことも可能である。
また、ステップS606ではパターンDの投影撮像における撮像素子に入射する光量に対して、パターンA〜Cの投影撮像における撮像素子に入射する光量を減らすように設定するが、複数回合算する本第2の実施形態では、測定状況に応じてステップS607を省略することも可能である。
本第2の実施形態ではパターンDの投影撮像の撮像回数を5回と定めているが、測定回数は2回以上であれば良く、状況に応じて変更しても構わない。更には、撮像の度にStを算出し、S(t)がある強度を超えるまで投影撮像を行うように、撮像回数の自動化を行うことも可能である。
[第3の実施形態]
図7のフローチャートに基づき、撮像したパターンDの結果から外乱光を省き、複数回撮像した結果を合算することでショットノイズを低減させる例を第3の実施形態として説明する。なお、装置構成は上記第1の実施形態と同じであるとして、その説明は省略する。
ステップS701では投影する光量を設定、ステップS702では撮像部の撮像時間を設定する。
次に、ステップS703では投影部を非駆動状態にして計測対象物の撮像を行い、外光成分のみを撮像した結果G0を取得する。
ステップS704〜S708では光切断位置を規定するパターンDの撮像を複数回(実施形態では5回)繰り返す。ステップS705ではパターンDを計測対象物7へ投影し、撮像部8はパターンDが投影された計測対象物7を5回撮像し、撮像結果G(1)〜G(5)を取得する。
そして、ステップS706複数回の撮像を行った撮像結果G(1)〜G(5)の各々の結果から外乱光成分G0を除算し、外乱光成分を省いたS(1)〜S(5)を算出する。
ステップS708では、外乱光成分を省いたS(1)〜S(5)を合算し、Stを算出する。以降のステップS709〜712は図6のS606〜609と同じなので説明は省略する。
上記の如く、外乱光成分を省いたパターンDの複数回の撮像結果を合算することで、外乱光のノイズ成分を省き、且つ 光の強度に対するショットノイズの影響を低減したStを算出することができたるため、精度良く光切断位置を規定することができる。
ステップS710で光切断位置を認識するためのパターンの撮影時の撮像素子に入射する光量を減らした場合、取得される撮像結果GA〜GCのノイズ成分が多いため識別が困難になる場合は、測定の状況に応じ、ステップS710を省略しても構わない。
また被検面の箇所によって外光成分に大きなムラが発生している場合、光切断位置を識別するためのパターンの撮像結果にも外光のムラが大きく反映され、コードの算出が困難になる場合がある。
この時は、図7のフローチャートには示していないがGA〜GCから外乱光成分G0を除算してからコード値を算出することで改善できる。
本第3の実施形態ではパターンDの投影撮像の撮像回数を5回と定めているが、測定回数は2回以上から状況に応じて変更される。光切断位置の規定、識別に用いるパターン、手法はこれに限ったものではない。
[第4の実施形態]
図8のフローチャートに従い、2種の明暗パターンの撮像結果から交点位置を検出し、この交点位置を光切断位置の規定する手法を第4の実施形態として説明する。なお、装置構成は上記第1の実施形態と同じであるとして、その説明は省略する。
図8のフローチャートでは図示しないパターンA’〜E’を用いて、3次元形状の検出を行う。
本第4の実施形態では、パターンA’〜C’は光切断位置を識別するためのパターンであり、パターンD’とE’は光切断位置を規定するためのパターンである。パターンD’とE’は明部と暗部が交互に配置されおり、パターンE’はパターンD’の明部と暗部を反転させたものである。例えば、パターンD’を図2のパターンDと同じとした場合、パターンE’は、パターンDの白、黒を反転させた関係を有するものとすれば容易に理解できよう。なお、交点位置検出に使用するパターンは、明部と暗部の線幅が異なっていても構わないし、交点検出に用いるパターン2種は、位相が異なっているパターンを用いてもよく、本第4の実施形態に限るものではない。
先ず、ステップS801では光切断位置を規定するパターン投影の光量を設定する。
次に、ステップS802では投影部の照射を行わないで計測対象物の撮像を行い、外光成分のみを撮像した結果G0を取得する。
ステップS803〜S806では光切断位置を規定するパターンD’とE’のそれぞれ撮像を各々5回繰り返し、撮像結果G1(1)〜G1(5)、G2(1)〜G2(5)を取得する。ここで、G1()はパターンD’の撮像結果を示し、G2()はパターンE’の撮像結果を示すものとする。
そして、ステップS807では複数回の撮像を行った撮像結果G1(1)〜G1(5)、G2(1)〜G2(5)の各々の結果から外乱光成分G0を除算し、外乱光成分を省いたS1(1)〜S1(5)、S2(1)〜S2(5)を算出する。
ステップS808では、ステップS807算出したS1(1)〜S1(5)、S2(1)〜S2(5)をそれぞれ合算し、S1t、S2tを算出し、そのS1tとS2tの結果から交点を算出する。
S1tをS2tが離散的にサンプリングされた階調分布で算出した場合、S1tの階調点を各々連結した連結部と、S2tの階調点を各々連結した連結部には同じ階調点を有する位置が存在し、その位置を交点とし光切断位置に規定する。
外乱光成分を省いた撮像結果を複数枚合算することで、光の強度に対するショットノイズの影響と、外光成分の影響を同時に低減することができる。
ステップS808〜811は図6のS606〜609と実質的に同じなので説明は省略する。
本第4の実施形態では、2種の明暗パターンの撮像結果から交点位置を検出し、この交点位置を光切断位置と規定しているが、隣り合う交点位置の中点を光切断位置と規定してもよいし、光切断位置を規定する手法は本実施形態に限るものではない。本実施形態ではパターンDの投影撮像の撮像回数を5回と定めているが、測定回数は2回以上から状況に応じて変更される。
また、光切断位置を規定する方法は明と暗の二値からなるパターンを投影する方法に限られるものではない。例えば特開2004−77290や特開2004−226186などで開示されているように、多値のパターンにより光切断位置を規定する方法であってもかまわない。
以上説明したように第1乃至第4の実施形態によれば、第1のパターンに対して、第1のパターン以外よりも露光量を大きくすることで、光切断位置を規定する第1のパターンの撮像においてショットノイズを低減した撮像結果を得ることができる。
また、例えば特開2011−133327などで開示されているような正弦波など波形パターンの位相をシフトさせて複数回投影す位相シフト法を用いる場合においても、本発明を適用することができる。例えば、位相シフト法に用いる複数の波形パターンを第1のパターンとし、実施例1に記載のパターンA〜Cをその位相シフトパターンの繰り返し密度よりも大きな奥行き決定方法として併用するような場合である。この場合、三角測量計算の位置を決定付けるパターンは第1のパターンである位相シフトパターンとなる。このような場合においても、第1のパターンに対して、第1のパターン以外よりも露光量を大きくすることで、第1のパターンの撮像においてショットノイズを低減した撮像結果を得ることができる。すなわち、第1のパターンは明暗からなるパターンに限定されるものではなく、三角測量計算の位置を決定付けるパターンである場合には、いかなる方法であっても本発明の本質は失われない。
また、撮像時の露光量を投影部1の光源輝度で調節することで、光切断位置を識別するための第1のパターン以外では投影時の電力を抑えることができる。また、撮像時の露光量を撮像部8の露光時間で調節することで、第1のパターンとそれ以外のパターンでの投影と撮像が終了する時間までを適切に短縮することができ、3次元形状測定までの検出時間を短くすることができる。また、第1のパターンの露光量の増大を複数回の撮像結果を演算することで行えば、ショットノイズの影響を、より低減した撮像結果を得ることができ、その結果、光切断位置の規定を精度よく行うことができる。更に、第1のパターンの露光量の増大は、複数回の撮像結果から外光成分を減じた後に演算することで、環境中の外光成分を除去し、且つ、ショットノイズの影響を低減した撮像結果を得ることができる。この結果、光切断位置を精度よく規定することができる。更に、第1のパターンの露光量の増大は、複数回の撮像結果をデジタルの画像データに変換することで、データの処理を行いやすくなる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (9)

  1. 複数種類のパターンのパターン光を計測対象物に投影し、前記計測対象物を撮像して前記計測対象物の3次元形状を測定する3次元形状測定装置であって、
    パターンデータに基づき、前記計測対象物にパターン光を投影する投影手段と、
    該投影手段でパターン光が投影された前記計測対象物を撮像する撮像手段と、
    前記投影手段及び前記撮像手段を制御する制御手段とを有し、
    前記制御手段は、
    前記投影手段及び前記撮像手段を制御し、前記複数種類のパターンのうち、第1のパターンについては、当該第1のパターン以外のパターンよりも露光量を大きくすることを特徴とする3次元形状測定装置。
  2. 前記制御手段は、前記投影手段が有する光源を調整することで、前記第1のパターンの投影の露光量を、前記第1のパターン以外のパターンの露光量よりも大きくすることを特徴とする請求項1に記載の3次元形状測定装置。
  3. 前記制御手段は、前記撮像手段による露光時間を調節することで、前記第1のパターンの投影の露光量を、前記第1のパターン以外のパターンの露光量よりも大きくすることを特徴とする請求項1に記載の3次元形状測定装置。
  4. 前記制御手段は、前記第1のパターンに基づく投影をしている際に複数回撮像し、当該複数回の撮像結果を合算することで、前記第1のパターンの投影の露光量を、前記第1のパターン以外の投影の露光量よりも大きくすることを特徴とする請求項1に記載の3次元形状測定装置。
  5. 前記制御手段は、前記投影手段を非駆動状態にして、前記撮像手段により前記計測対象物を撮像することで、外光成分を検出する手段を有し、
    検出した外光成分を、前記第1のパターンに基づく投影している際に複数回撮像して得られた撮像結果を減じた後に合算することを特徴とする請求項4に記載の3次元形状測定装置。
  6. 前記第1のパターンは、明部と暗部の関係が逆となる2つのパターンであることを特徴とする請求項1乃至5のいずれか1項に記載の3次元形状測定装置。
  7. 複数種類のパターンのパターン光を計測対象物に投影し、前記計測対象物を撮像して前記計測対象物の3次元形状を測定する3次元形状測定装置の制御方法であって、
    投影手段が、パターンデータに基づき、前記計測対象物にパターン光を投影する投影工程と、
    撮像手段が、前記投影工程でパターン光が投影された前記計測対象物を撮像する撮像工程と、
    制御手段が、前記投影手段及び前記撮像手段を制御する制御工程とを有し、
    前記制御工程では、
    前記投影手段及び前記撮像手段を制御して、前記複数種類のパターンのうち、第1のパターンについては、当該第1のパターン以外のパターンよりも露光量を大きくすることを特徴とする3次元形状測定装置の制御方法。
  8. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項1乃至6のいずれか1項に記載の3次元形状測定装置として機能させるためのプログラム。
  9. 請求項8に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2012271775A 2012-12-12 2012-12-12 測定装置、測定方法、及びプログラム Active JP6161276B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012271775A JP6161276B2 (ja) 2012-12-12 2012-12-12 測定装置、測定方法、及びプログラム
US14/095,160 US10066934B2 (en) 2012-12-12 2013-12-03 Three-dimensional shape measuring apparatus and control method thereof
CN201310674771.4A CN103868471B (zh) 2012-12-12 2013-12-11 三维形状测量装置及其控制方法
EP13196610.3A EP2743636A1 (en) 2012-12-12 2013-12-11 Three-dimensional shape measuring apparatus and control method thereof
US16/049,901 US20180335298A1 (en) 2012-12-12 2018-07-31 Three-dimensional shape measuring apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012271775A JP6161276B2 (ja) 2012-12-12 2012-12-12 測定装置、測定方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2014115264A true JP2014115264A (ja) 2014-06-26
JP2014115264A5 JP2014115264A5 (ja) 2016-07-07
JP6161276B2 JP6161276B2 (ja) 2017-07-12

Family

ID=49759109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012271775A Active JP6161276B2 (ja) 2012-12-12 2012-12-12 測定装置、測定方法、及びプログラム

Country Status (4)

Country Link
US (2) US10066934B2 (ja)
EP (1) EP2743636A1 (ja)
JP (1) JP6161276B2 (ja)
CN (1) CN103868471B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194607A (ja) * 2015-03-31 2016-11-17 キヤノン株式会社 保持装置、投影装置、計測装置及び保持方法
US10032279B2 (en) 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003469A (ja) * 2015-06-11 2017-01-05 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法及びプログラム
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
CN108616727A (zh) * 2016-12-23 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
JP6658625B2 (ja) * 2017-03-08 2020-03-04 オムロン株式会社 3次元形状計測装置及び3次元形状計測方法
EP3735606B1 (en) * 2018-01-02 2023-03-22 King's College London Method and system for localisation microscopy
WO2020065850A1 (ja) * 2018-09-27 2020-04-02 ヤマハ発動機株式会社 3次元測定装置
US11469075B2 (en) 2019-03-14 2022-10-11 Applied Materials, Inc. Identifying fiducial markers in microscope images
US11255785B2 (en) * 2019-03-14 2022-02-22 Applied Materials, Inc. Identifying fiducial markers in fluorescence microscope images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131031A (ja) * 2000-10-27 2002-05-09 Ricoh Co Ltd 三次元形状計測方法および三次元形状計測装置
JP2009019884A (ja) * 2007-07-10 2009-01-29 Nikon Corp 3次元形状測定装置及び測定方法
JP2009165558A (ja) * 2008-01-11 2009-07-30 Panasonic Corp 口腔内測定方法および口腔内測定装置
JP2012103239A (ja) * 2010-10-12 2012-05-31 Canon Inc 三次元計測装置、三次元計測方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
JP2004077290A (ja) 2002-08-19 2004-03-11 Fuji Xerox Co Ltd 3次元形状計測装置および方法
JP2004226186A (ja) 2003-01-22 2004-08-12 Fuji Xerox Co Ltd 3次元形状計測装置および3次元形状計測方法
WO2004109229A2 (en) 2003-06-11 2004-12-16 Solvision 3d and 2d measurement system and method with increased sensitivity and dynamic range
US7876455B2 (en) 2004-08-03 2011-01-25 TechnoDream21 Co., Ltd. Three-dimensional shape measuring method and apparatus for the same
JP4874657B2 (ja) 2006-01-18 2012-02-15 ローランドディー.ジー.株式会社 三次元形状の測定方法およびその装置
DE102007018048A1 (de) 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
JP2009031150A (ja) 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
JP2010032448A (ja) 2008-07-31 2010-02-12 Roland Dg Corp 3次元形状測定装置
DE202010018585U1 (de) 2009-05-27 2017-11-28 Koh Young Technology Inc. Vorrichtung zur Messung einer dreidimensionalen Form
KR20110025462A (ko) * 2009-09-04 2011-03-10 삼성전자주식회사 근접 센서를 이용한 근접 인식 방법 및 이를 이용한 휴대 단말기
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
JP5391053B2 (ja) 2009-12-24 2014-01-15 ローランドディー.ジー.株式会社 3次元形状計測方法および3次元形状計測装置
JP5513324B2 (ja) * 2010-09-01 2014-06-04 キヤノン株式会社 決定方法、露光方法及びプログラム
JP5611022B2 (ja) 2010-12-20 2014-10-22 キヤノン株式会社 三次元計測装置及び三次元計測方法
JP6170281B2 (ja) 2011-05-10 2017-07-26 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法、およびプログラム
JP5986357B2 (ja) 2011-07-08 2016-09-06 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法、およびプログラム
JP5918984B2 (ja) 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131031A (ja) * 2000-10-27 2002-05-09 Ricoh Co Ltd 三次元形状計測方法および三次元形状計測装置
JP2009019884A (ja) * 2007-07-10 2009-01-29 Nikon Corp 3次元形状測定装置及び測定方法
JP2009165558A (ja) * 2008-01-11 2009-07-30 Panasonic Corp 口腔内測定方法および口腔内測定装置
JP2012103239A (ja) * 2010-10-12 2012-05-31 Canon Inc 三次元計測装置、三次元計測方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032279B2 (en) 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2016194607A (ja) * 2015-03-31 2016-11-17 キヤノン株式会社 保持装置、投影装置、計測装置及び保持方法

Also Published As

Publication number Publication date
CN103868471B (zh) 2018-07-03
US10066934B2 (en) 2018-09-04
CN103868471A (zh) 2014-06-18
JP6161276B2 (ja) 2017-07-12
US20180335298A1 (en) 2018-11-22
US20140160243A1 (en) 2014-06-12
EP2743636A1 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
US9857166B2 (en) Information processing apparatus and method for measuring a target object
US9998728B2 (en) Information processing apparatus, control method for the same and storage medium
US9007602B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
JP6795993B2 (ja) 形状測定システム、形状測定装置及び形状測定方法
JP6061616B2 (ja) 測定装置及びその制御方法、プログラム
US20120236317A1 (en) Three-dimensional distance measurement apparatus, three-dimensional distance measurement method, and non-transitory computer-readable storage medium
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
JP6346427B2 (ja) 画像処理装置、画像処理方法
US9659379B2 (en) Information processing system and information processing method
GB2483481A (en) Method and apparatus of measuring the shape of an object
JP2015210192A (ja) 計測装置およびその方法
JP2012251997A (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
US8970674B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and storage medium
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
KR101653649B1 (ko) 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP2021063700A (ja) 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法
JP6166539B2 (ja) 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
CN112747686A (zh) 三维形貌测量装置
JP2017020953A (ja) 計測装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R151 Written notification of patent or utility model registration

Ref document number: 6161276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151