JP6566737B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP6566737B2
JP6566737B2 JP2015123161A JP2015123161A JP6566737B2 JP 6566737 B2 JP6566737 B2 JP 6566737B2 JP 2015123161 A JP2015123161 A JP 2015123161A JP 2015123161 A JP2015123161 A JP 2015123161A JP 6566737 B2 JP6566737 B2 JP 6566737B2
Authority
JP
Japan
Prior art keywords
light
exposure time
pattern
time
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015123161A
Other languages
English (en)
Other versions
JP2017009351A (ja
Inventor
匡貴 中島
匡貴 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015123161A priority Critical patent/JP6566737B2/ja
Priority to CN201610422620.3A priority patent/CN106257916A/zh
Priority to US15/183,583 priority patent/US10334147B2/en
Priority to DE102016111014.0A priority patent/DE102016111014A1/de
Publication of JP2017009351A publication Critical patent/JP2017009351A/ja
Application granted granted Critical
Publication of JP6566737B2 publication Critical patent/JP6566737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、測定対象を撮影することにより、測定対象の3次元形状を測定する方法に関する。
被検物をカメラで撮影し、撮影した画像から被検物の形状を測定する3次元形状測定方法がある。このような方法においては、被検物の周囲に存在する光源にフリッカーが生じている場合、撮影した複数の画像の明るさが異なり、精度良く被検物の形状を測定できない場合がある。
この課題を解決すべく、特許文献1では画像測定器において、オートフォーカス時の撮影において露光時間をフリッカー周期の整数倍に設定し、また照明装置の発光周波数を50Hz、60Hzの整数倍に設定している。これにより、フリッカーの影響を除去すると共に照明光が明滅していることによって発生する露光量のバラつきを除去し高精度なフォーカス位置測定を実現している。
特開2012−154828号公報
しかし特許文献1の方法では、照明光の発光周波数をフリッカー周期の整数倍に設定することで撮影時の明るさのバラつきを除去したとしても、測定に適切な露光量が得られない場合がある。
本発明は、上記課題に鑑みてなされたものであり、環境光にフリッカーが存在しても高精度に被検物の形状を精度よく測定することを目的とする。
上記課題を解決するために、本発明の情報処理装置は、例えば、所定の周期で明滅する環境光下で、投影装置により所定のパターンが投影された対象物を、撮像装置により撮像した画像に基づいて、前記対象物の三次元計測を行う三次元計測装置であって、前記撮像装置の露光時間を設定する設定手段と、前記設定された露光時間に基づき、前記対象物の三次元計測を行う際の露光時間を前記環境光の周期の整数倍に設定するかを判定する判定手段と、前記判定手段により整数倍に設定すると判定された場合には、前記設定手段を制御することにより前記露光時間を前記環境光の周期の整数倍に設定し、前記投影装置により投影されるパターンの発光強度または発光時間を調整する制御手段と、前記制御手段によって制御された結果に基づいて、前記投影装置および前記撮像装置を制御し、前記対象物体の三次元計測を行う計測手段とを備える。
本発明によれば、環境光にフリッカーが存在しても高精度に被検物の形状を精度よく測定することが可能となる。
本発明の情報処理装置を用いたシステムを示した図である。 本発明の第1の実施形態の処理フローチャートを示した図である。 本発明における環境光の発光強度を測定する際の露光時間を設定する方法を示した図である。 本発明の形状計測方法における投影パターン光の一例を示した図である。 本発明の形状測定方法における空間符号を示した図である。 明滅する環境光下での撮影画像における輝度のバラつきの一例を示した図である。 本発明の第2の実施形態の処理フローチャートを示した図である。 本発明の第3の実施形態の処理フローチャートを示した図である。 本発明の情報処理装置のハードウェア構成の例を示した図である。
(第1の実施形態)
図1は、本発明の一実施形態に係る三次元計測装置を示した図である。三次元計測装置は、情報処理装置7、投影装置8、撮像装置9とを備えている。
投影装置8を構成する各部について説明する。
光源1は、光速を射出するLEDである。パターン生成部2は、被検物に投影するパターンを生成し、パターンを変調する。本実施形態では、被検物に投影するパターンとして、明部と暗部とが周期的に並ぶ格子のパターンを生成する。パターン生成部2としては、例えばパターン生成部2には遮光部と非遮光部が規則的に並んだマスクパターンを用いても良いが、液晶素子、デジタルミラーデバイス(DMD)などを用いることにより、モノクロパターン、正弦波状パターンなど任意のパターンを生成するようにしてもよい。投影レンズ3a、3bは、被検物にパターン光を照射する。
次に、撮像装置9を構成する各部について説明する。
集光レンズ5a、5bは、被検物4より反射されたパターン光を集光する。撮像素子6は、被検物4から拡散・反射された光束の強度を取得する。例えば、CCDやCMOSセンサなどを用いることができる。
情報処理装置7は、光源1の発光やパターン生成部2での投影パターン、撮像素子6の露光時間やゲインを制御し、撮像素子6から得られた光束の強度情報から被検物4の形状を算出する。情報処理装置7を構成する各機能部は、CPU1910が、ROM1920に格納されたプログラムをRAM1930に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、CPU1910を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
以下、情報処理装置7を構成する各部について説明する。
光源制御部7aは、光源1の発光強度や発光時間等を制御する。
投影パターン制御部7bは、パターン生成部2にて投影するパターンの変更等を制御する。
撮像素子制御部7cは、撮像素子の露光時間等を変更し、撮像装置9を制御することにより画像撮影を行う。そして、撮像装置9によって撮像された画像を取得する。
解析部7dは、撮像装置9が撮影した画像を撮像素子制御部7cを通じて取得し、フリッカー光源(環境光の光源)の発光強度と照明光の強度を比較し、露光時間をフリッカー所定周期の整数倍に設定するか否かを判定し、被検物の形状を算出する。より具体的には、光源制御部7aで設定された発光強度と投影パターン制御部7bにより設定された被検物(対象物体)4に投影されるパターン光を変更しながら、撮像素子制御部7cにより設定された露光時間とゲインで投影されたパターン光(パターン)の強度を撮像素子6で複数回撮影する。そして解析部7dにて、撮像素子6で取得した複数枚の画像を基にパターン生成部2と撮像素子6の幾何関係から、被検物4の3次元形状を測定する。
なお本実施形態では、被検物の3次元形状を測定するにあたり、被検物にパターン光を投影し、パターン位置のずれから被検物の形状を測定する空間符号化パターン投影法を用いた装置について説明を行う。しかしながら、被検物の3次元形状測定方法は、空間符号化パターン投影法に限定されない。
以上の原理により形状測定に適切な露光量を得る露光時間と、フリッカー光源の単位時間当たりの平均発光強度と照明光の発光強度から、撮影時の露光時間をフリッカー周期の整数倍に設定するか否かを判定する。そして、露光時間をフリッカー周期の整数倍に設定する際は、露光時間中における照明光の発光量を測定に適切な露光量になるように調整する。
図2は、本発明の第1の実施形態に係る情報処理装置7が実施する処理の手順を示すフローチャートである。
S101において、光源制御部7aは、フリッカー光源の平均発光強度を測定するために照明光を消灯する。
S102において、撮像素子制御部7cは、フリッカー光源の平均発光強度を測定するための露光時間を設定する。ノンインバーターの蛍光灯などで発生する電源周波数に依存するフリッカーは、電源周波数の2倍の周波数となる。このため、電源周波数が50Hzの地域では露光時間を10msecに設定し、電源周波数が60Hzの地域では露光時間を8.3msecに設定する。なお予め電源周波数が既知の場合はそれに応じて設定すればよいが、電源周波数が不明な場合は図3に示す手順で、適切な露光時間を知ることができる。
S102−1において、照明光を消灯した状態で、撮像素子制御部7cは、撮像装置9に、電源周波数が50Hzの場合のフリッカーの1周期である露光時間10msecで画像を不等間隔で複数枚撮影させる。ここで画像の撮影間隔を不等間隔とすることで、撮像素子6のフレームレートがフリッカー周波数の整数倍である場合でも、正しくフリッカー周波数を正しく判定することができる。
S102−2において、撮影した複数枚の画像の注目部分の輝度値のバラつきσ10msecを算出する。
S102−3において、撮像素子制御部7cは、撮像装置9に、照明光を消灯した状態で、電源周波数が60Hzの場合のフリッカー周期である露光時間8.3msecで画像を不等間隔で複数枚撮影させる。なお露光時間10msecでの撮影と露光時間8.3msecでの撮影は順番が逆転しても構わない。
S102−4において、解析部7dは、撮影した複数枚の画像の注目部分の輝度値のバラつきσ8.3msecを算出する。
S102−5にて、解析部7dは、σ10msecとσ8.3msecの大小関係を比較し、バラつきが小さい方の露光時間をフリッカー光源の平均発光強度測定用の露光時間に設定する。これにより、予め電源周波数が分かっていなくても電源周波数に依存するフリッカー周期を特定することができる。
S103にて、撮像素子制御部7cは、照明光を消灯した状態で、S102で設定した露光時間で撮影を行い、解析部7dは、取得した画像の輝度からフリッカー光源の単位時間当たりの平均発光強度を算出する。この時、発光強度は以下の式1で算出することができる。
flicker=L/(G×T) (式1)
ここでIflickerはフリッカーの発光強度、Lは画像輝度値、Gは撮像素子のゲイン、Tは露光時間である。ただしフリッカーの発光強度を正しく測定するために画像輝度Lは飽和しないように撮像素子のゲインGを調整する。なお画像輝度値Lは撮影した画像の特定部分の輝度値や画像全体の平均輝度値を用いてもよい。
S104において、S103で測定したフリッカー光源の平均発光強度と照明光の発光強度から、被検物の形状測定に適切な画像の輝度値となる露光時間を算出する。撮像素子のショットノイズや外乱によるノイズの影響を少なくし、輝度値の飽和を回避して高精度な形状測定を実現するためには適切な輝度値の画像が必要となる。形状測定に適切な精度から規定される画像の輝度値をLidealとすると、その輝度値を得るために必要な露光時間Tmeasureは以下の式で表わされる。
Tmeasure=Lideal/(G×(Iflicker+Iilumination)) (式2)
Gは撮像素子のゲイン、Iflickerはフリッカー光源の単位時間当たりの平均発光強度、Iiluminationは照明光の発光強度である。また照明光の発光強度が未知の場合、S103で用いた露光時間で撮影した画像の輝度から以下の式を用いて照明光の発光強度Iiluminationを算出することができる。
Iilumination=Lmeasure/G×Tmeasure−Iflicker (式3)
ここでLmeasureは測定した画像輝度である。なお照明光の発光強度Iilluminationを測定する際には、画像の輝度値はフリッカーの影響を受けてバラつくため画像を複数枚撮影し、各画像の注目部分の輝度値の平均値をLmeasureとして採用することが望ましい。
S105において、S103で測定したフリッカー光源の平均発光強度と照明光の発光強度、S104にて算出した露光時間から、撮影の露光時間をフリッカー周期の整数倍に設定するか否かを判定する。判定は、S103で測定したフリッカー光源の平均発光強度と照明光の発光強度の比、およびS104にて算出した測定に適切な露光時間に基づいて行われる。
例えば、本実施形態における3次元計測測定方法である空間符号化パターン投影法では、投影するパターンは図4(a)〜(j)に示すようなパターンを順に投影する。この例では4ビットの空間符号化パターン投影法のグレイコードパターンである。空間符号化パターン投影法では各bitのパターン光強度画像の輝度情報から明暗判定を行い、撮影範囲の領域毎に空間符号を付与する。例えば1bit目の画像において明暗判定を行い、空間符号を付与する際の明暗判定において、図4(b)のポジティブパターン画像と図4(g)のネガティブパターン画像の同一画素において、ポジティブパターンの輝度とネガティブパターンの輝度の平均値を閾値として、閾値よりも明るい画素を1、暗い画素を0と判定し、空間符号を付与する。これを各bitのパターン光強度画像に対して行い、4bitまで行ったとすると図5に示すように空間符号を付与することができる。そして付与した空間符号と、パターン生成部と撮像素子の幾何関係から被検物の形状を算出する。
このような場合において測定環境にフリッカー光源が存在する場合、同一画素におけるポジパターン照射時及びネガパターン照射時の輝度値にバラつきが発生し、フリッカー光源の平均発光強度と照明光の発光強度、露光時間の組み合わせによっては明暗判定が正しく行えず、被検物の3次元形状を正しく測定できない場合が発生する。被検物や測定状態にもよるが、フリッカー光源による画像輝度値のバラつきが5%程度になると空間符号化を誤ることが少なくなる。
図6は、明滅する環境光下での撮影画像における輝度のバラつきを示す図である。図6における1点鎖線が示すように照明光の発光強度/フリッカーの平均発光強度が10以上であれば、いかなる露光時間であっても撮影される画像輝度値のバラつきは、当該露光時間で平均的に得られる画像輝度値に対して5%未満となる。この為、照明光の発光強度/フリッカーの平均発光強度の値が10以上であれば露光時間をフリッカー周期の整数倍に設定しないと判定しS107に進む。
一方、照明光の発光強度/フリッカーの平均発光強度の値が10未満であれば露光時間をフリッカー周期の整数倍に設定すると判定し、S106に進む。そして、S104にて算出した露光時間から最も近いフリッカー周期の整数倍の露光時間を設定し、設定したフリッカー周期の整数倍の露光時間において適切な画像輝度が得られるように照明光の光量を制御して撮影を行う。本実施形態では照明光の光量の制御を、発光強度(投影強度)を制御することにより行う場合について説明する。フリッカーによる画像輝度値のバラつきを低減するために設定した露光時間をTantiflickerとすると、適切な露光量を得るために必要な照明光の発光強度I’iluminationは以下の式で表わされる。
Figure 0006566737
ここでGは撮像素子のゲイン、Iflickerはフリッカー光源の単位時間当たりの平均発光強度、TmeasureはS10で算出した露光時間、Iiluminationは制御前の照明光の発光強度である。例えば、照明光の発光強度/フリッカー光源の平均発光強度が1、適切な露光時間が7.5msec(フリッカー周期の0.75倍)の場合、露光時間を10msec(フリッカー周波数100Hzの場合)に設定する。そして、照明光の発光強度は式4より
I’ilumination=0.×Iilumination (式5)
となる。この照明光強度になるように光源制御部にて光源の制御を行い、撮影を行う。
一方、露光時間をフリッカー周期の整数倍に設定しない場合、S10に進み、S104にて算出した露光時間と照明光の発光強度Iiluminationで撮影を行う。
次にS108において、S106またはS107で撮影した画像(撮影した結果)から被検物の3次元形状を測定する。本発明における形状測定方法として空間符号化パターン投影法を用いているため、図4に示すように4bitまでのパターン画像を投影したとすると図5に示すように空間符号を付与することができる。そして付与した空間符号と、パターン生成部と撮像素子の幾何関係から被検物の形状を算出する。
このように、本実施形態によれば、フリッカーが発生する環境下でも、露光時間を適切に制御することにより、高精度に三次元計測を行うことができる。
(変形例)
上記第1の実施形態では、照明光の発光強度/フリッカーの平均発光強度の値のみに基づいて、露光時間をフリッカー周期に設定するか否かの判定を行った。しかしながら、露光時間を組み合わせて判定することも可能である。照明光の発光強度/フリッカーの平均発光強度の値が10未満、例えば5であったとしても、露光時間がフリッカー周期の1倍を超える場合であれば、画像輝度値のバラつきは5%未満になる。この為、露光時間をフリッカー周期に設定するか否かの判定基準を照明光の発光強度/フリッカーの平均発光強度の値が5以上で且つ露光時間がフリッカー周期の1倍以上と設定することができる。これらの判定基準は測定方法や測定に要求される精度等に基づき設定することができるため、上記にあげた数値は一例である。
(第2の実施形態)
第2の実施形態では、照明光の点灯時間(発光時間)を制御することにより、照明光の光量制御を行う。
本実施形態を実施する為に必要な装置構成は第1の実施形態(図1)と同様である。また各部の機能も第1の実施形態(図1)と同様である。
本実施形態の測定方法を図7に示す。まず第1の実施形態と同様に、S201で照明光を消灯する。
S202において、第1の実施形態と同様にフリッカー光源の平均発光強度を測定するための露光時間を設定する。
S203において、第1の実施形態と同様に、照明光を消灯した状態で、S102で設定した露光時間で撮影を行い、取得した画像の輝度から式1に基づきフリッカー光源の単位時間当たりの平均発光強度を算出する。
S204において、S203で測定したフリッカー光源の平均発光強度と照明光の発光強度から、式2に基づき被検物の形状測定に適切な画像の輝度値となる露光時間を算出する。
S205において、第1の実施形態と同様に、S202で測定したフリッカー光源の発光強度と照明光の発光強度、S204にて算出した露光時間から、撮影の露光時間をフリッカー周期の整数倍に設定し、その露光時間内で適切な光量を得るために照明光を制御するか、S203で算出した露光時間で撮影を行うかを判定する。
次に、露光時間をフリッカー周期の整数倍に設定する場合、S206に進み、S204にて算出した露光時間から最も近いフリッカー周期の整数倍の露光時間を設定し、設定したフリッカー周期の整数倍の露光時間において適切な画像輝度が得られるように照明光の光量を制御して撮影を行う。本実施形態では照明光の光量の制御を照明光の点灯時間を用いて行う方法を説明する。フリッカーによる画像輝度値のバラつきを低減するために設定した露光時間をTantiflickerとすると、適切な露光量を得るために必要な照明光の点灯時間Tiluminationは以下の式で表わされる。
Figure 0006566737
ここでGは撮像素子のゲイン、Iflickerはフリッカー光源の単位時間当たりの平均発光強度、TmeasureはS203で算出した露光時間、Iiluminationは制御前の照明光の発光強度である。撮影の露光時間自体はフリッカーによる画像輝度値のバラつきを低減するために設定した露光時間をTantiflickerとし、露光中の照明光の点灯時間をTiluminationとすることで第1の実施形態と同様の効果を得ることができる。なお露光中の照明光の点灯タイミングは露光中であればいつであってもよい。また点灯時間がTilluminationを満たすように一定周期で照明光の明滅を繰り返してもよい。
対して露光時間をフリッカー周期の整数倍に設定しない場合、第1の実施形態と同様にS20に進み、S104にて算出した露光時間と照明光の発光強度Iiluminationおよび照明光の点灯時間をTantiflickerとして撮影を行う。
S208において、第1の実施形態と同様にS206またはS207で撮影した画像から被検物の3次元形状を測定する。本発明における形状測定方法として空間符号化パターン投影法を用いているため、図4に示すように4bitまでのパターン画像を投影したとすると図5に示すように空間符号を付与することができる。そして付与した空間符号と、パターン生成部と撮像素子の幾何関係から被検物の形状を算出する。
以上の方法によりフリッカーによる影響を最低限に抑え、精度よく被検物の形状測定が可能となる。
このように、本実施形態によれば、照明光の光量制御を行うことなく点灯時間によって露光量を制御するため、照明光の光量が制御できない場合にもフリッカーによる影響を低減し、高精度な三次元計測が可能となる。
(第3の実施形態)
第1、2の実施形態では、フリッカー周期の整数倍に設定するか否かの判断を、照明光の発光強度/フリッカーの平均発光強度に基づいて行った。しかしながら、実際の計測現場では、照明光の発光強度は、フリッカーの平均発光強度よりも大きいことが通常である(照明光の発光強度/フリッカーの平均発光強度<1という状況はないと考える)。そのため、第3の実施形態では、予め照明光の発光強度がフリッカー光源の発光強度よりも十分大きいことが分かっている場合に、照明光の発光強度/フリッカーの平均発光強度を考えず、露光時間のみに基づいて、フリッカー周期の整数倍に設定するか否かの判断を行う。
図8は本実施形態の処理を示すフローチャートである。
S301では、露光時間Tmeasureを求める。本実施形態においては、フリッカーの平均発光強度を計測しない。そのため、式3ではなく、露光時間Tmeasureを変化させながら画像を撮影し、撮像した画像内の注目部分の輝度が最適な輝度となる最適な露光時間Tmeasureを求める。
S302では、S301で得られた露光時間に基づいて、フリッカー周期の整数倍に設定するか否かの判断を行う。
図6に示すように、照明光の発光強度がフリッカー光源の平均発光強度よりも小さくなるような環境を除いて、露光時間がフリッカー周期の2倍を超える場合は画像輝度のバラつきが5%未満になる。このためS301で得られた露光時間がフリッカー周期の2倍超であれば露光時間をフリッカー周期の整数倍に設定しないと判定し、S304に進む。対して2倍未満であれば露光時間をフリッカー周期の整数倍に設定すると判定し、S303に進む。これらの判定基準は測定方法や測定に要求される精度等に基づき設定される。
S303では、第1の実施形態と同様にフリッカー周期の整数倍の露光時間において適切な画像輝度が得られるように、照明光の光量を制御して撮影を行う。もちろん、第2の実施形態のように、照明光の点灯時間を制御してもかまわない。
S304では、露光時間を整数倍に変更する必要がないため、S301で得られた露光時間に基づいて撮像を行う。
S305において、第1の実施形態と同様にS303またはS304で撮影した画像から被検物の3次元形状を測定する。
このように、本実施形態によれば、フリッカーの平均発光強度の測定を行わずに済むため、短時間でフリッカー周期の整数倍に設定するか否かの判断を行い、高速かつ高精度な三次元計測ができる。
以上、本願明細書において、光源1で発光する光の強度および発光する時間を調整することを説明した。しかしながら、本願発明はこれに限られない。例えば、光源1で発光する強度および時間は固定のまま、投影レンズ3a、3bを通じて実際に投影装置から投影されるパターンの発光強度および発光時間をマスク等で遮光することにより調整しても良い。即ち、本願明細書において、発光強度および発光時間は、光源1の発光強度および発光時間のみならず、実際に投影装置から投影されるパターンの発光強度および発光時間を含む。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

Claims (5)

  1. 影装置によりターンが投影された対象物を、撮像装置により撮像した画像に基づいて、前記対象の三次元計測を行う情報処理装置であって、
    前記投影装置により投影されるパターン光の光強度と光照射時間をそれぞれ第1光強度と第1光照射時間に設定し、前記第1光強度に基づいて前記撮像装置により前記対象物を撮像するときの露光時間を第1露光時間に設定する設定手段と、
    環境光下で前記撮像装置により撮像された複数の画像の各輝度のばらつきに基づき、前記光時間を前記環境光の明滅周期の整数倍に設定するか否かを判定する判定手段と、
    前記判定手段により、前記ばらつきが所定の値以上で、前記露光時間を前記環境光の明滅周期の整数倍に設定すると判定された場合には、記露光時間を、前記第1露光時間に近い前記環境光の明滅周期の整数倍の第2露光時間に設定し、前記第2露光時間に基づいて前記ターン強度または光照射時間を第2光強度または第2光照射時間に設定する制御手段と、
    前記判定手段により、前記ばらつきが前記所定の値未満で、前記露光時間を前記環境光の明滅周期の整数倍に設定しないと判定された場合には、前記第1光強度と前記第1光照射時間で前記投影装置により前記パターン光を投影し、前記第1露光時間で前記撮像装置により前記対象物を撮像することにより、撮像された複数の画像を用いて前記対象物の三次元計測を行い、
    前記露光時間を前記環境光の明滅周期の整数倍にする場合には、前記第2光強度または前記第2光照射時間で前記投影装置により前記パターン光を投影し、前記第2露光時間で前記撮像装置により前記対象物を撮像することにより、撮像された複数の画像を用いて前記対象の三次元計測を行う計測手段と
    を備えることを特徴とする情報処理装置。
  2. 更に、前記環境光の発光強度を測定する手段を備え、
    前記判定手段は、更に、前記環境光の発光強度に基づいて、前記判定を行うことを特徴とする請求項1に記載の情報処理装置。
  3. 前記パターンは、明暗を有する空間符号化用のパターンであることを特徴とする請求項1または2に記載の情報処理装置。
  4. 影装置によりターンが投影された対象物を、撮像装置により撮像した画像に基づいて、前記対象の三次元計測を行う三次元計測方法であって、
    前記投影装置により投影されるパターン光の光強度と光照射時間をそれぞれ第1光強度と第1光照射時間に設定し、前記第1光強度に基づいて前記撮像装置により前記対象物を撮像するときの露光時間を第1露光時間に設定する設定ステップと、
    環境光下で前記撮像装置により撮像された複数の画像の各輝度のばらつきに基づき、前記光時間を前記環境光の明滅周期の整数倍に設定するか否かを判定する判定ステップと、
    前記判定ステップにより、前記ばらつきが所定の値以上で、前記露光時間を前記環境光の明滅周期の整数倍に設定すると判定された場合には、前記露光時間を、前記第1露光時間に近い前記環境光の明滅周期の整数倍の第2露光時間に設定し、前記第2露光時間に基づいて前記ターン強度または光照射時間を第2光強度または第2光照射時間に設定する制御ステップと、
    前記判定ステップにより、前記ばらつきが前記所定の値未満で、前記露光時間を前記環境光の明滅周期の整数倍に設定しないと判定された場合には、前記第1光強度と前記第1光照射時間で前記投影装置により前記パターン光を投影し、前記第1露光時間で前記撮像装置により前記対象物を撮像することにより、撮像された複数の画像を用いて前記対象物の三次元計測を行い、
    前記露光時間を前記環境光の明滅周期の整数倍にする場合には、前記第2光強度または前記第2光照射時間で前記投影装置により前記パターン光を投影し、前記第2露光時間で前記撮像装置により前記対象物を撮像することにより、撮像された複数の画像を用いて前記対象の三次元計測を行う計測ステップとを備えることを特徴とする情報処理方法。
  5. コンピュータを、請求項1乃至のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2015123161A 2015-06-18 2015-06-18 情報処理装置、情報処理方法、プログラム Active JP6566737B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015123161A JP6566737B2 (ja) 2015-06-18 2015-06-18 情報処理装置、情報処理方法、プログラム
CN201610422620.3A CN106257916A (zh) 2015-06-18 2016-06-15 信息处理装置及信息处理方法
US15/183,583 US10334147B2 (en) 2015-06-18 2016-06-15 Information processing apparatus, information processing method, and storage medium
DE102016111014.0A DE102016111014A1 (de) 2015-06-18 2016-06-16 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015123161A JP6566737B2 (ja) 2015-06-18 2015-06-18 情報処理装置、情報処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2017009351A JP2017009351A (ja) 2017-01-12
JP6566737B2 true JP6566737B2 (ja) 2019-08-28

Family

ID=57467336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015123161A Active JP6566737B2 (ja) 2015-06-18 2015-06-18 情報処理装置、情報処理方法、プログラム

Country Status (4)

Country Link
US (1) US10334147B2 (ja)
JP (1) JP6566737B2 (ja)
CN (1) CN106257916A (ja)
DE (1) DE102016111014A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017003469A (ja) * 2015-06-11 2017-01-05 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法及びプログラム
KR101842141B1 (ko) * 2016-05-13 2018-03-26 (주)칼리온 3차원 스캐닝 장치 및 방법
KR102370763B1 (ko) 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
CN113141472A (zh) * 2017-09-30 2021-07-20 深圳市大疆创新科技有限公司 补光控制方法、补光控制模块及无人飞行器
JP6770254B2 (ja) * 2018-02-07 2020-10-14 オムロン株式会社 3次元測定装置、3次元測定方法及び3次元測定プログラム
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
CN109151256B (zh) * 2018-08-31 2020-12-08 惠州华阳通用电子有限公司 一种基于传感器检测的摄像头闪烁消除方法及装置
CN109120863B (zh) * 2018-10-23 2021-01-01 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质及移动终端
CN109547704A (zh) * 2018-12-29 2019-03-29 与德科技有限公司 一种防闪屏的拍照方法、装置、终端及存储介质
CN112422934A (zh) * 2019-08-23 2021-02-26 中强光电股份有限公司 投影装置及其亮度调整方法
CN111163270A (zh) * 2019-12-30 2020-05-15 Oppo广东移动通信有限公司 消除闪烁的方法、电子装置和存储介质
KR102521770B1 (ko) 2020-01-31 2023-04-14 주식회사 메디트 외부광 간섭 제거 방법
CN111314594B (zh) * 2020-03-19 2021-11-12 闻泰通讯股份有限公司 摄像头模组、控制方法、装置、电子设备和存储介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000002519A (ja) * 1998-06-18 2000-01-07 Minolta Co Ltd 3次元入力装置
JP4111592B2 (ja) 1998-06-18 2008-07-02 コニカミノルタセンシング株式会社 3次元入力装置
JP2004212385A (ja) * 2002-12-19 2004-07-29 Olympus Corp 撮影装置とその撮影装置の撮影方法及び制御方法
JP2005073227A (ja) * 2003-08-04 2005-03-17 Sharp Corp 撮像装置
KR100578647B1 (ko) * 2004-04-27 2006-05-11 매그나칩 반도체 유한회사 이미지센서의 인티그레이션 방법
US7561190B2 (en) * 2006-04-19 2009-07-14 Nethra Imaging Inc. Method and system to reduce flicker artifacts in captured images
CN101193210A (zh) * 2006-11-23 2008-06-04 中兴通讯股份有限公司 一种消除摄像头条纹的方法
JP2008224808A (ja) 2007-03-09 2008-09-25 Canon Inc 自動合焦装置および撮像装置
US8294762B2 (en) * 2008-10-10 2012-10-23 Fujifilm Corporation Three-dimensional shape measurement photographing apparatus, method, and program
JP2010133712A (ja) * 2008-12-02 2010-06-17 Nikon Corp 形状測定装置
FI20086180A0 (fi) 2008-12-09 2008-12-09 Helsingin Yliopisto Menetelmä pintojen interferometriseksi havaitsemiseksi
TW201043015A (en) * 2009-05-18 2010-12-01 Chip Goal Electronics Corp Adaptive de-flicker device and method for adaptive de-flicker
JP5257618B2 (ja) * 2009-08-07 2013-08-07 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および露出調整方法
US20110187859A1 (en) * 2009-11-13 2011-08-04 Steven Donald Edelson Monitoring and camera system and method
US8330829B2 (en) * 2009-12-31 2012-12-11 Microsoft Corporation Photographic flicker detection and compensation
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
US8866114B2 (en) 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
JP5584873B2 (ja) 2011-01-27 2014-09-10 株式会社ミツトヨ 画像測定装置
US20120236175A1 (en) * 2011-03-18 2012-09-20 Uri Kinrot Methods and Systems for Flicker Correction
US8711245B2 (en) * 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
US20120307106A1 (en) * 2011-05-31 2012-12-06 Kurt Eugene Spears Synchronized Exposures For An Image Capture System
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
JP5864950B2 (ja) * 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム
JP5366028B2 (ja) 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
JP6251962B2 (ja) * 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
EP2921998B1 (en) * 2012-11-13 2018-06-13 Kyodo Printing Co., Ltd. Two-dimensional code, system for creation of two-dimensional code, and analysis program
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US10126252B2 (en) * 2013-04-29 2018-11-13 Cyberoptics Corporation Enhanced illumination control for three-dimensional imaging
US9554057B2 (en) * 2013-07-16 2017-01-24 Texas Instruments Incorporated Wide dynamic range depth imaging
JP6267486B2 (ja) * 2013-10-30 2018-01-24 キヤノン株式会社 画像処理装置、画像処理方法
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP6343910B2 (ja) * 2013-11-20 2018-06-20 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6225000B2 (ja) * 2013-11-20 2017-11-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9686505B2 (en) * 2014-01-03 2017-06-20 Mediatek Singapore Pte. Ltd. Method for flicker detection and associated circuit
KR102130798B1 (ko) * 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
US9838622B2 (en) * 2015-03-13 2017-12-05 Apple Inc. Flicker detection using semiconductor light source
CN105389845B (zh) * 2015-10-19 2017-03-22 北京旷视科技有限公司 三维重建的图像获取方法和***、三维重建方法和***

Also Published As

Publication number Publication date
JP2017009351A (ja) 2017-01-12
US20160373628A1 (en) 2016-12-22
US10334147B2 (en) 2019-06-25
DE102016111014A1 (de) 2016-12-22
CN106257916A (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
JP6566737B2 (ja) 情報処理装置、情報処理方法、プログラム
RU2577533C1 (ru) Устройство обработки изображений, проектор и способ управления проектором
JP5917258B2 (ja) 画像処理装置及び画像処理方法
JP2004212385A (ja) 撮影装置とその撮影装置の撮影方法及び制御方法
KR20090081253A (ko) 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US20180220114A1 (en) System for controlling projector, information processing apparatus, information processing method, and storage medium
JP2006279546A (ja) 電子カメラ、画像処理プログラム、および画像処理方法
TW202021340A (zh) 用於相機之紅外光預閃光
JP7013730B2 (ja) 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
JP2017225073A (ja) 撮像装置とその制御方法、プログラム及び撮像システム
JP6415412B2 (ja) 計測装置および計測方法
KR20120000234A (ko) 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
JP2009157062A (ja) オートフォーカス装置、オートフォーカス方法及びプログラム
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
JP2012085093A (ja) 撮像装置および取得方法
JP2011064859A (ja) 投写型映像表示装置、およびフォーカス制御回路
JP2021182698A (ja) 撮像装置及びその制御方法
JP6016000B1 (ja) 超解像処理方法、超解像処理装置及び超解像処理システム
JP6477770B2 (ja) 撮像装置
JP2018141681A (ja) 距離測定装置
JP2018010116A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2009014494A (ja) 計測装置
US20180220053A1 (en) Processing device, processing method, system, and article manufacturing method
JP6127583B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R151 Written notification of patent or utility model registration

Ref document number: 6566737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151