JP5986357B2 - 三次元計測装置、三次元計測装置の制御方法、およびプログラム - Google Patents

三次元計測装置、三次元計測装置の制御方法、およびプログラム Download PDF

Info

Publication number
JP5986357B2
JP5986357B2 JP2011152342A JP2011152342A JP5986357B2 JP 5986357 B2 JP5986357 B2 JP 5986357B2 JP 2011152342 A JP2011152342 A JP 2011152342A JP 2011152342 A JP2011152342 A JP 2011152342A JP 5986357 B2 JP5986357 B2 JP 5986357B2
Authority
JP
Japan
Prior art keywords
pattern
luminance
intersection
distribution
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011152342A
Other languages
English (en)
Other versions
JP2013019729A (ja
Inventor
安藤 利典
利典 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011152342A priority Critical patent/JP5986357B2/ja
Priority to PCT/JP2012/065177 priority patent/WO2013008578A1/en
Priority to US14/124,026 priority patent/US20140104418A1/en
Publication of JP2013019729A publication Critical patent/JP2013019729A/ja
Application granted granted Critical
Publication of JP5986357B2 publication Critical patent/JP5986357B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/58Photometry, e.g. photographic exposure meter using luminescence generated by light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、被検物にパターンを投影し、当該パターンが投影された被検物を撮像する撮像装置、撮像装置の制御方法、三次元計測装置、およびプログラムに関し、特に複数のパターンを被検物に投影、撮像し、その明暗境界の位置を算出する手法を用いる撮像装置、撮像装置の制御方法、三次元計測装置、およびプログラムに関する。
被検物にパターンを投影し、当該パターンが投影された被検物を撮像することにより被検物の三次元形状データを取得する三次元計測装置が広く知られている。最もよく知られた方法は、空間符号化法と呼ばれる方法であり、非特許文献1にその原理が詳細に記載されている。また特許文献1においてもその原理が紹介されている。
図13に示される従来のパターンは、白が明部、黒が暗部であり、パターンA、パターンBは、それぞれ液晶前面を明部と暗部とで二分し、かつ両パターンとも矢印Cで示される位置において明暗が反転している。図2(a)は、これらのパターンを被検物に投影し、さらに撮像部の不図示の結像光学系によって撮像素子上に投影した場合の輝度分布、階調分布を示す。図2(a)において、実線は図13に示されるパターンAに対応する撮像素子上の輝度分布Aであり、点線はパターンBに対応する撮像素子上の輝度分布Bである。また、階調分布Aおよび階調分布Bは、輝度分布Aおよび輝度分布Bを撮像素子の各画素でサンプリングして得られた数値列である。図3(a)は、図2(a)の階調交点C近傍を拡大して表現したものであり、図3(a)において非特許文献1で示される手法によって輝度分布の交点位置Cを階調分布から求めることを示している。すなわち、輝度分布の交点近傍において階調分布を直線補間して求めた交点を算出するものであり、図3(a)においてその位置をC’として示している。
特開2009−042015号公報
電子情報通信学会論文誌 D Vol.J71−D No.7 pp.1249−1257
しかしながら、図3(a)において、本来の交点である輝度分布の交点Cに対して階調分布の交点C’は明らかに誤差を持っており、輝度分布交点を正確に算出する目的を損なっている。また、この誤差は輝度分布をサンプリングする撮像素子の位置によって変化するため、一義的に決定されるものではなく、測定対象物の位置、形状によって変化する。したがって、キャリブレーション等によってこれを前もって予測し補正する等の方法を用いることができない。輝度分布をより細かくサンプリングして階調分布を取得することによりこの誤差を小さくすることは可能であるが、高密度な撮像素子が必要となり、これにより撮像部の撮像領域が小さくなってしまう。あるいは撮像領域の確保のために多画素な素子を使用せざるを得なくなり、コストアップ、装置の大型化、あるいは、多画素データの処理のために処理部のコスト増大、処理速度低下などの問題が発生しまうという課題がある。
上記の課題に鑑み、本発明は、少ないサンプリング数でより高精度に交点を算出することを目的とする。
上記の目的を達成する本発明に係る三次元計測装置は、
明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像手段であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像手段と、
前記投影手段及び前記撮像手段の動作を制御する制御手段と、
前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出手段と、を備え、
前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする。

本発明によれば、少ないサンプリング数でより高精度に交点を算出することが可能となる。
本発明に係る投影パターンを示す図。 (a)従来の投影パターンを投影した際の撮像素子上の輝度分布と階調分布とを示す図、(b)本発明に係る投影パターンを投影した際の撮像素子上の輝度分布と階調分布とを示す図。 (a)従来の投影パターンを投影した際の輝度交点と階調交点とを示す図、(b)本発明に係る投影パターンを投影した際の輝度交点と階調交点とを示す図。 本発明の交点算出誤差と従来例の交点算出誤差との比較を示す図。 輝度交点の高さおよび画素密度と、交点算出誤差との関係を示す図。 図5を輝度交点の高さが0.5の時の輝度交点の検出誤差の値で正規化した図。 パターンBの輝度分布に対してパターンAの輝度分布を移動させることによって交点の高さを変化させる様子を示す図。 輝度分布Aおよび輝度分布Bを、結像性能を低減させて輝度変化をなだらかにした輝度分布A’および輝度分布B’として輝度交点高さの値を変化させる様子を示す図。 本発明に係る別の投影パターンを示す図。 図9の投影パターンの輝度分布を示す図。 本発明に係る別の投影パターンを示す図。 三次元計測装置の構成を示す図。 従来の投影パターンの例を示す図。 本発明の原理を説明するための図。
(第1実施形態)
図12を参照して、三次元計測装置の構成を説明する。三次元計測装置は、投影部1と、撮像部8と、投影撮像制御部20と、階調交点算出部21とを備える。投影部1および撮像部8は、対象物へ投影した投影パターンを撮像する撮像装置を構成する。投影部1は、照明部2と、液晶パネル3と、投影光学系4とを備える。また、撮像部8は、撮像光学系9と、撮像素子10とを備える。三次元計測装置は、例えば空間符号化法を用いて対象物の位置姿勢を計測する。
投影部1は、照明部2により照明された液晶パネル3の像を、投影光学系4を介して被検面6の近傍に配置された被検物7上に投影する。投影部1は、後述する投影撮像制御部20の指令によって所定のパターンを被検物7上に投影する。
撮像部8は、被検物7上に投影されたパターンを、撮像光学系9を介して撮像素子10に輝度分布として結像することにより撮像する。撮像部8は、後述する投影撮像制御部20の指令によって撮像動作を制御され、撮像素子10上の輝度分布を、離散的にサンプリングされた階調分布として後述する階調交点算出部21へ出力する。投影撮像制御部20は、投影部1を制御して所定のタイミングで所定パターンを被検物7に投影させるとともに、撮像部8を制御して被検物7上のパターンを撮像させる。
図1は、投影撮像制御部20が投影する、液晶各画素の明暗の状態を示すパターンA(第1のパターン)およびパターンB(第2のパターン)である。図1において、白が明部、黒が暗部を示しており、パターンAおよびパターンBはそれぞれ液晶前面を明部と暗部で二分し且つ両パターンの明暗位置が反転するように構成されている。そして、その境界部分で所定画素以上明暗部分を共通させている。図1の場合、矢印Cで示される位置でパターンAおよびパターンBの暗部が共通している重複部分を有する。投影パターン位置の検出動作において、まず投影撮像制御部20は、投影部1を制御して図1におけるパターンAを被検物7に投影させるとともに、撮像部8を制御してパターンAが投影された被検物7を撮像させる。そして、撮像部8を制御して撮像素子10上の輝度分布を、離散的にサンプリングされた階調分布Aとして階調交点算出部21へ出力させる。
同様に、パターンBに関しても投影、撮像動作が行われ、撮像素子10上の輝度分布を、離散的にサンプリングされたパターンBに対応する階調分布Bとして階調交点算出部21へ出力させる。
図3(b)は、以上のようにして得られた輝度分布および階調分布を説明するものである。図3(b)において、実線はパターンAに対応する撮像素子10上の輝度分布Aであり、点線はパターンBに対応する撮像素子10上の輝度分布Bである。また、階調分布Aおよび階調分布Bは、輝度分布Aおよび輝度分布Bを撮像素子10の各画素でサンプリングすることにより得られる数値列である。第1の輝度値SaはパターンAおよびパターンBにおける明部に対応する階調値であり、第2の輝度値Sbは同じくパターンAおよびパターンBにおける暗部に対応する階調値である。なお、これらの値はパターン構成以外に被検物7の表面テクスチャによっても分布を持つ。そのため、本発明において装置の構成を決定する場合、一様な反射率を有する標準平板などを図12における被検面6に置いた状態で、あるいはその状態を想定して行えばよい。図3(b)に示されるように、階調分布A、階調分布Bは前述した第1の輝度値Saを有する部分、第2の輝度値Sbを有する部分およびそれらを連結する連結部分から構成される。そして、それぞれの分布は連結部分で同値となる位置が存在し、これを交点と呼ぶ。本明細書においては、像である輝度分布の交点を輝度交点と呼び、離散的な階調分布から求めた交点を階調交点と呼ぶ。階調交点は階調分布Aおよび階調分布Bの大小が逆転する位置においてそれぞれの階調分布を直線で補間しその交点を算出することにより求めることができる。または、階調分布Aから階調分布Bを減じた差分分布を求め、この0点をやはり直線補間により階調交点を求めてもよい。
従来例では、図13で示されるパターンを投影しているため、図3(a)に示されるように二つの輝度分布の輝度交点の値は、第1の輝度値Saと第2の輝度値Sbとの中間に位置している。しかしながら、本実施形態では、投影するパターンを図1に示されるように設定しているため、階調分布Aおよび階調分布Bの階調交点は、図3(b)に示されるようにその明部暗部輝度の中点(平均値)には存在せず暗部の階調値即ち第二の階調値Sbに近い値となる。
本実施形態に係るパターンを投影した場合の交点算出誤差の改善効果をシミュレーションにより求め、その結果を図4に示す。図4は、撮像素子10のサンプリング密度に対する交点算出誤差の変化を示している。横軸はサンプリング密度であり、輝度分布の第2の輝度値Sbを0%、第1の輝度値Saを100%とした場合に、その間の10%〜90%幅Wrを以下の式(1)のように規定し、その幅の範囲にある撮像画素の数を画素密度とする。
(Sa+Sb)/2−(Sa−Sb)×0.4≦Wr≦(Sa+Sb)/2+(Sa−Sb)×0.4…(1)
また、縦軸は交点算出誤差であり、輝度交点位置Cと階調交点位置C’との誤差をWrに対するパーセンテージで示している。図4において、点線Aは従来のパターンによる交点算出誤差であり、実線Bは本発明によって階調交点の高さの値を第1の輝度値Saと第2の輝度値Sbとの範囲で約20%の位置に設定した場合の交点算出誤差である。本発明を実施した場合の交点算出誤差が減少している。特に、横軸の画素密度が4以下で交点算出誤差の低減が顕著になっている。すなわち、少ないサンプリング数(撮像画素の数)であっても誤差を低減できることがわかる。
図5は、輝度交点の高さと画素密度とによって交点算出誤差がどのように変化するかを示したグラフである。ここで輝度交点の高さとは、第1の輝度値Saを基準とした場合の輝度交点Cの値である。輝度交点の高さが横軸であり、輝度交点の検出誤差が縦軸である。図5において、輝度交点の高さが中央の0.5の場合が従来の系である。パラメータ2.9、3.5、3.9、4.4、5.0は幅Wrの範囲内にある撮像画素の数(画素密度)である。
また、図6は、図5の結果を輝度交点の高さ(横軸)が0.5の時の輝度交点の検出誤差の値(縦軸)で正規化したものである。すなわち、輝度交点の高さが0.5の時の輝度交点の検出誤差が基準値1.0となっている。輝度交点の高さが横軸であり、図6から明らかな様に、どの画素密度(2.9、3.5、3.9、4.4、5.0)においても輝度交点の高さ(横軸)が0.1から0.9となる範囲では従来の系である輝度交点の高さが0.5である時に最も誤差が大きくなる。そして、輝度交点の高さが0.2近傍および0.8近傍で誤差絶対値が0となることがわかる。また、輝度交点の高さが0.5±0.15の範囲では誤差改善は緩やかであり、その範囲を超えると誤差が大きく改善している。また、輝度交点の高さが0.1以下または0.9以上になると従来系よりも悪化することがわかる。すなわち輝度交点の高さは0.1以上または0.9以下であることが望ましく、さらに外乱による変動マージンを考慮すると0.15以上0.85以下であり且つ0.5±0.15以外であることが望ましい。従って、この場合輝度交点の高さは0.15〜0.35、または0.65〜0.85程度の範囲であることが望ましい。
すなわち、第1の輝度値をSa、第2の輝度値をSb、交点の輝度値をScとした場合、0.15≦(Sc−Sb)/(Sa−Sb)≦0.35、または、0.65≦(Sc−Sb)/(Sa−Sb)≦0.85、という関係を満たすとよい。さらに、(Sc−Sb)/(Sa−Sb)=0.2、または、(Sc−Sb)/(Sa−Sb)=0.8、という関係を満たすとさらによい。
以上の説明は輝度分布の値を用いて行ったが、輝度と階調との対応付けがなされていれば、撮像素子によりサンプリングされた後の階調分布の値を用いて実現してもよい。ただし、輝度交点の高さを0.5以上とした場合、過大な反射率の被検物がきた場合には撮像素子の飽和輝度を超えた像が形成され階調分布において交点を算出できなくなる可能性がある。これを回避する為には輝度交点の高さを0.5以下に設定するとよい。
<原理>
以下に交点輝度を第1の輝度値Saおよび第2の輝度値Sbの中点(平均値)以外(すなわち平均値から所定値だけずれた値)とすることにより交点位置検出精度が向上する原理を説明する。2種の階調分布が同輝度値となる位置を算出する場合、それぞれ位置的に離散的に存在する階調分布の間を直線で補間し、該2種の階調分布に対応した2直線の交点を算出すればよい。あるいは、2種の階調分布の差を算出した差分分布を別途求め、該差分分布をやはり直線で補間し、直線の値が0となる位置を算出することもできる。上記の2種類の方法は数学的には同じ意味を有している。任意の分布を直線で補間して処理を行う場合に発生する誤差の大きな要因は、元の分布の直線からの逸脱である。元の分布の直線からの逸脱はまた、その部分の曲率の大小で表現することができる。即ち曲率が大であれば曲がりが大きく、直線からの逸脱は大きくなり、曲率が小であれば曲がりが小さく直線に近くなるため逸脱は小さくなる。さらに、最終的な交点算出位置を求めるのは差分分布であるから、2つの階調分布の部分的な曲率が大であっても、これを差分した場合にその曲率が打ち消し合えばよいことになる。
以下、図14(a)−(c)を参照して上記原理について詳述する。図14(a)は、2つのパターンのエッジ像、あるいは格子像の輝度分布の交点部分を示したものであり、本例では数学モデルとして正規分布の累積分布関数を用いており、横軸の座標は標準偏差を単位としている。縦軸は、第1の輝度値Saを1.0として第2の輝度値Sbを0とした場合の相対輝度値である。エッジ像、あるいは格子像の交点部分モデルとして上記の関数を用いる根拠として、以下の点で実際の結像状態を表現するのに適しているからである。
(1)第1の輝度値Saと第2の輝度値Sbが滑らかに結ばれている。
(2)交点近傍で2つの分布は座標左右の入れ替えに関してほぼ等しくなる。
(3)S字状の曲率変動を有する。すなわち中点位置で曲率が0となり、その左右で曲率の符号が反転し、かつ極値を有する。
図14(a)において、実線は第1の輝度分布(図1のパターンAに相当)であり、これをP分布と呼ぶ。一方、一点鎖線は 第1の輝度分布と半値(0.5)で交点を有する従来の第1の輝度分布であり、これN0分布と呼ぶ。PとN0とは座標0で交点を有している。また波線は、同じく第1の輝度分布と半値(0.5)以外で交点を有する本発明に係る第2の輝度分布(図1のパターンBに相当)でありN1分布と呼ぶ。PとN1とは、座標値1において交点αを有しており、このときの交点値は約0.15である。
また、図14(b)は、図14(a)におけるP、N0、N1の各輝度分布の曲率変化を示した曲率分布であり、実線、一点鎖線、鎖線と輝度分布との関係は、図14(a)と同様である。横軸は標準偏差であり、縦軸は輝度分布の曲率である。PとN0とは横軸0の位置に交点βを有し、この位置における曲率はともに0で等しいが、Pの曲率は横軸の増加とともに増加するのに対し、N0の曲率は横軸の増加とともに減少している。PとN1とは横軸1の位置に交点γを有し、この位置近傍で双方の曲率はほぼ等しく、また曲率の極値に近いためその変化は緩やかである。
そして図14(c)は、2つの輝度分布の差分分布の曲率変化を示したものであり、一点鎖線は 従来のPからN0を減じた差分分布、一点鎖線は、PからN1を減じた差分分布である。図14(c)から明らかなように、PからN0を減じた差分分布の曲率は交点βで0となるもののこの位置を離れると急激にその絶対値が増加する。これは、この近傍では離間した二点間での曲がりの成分が大きく直線近似に大きな誤差が発生する可能性が高いことを示している。これに対して、PからN1を減じた差分分布の曲率は、横軸1の交点位置γにおいて0であり、且つこの交点位置を中心とした広い範囲においてその絶対値が小さな値を維持している。これは、この近傍では離間した二点間での曲がりの成分が小さく、良い直線近似が得られることを示している。
以上より2つのエッジ像あるいは格子像の交点を曲率変化の緩い、曲率極値近傍に設定することによって、交点近傍における差分分布の直線性が向上し、直線近似であってもよい精度で交点検出が行えることになる。すなわち交点の位置は、第1の輝度分布の曲率分布と前記第2の輝度分布の曲率分布とが共に、曲率の変化が所定値よりも小さく且つ極値となる位置であるとよい。
<輝度交点の制御方法:投影パターンの相対位置制御>
交点の高さを制御する方法を以下に示す。図1においては、パターンAおよびパターンBにおいて、液晶の1画素のみ暗部が共通であるとしたが、明部を共通とすることにより輝度交点の高さを0.5以上にすることもできる。図1においては2つのパターンで共通輝度となる幅を1画素のみとしたが、これを増減することにより交点の高さの値を制御することができる。また液晶の位置にパターンAおよびパターンBに対するナイフエッジを順次設置して投影を行い、これらの間隔を相対的に変化させることにより交点の高さの値を制御することができる。パターンBの輝度分布に対してパターンAの輝度分布を移動させることによって交点の高さを変化させる様子を図7に示す。図7において、パターンA701、パターンA702、パターンA703、パターンA704のように、パターンAの輝度分布を変化させることにより、それぞれ交点711、交点712、交点713、交点714と、交点の高さが変化することがわかる。
<輝度交点の制御方法:光学系結像性能の変化>
また、投影光学系または撮像光学系の結像性能を変えることによっても交点高さを変化させることが可能である。結像性能の制御に際しては、設計において収差を発生させる方法、また瞳フィルタ等を用いて所定のボケを発生させる等の方法を用いればよい。図8は輝度分布A(パターンA)および輝度分布B(パターンB)を、結像性能を低減させて輝度変化をなだらかにした輝度分布A’(パターンA’)および輝度分布B’(パターンB’)として輝度交点高さの値を変化させる状態を示している。ただし、ピントの変動、解像力の変動は通常エッジ像の中点位置には影響を及ぼさないため中点に交点を有する従来系ではこの方法は機能しない。
<パターンの変更>
以上の説明はパターンがエッジ画像であることを前提に行ったが、これは説明を簡略化するために行ったものであり、本発明はエッジ画像のみならず、図9に示されるような明部の幅と暗部の幅とを変えた周期的な繰り返しパターンを用いることによっても同様の効果が得られる。このような繰り返しパターンであってもその交点部分の挙動はエッジ交点での現象と同様となるからである。図9の例では、パターンAとパターンBとの暗部に共通の部分が存在する。図9に示されるような繰り返しパターンの場合の、撮像素子上での輝度分布が図10に示される。図10において、明部輝度に対応する値をSaとし、暗部輝度に対応する値をSbとして、その交点の輝度Scの高さの値を前述したように構成すればよい。
<ディスクリネーションの利用>
液晶を用いたパターン投影の場合、液晶画素の明暗を用いて交点位置を制御することを述べたが、図11に示すように、ディスクリネーションによる液晶非発光部分を用いることによっても本発明を実施することができる。すなわち、図11において、輝度分布Aとなる液晶状態と、輝度分布Bとなる液晶状態とでは、非発光部分1101が存在する。この非発光部分1101を暗部の重複部分として利用することにより、図1や図9で説明したようなパターンと同様の効果を奏することが可能となる。
<カラーパターンの利用、シェーディング補正>
以上の説明では、2つのパターンを順次投影することを前提としていたが、二つのパターンそれぞれで投影色を変更し、撮像部で色分解を行うことにより本発明を実現してもよい。この場合対象物やセンサの分光感度、光源色等によって明暗部に対する二色の輝度即ち前述の説明における第1の輝度値、第2の輝度値が各色で異なるという課題が発生する。この課題は、均一な明部パターンで被検物を投影、撮像して得られた階調分布を各色で記憶し、交点算出の際にはこれを用いて階調を正規化するいわゆるシェーディング補正を行うことにより解決できる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (8)

  1. 明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影手段と、
    前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像手段であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像手段と、
    前記投影手段及び前記撮像手段の動作を制御する制御手段と、
    前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出手段と、を備え、
    前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする三次元計測装置。
  2. 前記第1の輝度値をSa、前記第2の輝度値をSb、前記交点の輝度値をScとした場合、0.15≦(Sc−Sb)/(Sa−Sb)≦0.35、または、0.65≦(Sc−Sb)/(Sa−Sb)≦0.85、という関係を満たすことを特徴とする請求項1に記載の三次元計測装置。
  3. 前記第1の輝度値をSa、前記第2の輝度値をSb、前記交点の輝度値をScとした場合、(Sc−Sb)/(Sa−Sb)=0.2、または、(Sc−Sb)/(Sa−Sb)=0.8、という関係を満たすことを特徴とする請求項2に記載の三次元計測装置。
  4. 前記第1の輝度値をSa、前記第2の輝度値をSb、輝度値の幅をWrとした場合、(Sa+Sb)/2−(Sa−Sb)×0.4≦Wr≦(Sa+Sb)/2+(Sa−Sb)×0.4、の範囲における撮像画素の数が4以下であることを特徴とする請求項1乃至3の何れか1項に記載の三次元計測装置。
  5. 前記投影パターンは、明部と暗部とが異なる幅で周期的に繰り返すパターンであることを特徴とする請求項1乃至4の何れか1項に記載の三次元計測装置。
  6. 前記交点の位置は、前記第1の輝度分布の曲率分布と前記第2の輝度分布の曲率分布とが共に、曲率の変化が所定値よりも小さく且つ極値となる位置であることを特徴とする請求項1乃至5の何れか1項に記載の三次元計測装置。
  7. 投影手段と、撮像手段と、前記投影手段及び前記撮像手段の動作を制御する制御手段と、算出手段とを備える三次元計測装置における制御方法であって、
    前記制御手段による制御下で、前記投影手段が、明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影工程と、
    前記制御手段による制御下で、前記撮像手段が、前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像工程であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像工程と、
    前記算出手段が、前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出工程と、を有し、
    前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする制御方法。
  8. 請求項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2011152342A 2011-07-08 2011-07-08 三次元計測装置、三次元計測装置の制御方法、およびプログラム Expired - Fee Related JP5986357B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011152342A JP5986357B2 (ja) 2011-07-08 2011-07-08 三次元計測装置、三次元計測装置の制御方法、およびプログラム
PCT/JP2012/065177 WO2013008578A1 (en) 2011-07-08 2012-06-07 Image capturing apparatus, control method of image capturing apparatus, three-dimensional measurement apparatus, and storage medium
US14/124,026 US20140104418A1 (en) 2011-07-08 2012-06-07 Image capturing apparatus, control method of image capturing apparatus, three-dimensional measurement apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011152342A JP5986357B2 (ja) 2011-07-08 2011-07-08 三次元計測装置、三次元計測装置の制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013019729A JP2013019729A (ja) 2013-01-31
JP5986357B2 true JP5986357B2 (ja) 2016-09-06

Family

ID=47505876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011152342A Expired - Fee Related JP5986357B2 (ja) 2011-07-08 2011-07-08 三次元計測装置、三次元計測装置の制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20140104418A1 (ja)
JP (1) JP5986357B2 (ja)
WO (1) WO2013008578A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム
JP6161276B2 (ja) 2012-12-12 2017-07-12 キヤノン株式会社 測定装置、測定方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385579B2 (ja) * 1998-08-18 2003-03-10 ダイハツ工業株式会社 黒色ワークの形状測定装置及び取出装置
EP2459960B1 (en) * 2009-07-29 2019-11-13 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and computer program
JP2011133360A (ja) * 2009-12-24 2011-07-07 Canon Inc 距離計測装置、距離計測方法、及びプログラム
JP5569617B2 (ja) * 2013-04-11 2014-08-13 カシオ計算機株式会社 画像処理装置、及び、プログラム

Also Published As

Publication number Publication date
WO2013008578A1 (en) 2013-01-17
JP2013019729A (ja) 2013-01-31
US20140104418A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
US20150077573A1 (en) Projection system, image processing device, and projection method
US8310499B2 (en) Balancing luminance disparity in a display by multiple projectors
JP2017078751A5 (ja)
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
JP2008500529A (ja) デジタル画像化システムを特徴付ける方法
JP2012103239A (ja) 三次元計測装置、三次元計測方法及びプログラム
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
US20150138222A1 (en) Image processing device and multi-projection system
US8659765B2 (en) Three-dimensional shape determining apparatus and three-dimensional shape determining method
JP6330574B2 (ja) 基板検査装置のティーチング装置及びティーチング方法
JP2011137697A (ja) 照明装置及び該照明装置を用いた計測システム
CN103530852A (zh) 一种镜头畸变校正方法
JP5971050B2 (ja) 形状計測装置及び形状計測方法
JP2011061773A (ja) 露出属性の設定方法、コンピューター読み取り可能な記憶媒体および画像投影の設定方法
JP2014035196A (ja) 形状計測装置
JP5986357B2 (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
JP2012093235A (ja) 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2015119344A (ja) 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法
CN107256540B (zh) 图像修复方法、装置及三维重建***
JP6148999B2 (ja) 画像形成装置、キャリブレーションプログラムおよびキャリブレーションシステム
JP6776004B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5446285B2 (ja) 画像処理装置及び画像処理方法
CN111105365A (zh) 一种纹理影像的色彩校正方法、介质、终端和装置
US20130108143A1 (en) Computing device and method for analyzing profile tolerances of products
JP2011002401A (ja) 輝度測定装置における補正係数算出方法および輝度測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160805

R151 Written notification of patent or utility model registration

Ref document number: 5986357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees