JP6478725B2 - 計測装置及びロボット - Google Patents

Description

本発明は、被計測物の位置又は姿勢を計測する計測装置及びロボットに関する。

近年、工業製品の組立工程などのこれまで人間が行ってきた複雑なタスクをロボットが代わりに行うようになってきている。ロボットはハンドなどのエンドエフェクタによって部品を把持して組立を行うが、このような組立を実現するためには、把持対象の物品（ワーク）の位置又は姿勢を計測する必要がある。

例えば、濃淡画像から得られる計測情報（エッジデータ）と、距離画像から得られる計測情報（距離点群データ）とを利用したモデルフィッティングによって、ワークの位置又は姿勢を計測する技術が知られている（特許文献１参照）。かかる技術では、濃淡画像における誤差と距離画像における誤差とがそれぞれ別々の確率分布に従うものとして、最尤推定を用いてワークの位置又は姿勢を推定している。従って、初期条件が悪い場合であっても、ワークの位置又は姿勢を安定的に推定することが可能となる。

ここで、組立工程を高速化するために、ロボットを移動させながらワークの位置又は姿勢を計測する場合を考える。この場合、濃淡画像と距離画像との視野ずれを保証するために、濃淡画像と距離画像とを同時に取得しなければならない。そこで、濃淡画像用照明部と距離画像用照明部とを用いて、波長が異なる光でワークを同時に照明し、波長分離プリズムでそれぞれの波長の光に分離して、濃淡画像用センサと距離画像用センサとで両画像を同時に撮像する技術が提案されている（特許文献２参照）。

特許第５３９３３１８号公報 特許第５１２２７２９号公報

しかしながら、特許文献２に開示された技術では、濃淡画像と距離画像とでそれぞれセンサが必要となるため、以下のような問題（１）、（２）及び（３）が生じてしまう。
（１）複数のセンサが必要となるため、装置コストが増加する。
（２）複数のセンサを配置する必要があるため、装置サイズが大型化する。
（３）濃淡画像と距離画像とを別々のセンサで取得するため、照明部やセンサの発熱などの温度変動に対する安定性に課題がある。

本発明は、このような従来技術の課題に鑑みてなされ、計測精度、コスト、サイズ又は安定性の点で有利な計測装置を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての計測装置は、被計測物の位置又は姿勢を計測する計測装置であって、パターンを有する第１波長の光で前記被計測物を照明する第１照明部と、前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、互いに隣接する複数の画素が縦横に配列された１つの画素ユニットを有し、前記１つの画素ユニットにより前記第１波長の光と前記第２波長の光とで照明された前記被計測物を撮像し、前記１つの画素ユニットにより前記第１波長の光に対応する第１画像と前記第２波長の光に対応する第２画像とを取得する撮像素子と、前記被計測物と前記撮像素子との間に配置され、前記第１波長の光と前記第２波長の光とを分離して、前記第１波長の光が入射する画素の数が前記第２波長の光が入射する画素の数以上となるように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させる光学部材と、前記第１画像と前記第２画像とに基づいて、前記被計測物の位置又は姿勢の情報を求める処理部と、を有することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、計測精度、コスト、サイズ又は安定性の点で有利な計測装置を提供することができる。

本発明の一側面としての計測装置の構成を示す概略図である。 図１に示す計測装置における第１照明部のマスクの構成の一例を示す図である。 図１に示す計測装置における光学部材である波長分離フィルタの構成の一例を示す図である。 図１に示す計測装置で取得される距離画像の一例を示す図である。 図１に示す計測装置で取得される濃淡画像の一例を示す図である。 図１に示す計測装置で取得される距離画像及び濃淡画像のそれぞれにおける欠落画素の補間を説明するための図である。 距離画像用の画素と濃淡画像用の画素との画素数比と、距離画像の計測精度との関係を示す図である。 ワークに投影されるパターンの撮像素子上でのライン幅と、距離画像の計測精度の低下率との関係を示す図である。 図１に示す計測装置における光学部材である波長分離フィルタの構成の一例を示す図である。 カラーフィルタの分光感度特性の一例を示す図である。 距離画像用の画素と濃淡画像用の画素との位置関係を示す図である。 濃淡画像用の画素と距離画像用の画素との位置関係を示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の一側面としての計測装置１００の構成を示す概略図である。計測装置１００は、パターン投影法を用いて、例えば、被計測物であるワーク５の位置又は姿勢を計測する。計測装置１００は、図１に示すように、距離画像用の第１照明部１と、濃淡画像用の第２照明部２と、撮像部３と、処理部４とを有する。処理部４は、後述するように、撮像部３で取得された距離画像と濃淡画像とに基づいて、ワーク５の３次元情報やエッジなどの形状の情報を求める。

計測装置１００は、距離画像計測部と濃淡画像計測部とによって距離画像と濃淡画像とを同時に取得し、距離画像及び濃淡画像の２つの画像を利用してモデルフィッティングすることによって、ワーク５の位置又は姿勢を計測する装置である。なお、モデルフィッティングは、予め作成されたワーク５のＣＡＤモデルに対して行われものであって、ワーク５の３次元形状が既知であることを前提とする。

まず、計測装置１００の主要部である距離画像を取得するための距離画像計測部及び濃淡画像を取得するための濃淡画像計測部のそれぞれについて説明する。

距離画像計測部について説明する。距離画像とは、被計測物であるワーク５（の表面上の点）の３次元等の情報を示すものであって、各画素が奥行きの情報を含む画像である。距離画像計測部は、第１照明部１、撮像部３及び処理部４によって構成される。第１照明部１は、パターンを有する第１波長の光でワーク５を照明する。撮像部３は、第１照明部１からワーク５に照射（投影）されたパターンを、第１照明部１と異なる方向から撮像して距離画像を取得する。処理部４は、撮像部３で撮像された距離画像から、三角測量の原理に基づいて、ワーク５の３次元情報を求める。

距離画像計測部において、第１照明部１からワーク５に投影するパターンは、１つの距離画像からワーク５の３次元情報を求めることが可能なパターンである。これは、計測装置１００は、ロボットを移動させながらワーク５の位置又は姿勢を計測することを想定した装置であるからである。複数の距離画像からワーク５の３次元情報を求める計測方式では、ロボットの移動によって各距離画像の視野ずれが生じ、３次元情報を高精度に求めることができない。１つの距離画像から３次元情報を求めることが可能なパターンとしては、図２に示すようなドットによって符号化されたドットラインパターンが知られている。ワーク５に投影されたドットラインパターンのドットの位置関係に基づいて、ラインパターンと距離画像との対応付けを行うことで、１つの距離画像からワーク５の３次元情報を求めることができる。なお、本実施形態では、第１照明部１からワーク５に投影するパターンの具体例として、ドットラインパターンを説明した。但し、第１照明部１からワーク５に投影するパターンは、ドットラインパターンに限定されるものではなく、１つの距離画像からワーク５の３次元情報を求めることができるパターンであればよい。

第１照明部１は、本実施形態では、光源９と、照明光学系１０と、マスク１１と、投影光学系１２とを含む。照明光学系１０は、光源９から射出された第１波長の光でマスク１１を均一に照明する、例えば、ケーラー照明するための光学系である。マスク１１には、例えば、ガラス基板をクロムめっきすることによって、ワーク５に投影するパターン（に対応する透過部）が形成されている。本実施形態では、マスク１１には、図２に示すように、ドットラインパターンが形成されている。投影光学系１２は、マスク１１に形成されたパターンの像をワーク５に投影するための光学系である。

このように、第１照明部１は、照明光学系１０によって、光源９からの光でマスク１１を均一に照明し、投影光学系１２によって、マスク１１のパターンからの光をワーク５に結像する。本実施形態では、マスク１１を用いてパターンをワーク５に投影する方式（固定マスクパターン方式）について説明したが、これに限定されるものではない。例えば、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタを用いてパターンをワーク５に投影してもよい。

濃淡画像計測部について説明する。濃淡画像とは、均一に照明されたワーク５を撮像して得られる画像である。本実施形態では、濃淡画像からワーク５の輪郭や稜線に対応するエッジを検出し、エッジを画像特徴としてワーク５の位置又は姿勢を求める際に用いる。濃淡画像計測部は、第２照明部２、撮像部３及び処理部４によって構成される。第２照明部２は、第１波長とは異なる第２波長の光でワーク５を均一に照明する。撮像部３は、第２照明部２によって均一に照明されたワーク５を撮像して濃淡画像を取得する。処理部４は、撮像部３で撮像された濃淡画像にエッジ検出処理を施してワーク５のエッジを求める。

第２照明部２は、複数の光源１３を含み、本実施形態では、リング照明を実現するために、複数の光源１３をリング状に配列して構成されている。第２照明部２は、リング照明によって、ワーク５に影が発生しないように、ワーク５を均一に照明する。但し、ワーク５を均一に照明するための照明方式は、リング照明に限定されるものではなく、同軸落射照明やドーム照明などであってもよい。

次いで、計測装置１００の主要部である撮像部３について説明する。撮像部３は、第１照明部１からの第１波長の光と第２照明部２からの第２波長の光とで同時に照明されたワーク５を撮像し、距離画像（第１波長の光に対応する第１画像）と濃淡画像（第２波長の光に対応する第２画像）とを同時に取得する。撮像部３は、撮像光学系６と、撮像素子７とを含む。撮像光学系６は、ワーク５に投影されたパターン及びリング照明によって均一に照明されたワーク５を撮像素子７に結像するための光学系である。また、撮像素子７は、互いに隣接する複数の画素が縦横に配列された１つの画素ユニットを有する。撮像素子７は、距離画像及び濃淡画像を撮像するためのイメージセンサであって、例えば、ＣＭＯＳセンサやＣＣＤセンサなどで構成されている。撮像素子７は、撮像素子７の１つの画素ユニットにより第１波長の光と第２波長の光とで照明された被計測物を撮像する。

本実施形態では、距離画像用の照明光と濃淡画像用の照明光とを互いに異なる波長とし、撮像素子７の１つの画素ユニットの画素のそれぞれでいずれかの波長の光を撮像することで、距離画像及び濃淡画像を１つのセンサ、即ち、１つの画素ユニットで取得する。これにより、２つの独立したセンサ（濃淡画像用センサ及び距離画像用センサ）を必要とする従来技術（複数センサ方式）と比べて、コスト、サイズ及び安定性の点で優れた計測装置を提供することが可能となる。

これを実現するために、本実施形態の計測装置１００は、波長選択素子として機能する光学部材８を有する。光学部材８は、ワーク５と撮像素子７との間に配置され、第１照明部１からの第１波長の光と第２照明部２からの第２波長の光とを分離して、撮像素子７の１つの画素ユニットの画素のそれぞれに第１波長の光及び第２波長の光のいずれか一方の光を入射させる。光学部材８は、第１波長の光が入射する画素の数が第２波長の光が入射する画素の数以上となるように、撮像素子７の１つの画素ユニットの画素のそれぞれに第１波長の光及び第２波長の光のいずれか一方の光を入射させる。この際、撮像素子７の１つの画素ユニットの画素のうちの互いに隣接する任意の２×２画素の領域内に第１波長の光が入射する画素及び第２波長の光が入射する画素のそれぞれが少なくとも１つ存在するようにする。なお、撮像素子７の一部の画素について距離画像及び濃淡画像を取得する目的以外の画素を構成してもよく、撮像素子７の全画素に第１波長の光及び第２波長の光のいずれか一方の光を入射させなくてもよい。換言すれば、距離画像及び濃淡画像を取得するために使用しうる有効画素について、第１波長の光及び第２波長の光のいずれか一方の光を入射させるように構成すればよい。

本実施形態では、光学部材８は、撮像素子７の１つの画素ユニットの画素に対応する複数のフィルタが配列された波長分離フィルタで構成されている。また、かかる複数のフィルタは、第１波長の光を透過する第１フィルタと、第２波長の光を透過する第２フィルタとを含んでいる。具体的には、光学部材８として、図３に示すように、青の波長帯の光が入射する画素を３つ、且つ、赤の波長帯の光が入射する画素を１つ含む互いに隣接する２×２画素の領域を周期的に形成するような波長分離フィルタ８Ａを用いる。なお、ここでは、第１波長を青の波長帯とし、第２波長を赤の波長帯としている。図３において、Ｂは、青の波長帯の光を透過する第１フィルタを示し、Ｒは、赤の波長帯の光を透過する第２フィルタを示している。従って、撮像素子７の１つの画素ユニットの画素には、距離画像用の画素（以下、「青の画素」とも称する）の数を３とし、濃淡画像用の画素（以下、「赤の画素」とも称する）の数を１として構成される２×２画素（基本構造）が周期的に形成される。

撮像素子７の青の画素のみを用いて画像を取得すると、図４に示すように、赤の画素が欠落した距離画像が取得される。このように、撮像素子７の青の画素のみを用いて取得された距離画像は、青の波長帯の光が入射した有効画素（青の画素）と、青の波長帯の光が入射していない欠落画素（赤の画素）とを含む。一方、撮像素子７の赤の画素のみを用いて画像を取得すると、図５に示すように、青の画素が欠落した濃淡画像が取得される。このように、撮像素子７の赤の画素のみを用いて取得された濃淡画像は、赤の波長帯の光が入射した有効画素（赤の画素）と、赤の波長帯の光が入射していない欠落画素（青の画素）とを含む。

そこで、処理部４において、距離画像及び濃淡画像のそれぞれについて、有効画素を用いて欠落画素を補間する。例えば、欠落画素の周囲に存在する有効画素の輝度値を用いて欠落画素の輝度値を補間することで、撮像素子７の全ての画素を用いて画像を取得する場合と同等の解像度を有する距離画像及び濃淡画像を生成することが可能である。

本実施形態では、欠落画素の補間は、図６に示すように、欠落画素の周囲に隣接する８つの画素から有効画素を選択し、かかる有効画素の輝度値の平均値で欠落画素の輝度値を補間することで行われる。具体的には、補間された欠落画素の輝度値をＩ、選択された有効画素の数をｋ、選択されたｎ番目の有効画素の輝度値をＩ_ｎ（ｎ＝１〜ｋ）とすると、以下の式（１）に基づいて、欠落画素の補間を行う。

このような補間処理を距離画像及び濃淡画像のそれぞれに対して行うことによって、撮像素子７の全ての画素を用いて画像を取得する場合と同等の解像度を有する画像を生成することができる。なお、本実施形態では、欠落画素の周囲に隣接する有効画素の輝度値の平均値で欠落画素の輝度値を補間する場合について説明したが、これに限定されるものではなく、他の補間処理で欠落画素を補間してもよい。

また、本実施形態では、従来技術（複数センサ方式）に対して、距離画像の計測精度の低下を抑えるために、撮像素子７における画素の比率を、距離画像用の画素の数が濃淡画像用の画素の数以上となるようにしている。換言すれば、波長分離フィルタ８Ａは、青の波長帯の光が入射する画素の数が赤の波長帯の光が入射する画素の数以上となるように、撮像素子７の１つの画素ユニットの画素のそれぞれに青の波長帯の光及び赤の波長帯の光のいずれか一方の光を入射させている。

図７は、距離画像用の画素（青の画素）と濃淡画像用の画素（赤の画素）との画素数比と、距離画像の計測精度との関係を示す図である。図７では、従来技術（複数センサ方式）での距離画像の計測精度を１とした場合の計測精度の低下率を示している。図７を参照するに、距離画像用の画素の数の減少による距離画像の計測精度の低下率は、距離画像用の画素の数が２以上であれば、１．３倍までと軽微である。但し、距離画像用の画素の数が１である場合には、距離画像の計測精度の低下は、１．８倍となり、約２倍の大幅な計測精度の低下が生じてしまう。従って、距離画像の計測精度の低下を抑えるためには、撮像素子７における画素の比率を、距離画像用の画素の数が濃淡画像用の画素の数以上となるようにすることが重要である。

ここで、距離画像の計測精度を重視する理由について説明する。濃淡画像については、第２照明部２においてリング照明を実現する光源１３の数によってワーク５に対する照度を制御することができるため、必要に応じて光源１３の数を増加することで濃淡画像の計測精度を向上させることができる。一方、距離画像については、第１照明部１から投影するパターンの被写界深度を確保するために投影光学系１２の開口数（ＮＡ）が制限されるため、光源９の輝度がワーク５に対する照度を制限することになる。但し、光源９の高輝度化には限界があるため、光源９の輝度が距離画像の計測精度を律速する。従って、従来技術（複数センサ方式）に対して最終的なワーク５の位置又は姿勢の計測精度の低下を抑えるためには、精度律速要因となる距離画像の計測精度の低下を抑えることが重要となる。

また、上述したように、距離画像用の照明光と濃淡画像用の照明光との間には、波長分離を行うために波長差を設けているが、一般的に、光源の輝度は、波長に大きく依存する。従って、光源９の輝度が精度律速要因となる距離画像の計測精度の低下を抑えるためには、距離画像用の光源９の輝度（第１波長の光の輝度）を、濃淡画像用の光源１３の輝度（第２波長の光の輝度）よりも高くすることが重要である。具体的には、現時点では、青色が最高輝度を得られる光源であるため、光源９には、青色の光源を用いるとよい。

図８は、図３に示す波長分離フィルタ８Ａを用いた場合において、ワーク５に投影されるパターンを構成する複数のラインのそれぞれの撮像素子上でのライン幅と、撮像素子７で取得される距離画像の計測精度の低下率との関係を示す図である。図８を参照するに、ワーク５に投影されるパターンを構成するラインの撮像素子上でのライン幅が細い場合には、撮像素子７で取得される画像の計測精度の低下率が増大する。一般的に、パターン投影法における計測精度は、ＳＮの観点でワーク５に投影されるパターンの像のコントラストに依存する。また、パターンの像のコントラストは、光学的なボケの影響で計測レンジ（光軸方向）の両端で最も低下するため、計測レンジの両端での計測精度が最も低く、装置の計測精度を決定する。従って、計測装置１００の計測精度の低下を抑えるためには、計測レンズの両端での精度低下を抑えることが重要となる。

本実施形態では、ワーク５に投影されるパターンを構成する複数のラインのそれぞれを、距離画像の計測精度の低下率が小さくなるライン幅、具体的には、撮像素子上（１つの画素ユニット内）において、２画素以上のライン幅を有するようにしている。特に、計測レンジの両端において（即ち、ワーク５がベストフォーカス位置からデフォーカスしている場合において）、ワーク５に投影されるパターンの各ラインが、撮像素子上において、２画素以上のライン幅を有するようにすることが重要である。

なお、本実施形態では、ワーク５に投影されるパターンの各ラインの撮像素子上でのライン幅は、距離画像の計測精度の低下率が収束する条件から決定している。図８を参照するに、距離画像の計測精度の低下率は、約１．１２から約１．１４５の間で収束しているため、本実施形態では、その閾値を１．１４５と設定している。そして、かかる閾値を満たす条件から、ワーク５に投影されるパターンの各ラインの撮像素子上でのライン幅を２画素以上としている。

また、ドットなどの微小な画像特徴を消失させないためには、画像特徴を構成する撮像素子上での領域内に少なくとも１つの有効画素を配置する必要がある。但し、画像特徴が撮像素子上で１×１画素のドットである場合、撮像素子７の全ての画素を有効画像しなければならず、１つの撮像素子７で距離画像と濃淡画像とを同時に取得するという本実施形態の計測装置１００における基本的な概念に反する。そこで、本実施形態では、画像特徴の最低保証サイズを２×２画素とし、撮像素子７の１つの画素ユニットの画素のうちの互いに隣接する任意の２×２画素の領域内に距離画像用の画素及び濃淡画像用の画素のそれぞれが少なくとも１つ存在するようにしている。これにより、微小な画像特徴を極力消失させないようにすることが可能となる。

本実施形態では、波長選択素子として機能する光学部材８として、図３に示す波長分離フィルタ８Ａを用いているが、これに限定されるものではない。上述したように、撮像素子７の１つの画素ユニットの画素において、距離画像用の画素の数が濃淡画像用の画素の数以上で、且つ、任意の２×２画素の領域内に距離画像用の画素と濃淡画像用の画素とがそれぞれ少なくとも１つ存在していればよい。従って、撮像素子７の１つの画素ユニットの画素において、距離画像用の画素（青の波長帯の光が入射する画素）と濃淡画像用の画素（赤の波長帯の光が入射する画素）とが交互に（市松格子状に）存在するように、図９に示す波長分離フィルタ８Ｂを用いてもよい。図９において、Ｂは、青の波長帯の光を透過する第１フィルタを示し、Ｒは、赤の波長帯の光を透過する第２フィルタを示している。

また、本実施形態では、距離画像用の第１波長を青の波長帯とし、濃淡画像用の第２波長を赤の波長帯としているが、ワーク５の位置又は姿勢を高精度に計測するためには、第１波長及び第２波長として選択する波長を配慮する必要がある。図１０は、カラーフィルタの分光感度特性の一例を示す図である。図１０には、波長分離フィルタ８Ａや波長分離フィルタ８Ｂに適用されるカラーフィルタ、即ち、青の波長帯の光を透過する第１フィルタの分光感度特性、及び、赤の波長帯の光を透過する第２フィルタの分光感度特性を示している。

図１０を参照するに、第１フィルタ及び第２フィルタのそれぞれの分光感度は広帯域な特性を有しているため、単一波長の光を考えると、青の画素及び赤の画素のいずれかの画素で検出されるのではなく、それぞれの画素で異なる感度で検出される。従って、距離画像と濃淡画像とを異なる波長の光で取得しても、第１フィルタ及び第２フィルタのそれぞれの分光感度に応じて、双方の画像が混ざり合って取得されることになる。距離画像と濃淡画像とが混在してクロストークが発生すると、パターンをエッジと誤認識したり、エッジをパターンと誤認識したりしてしまうため、計測精度に影響を与えてしまう。ここで、クロストークとは、青の波長帯の光及び赤の波長帯の光のうちの一方の光が入射すべき画素（注目画素）に他方の光が入射することで生じるノイズ（クロストークノイズ）である。

クロストークが計測精度に与える影響を低減するためには、距離画像及び濃淡画像のそれぞれに対してクロストークの比率が小さくなる波長を選択すればよい。例えば、波長分離フィルタ８Ａや波長分離フィルタ８Ｂに適用されるカラーフィルタ（第１フィルタ及び第２フィルタ）が図１０に示す分光感度特性を有している場合には、距離画像用の第１波長をλａ［ｎｍ］とし、濃淡画像用の第２波長をλｂ［ｎｍ］とする。これにより、距離画像及び濃淡画像のそれぞれにおけるノイズ比率が最小となり、クロストークが計測精度に与える影響を最小限に抑えることができる。なお、ここでは、クロストークが計測精度に与える影響を最小限に抑えているが、最終的な計測精度を向上させるためには、クロストークの他に、光量が計測精度に与える影響を加味する必要がある。従って、実際には、クロストークが計測精度に与える影響を抑えながら、光量（分光感度）が最大となるように波長を選択する。

更に、クロストークが計測精度に与える影響を抑えたい場合には、波長分離フィルタ８Ａや波長分離フィルタ８Ｂの分光感度特性に基づいて、注目画素の周囲に位置する隣接画素からクロストークを推定して補正すればよい。換言すれば、処理部４において、距離画像及び濃淡画像のそれぞれについて、注目画素で生じるクロストークを求め、かかるクロストークを用いて注目画素の輝度値を補正することが可能である。この際、処理部４は、注目画素の周囲に位置する隣接画素の輝度値と、波長分離フィルタ８Ａや波長分離フィルタ８Ｂの分光感度特性とに基づいて、注目画素で生じるクロストークを求めることができる。

距離画像におけるクロストークの補正について具体的に説明する。図３に示す波長分離フィルタ８Ａを用いた場合、距離画像用の青の画素のうちの１つの注目画素を中心として３×３画素を抽出すると、距離画像用の青の画素と濃淡画像用の赤の画素との位置関係は、図１１に示すように、３通りである。図１１を参照するに、注目画素である青の画素に隣接する赤の画素の数は、２つ又は４つである。注目画素である青の画素において、濃淡画像用の赤の波長帯の光の影響を除去するためには、かかる青の画素に隣接する２つ又は４つの赤の画素の輝度値の平均値を求めて、図１０に示す分光感度特性に基づいて補正する。具体的には、クロストークを補正する前の青の画素の輝度値をＩ_ｂ、隣接する赤の画素の輝度値の平均値をＩ_ｒａ、クロストークを補正した後の青の画素の輝度値をＩ_ｂ’とする。また、濃淡画像用の赤の波長帯をλ_２、波長λにおける青の画素の透過率をＴ_ｂ（λ）、波長λにおける赤の画素の透過率をＴ_ｒ（λ）とする。この場合、以下の式（２）に基づいて、クロストークの補正を行う。

濃淡画像におけるクロストークの補正について具体的に説明する。図３に示す波長分離フィルタ８Ａを用いた場合、濃淡画像用の赤の画素のうちの１つの注目画素を中心として３×３画素を抽出すると、濃淡画像用の赤の画素と距離画像用の青の画素との位置関係は、図１２に示すように、１通りである。図１１を参照するに、注目画素である赤の画素に隣接する青の画素の数は、８つである。注目画素である赤の画素において、距離画像用の青の波長帯の光の影響を除去するためには、かかる赤の画素に隣接する８つの青の画素の輝度値の平均値を求めて、図１０に示す分光感度特性に基づいて補正する。具体的には、クロストークを補正する前の赤の画素の輝度値をＩ_ｒ、隣接する青の画素の輝度値の平均値をＩ_ｂａ、クロストークを補正した後の赤の画素の輝度値をＩ_ｒ’、距離画像用の青の波長帯をλ_１とする。この場合、以下の式（３）に基づいて、クロストークの補正を行う。

このように、本実施形態の計測装置１００では、距離画像と濃淡画像とを波長差で分離して１つの撮像素子７で同時に取得することが可能となり、従来技術（複数センサ方式）と比べて、コスト、サイズ及び安定性の点で有利である。また、本実施形態の計測装置１００では、距離画像用の画素の数を濃淡画像用の画素の数以上としている。これにより、計測装置１００は、精度律速要因である距離画像の計測精度の低下を抑え、従来技術と比べて、コスト、サイズ及び安定性に対する優位性を有しながら、最終的なワーク５の一姿勢の計測精度の低下を抑えることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１００：計測装置 １：第１照明部 ２：第２照明部 ３：撮像部 ４：処理部 ５：ワーク ７：撮像素子 ８：光学部材

Claims (15)

1. 被計測物の位置又は姿勢を計測する計測装置であって、
   パターンを有する第１波長の光で前記被計測物を照明する第１照明部と、
   前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、
   互いに隣接する複数の画素が縦横に配列された１つの画素ユニットを有し、前記１つの画素ユニットにより前記第１波長の光と前記第２波長の光とで照明された前記被計測物を撮像し、前記１つの画素ユニットにより前記第１波長の光に対応する第１画像と前記第２波長の光に対応する第２画像とを取得する撮像素子と、
   前記被計測物と前記撮像素子との間に配置され、前記第１波長の光と前記第２波長の光とを分離して、前記第１波長の光が入射する画素の数が前記第２波長の光が入射する画素の数以上となるように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させる光学部材と、
   前記第１画像と前記第２画像とに基づいて、前記被計測物の位置又は姿勢の情報を求める処理部と、
   を有することを特徴とする計測装置。
2. 前記光学部材は、前記１つの画素ユニットの互いに隣接する任意の２×２画素の領域内に前記第１波長の光が入射する画素及び前記第２波長の光が入射する画素のそれぞれが少なくとも１つ存在するように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させることを特徴とする請求項１に記載の計測装置。
3. 前記光学部材は、前記１つの画素ユニットの画素に対応する複数のフィルタが配列された波長分離フィルタを含み、
   前記複数のフィルタは、前記第１波長の光を透過する第１フィルタと、前記第２波長の光を透過する第２フィルタとを含むことを特徴とする請求項１又は２に記載の計測装置。
4. 前記第１波長の光の輝度は、前記第２波長の光の輝度よりも高いことを特徴とする請求項１乃至３のうちいずれか１項に記載の計測装置。
5. 前記パターンは、複数のラインで構成され、
   前記複数のラインのそれぞれは、前記１つの画素ユニット内で２画素以上のライン幅を有することを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
6. 前記被計測物がベストフォーカス位置からデフォーカスしている場合において、前記複数のラインのそれぞれは、前記１つの画素ユニット内で２画素以上のライン幅を有することを特徴とする請求項５に記載の計測装置。
7. 前記光学部材は、前記１つの画素ユニット内において、前記第１波長の光が入射する画素を３つ、且つ、前記第２波長の光が入射する画素を１つ含む互いに隣接する２×２画素の領域が周期的に形成されるように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させることを特徴とする請求項１乃至６のうちいずれか１項に記載の計測装置。
8. 前記光学部材は、前記１つの画素ユニット内において、前記第１波長の光が入射する画素と前記第２波長の光が入射する画素とが交互に存在するように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させることを特徴とする請求項１乃至６のうちいずれか１項に記載の計測装置。
9. 前記第１画像は、前記第１波長の光が入射した有効画素と、前記第１波長の光が入射していない欠落画素とを含み、
   前記第２画像は、前記第２波長の光が入射した有効画素と、前記第２波長の光が入射していない欠落画素とを含み、
   前記処理部は、前記第１画像及び前記第２画像のそれぞれについて、前記有効画素を用いて前記欠落画素を補間することを特徴とする請求項１乃至８のうちいずれか１項に記載の計測装置。
10. 前記処理部は、前記第１画像及び前記第２画像のそれぞれについて、前記欠落画素の周囲に存在する複数の前記有効画素の輝度値の平均値で当該欠落画素を補間することを特徴とする請求項９に記載の計測装置。
11. 前記処理部は、前記第１画像及び前記第２画像のそれぞれについて、前記第１波長の光及び前記第２波長の光のうちの一方の光が入射すべき注目画素に他方の光が入射することで生じるノイズを求め、当該ノイズを用いて前記注目画素の輝度値を補正することを特徴とする請求項１乃至１０のうちいずれか１項に記載の計測装置。
12. 前記処理部は、前記注目画素の周囲に位置する画素の輝度値と、前記光学部材の分光感度特性とに基づいて、前記ノイズを求めることを特徴とする請求項１１に記載の計測装置。
13. 被計測物の位置又は姿勢を計測する計測装置であって、
    パターンを有する第１波長の光で前記被計測物を照明する第１照明部と、
    前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、
    互いに隣接する複数の画素が縦横に配列された１つの画素ユニットを有し、前記１つの画素ユニットにより前記第１波長の光と前記第２波長の光とで照明された前記被計測物を撮像し、前記１つの画素ユニットにより前記第１波長の光に対応する第１画像と前記第２波長の光に対応する第２画像とを取得する撮像素子と、
    前記被計測物と前記撮像素子との間に配置され、前記第１波長の光と前記第２波長の光とを分離して、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させる光学部材と、
    前記第１画像と前記第２画像とに基づいて、前記被計測物の位置又は姿勢の情報を求める処理部と、
    を有し、
    前記第１波長の光の輝度は、前記第２波長の光の輝度よりも高いことを特徴とする計測装置。
14. 被計測物の位置又は姿勢を計測する計測装置であって、
    パターンを有する第１波長の光で前記被計測物を照明する第１照明部と、
    前記第１波長とは異なる第２波長の光で前記被計測物を照明する第２照明部と、
    互いに隣接する複数の画素が縦横に配列された１つの画素ユニットを有し、前記１つの画素ユニットにより前記第１波長の光と前記第２波長の光とで照明された前記被計測物を撮像し、前記１つの画素ユニットにより前記第１波長の光に対応する第１画像と前記第２波長の光に対応する第２画像とを取得する撮像素子と、
    前記被計測物と前記撮像素子との間に配置され、前記第１波長の光と前記第２波長の光とを分離して、前記１つの画素ユニット内において、前記第１波長の光が入射する画素を３つ、且つ、前記第２波長の光が入射する画素を１つ含む互いに隣接する２×２画素の領域が周期的に形成されるように、前記１つの画素ユニットの画素のそれぞれに前記第１波長の光及び前記第２波長の光のいずれか一方の光を入射させる光学部材と、
    前記第１画像と前記第２画像とに基づいて、前記被計測物の位置又は姿勢の情報を求める処理部と、
    を有することを特徴とする計測装置。
15. ワークの位置又は姿勢を計測する、請求項１乃至１４のうちいずれか１項に記載の計測装置と、
    ハンドを含み、前記計測装置の計測結果に基づいて前記ハンドで前記ワークを把持する把持部と、
    を有することを特徴とするロボット。

Images