JP3818028B2 - ３次元画像撮像装置および３次元画像撮像方法 - Google Patents
３次元画像撮像装置および３次元画像撮像方法 Download PDFInfo
- Publication number
- JP3818028B2 JP3818028B2 JP2000207875A JP2000207875A JP3818028B2 JP 3818028 B2 JP3818028 B2 JP 3818028B2 JP 2000207875 A JP2000207875 A JP 2000207875A JP 2000207875 A JP2000207875 A JP 2000207875A JP 3818028 B2 JP3818028 B2 JP 3818028B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- pattern
- imaging
- dimensional image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は測定対象に対してパターン光を照射することによって得られるパターン投影像を、複数の撮像手段で異なる方向から撮像し、パターンの変化に基づいて距離情報を得る３次元画像撮像装置および３次元画像撮像方法に関し、測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段を用いた３次元画像撮像装置および３次元画像撮像方法に関する。
【０００２】
【従来の技術】
３次元形状を取得する手法には、アクティブ手法（Active vision）とパッシブ手法（Passive vision）がある。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、（2）スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から３次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【０００３】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の３次元計測装置であるパターン投影法に関するものである。
【０００４】
パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【０００５】
代表的な空間コード化の一例として特開平５−３３２７３７５号公報に開示されている実施例について説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。
【０００６】
スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はＮ個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【０００７】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を２５６の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【０００８】
パターンの投光回数を減らす手段として特開平３−１９２４７４号公報に開示されている色符号化がある。色符号化においては、q、kを2以上の所定の自然数とした時、q色以上の色を用いて、隣接する2本のスリット光が同色にならず、隣接するk本のスリット光による色の並びが1度しか現れないように符号化されたパターンを投影し、観測された画像からスリットの色を検出し、該当スリットの色並びからスリット番号を取得する。スリット番号から、スリットの照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【０００９】
しかしながら、色符号化ではコード列の並びからコードを復元する為に、コードの復元の計算量が大きいという問題点がある。更に、Ｒ，Ｇ，Ｂの３色を用いて２５６の領域に分割したい場合には、コードを知りたいスリットの周囲８本のスリット光の並びを知る必要があり、連続してスリットが長く観測できるような形状の物体の計測にしか適さない。
【００１０】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として特許第２５６５８８５号で公開されている空間パターンコード化法がある。この特許では、３値以上の濃淡、又は３色以上の色、又は濃淡と色の組み合わせによって３種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与したことを特徴とする。
【００１１】
しかし、上述の方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。例えば、図２１に示すように光源によって投光されたパターン列が"12345678"であるとき、撮影対象の構造によってはカメラで撮影されるパターン列が"1267"と欠落して認識されたり、パターン列"758"のように反転したパターン列が得られる場合がある。また、対象物の形状や反射率などによっても投光したパターンと撮影されたパターン列の変化により対応づけは困難となる。
【００１２】
色符号化においては、復号化時にスリットのグループ化を行う際、スリットの欠落、反転の可能性があるパターンについては復号を行わない手法を用いてこの問題を回避している。空間パターンコード化法では２次元パターンを用いることで、前述の誤りの可能性を低減してはいるが、原理的には対象物によっては同じ誤りが生じる。従って、前述の方式では、実験室内の特殊な状況や対象物体を限定した状況での撮影では優れた精度が得られるものの、対象を限定しない一般的な撮影状況では精度の劣化は否めない。また、光源を用いた投光を行う手法では、広いレンジを有するものを対象とした時に、投光が届かない部位については３次元形状が得られない。また、投光されたパターンを対象物が遮ることで生じる影の領域も、距離の計測ができないため、実際に見えているのに距離が得られない領域が存在してしまう。
【００１３】
そこで、本出願と同一出願人に係る特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない3次元画像撮影装置を提案した。
【００１４】
【発明が解決しようとする課題】
上記の特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)における３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、３次元形状を算出する際に、エラーとなって適切な３次元形状が計測できない。そのために、上記３次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、３次元形状を計測している。
【００１５】
上記構成において、符号化されたパターンを投影する際の投影には、液晶などをつかったＰＣなどのコントローラで照射パターンを制御して投影するプロジェクタあるいはレーザによる投影構成を使用している。レーザ光を使ったものは、ポリゴンミラーなどの駆動系を有してしまうので、手持ちなどの振動に弱いという欠点や、ビデオレート以上の高速カメラなど高速シャッターが必要な物体に対してはプロジェクトパターンが追いつかないという欠点がある。また、ポリゴンミラーの駆動及びスリットレーザ光のコントロールをするための制御が必要となるといった問題があった。
【００１６】
本発明は、このようなパターン照射を実行する投影手段の問題点に鑑みてなされたものであり、本発明は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ３次元画像撮像装置および３次元画像撮像方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明は、上記の目的を解決するものであり、その第１の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有することを特徴とする３次元画像撮像装置にある。
【００１８】
さらに、本発明の第２の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有することを特徴とする３次元画像撮像装置にある。
さらに、本発明の第３の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有するとともに、前記光源は、平板型の発光素子または蛍光体であり、前記光学フィルターに近接して配置された構成を有することを特徴とする３次元画像撮像装置にある。
【００１９】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段は、パターン光を不可視領域光によって形成する構成であり、前記光源は、赤外光または紫外光を用いた不可視領域の光源であることを特徴とする。
【００２１】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段を構成する光学フィルターは、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせた構成であり、前記光源は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成であることを特徴とする。
【００２２】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタによって分離される構成であり、前記投光手段と前記第１の撮像手段とは、それぞれ光学的に同軸に配置された構成であることを特徴とする。
【００２３】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする。
【００２４】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るよう構成したことを特徴とする。
【００２５】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得るよう構成したことを特徴とする。
【００２８】
さらに、本発明の第４の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とにより、パターンの投影された測定対象を撮影する撮像ステップと、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成するステップと、
を有することを特徴とする３次元画像撮像方法にある。
【００３０】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであることを特徴とする。
【００３１】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする。
【００３２】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記３次元画像撮像方法は、さらに、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るステップを有することを特徴とする。
【００３３】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記３次元画像撮像方法において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得ることを特徴とする。
【００３４】
【発明の実施の形態】
以下、図を用いて本発明の３次元画像撮像装置および３次元画像撮像方法の実施の形態を詳しく説明する。
【００３５】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する３次元画像撮像装置の構成を表すブロック図を図１に示す。図２に光源と撮像素子の位置関係を示す。
【００３６】
図２に示すように、３次元形状測定装置は、３台のカメラ１０１〜１０３および投光器１０４を備える。各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ビームスプリッタとしてのハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００３７】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図３に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００３８】
また図２に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図３参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００３９】
図１を用いて３次元形状測定装置の構成を説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００４０】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして３次元画像を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００４１】
図１において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００４２】
図４は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００４３】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００４４】
図５はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００４５】
図６は、カメラ６０１〜６０３および投光器６０４を用いて、壁６０５の前に配置された板６０６にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図７に示すスリットパターンである。このとき、カメラ６０１、カメラ６０２で得られる画像は、図８及び図９に示すように、それぞれ板６０６の影となる領域８０１、９０１が生ずる。本例では、板６０６の表面には新たにコード化されたパターンとして、図１０に示すようなスリットパターンが得られる。
【００４６】
次に図１に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図１１は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算出する。
【００４７】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００４８】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域１を除く領域に対しては、前述の操作により距離が算出されているので、領域１の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差ｄを検出し、カメラパラメータである画素サイズλを用いて、次の（数２）によって距離Ｚを算出する。
【００４９】
【数２】
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００５０】
前述の手法でカメラ３，１０３とカメラ１，１０１の組み合わせによって得られた距離情報では、図８に示す板の影となる領域８０１の距離情報が検出できない。一方、カメラ３，１０３とカメラ２，１０２の組み合わせによって得られた距離情報では、図９に示す板の影となる領域９０１の距離情報が検出できない。しかし、図８に示す板の影となる領域８０１の距離情報が算出可能である。従って、図１の距離情報統合部１３３において、カメラ３，１０３とカメラ１，１０１の組で算出された距離情報およびカメラ３，１０３とカメラ２，１０２で算出された距離情報から、カメラ３の画像（図１２）のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ３の輝度画像に対応づけて３次元画像メモリに記憶することで３次元画像撮像を行う。
【００５１】
上述したような構成により、距離データを取得して３次元画像の生成を実行する。上述の構成の３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。このためのパターン投影手段の具体的構成を図１３に示す。
【００５２】
図１３に示すパターン投影手段は、光源１３０１と、光源１３０１の光の光透過態様、すなわち、光透過量あるいは透過率をコントロールするようなフォトマスクなどの透過マスクで構成される濃度分布を持った光学フィルター１３０２によって構成される。光学フィルター１３０２は、予め所定の濃度分布のパターン光を透過するように構成された光学フィルターである。光源１３０１からの出射光は、光学フィルター１３０２を介して測定対象物に照射されて投影パターン１３０３が測定対象に投影される。
【００５３】
このような投光手段構成において、例えば測定対象である被写体が動く物体の場合は、光源１３０１を撮影時に常時点灯することによって、任意のタイミングで３次元画像生成のためのパターン画像を撮影することができる。また、被写体の対象が静物の場合は、撮影時、前後の時間も含めて光源１３０１を点灯させておくか、撮影時に同期させて光源１３０１を瞬間的に光らせることで、３次元画像生成のためのパターン画像を撮像することができる。
【００５４】
なお、図１３に示す投光手段構成において、投光手段を構成する光学フィルター１３０２は、可視領域光を透過する構成とするとともに、投影パターンに対応させて不可視領域光の強度変化パターンを形成し、光源１３０１は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成とすることで、撮像手段によって撮影される輝度画像の照明手段としても兼用できる構成とすることが可能である。
【００５５】
具体的には、パターン光を不可視領域光、例えば近赤外光によって形成しようとする場合は、光学フィルター１３０２は、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせる構成とする。この場合、可視光は光学フィルター１３０２を透過する。光源１３０１は、可視領域及び近赤外の波長に強度を持つものを使用する。このような構成であれば、投光装置は、輝度画像の照明装置としても兼用でき、暗所などにおいての測定も可能になる。
【００５６】
測定対象である被写体と、スリットパターンを形成した光学フィルターと、光学フィルターを用いた投光手段による被写体への投光パターン照射例を図１４に示す。図１４（ａ）は、測定対象である被写体であり、図１４（ｂ）はスリットパターンを形成した光学フィルター、図１４（ｃ）は光学フィルターを用いた投光手段による被写体への投光パターン照射例である。図１４（ｃ）に示す照射パターンを投影した被写体を、前述したよう、撮像手段を用いて異なる角度から撮影して、撮影されたパターンに基づいて距離情報を取得する。
【００５７】
図１５に光学系を中心とした本発明の３次元画像撮像装置の構成を示す。図１５の３次元画像撮像装置において、測定対象物体１５０１にパターン光を照射し、測定対象物体１５０１に対して異なる角度に設置した複数のカメラ、例えばＣＣＤ等の撮像素子で、パターンの照射された画像を撮影し、画像撮り込み部で複数画像を撮り込み、画像処理部において対応付け処理を実行し、計算処理部で距離を算出する。これらの処理は、図１以下を用いてすでに説明した通りである。パターン光を投光する投光素子は、光源１５１１、光源１５１１の光の透過量をコントロールするような濃度分布を持った光学フィルター１５１２、レンズ光学系１５１３によって構成される。また、投光素子と同軸配置される撮像素子は、ＣＣＤ等の撮像素子１５２１と、レンズ光学系１５２２によって構成される。投光素子から出力されたパターン光は、ビームスプリッタとしてのハーフミラーを介して測定対象物体１５０１に照射され、測定対象物のパターン照射像は、ハーフミラーを介して反射して、撮像素子１５２１によって撮影される。
【００５８】
図１５の構成例において、画像撮込部は、３次元画像の画像処理を実行するＰＣに接続されているが、制御装置、画像記憶装置、画像処理/演算装置などを、画像撮込部と一体化した構造にしたり、また、画像データ、光学系パラメータなどをコンパクトフラッシュなどの記憶媒体に記憶し、後程、データをＰＣなどの画像処理装置に転送し、距離情報の算出演算を行う構成とすることも可能である。
【００５９】
図１６は、光学系のみを抽出して示す構成図である。被写体１６０１に対して投影装置１６０２によりパターン光を、光の透過量をコントロールするような濃度分布を持った光学フィルター１６１２を用いて照射し、撮像素子１６０３，１６０４により、パターン照射のなされた像を撮影する。なお、図１６においては、カメラを２つのみ示しているが、先に説明した図１，２の構成のように３つのカメラを配置した構成としてもよい。
【００６０】
撮像素子１６０３及び撮像素子１６０４は，同じ構成の撮像素子で，撮像素子１６０３は、投影装置１６０２と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子１６０４は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に，輝度も撮影する。
【００６１】
図１７は、図１６に示す構成における撮像素子の詳細構成例を示すものである。撮像素子は、図１７に示すように、レンズ１７０１、不可視光トリミングフィルター１７０２、不可視反射ダイクロイック膜１７０３、可視光トリミングフィルター１７０４、および２つの撮像素子光電面１７０５，１７０６を有する。レンズ１７０１を介する入射光は、不可視光トリミングフィルター１７０２、不可視反射ダイクロイック膜１７０３によって、不可視光像が撮像素子光電面１７０５によって撮像され、可視光像が撮像素子光電面１７０６によって撮像される。パターン光は、赤外もしくは紫外光の不可視光によって照射され、他の角度から撮影されたパターン照射光との対応付け用の距離情報分析データとして用いられる。
【００６２】
図１８は、投光素子と、投光素子と光学的に同軸に配置される撮像素子とを組み合わせた構成を示すものである。撮像素子は、図１７と同様の構成であり、レンズ１８０１、不可視光トリミングフィルター１８０２、不可視反射ダイクロイック膜１８０３、可視光トリミングフィルター１８０４、および２つの撮像素子光電面１８０５，１８０６を有する。レンズ１８０１を介する入射光は、不可視光トリミングフィルター１８０２、不可視反射ダイクロイック膜１８０３によって、不可視光像が撮像素子光電面１８０５によって撮像され、可視光像が撮像素子光電面１８０６によって撮像される。パターン光は、赤外光源１８１１、光学的フィルター１８１２を介して照射される。なお、パターン光は、紫外光の不可視光によって照射する構成としてもよい。
【００６３】
赤外光源１８１１、光学的フィルター１８１２によって構成される投光手段の出射光と、前記撮像手段の入射光とは、ビームスプリッタとしてのハーフミラー１８１３によって分離され、投光手段と撮像手段とは、それぞれが光学的に同軸となるように配置される。
【００６４】
さらに、図１９にビームスプリッタとしてのハーフミラーと、投光パターン形成用の光学フィルターを一体化あるいは近接させて構成した光学系の構成を示す。
【００６５】
被写体１９０１に対して光源１９０２から発せられた光は、ビームスプリッタとしてのハーフミラー１９２１の手前に一体化して貼りつけられた、あるいは近接して配置された光の透過量をコントロールするような濃度分布を持った光学フィルター１９２２を通過し、さらにハーフミラー１９２１を通過することによって、被写体１９０１に投影パターンを形成する。
【００６６】
投影パターンの投影された被写体１９０１の像は、光源１９０２と光学的に同軸の被写体像を撮影する撮像素子１，１９０３と、撮像素子１，１９０３とは異なる方向から被写体像を撮影する撮像素子１，１９０４により撮影される。なお、図１９においては、カメラを２つのみ示しているが、先に説明した図１，２の構成のように３つのカメラを配置した構成としてもよい。
【００６７】
撮像素子１９０３は、光源１９０２および光学フィルター１９２２により構成される投影装置と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子１９０４は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に，輝度も撮影する。
【００６８】
図１９の構成は、ビームスプリッタとしてのハーフミラー１９２１と、光学フィルター１９２２とを近接してまとめた構成であり、このようにハーフミラー背面にパターンを形成した光学フィルターを形成することによりコンパクトな構成が可能となり、投光手段および撮影手段を含めた光学系全体の大きさの小型化を図ることができる。
【００６９】
ビームスプリッタと光学フィルターの小型化構成の例を図２０に示す。図２０（ａ）は、図１９を用いて説明したと同様の構成であり、ビームスプリッタとしてのハーフミラー２００１背面にパターンを形成した光学フィルター２００２を形成し、光源２００３からの光を光学フィルター２００２およびハーフミラー２００１を介して被写体に投影する構成である。すなわち、光学フィルターをハーフミラーの光源側の面に沿って近接して配置した構成である。
【００７０】
図２０（ｂ）は、ビームスプリッタとしてのハーフミラー２００１背面にパターンを形成した光学フィルター２００２を形成し、さらにＥＬ（electric Luminescence）素子、あるいは薄形の蛍光灯のような平板型の光源を使用した構成であり、平板型の光源２００４を光学フィルター２００２の側面に沿って設置した構成を持つ、光源２００４からの光は光学フィルター２００２およびハーフミラー２００１を介して被写体に投影される。図２０（ｂ）の構成ではビームスプリッタ、光学フィルター、光源を一体化して構成することが可能となり、さらなる小型化が実現される。
【００７１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００７２】
【発明の効果】
以上、述べたように、本発明の３次元画像撮像装置および３次元画像撮像方法は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ３次元画像撮像装置および３次元画像撮像方法が実現される。駆動装置や制御装置がいらないために小型化および簡易構造とした投光手段構成とすることができる。レーザー等によるパターン形成を行なう投光手段構成と異なり、駆動系が必要とならないために振動などに強く、例えば携帯型の撮像装置として使用する場合に適した構成である。
【００７３】
さらに、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、ハーフミラーを用いて、投光手段の投光パターン照射光と、パターン照射された被写体の撮影像に対応する入射光を分離する構成とすることにより、投光手段と撮像手段とを組み合わせる構成が実現され、コンパクトな撮像および投光手段構成が実現される。
【００７４】
さらに、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、ハーフミラー、光学フィルターを一体化する構成としたことにより投光手段と撮像手段とを組み合わせた小型の撮像および投光手段構成が実現される。さらに、平板型の光源を組み合わせることにより、一層の小型化が実現される。
【図面の簡単な説明】
【図１】本発明の３次元画像撮像装置において使用される３次元形状計測装置の構成例を示すブロック図である。
【図２】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ構成例を示すブロック図である。
【図３】本発明の３次元画像撮像装置において使用される３次元形状計測装置の撮像構成を説明する図である。
【図４】本発明の３次元画像撮像装置において使用される３次元形状計測装置の処理フローを示す図である。
【図５】本発明の３次元画像撮像装置において使用される３次元形状計測装置の投影パターンのコード化の例を示す図である。
【図６】本発明の３次元画像撮像装置において使用される３次元形状計測装置の撮影構成例を示す図である。
【図７】本発明の３次元画像撮像装置において使用される３次元形状計測装置の投影パターン例を示す図である。
【図８】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ１で撮影されるスリットパターンの例を示す図である。
【図９】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ２で撮影されるスリットパターンの例を示す図である。
【図１０】本発明の３次元画像撮像装置において使用される３次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図１１】本発明の３次元画像撮像装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図１２】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ３で撮影されるスリットパターンの例を示す図である。
【図１３】本発明の３次元画像撮像装置における光学フィルターを適用した投光手段構成を示す図である。
【図１４】本発明の３次元画像撮像装置における光学フィルターおよび測定対象物の具体例を説明する図である。
【図１５】本発明の３次元画像撮像装置における撮像素子、投光素子の画角の一致構成例を示す図である。
【図１６】本発明の３次元画像撮像装置における撮像素子、投光素子の画角の一致構成を光学系を中心として示す図である。
【図１７】本発明の３次元画像撮像装置における撮像素子の構成例を示す図である。
【図１８】本発明の３次元画像撮像装置における投光素子と撮像素子の組み合わせ構成例を示す図である。
【図１９】本発明の３次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例を示す図である。
【図２０】本発明の３次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例をす図である。
【図２１】空間コード化法によるコードの転写、途切れの例を説明する図である。
【符号の説明】
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
６０１，６０２，６０３ カメラ
６０４ 投光器
６０５ 壁
６０６ 板
８０１，９０１ 影領域
１５１１ 光源
１５１２ 光学フィルター
１５１３ レンズ
１５２１ 撮像素子
１５２２ レンズ
１６０２ 投影装置
１６０３，１６０４ 撮像素子
１６１２ 光学フィルター
１７０１ レンズ
１７０２ 不可視光トリミングフィルター
１７０３ 不可視反射ダイクロイック膜
１７０４ 可視光トリミングフィルター
１７０５，１７０６ 撮像素子光電面
１８０１ レンズ
１８０２ 不可視光トリミングフィルター
１８０３ 不可視反射ダイクロイック膜
１８０４ 可視光トリミングフィルター
１８０５，１８０６ 撮像素子光電面
１８１１ 赤外光源
１８１２ 光学フィルター
１８１３ ハーフミラー
１９０１ 被写体
１９０２ 光源
１９０３，１９０４ 撮像素子
１９２１ ハーフミラー
１９２２ 光学フィルター
２００１ ハーフミラー
２００２ 光学フィルター
２００３，２００４ 光源
【発明の属する技術分野】
本発明は測定対象に対してパターン光を照射することによって得られるパターン投影像を、複数の撮像手段で異なる方向から撮像し、パターンの変化に基づいて距離情報を得る３次元画像撮像装置および３次元画像撮像方法に関し、測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段を用いた３次元画像撮像装置および３次元画像撮像方法に関する。
【０００２】
【従来の技術】
３次元形状を取得する手法には、アクティブ手法（Active vision）とパッシブ手法（Passive vision）がある。アクティブ手法は、（1）レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、（2）スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から３次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【０００３】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の３次元計測装置であるパターン投影法に関するものである。
【０００４】
パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【０００５】
代表的な空間コード化の一例として特開平５−３３２７３７５号公報に開示されている実施例について説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。
【０００６】
スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はＮ個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【０００７】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を２５６の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【０００８】
パターンの投光回数を減らす手段として特開平３−１９２４７４号公報に開示されている色符号化がある。色符号化においては、q、kを2以上の所定の自然数とした時、q色以上の色を用いて、隣接する2本のスリット光が同色にならず、隣接するk本のスリット光による色の並びが1度しか現れないように符号化されたパターンを投影し、観測された画像からスリットの色を検出し、該当スリットの色並びからスリット番号を取得する。スリット番号から、スリットの照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【０００９】
しかしながら、色符号化ではコード列の並びからコードを復元する為に、コードの復元の計算量が大きいという問題点がある。更に、Ｒ，Ｇ，Ｂの３色を用いて２５６の領域に分割したい場合には、コードを知りたいスリットの周囲８本のスリット光の並びを知る必要があり、連続してスリットが長く観測できるような形状の物体の計測にしか適さない。
【００１０】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として特許第２５６５８８５号で公開されている空間パターンコード化法がある。この特許では、３値以上の濃淡、又は３色以上の色、又は濃淡と色の組み合わせによって３種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与したことを特徴とする。
【００１１】
しかし、上述の方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。例えば、図２１に示すように光源によって投光されたパターン列が"12345678"であるとき、撮影対象の構造によってはカメラで撮影されるパターン列が"1267"と欠落して認識されたり、パターン列"758"のように反転したパターン列が得られる場合がある。また、対象物の形状や反射率などによっても投光したパターンと撮影されたパターン列の変化により対応づけは困難となる。
【００１２】
色符号化においては、復号化時にスリットのグループ化を行う際、スリットの欠落、反転の可能性があるパターンについては復号を行わない手法を用いてこの問題を回避している。空間パターンコード化法では２次元パターンを用いることで、前述の誤りの可能性を低減してはいるが、原理的には対象物によっては同じ誤りが生じる。従って、前述の方式では、実験室内の特殊な状況や対象物体を限定した状況での撮影では優れた精度が得られるものの、対象を限定しない一般的な撮影状況では精度の劣化は否めない。また、光源を用いた投光を行う手法では、広いレンジを有するものを対象とした時に、投光が届かない部位については３次元形状が得られない。また、投光されたパターンを対象物が遮ることで生じる影の領域も、距離の計測ができないため、実際に見えているのに距離が得られない領域が存在してしまう。
【００１３】
そこで、本出願と同一出願人に係る特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない3次元画像撮影装置を提案した。
【００１４】
【発明が解決しようとする課題】
上記の特願平１０−１９１０６３号、(特開２０００−９４４２)、特願平１０−２４７７９６(特開２０００−６５５４２)における３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、３次元形状を算出する際に、エラーとなって適切な３次元形状が計測できない。そのために、上記３次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、３次元形状を計測している。
【００１５】
上記構成において、符号化されたパターンを投影する際の投影には、液晶などをつかったＰＣなどのコントローラで照射パターンを制御して投影するプロジェクタあるいはレーザによる投影構成を使用している。レーザ光を使ったものは、ポリゴンミラーなどの駆動系を有してしまうので、手持ちなどの振動に弱いという欠点や、ビデオレート以上の高速カメラなど高速シャッターが必要な物体に対してはプロジェクトパターンが追いつかないという欠点がある。また、ポリゴンミラーの駆動及びスリットレーザ光のコントロールをするための制御が必要となるといった問題があった。
【００１６】
本発明は、このようなパターン照射を実行する投影手段の問題点に鑑みてなされたものであり、本発明は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ３次元画像撮像装置および３次元画像撮像方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明は、上記の目的を解決するものであり、その第１の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有することを特徴とする３次元画像撮像装置にある。
【００１８】
さらに、本発明の第２の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有することを特徴とする３次元画像撮像装置にある。
さらに、本発明の第３の側面は、
測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有するとともに、前記光源は、平板型の発光素子または蛍光体であり、前記光学フィルターに近接して配置された構成を有することを特徴とする３次元画像撮像装置にある。
【００１９】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段は、パターン光を不可視領域光によって形成する構成であり、前記光源は、赤外光または紫外光を用いた不可視領域の光源であることを特徴とする。
【００２１】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段を構成する光学フィルターは、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせた構成であり、前記光源は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成であることを特徴とする。
【００２２】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタによって分離される構成であり、前記投光手段と前記第１の撮像手段とは、それぞれ光学的に同軸に配置された構成であることを特徴とする。
【００２３】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする。
【００２４】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るよう構成したことを特徴とする。
【００２５】
さらに、本発明の３次元画像撮像装置の一実施態様において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得るよう構成したことを特徴とする。
【００２８】
さらに、本発明の第４の側面は、
可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とにより、パターンの投影された測定対象を撮影する撮像ステップと、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成するステップと、
を有することを特徴とする３次元画像撮像方法にある。
【００３０】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであることを特徴とする。
【００３１】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記投光ステップは、前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、前記撮像ステップは、パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする。
【００３２】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記３次元画像撮像方法は、さらに、前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るステップを有することを特徴とする。
【００３３】
さらに、本発明の３次元画像撮像方法の一実施態様において、前記３次元画像撮像方法において、前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得ることを特徴とする。
【００３４】
【発明の実施の形態】
以下、図を用いて本発明の３次元画像撮像装置および３次元画像撮像方法の実施の形態を詳しく説明する。
【００３５】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する３次元画像撮像装置の構成を表すブロック図を図１に示す。図２に光源と撮像素子の位置関係を示す。
【００３６】
図２に示すように、３次元形状測定装置は、３台のカメラ１０１〜１０３および投光器１０４を備える。各カメラの距離関係が揃うように、図示の距離Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３と投光器１０４は、ビームスプリッタとしてのハーフミラー１０５を用いて光軸が一致するように配置される。カメラ１，１０１、カメラ２，１０２は、カメラ３，１０３と投光器１０４の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。
【００３７】
投光器１０４は、光源１０６と、マスクパターン１０７と、強度パターン１０８と、プリズム１０９とを有する。ここで光源１０６は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図３に示すように構成される。すなわち、入射してきた光３１０は、プリズム３０１で２方向に分割され、一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し、他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。
【００３８】
また図２に示す光源１０６は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ３，１０３においては、プログレッシブスキャンタイプのＣＣＤカメラを用い、カメラ１，１０１、カメラ２，１０２に関しては、特に構成はこだわらない。ただし、カメラ３，１０３との対応を考慮すれば、同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され、３台のカメラ１〜３（１０１〜１０３）が同時に撮影を行う。そして各カメラは、フィルター３０４，３０５（図３参照）を通過した光を撮像装置３０３，３０５で得ることにより、画像の一括取得を行う。
【００３９】
図１を用いて３次元形状測定装置の構成を説明する。図示のように、カメラ１，１０１は、撮影して得た輝度情報を輝度値メモリ１２１に記憶し、撮影パターンをパターン画像メモリ１２２に記憶する。カメラ２，１０２は、同様に、輝度情報を輝度値メモリ１２３に記憶し、撮影パターンをパターン画像メモリ１２４に記憶する。カメラ３，１０３は、輝度情報を輝度値メモリ１２５に記憶し、撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。
【００４０】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして３次元画像を得る。以下の操作は、カメラ１，１０１とカメラ３，１０３の組み合わせ、カメラ２，１０２とカメラ３，１０３の組み合わせの双方に共通なので、ここではカメラ１，１０１とカメラ３，１０３の組み合わせを例にとって説明する。
【００４１】
図１において、領域分割部１２８は、カメラ３，１０３で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し、スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は、抽出された領域２について、パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。
【００４２】
図４は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し（ステップ１００１）、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（ステップ１００２）。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップ１００３）。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する（ステップ１００７）。
【００４３】
閾値以上異なる場合は、新たな強度のセルかどうか判断する（ステップ１００４）。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う（ステップ１００５）。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する（ステップ１００６）。これで、再コード化を終了する（ステップ１００７）。
【００４４】
図５はスリットパターンのコード化の例を示すもので、同図（ａ）はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを［２３２］、横の並びを［１３１］という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００４５】
図６は、カメラ６０１〜６０３および投光器６０４を用いて、壁６０５の前に配置された板６０６にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図７に示すスリットパターンである。このとき、カメラ６０１、カメラ６０２で得られる画像は、図８及び図９に示すように、それぞれ板６０６の影となる領域８０１、９０１が生ずる。本例では、板６０６の表面には新たにコード化されたパターンとして、図１０に示すようなスリットパターンが得られる。
【００４６】
次に図１に戻って説明する。カメラ１，１０１側のコード復号部１３０は、パターン画像メモリ１２２から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図１１は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ１で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから、次の（数１）によって距離Ｚを算出する。
【００４７】
【数１】
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）
【００４８】
この距離Ｚの算出は、カメラ２，１０２側のコード復号部１３１においても、同様に行われる。また、上述の領域１については次のようにして距離を算出する。領域１では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部１３２において、カメラ１〜３の輝度値メモリ１２１、１２３、１２５から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域１を除く領域に対しては、前述の操作により距離が算出されているので、領域１の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差ｄを検出し、カメラパラメータである画素サイズλを用いて、次の（数２）によって距離Ｚを算出する。
【００４９】
【数２】
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）
【００５０】
前述の手法でカメラ３，１０３とカメラ１，１０１の組み合わせによって得られた距離情報では、図８に示す板の影となる領域８０１の距離情報が検出できない。一方、カメラ３，１０３とカメラ２，１０２の組み合わせによって得られた距離情報では、図９に示す板の影となる領域９０１の距離情報が検出できない。しかし、図８に示す板の影となる領域８０１の距離情報が算出可能である。従って、図１の距離情報統合部１３３において、カメラ３，１０３とカメラ１，１０１の組で算出された距離情報およびカメラ３，１０３とカメラ２，１０２で算出された距離情報から、カメラ３の画像（図１２）のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ３の輝度画像に対応づけて３次元画像メモリに記憶することで３次元画像撮像を行う。
【００５１】
上述したような構成により、距離データを取得して３次元画像の生成を実行する。上述の構成の３次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。このためのパターン投影手段の具体的構成を図１３に示す。
【００５２】
図１３に示すパターン投影手段は、光源１３０１と、光源１３０１の光の光透過態様、すなわち、光透過量あるいは透過率をコントロールするようなフォトマスクなどの透過マスクで構成される濃度分布を持った光学フィルター１３０２によって構成される。光学フィルター１３０２は、予め所定の濃度分布のパターン光を透過するように構成された光学フィルターである。光源１３０１からの出射光は、光学フィルター１３０２を介して測定対象物に照射されて投影パターン１３０３が測定対象に投影される。
【００５３】
このような投光手段構成において、例えば測定対象である被写体が動く物体の場合は、光源１３０１を撮影時に常時点灯することによって、任意のタイミングで３次元画像生成のためのパターン画像を撮影することができる。また、被写体の対象が静物の場合は、撮影時、前後の時間も含めて光源１３０１を点灯させておくか、撮影時に同期させて光源１３０１を瞬間的に光らせることで、３次元画像生成のためのパターン画像を撮像することができる。
【００５４】
なお、図１３に示す投光手段構成において、投光手段を構成する光学フィルター１３０２は、可視領域光を透過する構成とするとともに、投影パターンに対応させて不可視領域光の強度変化パターンを形成し、光源１３０１は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成とすることで、撮像手段によって撮影される輝度画像の照明手段としても兼用できる構成とすることが可能である。
【００５５】
具体的には、パターン光を不可視領域光、例えば近赤外光によって形成しようとする場合は、光学フィルター１３０２は、赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせる構成とする。この場合、可視光は光学フィルター１３０２を透過する。光源１３０１は、可視領域及び近赤外の波長に強度を持つものを使用する。このような構成であれば、投光装置は、輝度画像の照明装置としても兼用でき、暗所などにおいての測定も可能になる。
【００５６】
測定対象である被写体と、スリットパターンを形成した光学フィルターと、光学フィルターを用いた投光手段による被写体への投光パターン照射例を図１４に示す。図１４（ａ）は、測定対象である被写体であり、図１４（ｂ）はスリットパターンを形成した光学フィルター、図１４（ｃ）は光学フィルターを用いた投光手段による被写体への投光パターン照射例である。図１４（ｃ）に示す照射パターンを投影した被写体を、前述したよう、撮像手段を用いて異なる角度から撮影して、撮影されたパターンに基づいて距離情報を取得する。
【００５７】
図１５に光学系を中心とした本発明の３次元画像撮像装置の構成を示す。図１５の３次元画像撮像装置において、測定対象物体１５０１にパターン光を照射し、測定対象物体１５０１に対して異なる角度に設置した複数のカメラ、例えばＣＣＤ等の撮像素子で、パターンの照射された画像を撮影し、画像撮り込み部で複数画像を撮り込み、画像処理部において対応付け処理を実行し、計算処理部で距離を算出する。これらの処理は、図１以下を用いてすでに説明した通りである。パターン光を投光する投光素子は、光源１５１１、光源１５１１の光の透過量をコントロールするような濃度分布を持った光学フィルター１５１２、レンズ光学系１５１３によって構成される。また、投光素子と同軸配置される撮像素子は、ＣＣＤ等の撮像素子１５２１と、レンズ光学系１５２２によって構成される。投光素子から出力されたパターン光は、ビームスプリッタとしてのハーフミラーを介して測定対象物体１５０１に照射され、測定対象物のパターン照射像は、ハーフミラーを介して反射して、撮像素子１５２１によって撮影される。
【００５８】
図１５の構成例において、画像撮込部は、３次元画像の画像処理を実行するＰＣに接続されているが、制御装置、画像記憶装置、画像処理/演算装置などを、画像撮込部と一体化した構造にしたり、また、画像データ、光学系パラメータなどをコンパクトフラッシュなどの記憶媒体に記憶し、後程、データをＰＣなどの画像処理装置に転送し、距離情報の算出演算を行う構成とすることも可能である。
【００５９】
図１６は、光学系のみを抽出して示す構成図である。被写体１６０１に対して投影装置１６０２によりパターン光を、光の透過量をコントロールするような濃度分布を持った光学フィルター１６１２を用いて照射し、撮像素子１６０３，１６０４により、パターン照射のなされた像を撮影する。なお、図１６においては、カメラを２つのみ示しているが、先に説明した図１，２の構成のように３つのカメラを配置した構成としてもよい。
【００６０】
撮像素子１６０３及び撮像素子１６０４は，同じ構成の撮像素子で，撮像素子１６０３は、投影装置１６０２と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子１６０４は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に，輝度も撮影する。
【００６１】
図１７は、図１６に示す構成における撮像素子の詳細構成例を示すものである。撮像素子は、図１７に示すように、レンズ１７０１、不可視光トリミングフィルター１７０２、不可視反射ダイクロイック膜１７０３、可視光トリミングフィルター１７０４、および２つの撮像素子光電面１７０５，１７０６を有する。レンズ１７０１を介する入射光は、不可視光トリミングフィルター１７０２、不可視反射ダイクロイック膜１７０３によって、不可視光像が撮像素子光電面１７０５によって撮像され、可視光像が撮像素子光電面１７０６によって撮像される。パターン光は、赤外もしくは紫外光の不可視光によって照射され、他の角度から撮影されたパターン照射光との対応付け用の距離情報分析データとして用いられる。
【００６２】
図１８は、投光素子と、投光素子と光学的に同軸に配置される撮像素子とを組み合わせた構成を示すものである。撮像素子は、図１７と同様の構成であり、レンズ１８０１、不可視光トリミングフィルター１８０２、不可視反射ダイクロイック膜１８０３、可視光トリミングフィルター１８０４、および２つの撮像素子光電面１８０５，１８０６を有する。レンズ１８０１を介する入射光は、不可視光トリミングフィルター１８０２、不可視反射ダイクロイック膜１８０３によって、不可視光像が撮像素子光電面１８０５によって撮像され、可視光像が撮像素子光電面１８０６によって撮像される。パターン光は、赤外光源１８１１、光学的フィルター１８１２を介して照射される。なお、パターン光は、紫外光の不可視光によって照射する構成としてもよい。
【００６３】
赤外光源１８１１、光学的フィルター１８１２によって構成される投光手段の出射光と、前記撮像手段の入射光とは、ビームスプリッタとしてのハーフミラー１８１３によって分離され、投光手段と撮像手段とは、それぞれが光学的に同軸となるように配置される。
【００６４】
さらに、図１９にビームスプリッタとしてのハーフミラーと、投光パターン形成用の光学フィルターを一体化あるいは近接させて構成した光学系の構成を示す。
【００６５】
被写体１９０１に対して光源１９０２から発せられた光は、ビームスプリッタとしてのハーフミラー１９２１の手前に一体化して貼りつけられた、あるいは近接して配置された光の透過量をコントロールするような濃度分布を持った光学フィルター１９２２を通過し、さらにハーフミラー１９２１を通過することによって、被写体１９０１に投影パターンを形成する。
【００６６】
投影パターンの投影された被写体１９０１の像は、光源１９０２と光学的に同軸の被写体像を撮影する撮像素子１，１９０３と、撮像素子１，１９０３とは異なる方向から被写体像を撮影する撮像素子１，１９０４により撮影される。なお、図１９においては、カメラを２つのみ示しているが、先に説明した図１，２の構成のように３つのカメラを配置した構成としてもよい。
【００６７】
撮像素子１９０３は、光源１９０２および光学フィルター１９２２により構成される投影装置と光学的に同軸に配置し、投影パターンをモニタし、輝度画像を同時に取る。撮像素子１９０４は、投影パターンをある基線長を隔てた地点で観測し、撮影されるパターン投影画像に基づいて三角測量の原理で距離画像を算出する。同時に，輝度も撮影する。
【００６８】
図１９の構成は、ビームスプリッタとしてのハーフミラー１９２１と、光学フィルター１９２２とを近接してまとめた構成であり、このようにハーフミラー背面にパターンを形成した光学フィルターを形成することによりコンパクトな構成が可能となり、投光手段および撮影手段を含めた光学系全体の大きさの小型化を図ることができる。
【００６９】
ビームスプリッタと光学フィルターの小型化構成の例を図２０に示す。図２０（ａ）は、図１９を用いて説明したと同様の構成であり、ビームスプリッタとしてのハーフミラー２００１背面にパターンを形成した光学フィルター２００２を形成し、光源２００３からの光を光学フィルター２００２およびハーフミラー２００１を介して被写体に投影する構成である。すなわち、光学フィルターをハーフミラーの光源側の面に沿って近接して配置した構成である。
【００７０】
図２０（ｂ）は、ビームスプリッタとしてのハーフミラー２００１背面にパターンを形成した光学フィルター２００２を形成し、さらにＥＬ（electric Luminescence）素子、あるいは薄形の蛍光灯のような平板型の光源を使用した構成であり、平板型の光源２００４を光学フィルター２００２の側面に沿って設置した構成を持つ、光源２００４からの光は光学フィルター２００２およびハーフミラー２００１を介して被写体に投影される。図２０（ｂ）の構成ではビームスプリッタ、光学フィルター、光源を一体化して構成することが可能となり、さらなる小型化が実現される。
【００７１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００７２】
【発明の効果】
以上、述べたように、本発明の３次元画像撮像装置および３次元画像撮像方法は、投影するパターンを、フォトマスクなどの透過マスクと、そのパターンを投影する為の光源を使うことによって、軽量かつ低コストの構成を持つ３次元画像撮像装置および３次元画像撮像方法が実現される。駆動装置や制御装置がいらないために小型化および簡易構造とした投光手段構成とすることができる。レーザー等によるパターン形成を行なう投光手段構成と異なり、駆動系が必要とならないために振動などに強く、例えば携帯型の撮像装置として使用する場合に適した構成である。
【００７３】
さらに、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、ハーフミラーを用いて、投光手段の投光パターン照射光と、パターン照射された被写体の撮影像に対応する入射光を分離する構成とすることにより、投光手段と撮像手段とを組み合わせる構成が実現され、コンパクトな撮像および投光手段構成が実現される。
【００７４】
さらに、本発明の３次元画像撮像装置および３次元画像撮像方法によれば、ハーフミラー、光学フィルターを一体化する構成としたことにより投光手段と撮像手段とを組み合わせた小型の撮像および投光手段構成が実現される。さらに、平板型の光源を組み合わせることにより、一層の小型化が実現される。
【図面の簡単な説明】
【図１】本発明の３次元画像撮像装置において使用される３次元形状計測装置の構成例を示すブロック図である。
【図２】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ構成例を示すブロック図である。
【図３】本発明の３次元画像撮像装置において使用される３次元形状計測装置の撮像構成を説明する図である。
【図４】本発明の３次元画像撮像装置において使用される３次元形状計測装置の処理フローを示す図である。
【図５】本発明の３次元画像撮像装置において使用される３次元形状計測装置の投影パターンのコード化の例を示す図である。
【図６】本発明の３次元画像撮像装置において使用される３次元形状計測装置の撮影構成例を示す図である。
【図７】本発明の３次元画像撮像装置において使用される３次元形状計測装置の投影パターン例を示す図である。
【図８】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ１で撮影されるスリットパターンの例を示す図である。
【図９】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ２で撮影されるスリットパターンの例を示す図である。
【図１０】本発明の３次元画像撮像装置において使用される３次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図１１】本発明の３次元画像撮像装置において使用される３次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図１２】本発明の３次元画像撮像装置において使用される３次元形状計測装置のカメラ３で撮影されるスリットパターンの例を示す図である。
【図１３】本発明の３次元画像撮像装置における光学フィルターを適用した投光手段構成を示す図である。
【図１４】本発明の３次元画像撮像装置における光学フィルターおよび測定対象物の具体例を説明する図である。
【図１５】本発明の３次元画像撮像装置における撮像素子、投光素子の画角の一致構成例を示す図である。
【図１６】本発明の３次元画像撮像装置における撮像素子、投光素子の画角の一致構成を光学系を中心として示す図である。
【図１７】本発明の３次元画像撮像装置における撮像素子の構成例を示す図である。
【図１８】本発明の３次元画像撮像装置における投光素子と撮像素子の組み合わせ構成例を示す図である。
【図１９】本発明の３次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例を示す図である。
【図２０】本発明の３次元画像撮像装置における投光素子と撮像素子の小型化を実現する構成例をす図である。
【図２１】空間コード化法によるコードの転写、途切れの例を説明する図である。
【符号の説明】
１０１ カメラ１
１０２ カメラ２
１０３ カメラ３
１０４ 投光器
１０５ ハーフミラー
１０６ 光源
１０７ マスクパターン
１０８ 強度パターン
１０９ プリズム
１２１，１２３，１２５ 輝度値メモリ
１２２，１２４，１２６ パターン画像メモリ
１２７ フレームメモリ
１２８ 領域分割部
１２９ 再コード化部
１３０，１３１ コード復号部
１３３ 距離情報の統合部
１３４ ３次元メモリ
３０１ プリズム
３０２，３０４ 透過フィルタ
３０３，３０５ 撮像装置
６０１，６０２，６０３ カメラ
６０４ 投光器
６０５ 壁
６０６ 板
８０１，９０１ 影領域
１５１１ 光源
１５１２ 光学フィルター
１５１３ レンズ
１５２１ 撮像素子
１５２２ レンズ
１６０２ 投影装置
１６０３，１６０４ 撮像素子
１６１２ 光学フィルター
１７０１ レンズ
１７０２ 不可視光トリミングフィルター
１７０３ 不可視反射ダイクロイック膜
１７０４ 可視光トリミングフィルター
１７０５，１７０６ 撮像素子光電面
１８０１ レンズ
１８０２ 不可視光トリミングフィルター
１８０３ 不可視反射ダイクロイック膜
１８０４ 可視光トリミングフィルター
１８０５，１８０６ 撮像素子光電面
１８１１ 赤外光源
１８１２ 光学フィルター
１８１３ ハーフミラー
１９０１ 被写体
１９０２ 光源
１９０３，１９０４ 撮像素子
１９２１ ハーフミラー
１９２２ 光学フィルター
２００１ ハーフミラー
２００２ 光学フィルター
２００３，２００４ 光源
Claims (14)
- 可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有することを特徴とする３次元画像撮像装置。 - 測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有することを特徴とする３次元画像撮像装置。 - 測定対象に投影するパターンに対応させて光透過態様を変化させたパターンを形成した光学フィルター、および光源とを備えた投光手段と、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、
前記投光手段の光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とを備え、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成する構成を有し、
前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタとして構成されるハーフミラーによって分離される構成であり、前記投光手段を構成する光学フィルターは、前記ハーフミラーの光源側の面に沿って配置した構成を有するとともに、前記光源は、平板型の発光素子または蛍光体であり、前記光学フィルターに近接して配置された構成を有することを特徴とする３次元画像撮像装置。 - 前記投光手段は、
パターン光を不可視領域光によって形成する構成であり、前記光源は、赤外光または紫外光を用いた不可視領域の光源であることを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。 - 前記投光手段を構成する光学フィルターは、
赤外カット用のマスクの透過率を変化させて照射パターンに対応した強度分布を持たせた構成であり、
前記光源は、可視領域および不可視領域の波長の双方の領域のスペクトルを有する構成であることを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。 - 前記投光手段の出射光と、前記第１の撮像手段の入射光とは、共通のレンズを介して入出力されるとともにビームスプリッタによって分離される構成であり、前記投光手段と前記第１の撮像手段とは、それぞれ光学的に同軸に配置された構成であることを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。
- 前記投光手段は不可視領域の光を発生する光源を有し、
前記第１の撮像手段および前記第２の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有し、パターン投影画像と、輝度画像とを並列に撮り込む構成を有することを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。 - 前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るよう構成したことを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。
- 前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得るよう構成したことを特徴とする請求項１または２または３いずれかに記載の３次元画像撮像装置。
- 可視領域光を透過する構成であるとともに、測定対象に投影する投影パターンに対応させて不可視領域光の強度変化パターンを形成した光学フィルター、および可視領域および不可視領域の波長の双方の領域のスペクトルを有する光源とを備えた投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第１の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第２の撮像手段とにより、パターンの投影された測定対象を撮影する撮像ステップと、
前記投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値以上の領域について、該第１の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第２の撮像手段による撮影パターンから第１の距離情報を生成するステップと、
を有することを特徴とする３次元画像撮像方法。 - 前記投光ステップは、
前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであることを特徴とする請求項１０に記載の３次元画像撮像方法。 - 前記投光ステップは、
前記光源を赤外光または紫外光を用いた不可視領域の光源として、パターン光を不可視領域光によって形成するステップであり、
前記撮像ステップは、
パターン投影画像と、輝度画像とを並列に撮り込むステップであることを特徴とする請求項１０に記載の３次元画像撮像方法。 - 前記３次元画像撮像方法は、さらに、
前記投光手段による投影パターンに対する第１の撮像手段による撮影パターンの変化量が所定値未満の領域について、第１の撮像手段および第２の撮像手段より得られた各輝度情報の対応づけにより第２の距離情報を生成し、前記第１の距離情報、第２の距離情報および第１または第２の撮像手段より得られた輝度情報を用いて３次元画像を得るステップを有することを特徴とする請求項１０に記載の３次元画像撮像方法。 - 前記３次元画像撮像方法において、
前記第２の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第２の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して３次元画像を得ることを特徴とする請求項１０に記載の３次元画像撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207875A JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | ３次元画像撮像装置および３次元画像撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207875A JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | ３次元画像撮像装置および３次元画像撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002027501A JP2002027501A (ja) | 2002-01-25 |
| JP3818028B2 true JP3818028B2 (ja) | 2006-09-06 |
Family
ID=18704564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000207875A Expired - Fee Related JP3818028B2 (ja) | 2000-07-10 | 2000-07-10 | ３次元画像撮像装置および３次元画像撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3818028B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4502104B2 (ja) * | 2002-04-12 | 2010-07-14 | 株式会社ジェイエイアイコーポレーション | 複合プリズム光学系を有する撮像装置 |
| JP5122729B2 (ja) * | 2005-04-26 | 2013-01-16 | 照明 與語 | ３次元形状測定方法 |
| JP2007051893A (ja) * | 2005-08-16 | 2007-03-01 | Ricoh Co Ltd | 三次元形状計測方法及び三次元形状計測装置 |
| WO2012011186A1 (ja) | 2010-07-23 | 2012-01-26 | トヨタ自動車 株式会社 | 距離測定装置および距離測定方法 |
| WO2012011187A1 (ja) * | 2010-07-23 | 2012-01-26 | トヨタ自動車 株式会社 | 距離測定装置および距離測定方法 |
| JP5587756B2 (ja) * | 2010-12-10 | 2014-09-10 | 日立マクセル株式会社 | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
| JP6101746B2 (ja) * | 2015-06-25 | 2017-03-22 | 株式会社Ｓｃｒｅｅｎホールディングス | 試料保持プレート、撮像装置および撮像方法 |
| JP6206560B2 (ja) | 2015-09-28 | 2017-10-04 | 株式会社リコー | システム |
| JP7474083B2 (ja) | 2020-03-17 | 2024-04-24 | ミネベアミツミ株式会社 | 対象物３次元データ測定方法、学習データ生成方法および学習データ生成装置 |
| WO2021187316A1 (ja) * | 2020-03-17 | 2021-09-23 | ミネベアミツミ株式会社 | 対象物３次元データ測定方法、対象物３次元データ測定装置、学習データ生成方法および学習データ生成装置 |
| JP2022046063A (ja) * | 2020-09-10 | 2022-03-23 | セイコーエプソン株式会社 | 三次元形状計測方法および三次元形状計測装置 |
-
2000
- 2000-07-10 JP JP2000207875A patent/JP3818028B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002027501A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7075625B2 (en) | Range finder and method | |
| JP3714063B2 (ja) | ３次元形状計測装置 | |
| KR102073205B1 (ko) | 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너 | |
| US8025408B2 (en) | Method, apparatus and program for image processing and method and apparatus for image synthesizing | |
| JP3482990B2 (ja) | ３次元画像撮影装置 | |
| US10782126B2 (en) | Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner | |
| JP2002213931A (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| KR20200123483A (ko) | 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정 | |
| JP2009300268A (ja) | ３次元情報検出装置 | |
| US10679370B2 (en) | Energy optimized imaging system with 360 degree field-of-view | |
| EP3524929B1 (en) | Projection system | |
| CN107783353A (zh) | 用于捕捉立体影像的装置及*** | |
| JP3818028B2 (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| KR101824328B1 (ko) | 색수차를 이용한 3차원 스캐너 및 스캐닝 방법 | |
| JP3414624B2 (ja) | 実時間レンジファインダ | |
| JP3384329B2 (ja) | ３次元画像撮影装置 | |
| US20210243423A1 (en) | Handheld three dimensional scanner with an autoaperture | |
| JP2004110804A (ja) | ３次元画像撮影装置及び方法 | |
| JP2005258622A (ja) | 三次元情報取得システムおよび三次元情報取得方法 | |
| JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
| CN208536839U (zh) | 图像采集设备 | |
| JP3852285B2 (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| JP3932776B2 (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| JP2002013918A (ja) | ３次元画像生成装置および３次元画像生成方法 | |
| JP4543821B2 (ja) | ３次元形状測定装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |