JP5966467B2

JP5966467B2 - 測距装置

Info

Publication number: JP5966467B2
Application number: JP2012058661A
Authority: JP
Inventors: 大内田　茂; 茂大内田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-03-15
Filing date: 2012-03-15
Publication date: 2016-08-10
Anticipated expiration: 2032-03-15
Also published as: JP2013190394A

Description

本発明は、パターン照明装置を備えた測距装置に関し、特に、ステレオカメラを用いた距離計測において、計測対象を識別するためのパターンを投光するパターン照明装置を用いて計測対象までの距離を測定する測距装置に関するものである。

従来から、計測対象物を２つのカメラで同時に撮影して、得られた２つの画像から計測対象物までの距離情報を得る「ステレオ測距」技術が知られている。このステレオ測距では、２つの画像間に生じる視差を利用して、三角測量の原理により計測対象物までの距離を算出するものである。尚、ステレオ測距において視差を求めるためには、ウィンドウマッチングを行って各画像において互いに対応する点（対応点）を探し出す必要がある。

図９は、三角測量の原理を示す図であり、図１０は、２次元センサ上の視差Δを説明する図である。図９、図１０に基づいて視差を求めて距離を算出する原理について説明する。
図９より１対の２次元センサ（１０５ａ、１０５ｂ）は１対のレンズ（１０３ａ、１０３ｂ）と組み合わせることで２つのカメラ（１０２ａ、１０２ｂ）を構成して、計測対象物１０１が２つの２次元センサ（１０５ａ、１０５ｂ）上に投影された夫々の画像から、ずれ（視差）を検出して三角測量の原理に基づいて距離を計測する。図９において計測対象物１０１からの光を同一の光学系からなる２つのカメラ１０２ａ、１０２ｂを配置して撮影する場合について考える。レンズ１０３ａを介して得た計測対象物像１０４ａと、レンズ１０３ｂを介して得た計測対象物像１０４ｂとは、計測対象物１０１の同一点が視差Δだけずれて２次元センサ１０５ａ、１０５ｂにそれぞれ１０４ａ、１０４ｂとして撮像され（図１０参照）、複数の受光素子（画素）で受光され、電気信号に変換される。

ここでレンズ１０３ａ、１０３ｂの光軸間の距離は基線長と呼ばれ、これをＤとし、レンズと計測対象物１０１との距離をＡ、レンズの焦点距離をｆとし、Ａ≫ｆであるときには次式が成り立つ。
Ａ＝Ｄｆ／Δ・・・・（１）
（１）式より、基線長Ｄ、及びレンズの焦点距離ｆは既知であるから、視差Δを検出すれば計測対象物１０１までの距離Ａを算出することができる。

しかしながら、上記の方法は２つの２次元センサ１０５ａ、１０５ｂに映った計測対象物１０１を画素の輝度値の分布特性に基づいて図１０に示す対応点１０４ｃを探し出す方法であるため、計測対象物１０１が単一色の表面をもつ物体で、表面の輝度分布が一様で、且つ撮影画像において輝度値に変化が生じ難い場合は、対応づけを行うことが困難となり（即ち、対応点１０４ｃを検知できないため）視差Δを計算できず、その結果、距離を算出することができないといった問題がある。
その課題を解決するために、計測対象物の表面に対して所定の投光パターンを投光して計測対象の表面に模様を付ける従来技術として特許文献１には、所定の輝度階調を有する輝度ブロックをランダムに（すなわち、輝度変化に規則性がないように）配置したランダムパターンを用いることが開示されている。

また、特許文献２には、一様乱数や正規乱数に基づき、ドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たない非周期的投光パターンを用いることが開示されている。またこのパターンを投光する手段として、光源から出た光をランダムパターンのスライドを透過させレンズ系で結像させて計測対象物に投光する手段が開示されている。
また、特許文献３には、パターン生成方法として各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、数列を生成する方法が示され、誤った対応づけがなされる危険性を低減し、的確な対応づけを行うことができることが開示されている。またこのパターンを投光する手段として、プロジェクタや走査型の露光装置を用いることが開示されている。

しかしながら特許文献２、３に記載されている従来技術は、プロジェクタや走査型のレーザ露光装置を使用するために、いずれも装置のサイズが大きくなるといった問題がある。即ち、プロジェクタは光源のランプが大きくなる可能性がある。例えば、光源にＬＥＤを用いた場合は小型化は可能であるが、レンズで結像させるため、結像する位置では解像度の高いランダムパターンを照射できるが、結像位置からずれると解像度が低下してしまい、精度良く距離を計測することができなくなる。
また、特許文献３に開示されている走査型のレーザ露光装置は、レーザ光を変調しながら走査することでランダムパターンを表示する方式である。この方式では、計測対象物全体にランダムパターンを照射するためには、走査に要する時間が長くなる。従って、ステレオカメラのシャッタースピードはレーザ走査に要する時間によって制限されるため、短いシャッタースピードで撮影することはできない。その結果、動きの早いものや暗い場所での計測が困難となるといった問題がある。
本発明は、かかる課題に鑑みてなされたものであり、高精度な距離計測を可能にするパターンを照射できる小型なパターン照明装置を用いて計測対象までの距離を測定する測距装置を提供することを目的とする。

本発明はかかる課題を解決するために、計測対象物までの距離を計測する測距装置であって、光源、該光源から出射された光を平行光に変換する光学手段、及び、溝の深さの異なる多段の階段形状を有し、前記光学手段により変換された平行光を回折して３階調以上の輝度分布を有する画素がランダムに配置されたパターン光を前記計測対象物に出射する回折光学素子、を備えたパターン照明装置と、該パターン照明装置により投光されたパターン光が照射された計測対象物を撮影する複眼撮像装置と、該複眼撮像装置により撮影された夫々の画像から視差を計算して前記計測対象物までの距離を演算する制御部と、を備え、前記複眼撮像装置が撮像する前記パターン光に前記回折光学素子で生じる０次光が含まれないように、前記パターン照明装置が配置されていることを特徴とする。

本発明によれば、回折光学素子を使って多階調の輝度分布を有する画素がランダムに配置されたパターンを照射することで、計測対象物が単一色の表面をもつ物体であっても、ステレオ対応づけが可能となり、計測対象物までの距離を高精度に測定することができる。更に、パターン照明装置は走査部が無いために小型で構成され、波長として近赤外光を使用することにより、計測対象物までの距離が変化しても常に高精度な測距に適したパターンを照射することできる。

（ａ）は一つの実施形態に係るパターン照明装置の構成を示す図、（ｂ）は多階調輝度分布の階調を示す図である。回折光学素子の断面形状と回折効率との関係を示す図である。（ａ）は一つの実施形態に係るステレオカメラの構成を示す図、（ｂ）は撮像素子を上から見た図である。本実施形態に係るパターン照明装置とステレオカメラとの配置関係を示す図である。ステレオカメラに対して本実施形態に係るパターン照明装置が配置可能な位置を示す図である。本実施形態に係るパターン照明装置の出射角度とステレオカメラの画角との関係を表す図である。本実施形態に係る測拒装置の構成を示す図である。（ａ）は回折光学素子で生じる０次光がパターン内に入った場合を示す図、（ｂ）は回折光学素子で生じる０次光がパターン内に入らなかった場合を示す図である。三角測量の原理を示す図である。２次元センサ上の視差Δを説明する図である。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１（ａ）は一つの実施形態に係るパターン照明装置の構成を示す図、図１（ｂ）は多階調輝度分布の階調を示す図である。本発明の第１の実施形態に係るパターン照明装置１は、図示しない計測対象物までの距離を計測するために、計測対象物にパターンを投光するパターン照明装置１であって、パターン光５を投光するための光を出射する半導体レーザ（光源）２と、この半導体レーザ２から出射された光を平行光に変換するカップリングレンズ（光学手段）３と、カップリングレンズ３により変換された平行光を回折する回折光学素子４と、を備え、回折光学素子４から出射されて図示しない計測対象物に投光される光は、多階調の輝度分布を有する画素がランダムに配置されたパターン光５である。
即ち、半導体レーザ２から出射されたレーザ光は、カップリングレンズ３によって平行光となる。平行光は回折光学素子４に入射して回折され、多階調の輝度分布を持つ光となる。この光は２値ではなく、図１（ｂ）に示す多階調の輝度分布を持ち、最小単位である１つの画素のサイズは約１ｍｍ角である。この多階調の輝度分布をもった最小単位の画素がランダムに配置されたパターン光５が計測対象物に投光される。

図２は回折光学素子の断面形状と回折効率との関係を示す図である。多階調の輝度を生じさせるために、回折光学素子４の断面形状は溝の深さが異なる多段の階段形状となっている。回折光学素子４の断面形状を階段の段数や階段の深さを変えることで回折効率が変化する。即ち、図２では上から順に回析効率が約４０％、５５％、７５％、８４％、及び１００％と増加している。これを利用することで回折効率が高いところは輝度が明るく、回折効率が低いところは輝度が暗くなるため多階調の輝度分布を形成することができる。このように回折光学素子４を用いて光の強度（輝度）分布を変換すること自体は、特許文献４、５等にも関連する技術が開示されている。
本実施形態では半導体レーザ２は波長７００〜９００ｎｍ程度の近赤外光を発するレーザを想定している。波長がこれ以上に大きくなるとステレオカメラ（複眼撮像装置）に内蔵されている赤外カットフィルタでカットされたり、ステレオカメラのセンサ感度が低下してパターンが正確に検出できなくなってしまう。逆に半導体レーザ２の波長を４００〜７００ｎｍの可視光にしても良い。可視光にすることでステレオカメラのセンサの検出感度が向上するというメリットがある。しかしその半面、レーザ光が眼で見えるため、人が危険を感じたり目障りになったりするといった課題が発生する。従って、計測対象物により波長を使い分けても構わない。

また、半導体レーザ２は一般に温度上昇に伴って波長が変化するモードホッピングと呼ばれる現象が瞬間的に発生する。波長が変化すると回折光学素子４からのパターン光の出射角度と回折効率が変化して、パターンを照射する範囲が変わってしまう。このように回折効率が変化すると多階調の輝度分布が相対的に変化してしまう。いずれも安定した測距を行う上で問題となるため、半導体レーザ２の温度を一定とするために、ペルチェ素子等の温度調節素子６（図１）を備えておくことが望ましい。
また、レーザパワーについてもＡＰＣ(Auto Power Control)回路７（図１）を用いて出射光をフィードバックして一定に保つことが望ましい。パターン照明の明るさを一定に保つことで、ステレオカメラにとって最適なシャッター時間を保つことができる。
また、半導体レーザ２は、一般的にパッケージサイズがφ３．５ｍｍ、φ５．６ｍｍであり非常に小型である。カップリングレンズ３や回折光学素子４もほぼ同等のサイズで作られるため、従来のプロジェクタや走査型のレーザ露光装置に比べて本実施形態のパターン照明装置１は、サイズが格段に小さく作ることができるばかりでなく、走査部も無く信頼性も極めて高いものとなる。
以上のように本実施形態のパターン照明装置１は小型でありながら、高精度な測距を可能にするパターンを照射することができる。

図３（ａ）は一つの実施形態に係るステレオカメラの構成を示す図、図３（ｂ）は撮像素子を上から見た図である。図３（ａ）においてレンズアレイ１１には、レンズ１２ａ、１２ｂが一体化されて形成されている。レンズ１２ａ、１２ｂは測距用のレンズであり、同じ形状で焦点距離は等しく、それぞれの光軸１３ａ、１３ｂは平行である。光軸１３ａと光軸１３ｂの間隔が基線長Ｄである。
ここで図３（ａ）のように光軸１３ａ、１３ｂの方向をＺ軸とし、Ｚ軸に垂直であり、且つ光軸１３ｂから光軸１３ａへ向かう方向をＹ軸とし、Ｚ軸とＹ軸の両方に直交する方向をＸ軸とする。レンズ１２ａ、１２ｂはＸＹ平面上にありＹ軸上に両レンズの中心を配置した。この場合、視差Δが発生する方向はＹ軸方向となる。

また、図３（ｂ）のように撮像素子１４はＣＭＯＳ、ＣＣＤ等の撮像素子であり、ウェハ上に半導体プロセスにより多数の画素を形成したものである。撮像素子１４上には、測距用レンズ１２ａを介して計測対象物が結像される撮像領域１５ａと、測距用レンズ１２ｂを介して計測対象物が結像される撮像領域１５ｂが離間して配置されている。また、撮像領域１５ａと撮像領域１５ｂは、それぞれ同じ大きさの矩形領域であり、撮像領域１５ａと撮像領域１５ｂの対角中心Ａ、Ｂと、レンズ１２ａ、１２ｂの光軸１３ａ、１３ｂはほぼ一致するように配置されている。
以上の構成からなるステレオカメラ１６は、図９、図１０を用いて先に説明した三角測量の原理により計測対象物までの距離を計測できる。更に、図１に示したパターン照明装置１によりランダムパターンを照射すれば、計測対象物が単一色の表面をもつ物体であってもステレオ対応づけを行うことができる。加えてパターン照明装置１には走査部も無いため、動いているものでも精度良く計測することができる。

図４は、本実施形態に係るパターン照明装置とステレオカメラとの配置関係を示す図である。特許文献３では、ステレオカメラを構成する２つのカメラの間に照明装置が配置されている構成が開示されていたが、本発明のステレオカメラ１６はサイズが極めて小さく、最もサイズが大きい基線長方向の幅でも１３ｍｍ程度しかないため、２つのカメラの間に照明装置を配置することは物理的に不可能である。パターン照明装置１を配置できる場所は図５（正面から見た図）に示すようにステレオカメラ１６の周囲Ａ〜Ｄとなる。
ここでステレオカメラ１６のレンズ１２ａ、１２ｂの画角とパターン照明装置１のパターン出射角度の関係について説明する。図６は、本実施形態に係るパターン照明装置の出射角度とステレオカメラの画角との関係を表す図である。パターン照明装置１とステレオカメラ１６を一体化した場合、パターン照明装置１を配置できる場所は図５に示すようにステレオカメラ１６の周囲であるＡ〜Ｄの場所となる。従って、ステレオカメラ１６の視野である画角全体にパターンを照射するためには、パターン出射角度αはステレオカメラ１６の画角より大きくしなければならない。しかしながら、パターン出射角度αを大きくするためには、回折光学素子４をより微細に加工しなければならないため、加工上の制限からパターン出射角度αはあまり大きくはできない。そこでパターン照明装置１を配置する場所として図５のＡ又はＣの位置ではなく、Ｂ又はＤの位置とすることが望ましい。

図７は、本実施形態に係る測拒装置の構成を示す図である。この図では、図５Ｄの位置に本発明に係るパターン照明装置を配置したときの画角と出射角度の関係を示している。本実施形態に係る測拒装置９は、パターン照明装置１と、パターン照明装置１により投光されたパターンが照射された計測対象物を撮影するステレオカメラ１６と、ステレオカメラ１６から得られた画像から視差を計算して計測対象物までの距離を演算する制御部１７と、を備えている。そして、回折光学素子４からの出射角度βがステレオカメラ１６のレンズ画角より大きくなる位置にパターン照明装置１を配置する。
図６の場合の出射角度αに比べて図７の方がパターン照明装置１の出射角度βが小さくすることができる。これはステレオカメラ１６のＡやＣの位置にパターン照明装置１を配置すると、ステレオカメラ１６の画角が大きい水平画角すべてをカバーするようにパターン照明装置１を配置しなければならないためである。水平画角すべてをカバーするためにはパターン照明装置１の出射角度αを大きくしなければならず、出射角度αを大きくするためには回折光学素子４の加工をより微細に加工しなければならない。
このようにパターン照明装置１をステレオカメラ１６の基線長の方向に対して垂直方向の位置に配置することで、回折光学素子４の加工を難しくすることなく、ステレオカメラ１６の視野を全てカバーできるようにパターン照明を行うことができる。垂直方向でもとりわけステレオカメラ１６を２つのレンズの間の垂直方向に配置することでステレオカメラの視野近くに配置でき、回折光学素子４の加工精度を緩和できる。

次に、照明するパターン光の中に回折光学素子３で生じる０次光が入らない構成を提案する。図８（ａ）は回折光学素子で生じる０次光がパターン内に入った場合を示す図、図８（ｂ）は回折光学素子で生じる０次光がパターン内に入らなかった場合を示す図である。
図８（ａ）に示すような今まで説明してきたパターン照明装置の場合、回折光学素子４において回折せずに透過してしまう光（０次光）があると、照射するパターンのちょうど中心部に回折光学素子４に入射したレーザ光束のビーム径と同じ大きさのスポット光８が照射されることになる。０次光８が照射された部分は多階調の輝度分布が乱れてしまい、０次光８が照射される画面中心部は正確な測距ができなくなってしまう。
そこで図８（ｂ）に示すように０次光８が照射するパターンの中に入らないようにする。即ち、図７で示したステレオカメラ１６とパターン照明装置１の位置関係により、０次光を避けることができる。このようにすることで、０次光による輝度分布の乱れは発生しなくなり全画面で正確な測距ができるようになる。図８（ｂ）の構成では回折効率が低下して照射するパターンが暗くなるが、半導体レーザ２の光出力を大きくすればパターンは明るくなり回折効率の低下はカバーすることが可能である。

以上述べてきたパターン照明装置１とステレオカメラ１６は着脱可能にして計測対象物が単一色の表面をもつ物体である場合と、そうでない場合とで使い分けても良い。パターン照明装置１とステレオカメラ１６を一体化することで照明と撮影のずれが無くなり、経時変化や振動に対しても安定した測距が可能になる。

１パターン照明装置、２半導体レーザ、３カップリングレンズ、４回折光学素子、５パターン光、６温度調節素子、７ＡＰＣ回路、８０次光、９測拒装置、１１レンズアレイ、１２ａ、１２ｂレンズ、１３ａ、１３ｂ光軸、１４撮像素子、１５ａ、１５ｂ撮像領域、１６ステレオカメラ、１７制御部

特開２００１−９１２４７公報特開２００１−１４７１１０公報特開２００７−１７３５５公報特開２００３−２７０５８５公報特許第４３３３７６０号

Claims

計測対象物までの距離を計測する測距装置であって、
光源、該光源から出射された光を平行光に変換する光学手段、及び、溝の深さの異なる多段の階段形状を有し、前記光学手段により変換された平行光を回折して３階調以上の輝度分布を有する画素がランダムに配置されたパターン光を前記計測対象物に出射する回折光学素子、を備えたパターン照明装置と、
該パターン照明装置により投光されたパターン光が照射された計測対象物を撮影する複眼撮像装置と、
該複眼撮像装置により撮影された夫々の画像から視差を計算して前記計測対象物までの距離を演算する制御部と、を備え、
前記複眼撮像装置が撮像する前記パターン光に前記回折光学素子で生じる０次光が含まれないように、前記パターン照明装置が配置されていることを特徴とする測距装置。
前記回折光学素子からの出射角度が前記複眼撮像装置のレンズ画角より大きくなる位置に前記パターン照明装置が配置されていることを特徴とする請求項１に記載の測距装置。
前記パターン照明装置は、前記複眼撮像装置の光軸間の距離である基線長の方向に対して垂直方向に配置されることを特徴とする請求項２に記載の測距装置。
前記光源の温度を一定にする温度調整手段を備えることを特徴とする請求項１乃至３の何れか一項に記載の測距装置。