JP2024513936A - 深度データ測定ヘッド、計算装置及び測定方法 - Google Patents

Abstract

深度データ測定ヘッド（６００、７００）であって、駆動装置（１１４、３１４）が駆動する異なる投影角度で測定対象空間にテクスチャ付きのビームを投影し、検出対象物体に異なるテクスチャを形成することに用いられる構造化光投影装置（１１０、６１０、７１０）と、構造化光投影装置（１１０、６１０、７１０）の両側に配置され、所定の相対的な空間位置関係を有し、且つ測定対象空間に対して少なくとも２回のイメージングを行い、それにより異なるテクスチャ分布を有する少なくとも２セットの画像を取得し、少なくとも２セットの画像は検出対象物体の１回の測定深度データを取得することに用いられる第１及び第２画像センサ（６２０、６３０；７２０、７３０）と、を含む。光源モジュール（Ｉ）が生成する構造化光を異なる角度で反射する構造化光投影装置（１１０、６１０、７１０）を使用し、それにより、さらに迅速で、経済的であり且つ故障率が低いマルチパターン投影を実現することができる。さらに、構造化光投影装置（１１０、６１０、７１０）は光路を共有する複数のペアの二眼センサ（７２３、７２４；７３３、７３４）と組み合わされ、それによりフレーム間隔をさらに短縮し、深度融合データの品質を向上させる。さらに深度データ計算装置及び測定方法を開示する。

Description

本発明は三次元検出技術分野に関し、特に深度データ測定ヘッド、計算装置及び測定方法に関する。

近年、三次元イメージング技術の発展が顕著である。現在、構造化光に基づく二眼検出手段は物体表面に対してリアルタイムに三次元測定を行うことができる。簡単に言えば、該手段はまず目標対象の表面にコード情報付きの二次元レーザテクスチャパターン、例えば離散化されたスペックルパターンを投影し、位置が相対的に固定された２つの画像収集装置によりレーザテクスチャを連続的に収集し、処理ユニットはサンプリングウィンドウを用いて２つの画像収集装置が同時に収集した２枚の画像に対してサンプリングを行い、サンプリングウィンドウ内のマッチングしたレーザテクスチャパターンを特定し、マッチングしたテクスチャパターン間の差異に基づいて、自然物の表面に投影された各レーザテクスチャシーケンスセグメントの深度距離を計算し、且つさらに測定して測定対象の表面の三次元データを得る。

マッチング処理において、サンプリングウィンドウが大きいほど、１回のサンプリングに含まれるパターン情報量も多くなるため、マッチングを行うことが容易になるが、得られる深度画像の粒状性が粗くなる。対応して、サンプリングウィンドウが小さいほど、画像の粒状性が細かくなるが、誤マッチング率も高くなる。複数セットの異なる画像を連続して撮影することによりサンプリングウィンドウを減少させることができるが、システムがさらに複雑になり且つフレームレートを低下させる。

このため、改良された深度データ測定手段が求められている。

本開示が解決しようとする技術的課題は深度データ測定手段を提供することであり、該手段はマルチ角度パターン投影により、特に改良され、光源モジュールが生成した構造化光を異なる角度で反射することができる構造化光投影装置を使用し、それにより、さらに迅速で、経済的であり且つ故障率が低い投影を実現することができる。さらに、該構造化光投影装置は光路を共有する複数のペアの二眼センサと組み合わせることができ、それによりフレーム間隔をさらに短縮し、深度融合データの品質を向上させる。

本開示の第１態様によれば、構造化光投影装置と、それぞれ前記構造化光投影装置の両側に配置される第１及び第２画像センサと、を含む深度データ測定ヘッドを提供し、前記構造化光投影装置は、駆動装置が駆動する異なる投影角度で測定対象空間にテクスチャ付きのビームを投影し、測定対象空間内の検出対象物体に異なるテクスチャを形成することに用いられ、前記第１及び第２の２つの画像センサの間は所定の相対的な空間位置関係を有し、且つ前記反射装置の移動過程において測定対象空間に対して少なくとも２回のイメージングを行い、それにより異なるテクスチャ分布を有する少なくとも２セットの画像を取得し、前記少なくとも２セットの画像は検出対象物体の１回の測定深度データを取得することに用いられる。

本開示の第２態様によれば、本発明の第１態様に記載の深度データ測定ヘッドと、プロセッサと、を含む深度データ計算装置を提供し、前記プロセッサは、前記少なくとも２セットの画像を取得し、且つ前記第１及び第２画像センサの間の所定の相対的な空間位置関係に基づいて、各セットの画像における前記テクスチャの深度データを特定し、前記少なくとも２セットの画像に基づいて特定された深度データを融合して、新しい深度データを得て、検出対象物体の１回の測定深度データとすることに用いられる。

本開示の第３態様によれば、深度データ測定方法を提供し、光源モジュールから出射されたスペックルパターン付きのビームに対して異なる角度の投影を行うステップと、相対位置が固定された第１及び第２画像センサを使用して測定対象空間に対して少なくとも２回のイメージングを行い、それにより少なくとも２セットの画像を取得し、前記少なくとも２回のイメージングにおいて、測定対象空間に前記異なる角度の投影により出現する異なるスペックルパターンが投影されるステップと、前記少なくとも２セットの画像から深度データを求め且つ深度データの融合を行うステップと、を含む。

このため、反射構造化光を回転させることにより構造化光投影装置の投影の融通性を向上させる。該装置はさらにマスク光源と同軸二眼の方式を組み合わせることにより、マルチフレーム融合方式の精度及びイメージング速度をより向上させることができる。

図面を参照して本開示の例示的な実施形態をより詳細に説明することにより、本開示における上記及び他の目的、特徴、及び利点をより明確なものとし、本開示の例示的な実施形態において、同じ符号は一般的に同じ要素を指す。
本発明の一実施例に係る構造化光投影装置の構成概略図である。 本発明の投影方向を変更する概略図である。 本発明の一実施例に係る構造化光投影装置の斜視図である。 異なる透視角度で図３に示す構造化光投影装置が構造化光を投影する例である。 異なる透視角度で図３に示す構造化光投影装置が構造化光を投影する例である。 図３又は図４に示す装置を使用してスペックルを投影する例である。 図３又は図４に示す装置を使用してスペックルを投影する例である。 本発明の一実施例に係る深度データ測定ヘッドの構成ブロック図である。 本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。 同軸２セットのイメージング及び１セットのイメージングの比較タイミング図である。 同軸３セットの二眼イメージングのタイミング図である。 本発明の一実施例に係る深度データの測定方法の概略フローチャートである。

以下に図面を参照して本開示の好ましい実施形態をより詳細に説明する。図面に本開示の好ましい実施形態が示されているが、本開示は様々な形態で実現させることができ、本明細書に記載された実施形態に限定されるべきではないことを理解されたい。これらの実施形態は、本開示を徹底的かつ完全なものとし、且つ本開示の範囲を当業者に十分に伝えるために提供される。

上述したように、二眼イメージングのマッチング処理において、サンプリングウィンドウが大きいほど、１回のサンプリングに含まれるパターン情報量も多くなるため、マッチングを行うことが容易になるが、得られる深度画像の粒状性が粗くなる。対応して、サンプリングウィンドウが小さいほど、画像の粒状性が細かくなるが、誤マッチング率も高くなる。従って、複数セットの異なる画像を連続して撮影することによりサンプリングウィンドウを減少させることができる。

例えば、駆動装置を使用して光源モジュールの回転を駆動することにより、同一の光源モジュールによる異なる角度からの投影を実現することができる。この時に、光源モジュールが投影するパターンが同じであっても、投影角度が異なるため、イメージング装置（画像センサ）の視野内には依然として異なるパターンが現れる。しかしながら光源モジュール自体に重量があり、且つ配線し給電する必要があるため、駆動装置の駆動機能は制限される。また、マルチフレームに基づく深度融合はフレームレートを低下させ、且つ動的対象の撮影性能を低下させる。

このため、本発明は、改良され、光源モジュールが生成した構造化光を異なる角度で反射することができる構造化光投影装置を使用することが好ましく、それにより、さらに迅速で、経済的であり且つ故障率が低いマルチパターン投影を実現することができる深度データ測定手段を提供する。さらに、該構造化光投影装置は光路を共有する複数のペアの二眼センサと組み合わせることができ、それによりフレーム間隔をさらに短縮し、深度融合データの品質を向上させる。

図１は、本発明の一実施例に係る構造化光投影装置の構成概略図である。該構造化光投影装置は、本発明の深度データ測定ヘッドにおける構造化光の投影に用いることができる。

図に示すように、構造化光投影装置１１０は、図に示す破線の上部に位置する光源モジュールＩ及び図に示す破線の下部に位置する方向転換投影モジュールＩＩを含むことができる。光源モジュールは投影しようとするビームを生成することに用いられ、方向転換投影モジュールはビームの方向を転換し且つ出射することに用いられる。

具体的には、光源モジュールはテクスチャ付きのビームを生成し且つ出射することに用いられる。一般的に、光源モジュールは発光装置から出射されたビームを直接投影するのではなく、発光装置から投影されたビームに対して所定の光学処理を行い、必要とされる分布、輝度又はパターンを呈するようにさせる。従って、異なる実施形態では、異なるスペックル生成手段を用いて、異なる投影効果を実現することができる。

図１に示すように、光源モジュールＩはレーザ発光素子１１１及び回折光学素子（ＤＯＥ）１１２が含まれてもよい。レーザ発光素子１１１はレーザビーム（図における１１１からの１つの矢印で示す）を出射することに用いられる。レーザビームの出射光路上に配置されたＤＯＥ１１２は、入射したレーザ光を変調することができ、例えば入射したレーザ光を回折させ且つ特定の投影規則を有する離散スポットに変調する（図における１１２からの２つの矢印で示されるように、表面で回折されたビームは一定の幅、すなわち、ＤＯＥ１１２が位置する平面上の一定面積を占める幅を有する）。

一実施例において、レーザ発光素子１１１は端面発光型レーザダイオードなどのレーザダイオード（ＬＤ）であってもよい。ＬＤが生成するレーザ光はコリメートレンズ（図示せず）によってコリメートされ、ＤＯＥ１１２によって回折されてもよい。レーザ発光素子１１１がＬＤのようなシングルビームレーザ発光素子である場合、ＤＯＥ１１２は、入射する１つのレーザスポットを複数のスポット（例えば２千、さらには２万のスポット）を有するパターンに回折して投影の複雑なスペックルを構成するために、相対的に複雑な構造を有することができる。コリメートされているため、回折により定点投影を行うことができ、作動距離が大きく、消費電力が少ないなどの利点を有する。

別の実施例において、レーザ発光素子１１１はＶＣＳＥＬ（垂直共振器型面発光レーザ）として実現されてもよい。ＶＣＳＥＬ自体に複数の発光粒子を含むことができるため、１つのＶＣＳＥＬチップはそれ自体が所定のパターン、例えば１００個の発光粒子で形成されるパターンを出射することができる。この場合、ＤＯＥ１１２は上述の２千、さらには２万のスポットのスペックルパターンを実現するために、直接コピー、交差コピー、回転コピーなどの単純なコピーだけを必要とする。一般的に、コリメートすることはできないが、ＶＣＳＥＬ方式は、より高いエネルギー効率を有することができ、且つＤＯＥの複雑さに対する要件もより低い。

他の実施例において、光源モジュールＩはレーザ素子及び回折素子以外の他の手段を利用して実現されてもよい。例えば、光源モジュールには投光を生成することに用いられる投光光源及び前記投光光源に配置され、前記投光を特定の投影コードを有するスポットに変換することに用いられるマスクと、が含まれてもよい。

投光光源にマスクを追加した実施形態において、マスクはＤＯＥに比べてより高い精度で設計することができるため、より微細なスペックルパターンを得ることができ、且つその情報比（投影領域内でスペックルが占める面積）はそれまでのＤＯＥ方式よりも高く、例えば５０％に達することが可能である。スペックルが投影された空間の復号化された深度データを求めることについて、より高い情報比とは、１回の投影においてより多くの表面積の深度情報が得られることを意味しており、すなわちより多くの情報を得ることを意味している。しかしながら、マスクされた領域の光エネルギーは、実際には利用することができないため、マスク方式のエネルギー変換効率は高くない。言い換えると、投光光源にマスクを追加した構造化光生成方式は、近距離の高精度イメージングのシーンにより適している。

さらに、方向転換投影モジュールは、光源モジュールで生成されたビーム（例えば、スペックルパターン）を反射させて出射するためのモジュールである。しかしながら従来の反射モジュールとは異なり、本発明の方向転換投影モジュールは反射モジュールを駆動して移動させることができ、それにより反射モジュールによって反射されたビームを変化させることができる。

前記ビームの出射経路に配置された反射装置１１３は入射した前記ビームを反射することに用いられ、それにより前記ビームは出射され、反射装置に接続された駆動装置１１４は反射装置の入射ビームに対する角度を変更することに用いられ、これによりビームの出射方向を変化させる。

本発明の実施例において、説明の便宜上、光線が測定ヘッドから出射される方向（即ち、光線が測定ヘッドから離れる方向）をｚ方向とし、撮影平面の水平方向をｘ方向とし、垂直方向をｙ方向と決めてもよい。このため、図１及び以下に説明する図２、図３及び図４Ａ～Ｂにおいて、光源モジュールに対して下向き（ｙ方向）に構造化光を投影し、且つ方向転換投影モジュールによって出射方向をｚ方向（実際にはｚ方向に沿ってわずかな角度偏差を有する方向）に変更して設置される例を詳述する。なお、他の実施例においては、実際のイメージングシーンにおける必要に応じて、本発明の構造化光投影装置が他の方向に配置又は設置されてもよい。

説明の便宜上、図２は本発明の投影方向を変更する概略図である。光源から出射される光はｙ軸に沿って下向きに反射装置、例えば反射ミラーに投影され、且つ反射装置によって反射され、それにより測定対象空間に投影され、且つｚ軸に垂直なイメージング平面上にスポットを形成することができる。反射装置はｘ軸の軸方向に沿って回転させることができ、例えば図に示すようにＡ～Ｂの角度範囲内で回転し、これにより対応してイメージング平面上でＡ’～Ｂ’の範囲内で移動するスポットを取得することができる。図１に示す光源モジュールＩが二次元分布パターンを有する離散スポットを投影する場合、光源モジュールＩが反射ミラーに投影するパターンは同じであるが（レーザ発光素子１１１とＤＯＥ１１２との相対位置が固定されており、且つそれ自体駆動されないため）、反射ミラーが回転することにより、投影されるパターンは角度ずれを有するようになり、そのため以下のように二眼イメージングを組み合わせて使用する状況では、画像センサが異なる投影角度で撮影したパターンは異なるパターンとして見なすことができる。

図２には、本発明の原理を明確にするために大きなＡ～Ｂの角度範囲内で回転することができる反射ミラーが示されているが、理解されるように、実際の応用シーンにおいては、同じパターンを投影する角度差は１°のように小さくてもよく、これによりイメージングパターンが異なることを保証すると同時に、イメージング範囲の実質的な一致を保証する。

さらに、図３は本発明の一実施例に係る構造化光投影装置の斜視図である。図４Ａ～Ｂは、異なる透視角度で図３に示す構造化光投影装置が構造化光を投影する例である。

図に示すように、レーザ発光素子３１１はハウジング（又は固定構造）３１５の内部に設置されてもよく、生成された光源は出射光路上に配置されたＤＯＥ３１２によって回折されて所定の二次元分布を有する回折パターンを得ることができ、回折パターンは上へ反射ミラー３１３に伝播し、反射ミラー３１３は回折パターンを反射してそれを（ほぼ）ｚ方向に沿って出射させ、且つｚ方向に垂直な投影平面（図４Ａ及び図４Ｂに示すとおりであり、ここで図４Ｂは、図３及び図４Ａに示す装置がｙ軸に沿って反時計周りに９０°回転した時の図と見なすことができる）上にスペックルパターンを形成する。図４Ａ及び図４Ｂの投影平面は、図１に示すイメージング平面の三次元図として見なすことができる。

さらに、駆動装置は反射装置を制御して軸方向に移動させることができ、光源モジュールから出射されたビームは軸方向（ｘ方向）に垂直な方向で反射装置に入射し、且つ前記反射装置の軸方向移動に基づき、出射方向が変化する。

具体的には図に示すように、駆動装置（例えば、モータ）３１４から延び出す回転軸は反射ミラー３１３に固定接続され、これによりモータが動作すると、回転軸は反射ミラー３１３を駆動して軸方向に移動させる。これにより投影平面上に所定の角度偏移を有する投影パターンが形成される。これらの投影パターンは、投影を撮影する画像センサにとっては異なるパターンであってもよく、このため、本発明の投影装置は反射構造化光（例えば、二次元分布を有する回折パターン）を回転させることによって「異なる」パターンを容易に投影することが可能である。

いくつかの実施例において、方向転換投影モジュールは振動ミラーであってもよく、モータは反射ミラーを駆動して所定の範囲内で往復運動させることができる。別の実施例において、方向転換投影モジュールは回転ミラーであってもよく、モータは軸方向に沿って一方向運動のみを行うことができる。

具体的には、方向転換投影モジュールは所定の周波数で往復振動する機械式振動ミラーであってもよく、それにより所定の周波数で前記測定対象領域に構造化光を投影することができ、それにより、投影平面に、ｙ方向に沿って上下運動する二次元回折パターン（離散スポット）が現れる。機械式振動ミラーの制御可能性により、方向転換投影モジュールは連続運動中の所定のウィンドウ期間にわたって静止したままであってもよい。

例えば、機械式振動ミラーはｚ方向に沿って±１°の運動範囲を有していてもよく、且つ毎秒２ｋに達する振動周波数を有していてもよい。画像センサと組み合わせて使用する場合、例えば３フレームの画像を１フレームの画像に合成する応用シーンにおいて、機械式振動ミラーが－１°、０°及び１°に移動した時にそれぞれ所定時間移動を停止することができ、例えば感光ユニットが必要とする露光時間（例えば１ｍｓ）に静止を保持し、これにより画像センサの露光時間内に、投影されたパターンが変化しないようにして、イメージングの精度を向上させる。

回転ミラーを使用する実施例においては、回転ミラーは一方向に回転するだけであり、且つ変速制御が困難であるが、フォトダイオードなどの装置により回転ミラーの運動角度を検出し、且つ適切な角度内で構造化光の投影及び動的イメージングを行い、例えば３６０°のうちｚ方向に沿って±１°の区間内で投影及び対応するイメージングを行うことができる。

図５Ａ～Ｂは、図３又は図４に示す装置を使用してスペックルを投影する例である。図５Ａ及び図５Ｂはそれぞれ機械式振動ミラーが１°及び－１°に移動する時に投影されるパターンと見なすことができ、構造化光投影装置と画像センサが組み合わされて測定ヘッドが構成される時の画像センサのイメージングであると見なすこともできる。理解を助けるために、図では黒枠でスペックルの投影範囲を示しているが、実際の使用において、図における黒枠は投影されない。また、スペックルの投影範囲内で、スペックルが占める面積が３０％未満であるため、レーザ発光素子及びＤＯＥの投影方式を採用していると考えることができる。

同じＤＯＥが使用され（より具体的には、同じＤＯＥにおける同じパターンが使用される）ため、図５Ａ及び図５Ｂに示されるように、２つの投影されるパターンは実際には「同じ」であるが、投影角度が異なるため、図５Ｂのパターンはｙ方向に沿って所定の距離だけ下方にシフトしている。同じ位置にある物体、例えば図における灰色の四角形を測定する時、該物体上に投影されるスペックルは実際には異なっているため（図５Ｂにおける破線枠で示された範囲の投影パターンだけは図５Ａの投影パターンと同じである）、同じ測定対象物体に対して異なるパターンが投影されたと見なすことができる。且つスペックルパターンの不規則性（又はランダム性）により、異なる角度での投影において、四角形物体の表面の異なる位置にスペックルが投影され、従って後続の深度データ融合においてより多くの表面深度情報を取得することができる。

また、図１～図５Ｂに示す例において、投影された構造化光はいずれもｚ方向に沿って投影され、且つ垂直方向（ｙ方向）に変動する構造化光であるが、他の実施例において、投影された構造化光はｚ方向に沿って投影され、且つ水平方向（ｘ方向）に変動する構造化光であってもよく、又はｘ及びｙ方向のいずれにも角度変換が存在する投影であってもよい。言い換えると、異なる方向で投影角度を変化させることにより、図５Ｂに示される破線枠は上下、左右さらには斜線に沿って移動させることができる。

また、具体的な応用シーンに基づいて、検出対象物体の１回の測定深度データを得るために必要な画像セットの数を特定することができる。例えば、１秒間に処理可能な画像セットの数が特定している場合、１回の測定深度データに必要な画像セットの数を減少させることによってイメージングのフレームレートを向上させてもよく、１回の測定深度データに必要な画像セットの数を増加させることによってイメージングの精度を向上させてもよい。

図４Ａ～Ｂに示される投影構造を利用する時、１回の測定深度データに必要な画像セットの数を減少させる場合、モータを変化させる角度を減少させてもよく、１回の測定深度データに必要な画像セットの数を増加させる場合、それに応じてモータを変化させる角度を増加してもよい。

一実施例において、本発明の構造化光投影装置は、例えば５段階の調整可能なイメージングレートを有してもよい。最も高いフレームレートの時（すなわち、最高段階）、例えば１００フレーム／秒のフレームレートが実現されてもよい。この時に、各回の測定深度データの計算には、同一時刻に撮影された１セットの画像フレームのみを使用し、モータの投影角度は常に一定を保持することができる。次に高いフレームレートの時（すなわち、次に高い段階）、例えば５０フレーム／秒のフレームレートが実現されてもよい。この時に、各回の測定深度データの計算には異なる時刻に撮影された２セットの画像フレームを使用し、且つモータの投影角度は必要に応じて変化させることができ、例えば、０．５°と０°で往復して変化させ、且つ０．５°及び０°においてそれぞれ撮影して、２セットの画像フレームを取得して融合する。同様に、中間のフレームレートの時（すなわち、中間段階）、０．５°、０°、－０．５°においてそれぞれ撮影して、３セットの画像フレームを取得して融合し、３３フレーム／秒のフレームレートを実現する。次に低いフレームレートの時（すなわち、次に低い段階）、例えば２５フレーム／秒のフレームレートが実現されてもよい。最低のフレームレートの時（すなわち、最低段階）、例えば２０フレーム／秒のフレームレートが実現されてもよい。

フレームレートが高いほど、各フレームに含まれる画素点は少なくなるが、高速イメージングを必要とする状況に適しており、フレームレートが低いほど、各フレームに含まれる画素点が多くなり、且つ検出に用いられる画像の数が増加するため、同時にマッチングウィンドウのサイズを小さくすることができ、より高い精度が得られ、高精度イメージングを必要とするがイメージングのフレームレートに対する要件がそれほど高くない状況に適している。実際の使用において、ユーザは必要に応じて対応する段階を選択することができ、且つ駆動機構、光源、画像センサ及びプロセッサが互いに組み合わされて、必要な画像の撮影及び融合と計算を実現する。

本発明の構造化光投影装置は、深度データの測定に用いることができる。図６は本発明の一実施例に係る深度データ測定ヘッドの構成ブロック図である。

図に示す深度データ測定ヘッド６００は、構造化光投影装置６１０と、所定の相対位置関係を有する第１画像センサ６２０及び第２画像センサ６３０と、を含む。

構造化光投影装置６１０はそれに含まれる駆動装置の駆動下で、異なる投影角度で測定対象空間にテクスチャ付きのビームを投影することができ、それにより測定対象空間内の検出対象物体に異なるテクスチャ（例えば図５Ａ及び５Ｂに示される異なるテクスチャ）を形成する。

それぞれ前記構造化光投影装置の両側に配置された第１及び第２画像センサ６２０及び６３０は、前記反射装置の移動過程において測定対象空間に対して少なくとも２回のイメージングを行い、それにより異なるテクスチャ分布を有する少なくとも２セットの画像を取得し、前記少なくとも２セットの画像は検出対象物体の１回の測定深度データを取得することに用いられる。

一実施例において、構造化光投影装置６１０に光源モジュール及び駆動装置が含まれてもよく、光源モジュールはテクスチャ付きのビームを生成及び出射することに用いられ、駆動装置は、前記光源モジュールを駆動して異なる投影角度で測定対象空間にテクスチャ付きのビームを投影することに用いられる。言い換えると、駆動装置は光源モジュールを直接駆動して角度の変換を行うことができる。この時に、駆動装置は、例えば光源モジュールが取り付けられたボイスコイルモータであってもよい。

より好ましい実施例において、構造化光投影装置６１０は、図１、図３及び図４を参照して説明した反射装置を含む構造化光投影装置であってもよい。以下に図７を参照し、この構造化光投影装置に基づく測定ヘッドの実施形態について詳細に説明する。また、図７の例はさらに光路を共有する好ましいイメージング方式を含む。

図７は本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。説明の簡略化を考慮して、図においては１つの画像センサ７２０の構成例がより詳細に示されている。

図７に示すように、二眼原理に基づく深度データ測定ヘッド７００は、投影装置７１０と、所定の相対位置関係を有する第１画像センサ７２０及び第２画像センサ７３０と、を含む。該投影装置７１０は図１及び図３～４を参照して説明された上述の構造化光投影装置であってもよい。

便宜上図示していないが、測定ヘッド７００は、上記装置を取り囲むハウジングをさらに含むことができ、且つ図７に示す連結構造７４０は、上記装置を固定してハウジングに連結する機構と見なすことができる。いくつかの実施例において、連結構造７４０は、制御回路を含む回路基板であってもよい。なお、他の実施形態において、上記装置７１０～７３０は、他の方法でハウジングに連結され、且つ対応するデータ伝送及びコマンド受信動作を実行することができる。

ここで、投影装置７１０は撮影領域に構造化光を投影することに用いられ、例えばＤＯＥを経て回折された同じパターンであるが、方向転換機構が存在することで、同一パターンが異なる角度に沿って投影されるようにすることができ、それにより所定の相対位置関係を有する第１画像センサ７２０及び第２画像センサ５３０は、前記撮影領域を撮影して、異なるパターンを有する１セットの画像フレームペアを取得する。この１セットの画像フレームペアは、前記撮影領域の１回の深度データ計算に用いることができる。

具体的には、第１画像センサ７２０及び第２画像センサ７３０はそれぞれ前記構造化光投影装置７１０の両側に配置されてもよい。前記第１及び第２の２つの画像センサの間に所定の相対的な空間位置関係を有し、且つ前記反射装置の移動過程において測定対象空間に対して少なくとも２回のイメージングを行い、それにより異なるテクスチャ分布を有する少なくとも２セットの画像を取得し、前記少なくとも２セットの画像は検出対象物体の１回の測定深度データを取得することに用いられる。

例えば、投影装置７１０はその駆動装置の駆動下で、絶えず変化する投影角度で測定対象空間にテクスチャ付きのビームを投影することができ、それにより測定対象空間内の検出対象物体に異なるテクスチャを形成する。画像センサは方向転換の過程で複数回イメージングを行うことができ、例えば－１°、０°及び１°に移動した時にそれぞれ１回のイメージングを行い、これにより３ペア（６フレーム）を含む１セットの画像フレームペアを得る。これら６フレームの画像は共に撮影領域の１回の深度データの計算に用いられ、すなわち、１フレームの深度画像を算出することができる。

いくつかの実施例において、投影装置５１０内の光源モジュールは、動作中に常時点灯していてもよく、その場合画像センサは、方向転換装置が回転する特定の角度又は任意の角度（又は所定の運動範囲内の任意の角度）で複数回のイメージングを行うことができる。

例えば、制御可能な機械式回転ミラーを利用する状況では、回転ミラーの回転角度に基づいて、対応するイメージングを行うことができ、例えば－１°、０°及び１°に移動した時にそれぞれ１回のイメージングを行う。測定された回転角度に基づいて、対応する露光を行ってもよい。

いくつかの実施例において、回転角度と画像センサの露光は同期されなくてもよい。例えば、機械式回転ミラーが±１°以内で回転するように設定されている場合、画像センサは、任意の時刻に任意の間隔で必要な１セットの画像を撮影してもよく、撮影間隔が回転ミラーの回転周波数と完全に重ならない限り、異なる画像を撮影することができる。言い換えると、二眼の状況で比較されるのは同一セットの画像間の差異であり、基準パターンと比較する必要はないため、具体的にどのパターンを投影するかを規定する必要がない。

別の実施例において、投影装置７１０内の光源モジュールは画像センサの露光と同期されてもよい。この場合、測定ヘッド７００にはさらに、前記光源モジュールを制御して前記第１及び第２画像センサが露光する時に同期して点灯させることに用いられるコントローラが含まれてもよい。

また、コントローラはさらに、前記駆動装置を制御して前記第１及び第２画像センサの露光中に静止したままにすることに用いられてもよい。これにより、駆動装置の移動中のイメージングと比べて、より鮮明な投影パターン、例えば、離散スポットを得ることができる。

本発明のいくつかの実施例において、第１及び第２画像センサは従来の画像センサであってもよい。しかしながら他の実施例において、前記第１及び第２画像センサはそれぞれ光路の少なくとも一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記少なくとも２回のイメージングのうちの１回のイメージングを行うことに用いられる。

従来技術において、第１画像センサ及び第２画像センサはそれぞれ１つの感光ユニットのみを含み、且つ各感光ユニットがそれぞれ３回イメージングを行って３ペア（６フレーム）が１セットになった画像フレームペアを取得するが、本発明において、第１及び第２画像センサの各々は光路の少なくとも一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光をイメージングすることに用いられる。

図７は、第１及び第２画像センサがそれぞれ２つのサブ画像センサ（感光ユニット）を含む例である。図に示すように、第１画像センサ７２０はサブ画像センサ７２３及び７２４を含み、第２画像センサ７３０はサブ画像センサ７３３及び７３４を含む。サブ画像センサ７２３及び７２４は、ビームスプリッタ７２２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。同様に、サブ画像センサ７３３及び７３４は、ビームスプリッタ７３２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。言い換えると、本発明は、互いに同軸の複数セットの二眼構造を導入する。ここで、異なる画像センサハウジング内に位置するサブ画像センサ７２３及び７３３は第１画像センサセット（第１二眼セット）と見なすことができ、１つの投影角度において構造化光に対するイメージングを行うことに用いられる。次いで、第２画像センサセット（第２二眼セット）と見なすことができるサブ画像センサ７２４及び７３４は、別の投影角度において構造化光に対するイメージングを行うことに用いられる。言い換えると、この時に７２３及び７３３とそれぞれ同軸のサブ画像センサ７２４及び７３４は、その場で（即ち、等価な光路を有する）７２３及び７３３の代わりに次のパターン構造化光のイメージングを行うと見なすことができる。これにより、隣接する２つのフレームのイメージング間隔は、各画像センサのフレーム間隔に依存せず、より小さな間隔でイメージングすることができる。

このため、測定ヘッド７００はさらに、同期装置を含むことができ、同期装置は、前記投影装置が前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で少なくとも２つの異なるパターンの構造化光を投影するのと同時に、第１画像センサ７２０及び第２画像センサ７３０にそれぞれ含まれる少なくとも２つのサブ画像センサに、前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ連続して同期してイメージングを行わせることに用いられる。対応して、各サブ画像センサは、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれ自体の次のフレームのイメージングを行い（例えば、それ自体のフレーム間隔でイメージングする）、且つ上記イメージング操作は同期装置による同期下で投影装置による投影と同期させることができる。

図８は、同軸２セットのイメージング及び１セットのイメージングの比較タイミング図である。ここでは説明の便宜上、各感光ユニット（サブ画像センサ）のフレームレートを１００フレーム／ｓに設定し、フレーム間隔を１０ｍｓとし（例えば、最小フレーム間隔を１０ｍｓとする）、且つ各感光ユニットに必要な露光時間を１ｍｓと設定することができる。

第１画像センサ７２０及び第２画像センサ７３０が１つの感光ユニットのみを含む従来の画像センサであり、図１に示すように３つのパターン（取得される６つの画像に対応）を利用して深度データ計算を行う場合、図８の下部に示すように、０、１０、２０ｍｓの所で３回のイメージングを行う必要がある。このため、各深度データ画像を合成するには、撮影対象を２１ｍｓ間静止したままにする必要があり（したがって、運動対象を撮影することはより困難である）、フレームレートも１００フレーム／ｓから３３．３フレーム／ｓに低下する。

これに対して、第１画像センサ７２０及び第２画像センサ７３０が２つの感光ユニットを含む（例えば、第１画像センサ７２０及び第２画像センサ７３０がそれぞれサブ画像センサ７２３と７２４、及びサブ画像センサ７３３と７３４を含む）本発明の画像センサでは、３つのパターンを利用して深度データを計算する場合、図８の上部に示されるように、第１感光ユニットセットは０ｍｓの所でパターン１（例えば、第１投影角度でのパターン）のイメージングを行い、続いて第２感光ユニットセットは１ｍｓの所でパターン２（例えば、第２投影角度でのパターン）のイメージングを行い、次いで１０ｍｓ後に、第１感光ユニットは１０ｍｓの所でパターン３（例えば、第３投影角度でのパターン）のイメージングを行い、これにより１枚の深度データ画像に必要な３回のイメージングを完了させる。その後、第２感光ユニットセットは、１１ｍｓの所でパターン１の次のイメージングを開始することができる。２０ｍｓの所で、第１感光ユニットセットがパターン２のイメージングを行う。２１ｍｓの所で、第２感光ユニットセットがさらにパターン３のイメージングを行う。このように、異なる感光ユニットセットがイメージングする間隔は、イメージングに必要な時間（例えば、１ｍｓ）だけ間隔をあければよいが、同じ感光ユニットが次にイメージングするまでの間隔は、依然としてフレームレートに対応する最小フレーム間隔時間（例えば、１０ｍｓ）に基づく。この時、２セットの同軸二眼を導入することにより、各深度データ画像を合成するには、撮影対象を１１ｍｓ間静止したままにするだけでよく（したがって、運動対象を撮影することはより容易である）、且つフレームレートは約６６．６フレーム／ｓに保持することができる。

図７～図８を参照しながら、２セットの同軸（同一光軸）感光ユニットを有する例を説明したが、他の実施例において、第１及び第２画像センサはそれぞれより多くの感光ユニットを含むこともできる。図９は同軸３セットの二眼イメージングのタイミング図である。この場合、第１及び第２画像センサはそれぞれ同軸の３つの感光ユニット（サブ画像センサ）を含むことができる。これにより、図９に示すように、第１感光ユニットセットは０ｍｓの所でパターン１のイメージングを行い、その直後に第２感光ユニットセットは１ｍｓの所でパターン２のイメージングを行い、その直後に第３感光ユニットセットは２ｍｓの所でパターン３のイメージングを行う。その後、１０ｍｓの所で次回の３セットのイメージングが開始され、２０ｍｓの所でさらに次の３セットのイメージングが開始され、以下同様である。この時、３セットの同軸二眼を導入することにより、１枚の深度データ画像を合成するために必要な３ペア（６フレーム）の画像をわずか３ｍｓで取得することができ、撮影対象を３ｍｓ間静止したままにするだけでよく、運動対象に対する撮影レベルを大幅に向上させ、且つフレームレートは約１００フレーム／ｓに保持することができる（この例では、１００フレームを撮影するために１００３ｍｓ、即ち１．００３秒必要である）。

したがって、１セットの追加の同軸二眼構造（又は単眼構造）を導入するだけで、マルチフレーム合成に基づく深度データのフレームレートが２倍になり、各フレームのイメージング時間を短縮することが理解できる。理論的には、投影装置によって投影される画像の数と同じ数の同軸二眼構造を配置することが可能であり、それにより、各深度フレームのフレーミング時間とセンサのフレーム間隔とは、露光時間の倍数のみに関連付けられる（フレーム間隔が露光時間×同軸構造のセット数よりも大きい場合）。例えば、４つのパターンに基づいて深度フレームを合成する場合、図７に示されるような２セットの同軸二眼を使用する場合、４フレームを取得するイメージング時間は１２ｍｓとわずかに延びるが、フレームレートは約５０フレーム／ｓまで低下する。しかし、４セットの同軸二眼が使用される場合、４フレームを取得するためのイメージング時間はわずか４ｍｓであり、フレームレートは依然として約１００フレーム／ｓに保持される。しかしながら、同軸構造を過剰に導入することで画像センサの構造の難易度が増加するため、コスト、実現可能性、イメージング速度における妥協が求められる。

また、理解されるように、図８及び図９は同軸イメージングの性能を説明するために第１サブ画像センサ７２２が１ｍｓイメージングした後、第２サブ画像センサ７３が直ちに１ｍｓイメージングを行う例を示している。しかしながら実際の応用において、第１及び第２サブ画像センサのイメージング間隔は、さらに駆動装置の駆動も考慮する必要がある。具体的には、駆動の過程で直接イメージングが行われ且つ投影の適切な角度について要件が設定されていない場合、第１サブ画像センサがイメージングを完了した後、図８及び図９に示すような第２サブ画像センサのイメージングを直接行うことができる。しかしながら投影の適切な角度について要件がある場合、又は駆動装置を露光中に停止させたままにする必要がある場合、第１サブ画像センサのイメージングが完了した後、駆動装置が適切な位置に移動するまで（及び／又は適切な運動状態、例えば、完全に静止するまで）待ち、それから第２サブ画像センサの露光を行う必要がある。回転ミラー及び振動ミラーの移動速度は速いため、待ち時間は比較的短く、例えば数十μｓである。

複数セットの同軸二眼構造を組み合わせてイメージングを行う状況では、同様に必要に応じて実際のフレーミングレートを設定する必要があり、例えば、ユーザに高中低のフレーミング段階を提供する。異なる段階において、各フレームに撮影する必要がある画像セットの数は異なっており、例えば、高段階であれば２セット、中段階であれば４セット、低段階であれば６セットである。ユーザが対応する段階を選択すると、モータの選択角度及びリズム、構造化光の投影及びイメージングの時刻について対応する設定を行い、異なるイメージングにおけるニーズを満たす。さらに、プロセッサで計算を行う時、生成された１回の深度データに含まれる画像セットの数に基づいて、異なるマッチングウィンドウが設定されてもよく、例えば、低段階における６セットの左右画像マッチングウィンドウは高段階における２セットのマッチングウィンドウよりも小さくてもよく、それによりイメージングの精度を向上させる。

同一画像センサ内の異なる感光ユニットの同軸配置を実現するために、光路を設計する必要がある。図７の例において、ビーム分割に基づいて実現される同軸配置を示す。この場合、第１画像センサ７２０を例にすると、入射した戻り構造化光を受け取るためのレンズユニット７２１と、入射した戻り構造化光を少なくとも第１ビームと第２ビームとに分割するためのビームスプリッタ７２２と、第１ビームにイメージングを行うための第１サブ画像センサ７２３と、異なるパターンに対応した戻り構造化光の第２ビームに対してイメージングを行うための第２サブ画像センサ７２４と、を含むことができる。

一実施例において、ビームスプリッタ７２２は、キューブプリズム又は三角プリズムなどの光学プリズムである。これにより、入射光のうち反射された赤外光は第２サブ画像センサ７２４に到達し、入射光のうち反射されなかった可視光は第１サブ画像センサ７２３まで直進する。

図に示すように、プリズム形態のビームスプリッタ７２２は、入射光を伝搬方向が互いに直交する２つのビームに分割することができる。これに対応して、第１サブ画像センサ７２３及び第２サブ画像センサ７２４も垂直に配置することができ、それにより、入射する可視光及び赤外光ビームはそれぞれ垂直な角度で受光される。

視差を除去し、画素レベルの位置合わせを実現するために、入射光の成分は同じ光路長を有することが必要である。このため、ビームスプリッタ７２２としてキューブプリズムを使用する場合、第１サブ画像センサ７２３及び第２サブ画像センサ７２４は、ビームスプリッタ７２２のビーム分割領域から等しい距離に配置することができる。ビームスプリッタ７２２として三角プリズムを使用する場合、空気とプリズム材料との屈折率の比に基づき、２つの感光ユニットとビームスプリッタ７２２、特にビーム分割領域との距離を柔軟に調整することができる。

第１サブ画像センサ７２３と第２サブ画像センサ７２４との間の画素レベルの位置合わせ又は画素レベルに近い位置合わせは、理論的には入射光が光路の大部分を共有し、且つ同じ光路長を有するようにすることで実現される。しかしながら、画像センサの実際の製造過程において、第１サブ画像センサ７２３及び第２サブ画像センサ５２４の実際の配置は、理想的な垂直及び等距離の状態にならないため、２つのイメージングの間に偏差が生じる。この場合、製造された画像センサに対して強制的なソフトウェア補正を行うことができる。例えば、校正ターゲットを導入し、第１サブ画像センサ７２３及び第２サブ画像センサ７２４のイメージングをいずれも校正ターゲットと位置合わせすることによって、確実な画素レベル補正を実現する。言い換えると、第１サブ画像センサ７２３と第２サブ画像センサ７２４との間の画素レベルの位置合わせは正確な画素レベルの位置合わせであってもよく、若干の画素差を有し且つ校正により位置合わせされるものであってもよい。

図に示されるように、本発明の画像センサ７２０は単独のモジュールによって実現されてもよい。このため、該画像センサ７２０はさらに、レンズユニット、ビームスプリッタ、及び２つの感光ユニットの相対位置を固定することに用いられるハウジングを含むことができる。好ましくは、ハウジングはレンズユニット７２１と組み合わされて密封体を形成することができ、それにより含まれるデバイスが外部環境で汚染されることを回避する。他の実施例において、本発明の画像センサ７２０はより大きなモジュール（例えば、深度データ測定ヘッド）の一部であってもよく、且つ該より大きなモジュールのハウジングによって各素子間の固定を実現する。

好ましくは、画像センサ７２０はさらにそれぞれ第１サブ画像センサ７２３及び第２サブ画像センサ７２４に接続されるケーブルが含まれてもよい。ハウジングはケーブルに挿入するための開口を有する。一実施例において、ケーブルはＦＰＣ（フレキシブルプリント基板）ケーブルなどの可撓性ケーブルであってもよい。

一実施例において、ビームが第１サブ画像センサ７２３及び第２サブ画像センサ７２４に入射する前に、他の波長の光の影響をさらにフィルタリングするために、フィルタを通してもよい。一実施例において、投影装置は赤外レーザ光を投影することができ、したがって、画像センサ内に配置されたフィルタは、特定の周波数範囲の赤外光、例えば、本発明では波長７８０～１１００ｎｍの赤外光を透過させるための対応する赤外光透過ユニットであってもよい。他の実施例において、投影装置は可視光、例えば、６３５ｎｍ赤色光又は４５０ｎｍ青色光などの赤色レーザ光又は青色レーザ光を投影してもよい。環境光にも赤色光又は青色光が含まれる可能性があるが、露光時間が短く且つ瞬時のレーザ光が強いため、対応する赤色光又は青色光を透過するフィルタの助けを借りて信号対雑音比が高いイメージングを行うこともできる。また、センサは赤色光よりも青色光に対する光電変換効率が高く、且つ波長帯域が短いほど、精度が高いため、レーザ素子のコスト（青色光レーザ素子は一般的にコストが高い）、光電変換効率及びイメージングの精度を総合的に考慮して、適切な波長のレーザ素子を選択することができる。

好ましくは、ビームスプリッタがキューブプリズムである場合、フィルタの片側はキューブプリズムと物理的に直接接触させ、他方の側は感光ユニットと物理的に接触させて、感光ユニット及びキューブプリズムをハウジング内に係止することができ、それにより各デバイスの相対位置の高度な一定を保証する。

いくつかの実施例において、特に、第１及び第２サブ画像センサが、投影された赤外光パターンを受光するための赤外光センサである場合、画像センサ内に測定対象物体の画像情報を捕捉するために追加の可視光感知ユニット（図示せず）が配置されてもよく、それにより、画像センサによって捕捉される画像は、測定対象物体の画像情報だけでなく深度情報も含む。可視光感知ユニットはグレースケールセンサ又はカラーセンサであってもよい。グレースケールセンサは輝度情報のみを捕捉し、カラーセンサは測定対象物体のカラー情報を捕捉するために用いられ、この場合、可視光感知ユニットは三原色感知ユニットで構成されてもよく、三原色は赤緑青三原色（ＲＧＢ）であってもシアンマゼンタ黄三原色（ＣＭＹ）であってもよい。深度データに比較して、可視光画像は目標対象のエッジをより良好に解像することができ（特に目標対象と背景環境の色及び／又は輝度の差が顕著である場合）、このため可視光画像と組み合わせることで目標対象の三次元情報をより全面的に取得することができる。

なお、図７を参照して第１画像センサ７２０の構造を具体的に説明したが、第２画像センサ７３０も同一の構造を有することができる。また、７２３及び７３３を第１二眼セットと見なし、７２４及び７３４を第２二眼セットと見なすことができるが、７２３及び７３４を第１二眼セットと見なし、７２４及び７３３を第２二眼セットと見なすこともでき、いずれにしても対応するパターンが入射した後にオンにしてイメージングされるものであればよい。

図７に示すビームスプリッタ以外に、異なる実施例において、入射した戻り構造化光を第１サブ画像センサ及び第１サブ画像センサに送るために光路を変更することに用いられる光路変換装置の他の実施形態がさらに含まれてもよい。

図７に示すようにビーム分割を利用して光路共有を実現する場合、各感光ユニットが取得する光量が減少するため、投影輝度を増加させ又は入射絞りを拡大する方法によって、イメージングの感度又は有効距離範囲を確保することができる。

このため、代替として、光路変換に基づいて光路共有を実現することもできる。この場合、第１画像センサ７２０及び第２画像センサ７３０は、入射した戻り構造化光を受光するためのレンズユニットと、入射した戻り構造化光を少なくとも第１サブ経路と第２サブ経路とに送るための光路変換装置と、第１サブ経路上で戻り構造化光に対してイメージングを行う第１サブ画像センサと、第２サブ経路上で異なるパターンに対応した戻り構造化光に対してイメージングを行う第２サブ画像センサと、をそれぞれ含むことができる。一実施例において、光路変換装置は回転ミラーであってもよく、それは例えば０ｍｓの所で入射光を感光ユニット７２３に反射し、１ｍｓの所で入射光を感光ユニット７２４に反射するなどであってもよい。他の実施例において、光路変換装置は他の機械的、化学的又は電気的原理に基づいて光路変換を行う装置であってもよい。

投影装置で（スキャン式投影ではなく）全パターン投影を行う場合、画像センサはローリングシャッター画像センサであってもよく、グローバルシャッター画像センサ（すなわち、全ての画素が同時にイメージングを行う）であってもよい。グローバルシャッターセンサはより高いフレームレートを実現することができ、ローリングシャッターセンサは調整可能なダイナミックレンジを有することができるため、実際の応用シーンに応じて使用したいセンサのタイプを選択することができる。

上述したように、投影装置は所定の周波数で往復振動する振動ミラー、例えばＭＥＭＳミラー又は機械式振動ミラーが含まれてもよく、所定の周波数及び運動範囲で前記撮影領域をスキャンし構造化光を投影することに用いられる。振動ミラーは非常に高い振動周波数、例えば、毎秒２ｋを実現することができるため、ＭＥＭＳミラーの起動信号を直接利用して同期を行うことは不可能であり（遅延が確実でないため）、従って同期が必要なシーン（例えば、回転角度を検知する）では、マイクロミラー素子の位相振動の特性を考慮し、同期装置の中に振動ミラーの振動位相をリアルタイムに測定するための測定装置が含まれてもよい。

一実施例において、上記測定は出射光自体に基づいてもよい。従って、上記測定装置は１つ又は複数のフォトセンサ（例えば、２つのフォトダイオードＰＤ）であってもよく、且つ前記２つのフォトセンサは、前記投影装置の異なる出射経路上に配置されるか、又は前記投影装置内の異なる反射経路上に配置されるか、又は前記投影装置の内側及び外側の出射経路及び反射経路上にそれぞれ配置されるかのいずれか１つの方式で配置される。フォトセンサの配置方式を合理的に選択して、位相を正確に測定すると同時に、構造化光の正常な投影に影響を与えないようにすることができる。ＰＤは投影装置内に取り付けられてもよく、レーザ光が光学ウィンドウから出射する時の反射角を測定することにより瞬時の振動位相を特定する。ＭＥＭＳミラーの振動位相は正弦分布であるため、１つのＰＤで正弦分布情報を特定することができるが、より多くのＰＤは位相をより正確に測定することに役立つ。他の実施例において、ＰＤは投影装置の外部に取り付けられてもよく、例えば、光学ウィンドウに、例えば光学ウィンドウのエッジ近くに取り付けられ、それにより撮影領域内の投影に及ぼす影響を防止する。他の実施例において、他の方式を利用して、例えば静電容量測定を行って位相を測定してもよい。

しかしながら他の実施例において、投影装置は一方向に回転する機械式回転ミラーが含まれてもよく、対応して、同期を行う必要がある場合、同期装置に含まれる測定装置は、前記反射装置のモータの回転角度をリアルタイムに測定するための角度計であってもよい。

上記の実施例において、投影と露光との間の同期は画像センサの露光を制御することによって実現される。これは光源の投影角度が制御可能な状況（例えば、電圧及び電流によって機械式振動ミラーの角度及び回転速度を制御できる）で用いることができ、特に、光源スキャンの位相及び速度が制御不可な状況（例えば、ＭＥＭＳミラー又は機械式回転ミラーにおいて）で用いることができる。従って、ＭＥＭＳミラーはＰＤ又はコンデンサを使用して角度を検出することができ、機械式回転ミラーも電圧検出又は光電符号化によって位置の検出を実現することができる。

本発明の別の実施例によれば、上記深度データ測定ヘッドと、前記深度データ測定ヘッドに接続されるプロセッサと、を含む深度データ計算装置を実現し、前記プロセッサは、二眼方式で、第１及び第２画像センサの所定の相対位置及びそれらにより前記構造化光をイメージングすることで得られた前記１セットの画像フレームペアに基づいて、前記撮影領域における撮影対象の深度データを特定することに用いられる。

本発明はさらに深度データの測定方法を実現する。図１０は、本発明の一実施例に係る深度データの測定方法の概略フローチャートである。該方法は本発明の構造化光投影装置、測定ヘッド及び計算装置を組み合わせることにより実現することができる。

ステップＳ１０１０では、光源モジュールから出射されたスペックルパターン付きのビームに対して回転反射を行う。

ステップＳ１０２０では、相対位置が固定された第１及び第２画像センサを使用して測定対象空間に対して少なくとも２回のイメージングを行い、それにより少なくとも２セットの画像を取得し、前記少なくとも２回のイメージングにおいて、測定対象空間に前記回転反射により出現する異なるスペックルパターンが投影される。ステップＳ１０３０では、前記少なくとも２セットの画像の中から深度データを求め且つ深度データの融合を行う。

同軸二眼構造を使用する状況下で、相対位置が固定された第１及び第２赤外光画像センサを使用して測定対象空間に対して少なくとも２回のイメージングを行うステップは、所定の相対位置関係を有する第１サブ画像センサペアを使用して１回目のイメージングを行い第１画像フレームペアを取得するステップと、第２サブ画像センサペアを使用して２回目のイメージングを行い第２画像フレームペアを取得するステップと、を含み、第１及び第２サブ画像センサペアのうちそれぞれ一方のサブ画像センサは光路の少なくとも一部を共有し且つ第１画像センサを構成し、第１及び第２サブ画像センサペアのうちそれぞれ他方のサブ画像センサは光路の少なくとも一部を共有し且つ第２画像センサを構成し、前記第１及び第２画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられる。

以上、図面を参照して、本発明の深度データ測定ヘッド、計算装置及び測定方法を詳細に説明した。本発明の深度測定手段は特に、改良され、光源モジュールが生成した構造化光を異なる角度で反射することができる構造化光投影装置を使用し、それにより、さらに迅速で、経済的であり且つ故障率が低いマルチパターン投影を実現することができる。さらに、該構造化光投影装置は光路を共有する複数のペアの二眼センサと組み合わせることができ、それによりフレーム間隔をさらに短縮し、深度融合データの品質を向上させる。

本発明のスペックル測定手段は特に連続平面に対する深度測定に適し、例えば、材料を供給及び取り出すための把持又は造船所の溶接継ぎ目の検出等に用いられる。

図中のフローチャート及びブロック図は、本発明の複数の実施例のシステム及び方法の実現可能なアーキテクチャ、機能及び操作を示す。これに関して、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、前記モジュール、プログラムセグメント又はコードの一部は規定された論理機能を実現するための実行可能なコマンドを含む。なお、代替とされるいくつかの実施形態において、ブロック内に記載された機能は図に記載されたものとは異なる順序で行われてもよい。例えば、２つの連続するブロックは、実際には実質的に同時に実行されてもよく、それが関連する機能に応じて時には逆の順序で実行されてもよい。また、ブロック図及び／又はフローチャート図における各ブロック、及びブロック図及び／又はフローチャート図におけるブロックの組み合わせも、規定の機能もしくは操作を実行するためのハードウェアに基づく専用のシステム、又は専用ハードウェアとコンピュータコマンドとの組み合わせによって実現することができる。

本発明の各実施例を説明してきたが、上記の説明は例示的なものであり、全てを網羅しておらず、開示された各実施例に限定されるものでもない。記載された実施例の範囲及び主旨から逸脱しない限り、なされる多くの修正及び変更は当業者にとって自明である。本明細書で使用される用語は、各実施例の原理、実際の応用又は市場における技術に対する改良を最もよく説明するために、又は当業者が本明細書で開示される各実施例を理解することができるように選択されたものである。

Claims (19)

1. 構造化光投影装置と、それぞれ前記構造化光投影装置の両側に配置される第１及び第２画像センサと、を含み、
   前記構造化光投影装置は、駆動装置が駆動する異なる投影角度で測定対象空間にテクスチャ付きのビームを投影し、測定対象空間内の検出対象物体に異なるテクスチャを形成することに用いられ、
   前記第１及び第２の２つの画像センサは、所定の相対的な空間位置関係を有し、測定対象空間に対して少なくとも２回のイメージングを行うことに用いられ、それにより異なるテクスチャ分布を有する少なくとも２セットの画像を取得し、
   前記少なくとも２セットの画像は検出対象物体の１回の測定深度データを取得することに用いられる、深度データ測定ヘッド。
2. 前記構造化光投影装置は、光源モジュール及び駆動装置を含み、
   前記光源モジュールはテクスチャ付きのビームを生成及び出射することに用いられ、
   前記駆動装置は、前記光源モジュールを駆動して異なる投影角度で測定対象空間にテクスチャ付きのビームを投影することに用いられる、請求項１に記載の深度データ測定ヘッド。
3. 前記構造化光投影装置は、光源モジュール及び方向転換投影モジュールを含み、
   前記光源モジュールは、テクスチャ付きのビームを生成し且つ出射することに用いられ、
   前記方向転換投影モジュールは、反射装置及び駆動装置を含み、前記反射装置は前記ビームの出射経路に配置され、入射した前記ビームを反射することに用いられ、それにより前記ビームは出射され、前記駆動装置は前記反射装置に接続され、入射した前記ビームに対する前記反射装置の角度を変更することに用いられ、これにより前記ビームの出射方向を変化させる、請求項１に記載の深度データ測定ヘッド。
4. 前記方向転換投影モジュールは機械式振動ミラーであって、且つ前記反射装置は軸方向に沿って往復運動し、又は
   前記方向転換投影モジュールは機械式回転ミラーであって、且つ前記反射装置は軸方向に沿って一方向運動する、請求項３に記載の深度データ測定ヘッド。
5. 前記駆動装置は連続運動中の所定のウィンドウ期間にわたって静止したままである、請求項１に記載の深度データ測定ヘッド。
6. 前記光源モジュールは、
   レーザビームを発射することに用いられるレーザ発光素子と、
   前記レーザビームの出射光路上に配置され、入射したレーザ光を回折させ且つ特定の投影規則を有する離散スポットに変調することに用いられる回折光学素子と、又は、
   投光を生成することに用いられる投光光源と、
   前記投光光源に配置され、前記投光を特定の投影コードを有するスポットに変換することに用いられるマスクと、
   を含む、請求項１に記載の深度データ測定ヘッド。
7. 前記光源モジュールを制御して前記第１及び第２画像センサが露光する時に同期して点灯させることに用いられるコントローラをさらに含む、請求項１に記載の深度データ測定ヘッド。
8. 前記第１及び第２画像センサはそれぞれ光路の少なくとも一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記少なくとも２回のイメージングのうちの１回のイメージングを行うことに用いられる、請求項１に記載の深度データ測定ヘッド。
9. 前記第１及び第２画像センサにそれぞれ含まれる少なくとも２つのサブ画像センサに、前記サブ画像センサの最小フレームイメージング間隔より短い１間隔で連続して同期してイメージングを行わせるコントローラを含む、請求項８に記載の深度データ測定ヘッド。
10. 前記コントローラは、各サブ画像センサが、前記サブ画像センサの最小フレームイメージング間隔以上の第２間隔でそれぞれの次のフレームのイメージングを行うことに用いられる、請求項９に記載の深度データ測定ヘッド。
11. 前記第１及び第２画像センサはそれぞれ、
    入射した戻り構造化光を受け取るためのレンズユニットと、
    光路を変更することで入射した戻り構造化光を第１サブ画像センサ及び第１サブ画像センサに送るための光路変換装置と、
    異なる時刻に異なるパターンをイメージングするための第１サブ画像センサ及び第２サブ画像センサと、
    を含む、請求項８に記載の深度データ測定ヘッド。
12. 光路変換装置は、
    入射した戻り構造化光を少なくとも第１ビームと第２ビームとに分割するためのビームスプリッタを含み、
    第１サブ画像センサは第１ビームにイメージングを行うことに用いられ、
    第２サブ画像センサは異なるパターンに対応した戻り構造化光の第２ビームに対してイメージングを行うことに用いられる、請求項１１に記載の深度データ測定ヘッド。
13. 光路変換装置は、入射した戻り構造化光を少なくとも第１サブ経路と第２サブ経路とに送るための光路変換装置を含み、
    第１サブ画像センサは第１サブ経路上で戻り構造化光に対してイメージングを行うことに用いられ、
    第２サブ画像センサは第２サブ経路上で異なるパターンに対応した戻り構造化光に対してイメージングを行うことに用いられる、を含む、請求項１１に記載の深度データ測定ヘッド。
14. 前記第１サブ画像センサ及び前記第２サブ画像センサは、ビームスプリッタのビーム分割領域又は前記光路変換装置の光路変換領域との距離は等しい、請求項１１に記載の深度データ測定ヘッド。
15. 前記第１及び第２画像センサそれぞれに含まれ、光路の少なくとも一部を共有する少なくとも２つのサブ画像センサは赤外光センサであり、及び／又は
    前記第１及び第２画像センサはそれぞれ、入射した構造化光に対してイメージングを行うことに用いられ、第１及び／又は第２画像サブセンサと光路の少なくとも一部を共有する可視光画像センサを含む、請求項１１に記載の深度データ測定ヘッド。
16. １回の測定深度データに必要な異なる画像セットの数に基づいて、対応する駆動装置の投影角度の組み合わせ、ビームの投影時刻及び第１及び第２画像センサのイメージング時刻が設定される、請求項１に記載の深度データ測定ヘッド。
17. 請求項１～１６のいずれか一項に記載の深度データ測定ヘッドと、プロセッサと、を含み、
    前記プロセッサは、前記少なくとも２セットの画像を取得し、且つ前記第１及び第２画像センサの間の所定の相対的な空間位置関係に基づいて、各セットの画像における前記テクスチャの深度データを特定し、前記少なくとも２セットの画像に基づいて特定された深度データを融合して、新しい深度データを得て、検出対象物体の１回の測定深度データとすることに用いられる、深度データ計算装置。
18. 光源モジュールから出射されたスペックルパターン付きのビームに対して異なる角度の投影を行うステップと、
    相対位置が固定された第１及び第２画像センサを使用して測定対象空間に対して少なくとも２回のイメージングを行い、それにより少なくとも２セットの画像を取得し、前記少なくとも２回のイメージングにおいて、測定対象空間に前記異なる角度の投影により出現する異なるスペックルパターンが投影されるステップと、
    前記少なくとも２セットの画像から深度データを求め且つ深度データの融合を行うステップと、を含む深度データ測定方法。
19. 相対位置が固定された第１及び第２赤外光画像センサを使用して測定対象空間に対して少なくとも２回のイメージングを行うステップは、
    所定の相対位置関係を有する第１サブ画像センサペアを使用して１回目のイメージングを行い第１画像フレームペアを取得するステップと、
    第２サブ画像センサペアを使用して２回目のイメージングを行い第２画像フレームペアを取得するステップであって、第１及び第２サブ画像センサペアのうちそれぞれ一方のサブ画像センサは光路の少なくとも一部を共有し且つ第１画像センサを構成し、第１及び第２サブ画像センサペアのうちそれぞれ他方のサブ画像センサは光路の少なくとも一部を共有し且つ第２画像センサを構成し、前記第１及び第２画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられるステップと、
    を含む請求項１８に記載の深度データ測定方法。
    

Images