JP3932776B2 - 3次元画像生成装置および3次元画像生成方法 - Google Patents
3次元画像生成装置および3次元画像生成方法 Download PDFInfo
- Publication number
- JP3932776B2 JP3932776B2 JP2000196049A JP2000196049A JP3932776B2 JP 3932776 B2 JP3932776 B2 JP 3932776B2 JP 2000196049 A JP2000196049 A JP 2000196049A JP 2000196049 A JP2000196049 A JP 2000196049A JP 3932776 B2 JP3932776 B2 JP 3932776B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- imaging
- dimensional image
- unit
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は測定対象に対してパターン光を照射することによって得られるパターン投影像を、複数の撮像手段で異なる方向から撮像し、パターンの変化に基づいて距離情報を得る三角測量法に基づく3次元画像生成装置および3次元画像生成方法に関する。
【0002】
【従来の技術】
3次元形状を取得する手法には、アクティブ手法(Active vision)とパッシブ手法(Passive vision)がある。アクティブ手法は、(1)レーザ光や超音波等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザー手法や、(2)スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報より対象形状を推定するパターン投影方法や、(3)光学的処理によってモアレ縞により等高線を形成させて、3次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する知識を利用して、一枚の画像から3次元情報を推定する単眼立体視、三角測量原理で各画素の奥行き情報を推定する二眼立体視等がある。
【0003】
一般的にアクティブ手法のほうが計測精度は高いが、投光手段の限界などにより、測定できるレンジが小さい場合が多い。一方、パッシブ手法は汎用的であり、対象に対する制約が少ない。本発明は、このアクティブ手法の3次元計測装置であるパターン投影法に関するものである。
【0004】
パターン投影法では、対象とする物体に基準となるパターン光を投影し、基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応づけを行うことで、物体の3次元計測を行える。パターン投影法では、変形パターンと投影したパターンの対応づけにおいていかに誤対応を少なくし、かつ簡便に行うかが課題となる。そこで、様々なパターン投影の手法(空間パターンコード化、モアレ、色符号化)が提案されている。
【0005】
代表的な空間コード化の一例として特開平5−3327375号公報に開示されている実施例について説明する。この例では、レーザ光源とレーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物に走査して照射するスキャンニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。
【0006】
スキャンニング装置から走査されるレーザ光によって対象物上に、レーザ光が照射された部分と照射されていない部分とで縞模様が形成される。レーザ光の照射を異なる複数のパターンによって行うことで対象物上はN個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。
【0007】
解像度を高くする為には複数回のレーザによるスキャンを行い、複数回のカメラによる撮影が必要となる。例えば、画面を256の領域に分割する為には8回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり、更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行う事は難しい。
【0008】
パターンの投光回数を減らす手段として特開平3−192474号公報に開示されている色符号化がある。色符号化においては、q、kを2以上の所定の自然数とした時、q色以上の色を用いて、隣接する2本のスリット光が同色にならず、隣接するk本のスリット光による色の並びが1度しか現れないように符号化されたパターンを投影し、観測された画像からスリットの色を検出し、該当スリットの色並びからスリット番号を取得する。スリット番号から、スリットの照射方向を算出し空間コード化の例と同様に距離を算出することができる。
【0009】
しかしながら、色符号化ではコード列の並びからコードを復元する為に、コードの復元の計算量が大きいという問題点がある。更に、R,G,Bの3色を用いて256の領域に分割したい場合には、コードを知りたいスリットの周囲8本のスリット光の並びを知る必要があり、連続してスリットが長く観測できるような形状の物体の計測にしか適さない。
【0010】
スリットの復元を容易に行い、更に1回でコード化されたパターンを投影する手段として特許第2565885号で公開されている空間パターンコード化法がある。この特許では、3値以上の濃淡、又は3色以上の色、又は濃淡と色の組み合わせによって3種類以上の階調領域を有し、該階調領域の境界線の交点において少なくとも3種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し、該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードを付与し、該主コードを、または交点の主コードとその周囲交点の主コードとを組み合わせた組み合わせコードを、交点の識別用の特徴コードとして付与したことを特徴とする。
【0011】
しかし、上述の方式では撮影対象によってはコード化が崩れてしまい正しくコードの対応づけができなくなる場合がある。例えば、図21で示すように光源によって投光されたパターン列が"12345678"であるとき、撮影対象の構造によってはカメラで撮影されるパターン列が"1267"と欠落して認識されたり、パターン列"758"のように反転したパターン列が得られる場合がある。また、対象物の形状や反射率などによっても投光したパターンと撮影されたパターン列の変化により対応づけは困難となる。
【0012】
色符号化においては、復号化時にスリットのグループ化を行う際、スリットの欠落、反転の可能性があるパターンについては復号を行わない手法を用いてこの問題を回避している。空間パターンコード化法では2次元パターンを用いることで、前述の誤りの可能性を低減してはいるが、原理的には対象物によっては同じ誤りが生じる。従って、前述の方式では、実験室内の特殊な状況や対象物体を限定した状況での撮影では優れた精度が得られるものの、対象を限定しない一般的な撮影状況では精度の劣化は否めない。また、光源を用いた投光を行う手法では、広いレンジを有するものを対象とした時に、投光が届かない部位については3次元形状が得られない。また、投光されたパターンを対象物が遮ることで生じる影の領域も、距離の計測ができないため、実際に見えているのに距離が得られない領域が存在してしまう。
【0013】
そこで、本出願と同一出願人に係る特願平10−191063号、(特開2000−9442)、特願平10−247796(特開2000−65542)では投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない3次元画像撮影装置を提案した。
【0014】
【発明が解決しようとする課題】
上記の特願平10−191063号、(特開2000−9442)、特願平10−247796(特開2000−65542)における3次元画像撮影装置は、投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に、投光パターンが被写体の輝度情報、素材などの影響によって変化し、3次元形状を算出する際に、エラーとなって適切な3次元形状が計測できない。そのために、上記3次元撮像装置は、投光素子と同光軸に配置をし、被写体情報による投光パターンの変化分をモニタし、再符号化を実施し、3次元形状を計測している。
【0015】
しかしながら、上記構成において、距離算出をスリットのエッジから行っているので、形状計測装置の解像度はスリットの本数によって決定される。また、形状計測を実施しようとする被写体のエッジ(輪郭)部分がスリットの間にある場合は、計測が困難になる。形状計測装置の場合、例えば、背景と被写体、あるいは、複数の被写体の選別など、被写体の輪郭を抽出して形状を計測する必要がある。スリットパターンを投影し形状計測する場合、スリット間の情報は、計測に使用しない。仮に、スリット間でクリティカルな形状変化が発生した場合は、その前後のスリット情報から距離を算出し、真の形状変化部は計測されていないことになる。
【0016】
また、クリティカルな変化をしていない物体においても、計測解像度は、スリットパターンのスリット本数によって決められてしまい。それ以上の解像度での計測を行うためには、スリット総本数を増加させて、個別の距離が算出可能な領域の大きさに対応する距離計測解像度をあげる必要がある。
【0017】
本発明は、上記問題点を解決することを目的としてなされたものであり、スリットパターンを投光手段と同光軸で撮像し、符号化を実施する際に、投影したスリットパターンから、被写体情報によって変化させられた情報を元に再符号化を実施する構成において、観測される連続したパターンを認識し、これを新たなコードとして設定し、設定されたコードによって距離データを生成する3次元画像生成装置および3次元画像生成方法を提供することを目的とする。
【0018】
本発明は、上述の目的を解決するものであり、その第1の側面は、
パターンを測定対象に投影する投光手段と、前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、ビームスプリッタによって分離される構成であり、前記投光手段と前記第1の撮像手段とは、それぞれが光学的に同軸となるように配置された構成を有し、
前記第1の撮像手段の撮影した投影パターン画像と、前記投光手段による投影パターンとの比較により、前記第1の撮像手段の撮影した投影パターン画像に新たなエッジが検出された場合、検出された新たなエッジが距離測定に適用可能なエッジであるか否かを前記第1の撮像手段と第2の撮像手段の撮影データに基づいて決定されるエピポーラ線と平行であるか否かを判定し、平行でない場合に該検出エッジに基づく新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有することを特徴とする3次元画像生成装置にある。
【0020】
さらに、本発明の3次元画像生成装置の一実施態様において、前記3次元画像生成装置は、前記投影パターンに対する第1の撮像手段による撮影パターンの前記新たなエッジによって区分されるセルの強度変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから前記第1の距離情報を生成する構成を有することを特徴とする。
【0021】
さらに、本発明の3次元画像生成装置の一実施態様において、前記第1の距離情報および第1または第2の撮像手段より得られた輝度情報に基づいて3次元画像を生成する構成を有することを特徴とする。
【0023】
さらに、本発明の3次元画像生成装置の一実施態様において、前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るよう構成したことを特徴とする。
【0024】
さらに、本発明の3次元画像生成装置の一実施態様において、前記投光手段は不可視領域の光を発生する光源を有し、第1の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有することを特徴とする。
【0025】
さらに、本発明の3次元画像生成装置の一実施態様において、前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得るよう構成したことを特徴とする。
【0026】
さらに、本発明の3次元画像生成装置の一実施態様において、前記第1の撮像手段の撮影する投影パターン画像に検出される新たなエッジは、前記測定対象の形状、模様、輝度差、反射率差のいずれかに基づいて発生するエッジであることを特徴とする。
【0027】
さらに、本発明の第2の側面は、
投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とにより、パターンの投影された測定対象を撮影するステップと、
前記第1の撮像手段の撮影した投影パターン画像と、前記投光手段による投影パターンとの比較を実行するステップと、前記第1の撮像手段の撮影した投影パターン画像に新たなエッジが検出された場合、検出された新たなエッジが距離測定に適用可能なエッジであるか否かを前記第1の撮像手段と第2の撮像手段の撮影データに基づいて決定されるエピポーラ線と平行であるか否かを判定し、平行でない場合に該検出エッジに基づく新規コードを割り付けるステップと、
前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成するステップと、
を有することを特徴とする3次元画像生成方法にある。
【0029】
さらに、本発明の3次元画像生成方法の一実施態様において、前記投影パターンに対する第1の撮像手段による撮影パターン内に含まれる、前記新たなエッジによって区分されるセルの強度変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付けるステップと、前記新規コードに基づいて第2の撮像手段による撮影パターンから前記第1の距離情報を生成するステップと、を有することを特徴とする。
【0030】
さらに、本発明の3次元画像生成方法の一実施態様において、前記第1の距離情報および第1または第2の撮像手段より得られた輝度情報に基づいて3次元画像を生成するステップを有することを特徴とする。
【0031】
さらに、本発明の3次元画像生成方法の一実施態様において、前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るステップを有することを特徴とする。
【0032】
さらに、本発明の3次元画像生成方法の一実施態様において、前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得ることを特徴とする。
【0033】
【発明の実施の形態】
以下、図を用いて本発明の3次元画像撮像装置および3次元画像撮像方法の実施の形態を詳しく説明する。
【0034】
まず、再コード化処理を用いた距離データの取得原理について説明する。再コード化処理を用いた距離データの取得を実行する3次元画像撮像装置の構成を表すブロック図を図1に示す。図2に光源と撮像素子の位置関係を示す。
【0035】
図2に示すように、3次元形状測定装置は、3台のカメラ101〜103および投光器104を備える。各カメラの距離関係が揃うように、図示の距離I1、I2、I3は等しくされている。カメラ3,103と投光器104は、ビームスプリッタとしてのハーフミラー105を用いて光軸が一致するように配置される。カメラ1,101、カメラ2,102は、カメラ3,103と投光器104の両側に、それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Lである。
【0036】
投光器104は、光源106と、マスクパターン107と、強度パターン108と、プリズム109とを有する。ここで光源106は、赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合、各カメラは図3に示すように構成される。すなわち、入射してきた光310は、プリズム301で2方向に分割され、一方は不可視領域(赤外あるいは紫外)透過フィルター302を通って撮像装置(例えばCCDカメラ)303に入射し、他方は不可視領域(赤外と紫外)遮断フィルター304を通って撮像装置305に入射する。
【0037】
また図2に示す光源106は、可視領域あるいは不可視領域に限定せず、撮像可能な波長帯の光源を用いてもよい。この場合、カメラ3,103においては、プログレッシブスキャンタイプのCCDカメラを用い、カメラ1,101、カメラ2,102に関しては、特に構成はこだわらない。ただし、カメラ3,103との対応を考慮すれば、同じ構成のCCDカメラが望ましい。光源106からパターンが投影され、3台のカメラ1〜3(101〜103)が同時に撮影を行う。そして各カメラは、フィルター304,305(図3参照)を通過した光を撮像装置303,305で得ることにより、画像の一括取得を行う。
【0038】
図1を用いて3次元形状測定装置の構成を説明する。図示のように、カメラ1,101は、撮影して得た輝度情報を輝度値メモリ121に記憶し、撮影パターンをパターン画像メモリ122に記憶する。カメラ2,102は、同様に、輝度情報を輝度値メモリ123に記憶し、撮影パターンをパターン画像メモリ124に記憶する。カメラ3,103は、輝度情報を輝度値メモリ125に記憶し、撮影パターンをパターン画像メモリ126に記憶する。投光器104は、事前に作成したコード化されたパターンを後に参照する為に、各スリットを正方格子上のセルに分割してフレームメモリ127に格納している。
【0039】
この記憶保持された撮影パターンおよび輝度情報を用いて、次のようにして3次元画像を得る。以下の操作は、カメラ1,101とカメラ3,103の組み合わせ、カメラ2,102とカメラ3,103の組み合わせの双方に共通なので、ここではカメラ1,101とカメラ3,103の組み合わせを例にとって説明する。
【0040】
図1において、領域分割部128は、カメラ3,103で撮影された撮影パターンの領域分割を行う。そして、隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域1として抽出し、スリットパターン間の強度差が閾値以上である領域については領域2として抽出する。再コード化部129は、抽出された領域2について、パターン画像メモリ126に記憶された撮影パターンとフレームメモリ127に格納された投影パターンを用いて再コード化を行う。
【0041】
図4は、再コード化を行う際のフローチャートである。まず、各スリットパターンをスリット幅毎に縦方向に分割し(ステップ1001)、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする(ステップ1002)。画像の中心から順に、投影パターン及び撮影パターンの対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する(ステップ1003)。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する(ステップ1007)。
【0042】
閾値以上異なる場合は、新たな強度のセルかどうか判断する(ステップ1004)。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う(ステップ1005)。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する(ステップ1006)。これで、再コード化を終了する(ステップ1007)。
【0043】
図5はスリットパターンのコード化の例を示すもので、同図(a)はスリットの並びによってコード化された投影パターンであり、強度としてそれぞれ3(強)、2(中)、1(弱)が割り当てられている。同図(b)においては、左から3つめのセルで強度が変化して新たなコードが出現したので、新たに0というコードを割り当てている。同図(c)においては、左から3つめ上から2つめのセルに既存のコードが出現しているので、セルの並びから新たなコードとして、縦の並びを[232]、横の並びを[131]という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には2次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【0044】
図6は、カメラ601〜603および投光器604を用いて、壁605の前に配置された板606にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは、図7に示すスリットパターンである。このとき、カメラ601、カメラ602で得られる画像は、図8及び図9に示すように、それぞれ板606の影となる領域801、901が生ずる。本例では、板606の表面には新たにコード化されたパターンとして、図10に示すようなスリットパターンが得られる。
【0045】
次に図1に戻って説明する。カメラ1,101側のコード復号部130は、パターン画像メモリ122から投影パターンを抽出し、上述と同様にしてセルに分割する。そして、先に再コード化部129で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図11は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ1で撮影された画像上のx座標とカメラパラメータである焦点距離Fと基線長Lとから、次の(数1)によって距離Zを算出する。
【0046】
【数1】
Z=(F×L)/(x+F×tanθ) (数1)
【0047】
この距離Zの算出は、カメラ2,102側のコード復号部131においても、同様に行われる。また、上述の領域1については次のようにして距離を算出する。領域1では、投光されたパターンによるパターン検出は行うことができないので、対応点探索部132において、カメラ1〜3の輝度値メモリ121、123、125から読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域1を除く領域に対しては、前述の操作により距離が算出されているので、領域1の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差dを検出し、カメラパラメータである画素サイズλを用いて、次の(数2)によって距離Zを算出する。
【0048】
【数2】
Z=(L×F)/(λ×d) (数2)
【0049】
前述の手法でカメラ3,103とカメラ1,101の組み合わせによって得られた距離情報では、図8に示す板の影となる領域801の距離情報が検出できない。一方、カメラ3,103とカメラ2,102の組み合わせによって得られた距離情報では、図9に示す板の影となる領域901の距離情報が検出できない。しかし、図8に示す板の影となる領域801の距離情報が算出可能である。従って、図1の距離情報統合部133において、カメラ3,103とカメラ1,101の組で算出された距離情報およびカメラ3,103とカメラ2,102で算出された距離情報から、カメラ3の画像(図12)のすべての画素に対する距離情報を取得する。以上の操作によって得られた距離情報を、例えばカメラ3の輝度画像に対応づけて3次元画像メモリに記憶することで3次元画像生成を行う。
【0050】
上述したような構成により、距離データを取得して3次元画像の生成を実行するわけである。本発明の3次元画像生成装置における特徴である測定対象物体の形状あるいは模様に基づく撮影パターンの変化に基づく再コード化処理および3次元画像生成処理について、以下説明する。
【0051】
図13に測定対象1301に対してパターン光を照射するプロジェクタ1302、パターン光を投影した測定対象の撮影を実行する2つの撮像手段1303、1304の構成からなる3次元画像撮像処理システム構成を示す。撮像手段1303は、投光プロジェクタ1302と同軸方向の像を撮影するために、ビームスプリッタとしてのハーフミラー1305を介した像を撮影する構成となっている。撮像手段1303、1304の撮影パターンに基づいて前述の手法により測定対象の距離データ。すなわち3次元形状を求める構成である。
【0052】
投光プロジェクタ1302によって測定対象に投影されるパターンは、例えば図14(a)に示すパターンであり、測定対象が図14(b)のような形状である場合、測定対象に照射されるパターン像、および2つの撮像手段によって撮影されるパターンは、図15に示すようなものとなる。図15(a)が測定対象に投影されるパターン像であり、図15(b)が撮像手段1501により撮影されるパターン像であり、図15(c)が撮像手段1502により撮影されるパターン像である。
【0053】
図16にある1つのパターン光(図16(a))と、そのパターン光に基づいて観測されるエッジ(図16(b))の態様を示す。エッジは、例えば図5で説明したコードの境界部を示すラインである。距離情報を算出するための撮影パターン像の分析は、図16(b)に示すエッジ情報に基づいて行うことによって容易に距離情報を算出することができる。図16(a)のようなストライプパターンを投影した場合は、図16(b)に示すように、パターンの境界部に5本のエッジが観測される。
【0054】
しかし、測定対象によっては、投影パターンのストライプ構成とは全く関係のない測定対象自身の形状、模様、輝度差、反射率差等、様々な要因に基づくエッジが観測される場合がある。
【0055】
いくつかの具体例について説明する。例えば図17の(a)に示すように白い壁1701の前に色のついたボード1702を置いたような測定対象構成に図16(a)に示すと同様のパターン光を照射して撮影すると、パターン光投光手段と光学的に同軸においた撮像手段に撮影される像は、図17(b)に示すようになり、その撮影像から抽出されるエッジは、図17(c)に示すようになる。図17(c)に示すように抽出されるエッジには、測定対象の白い壁1701とボード1702の境界部によって生成されるストライプパターンと平行なエッジ1703が含まれる。
【0056】
また、図18の(a)に示すように白い壁1801の前に傾斜部を持つ色のついたボード1802を置いたような測定対象構成に対して、図16(a)に示すと同様のパターン光を照射して撮影すると、パターン光投光手段と光学的に同軸においた撮像手段に撮影される像は、図18(b)に示すようになり、その撮影像から抽出されるエッジは、図18(c)に示すようになる。図18(c)に示すように抽出されるエッジには、測定対象の白い壁1801とボード1802の境界部によって生成されるストライプパターンと交わるエッジ1803が含まれる。
【0057】
また、図19の(a)に示すように白い壁1901の前にバスケットボール1902を置いたような測定対象構成に図16(a)に示すと同様のパターン光を照射して撮影すると、パターン光投光手段と光学的に同軸においた撮像手段に撮影される像は、図19(b)に示すようになり、その撮影像から抽出されるエッジは、図19(c)に示すようになる。図19(c)に示すように抽出されるエッジには、測定対象の白い壁1901とバスケットボール1902の境界部、およびバスケットボール1902の模様によって生成される複数のエッジ1903が含まれる。
【0058】
このように測定対象の形状、模様、輝度差、反射率差等、様々な要因に基づいて発生するエッジが撮像手段によって撮影される。
【0059】
物体の境界部が、図17に示すようにストライプパターン間に存在したり、図18に示すように、複数のストライプパターンにまたがって存在することよって、パターン光のエッジ情報のみに基づく距離データを算出しようとすると、正確な計測が不可能になる。特に前者は、正確なエッジ算出が困難になってしまう。そこで、図17,18に示すように、投光手段と同軸の撮像手段によって撮影されるパターン画像に含まれる、エッジ情報が、2つの撮像手段、すなわち投光手段と同軸の撮像手段と、異なる方向からの撮像手段の位置によって決定されるエピポーラ線と平行でなく観測される場合は、再符号化を実施する際に、新たなエッジとして、割りつけ、距離算出をする。
【0060】
エピポーラ線と平行なエッジは、観測されたとしても、2つの撮像手段による距離算出ができないからである。ただし、投光手段と同軸の撮像手段以外に、測定対象を異なる方向から撮影する2台以上のカメラを用いて距離計測を実行する場合は、いずれかのカメラとの組み合わせで距離計測が可能になれば投光手段と同軸の撮像手段によって観測されるすべてのエッジを距離計測用エッジとして適用することが可能である。図19に示すように、極端に反射率の低い(たとえば、黒いライン)もの(ここでは、バスケットボールの模様)や、複数の物体が重なり合ってできる、段差による線(例えば、ブロック塀を重ねて出来る模様)などによって、発生する情報も、再符号化を行う際に、エッジ情報として識別して再コード化を実行し、再コード化によって識別された新規コードによって距離情報の生成を行なう。
【0061】
図20に、本発明にかかる3次元画像生成装置において、投影パターンを、投光手段と同光軸で撮像した画像に基づいて、新たにコードパターンを割り付ける(再符号化する)処理の詳細を説明するフローチャートを示す。
【0062】
まず、ステップS2001において、投光手段と同軸の撮像手段によって撮影された投光パターン画像を分析する。次に、ステップS2002において、分析された投光パターン画像中に投光手段によって投光された投光パターンと異なるエッジ、すなわち、測定対象の形状、模様等に起因して撮影されたエッジが含まれるか否かを判定する。新たなエッジが検出された場合は、ステップS2003において、検出エッジが距離計測に適用できるエッジであるか否かが判別される。これは、前述したように例えば2台のカメラのみを用いた構成において、検出エッジがエピポーララインと平行である場合は、距離計測に適用できないものと判定し、検出エッジに基づく再コード化処理は実行しない。
【0063】
検出エッジが、距離計測に適用できるものであると判定されると、ステップS2004に進む。ステップS2004では、投光手段に与えられたスリットのセルと前記検出エッジにより区分されるセルの強度が閾値以上異なるかどうかを判断する。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する(ステップ2008)。
【0064】
閾値以上異なる場合は、新たな強度のセルかどうか判断する(ステップ2005)。そして、新たな強度のセルのときは、新たなコードの生成、割り付けを行う(ステップ2006)。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするスリットパターンの並びを用いてコード化する(ステップ2007)。これで、再コード化を終了する(ステップ2008)。
この再コード化処理の結果に基づいて、前述の処理に従った距離算出が実行される。すなわち、図20に示す再コード化処理は、先に([0061])説明した通り、撮影画像に基づいて新たなコードパターンの割り付けを行なう再コード化処理の一例を説明したものである。この再コード化処理の後の距離算出は、先に図4以下を参照して説明した再コード化による距離算出処理と全く同様の手法によって実行される。
すなわち、先に([0045])において、図11を参照して説明したように、再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて光源からのスリット角θを算出する。図11は空間コード化における距離の算出方法を示す図であり、各画素の属するセルのスリット角θとカメラ1で撮影された画像上のx座標とカメラパラメータである焦点距離Fと基線長Lとから、先に説明した数式、すなわち、
Z=(F×L)/(x+F×tanθ)
上記式に基づいて、各コードの割り当てられたセルに対応する距離Zを算出する。
【0065】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【0066】
【発明の効果】
以上述べたように、本発明の3次元画像生成装置および3次元画像生成方法は、投光装置で投射したパターンと、投光手段と光学的に同軸に配置した撮像手段によって撮影されたパターン画像とを比較し、撮影画像から投光パターン以外の距離計測可能なエッジを検出して、該エッジを含むパターンに基づいて再コード化を実行して、再コード化したデータに基づいて距離情報を生成するように構成したので、より高精度な距離算出が可能になる3次元画像生成装置および3次元画像生成方法が実現される。
【図面の簡単な説明】
【図1】本発明の3次元画像生成装置において使用される3次元形状計測装置の構成例を示すブロック図である。
【図2】本発明の3次元画像生成装置において使用される3次元形状計測装置のカメラ構成例を示すブロック図である。
【図3】本発明の3次元画像生成装置において使用される3次元形状計測装置の撮像構成を説明する図である。
【図4】本発明の3次元画像生成装置において使用される3次元形状計測装置の処理フローを示す図である。
【図5】本発明の3次元画像生成装置において使用される3次元形状計測装置の投影パターンのコード化の例を示す図である。
【図6】本発明の3次元画像生成装置において使用される3次元形状計測装置の撮影構成例を示す図である。
【図7】本発明の3次元画像生成装置において使用される3次元形状計測装置の投影パターン例を示す図である。
【図8】本発明の3次元画像生成装置において使用される3次元形状計測装置のカメラ1で撮影されるスリットパターンの例を示す図である。
【図9】本発明の3次元画像生成装置において使用される3次元形状計測装置のカメラ2で撮影されるスリットパターンの例を示す図である。
【図10】本発明の3次元画像生成装置において使用される3次元形状計測装置において新たにコード化されたスリットパターンの例を示す図である。
【図11】本発明の3次元画像生成装置において使用される3次元形状計測装置の空間コード化法による距離算出法を示す図である。
【図12】本発明の3次元画像生成装置において使用される3次元形状計測装置のカメラ3で撮影されるスリットパターンの例を示す図である。
【図13】本発明の3次元画像生成装置における2台の撮像手段を用いたパターン画像撮影構成を示す図である。
【図14】本発明の3次元画像生成装置におけるパターンおよび測定対象物の具体例を説明する図である。
【図15】本発明の3次元画像生成装置における投光パターン像、撮像パターン像の具体例を示す図である。
【図16】本発明の3次元画像生成装置における投光パターン像、および抽出エッジの具体例を示す図である。
【図17】本発明の3次元画像生成装置における測定対象物の形状または模様による新たなエッジ検出例(その1)を示す図である。
【図18】本発明の3次元画像生成装置における測定対象物の形状または模様による新たなエッジ検出例(その2)を示す図である。
【図19】本発明の3次元画像生成装置における測定対象物の形状または模様による新たなエッジ検出例(その3)を示す図である。
【図20】本発明の3次元画像生成装置における測定対象物の形状または模様による新たなエッジ検出時の処理を説明するフローチャートである。
【図21】空間コード化法によるコードの転写、途切れの例を説明する図である。
【符号の説明】
101 カメラ1
102 カメラ2
103 カメラ3
104 投光器
105 ハーフミラー
106 光源
107 マスクパターン
108 強度パターン
109 プリズム
121,123,125 輝度値メモリ
122,124,126 パターン画像メモリ
127 フレームメモリ
128 領域分割部
129 再コード化部
130,131 コード復号部
133 距離情報の統合部
134 3次元メモリ
301 プリズム
302,304 透過フィルタ
303,305 撮像装置
601,602,603 カメラ
604 投光器
605 壁
606 板
801,901 影領域
1301 測定対象
1302 プロジェクタ
1303,1304 撮像手段
1501,1502 撮像手段
1701,1801,1901 白い壁
1702,1802 ボード
1902 バスケットボール
1703,1803,1903 エッジ
Claims (12)
- パターンを測定対象に投影する投光手段と、前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とを備え、
前記投光手段の出射光と、前記第1の撮像手段の入射光とは、ビームスプリッタによって分離される構成であり、前記投光手段と前記第1の撮像手段とは、それぞれが光学的に同軸となるように配置された構成を有し、
前記第1の撮像手段の撮影した投影パターン画像と、前記投光手段による投影パターンとの比較により、前記第1の撮像手段の撮影した投影パターン画像に新たなエッジが検出された場合、検出された新たなエッジが距離測定に適用可能なエッジであるか否かを前記第1の撮像手段と第2の撮像手段の撮影データに基づいて決定されるエピポーラ線と平行であるか否かを判定し、平行でない場合に該検出エッジに基づく新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成する構成を有することを特徴とする3次元画像生成装置。 - 前記3次元画像生成装置は、前記投影パターンに対する第1の撮像手段による撮影パターンの前記新たなエッジによって区分されるセルの強度変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付け、前記新規コードに基づいて第2の撮像手段による撮影パターンから前記第1の距離情報を生成する構成を有することを特徴とする請求項1に記載の3次元画像撮像装置。
- 前記第1の距離情報および第1または第2の撮像手段より得られた輝度情報に基づいて3次元画像を生成する構成を有することを特徴とする請求項1に記載の3次元画像生成装置。
- 前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るよう構成したことを特徴とする請求項1に記載の3次元画像生成装置。
- 前記投光手段は不可視領域の光を発生する光源を有し、第1の撮像手段は不可視領域の光を透過するフィルターおよび不可視領域の光を遮断するフィルターを有することを特徴とする請求項1に記載の3次元画像生成装置。
- 前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得るよう構成したことを特徴とする請求項1に記載の3次元画像生成装置。
- 前記第1の撮像手段の撮影する投影パターン画像に検出される新たなエッジは、前記測定対象の形状、模様、輝度差、反射率差のいずれかに基づいて発生するエッジであることを特徴とする請求項1に記載の3次元画像生成装置。
- 投光手段により、パターンを測定対象に投影する投光ステップと、
前記投光手段の光軸方向から投影パターンを撮影する第1の撮像手段と、前記投光手段光軸方向と異なる方向から前記投影パターンを撮影する第2の撮像手段とにより、パターンの投影された測定対象を撮影するステップと、
前記第1の撮像手段の撮影した投影パターン画像と、前記投光手段による投影パターンとの比較を実行するステップと、前記第1の撮像手段の撮影した投影パターン画像に新たなエッジが検出された場合、検出された新たなエッジが距離測定に適用可能なエッジであるか否かを前記第1の撮像手段と第2の撮像手段の撮影データに基づいて決定されるエピポーラ線と平行であるか否かを判定し、平行でない場合に該検出エッジに基づく新規コードを割り付けるステップと、
前記新規コードに基づいて第2の撮像手段による撮影パターンから第1の距離情報を生成するステップと、
を有することを特徴とする3次元画像生成方法。 - 前記3次元画像生成方法は、さらに、
前記投影パターンに対する第1の撮像手段による撮影パターン内に含まれる、前記新たなエッジによって区分されるセルの強度変化量が所定値以上の領域について、該第1の撮像手段による撮影パターンに対応する新規コードを割り付けるステップと、前記新規コードに基づいて第2の撮像手段による撮影パターンから前記第1の距離情報を生成するステップと、
を有することを特徴とする請求項8に記載の3次元画像生成方法。 - 前記3次元画像生成方法は、さらに、
前記第1の距離情報および第1または第2の撮像手段より得られた輝度情報に基づいて3次元画像を生成するステップを有することを特徴とする請求項8に記載の3次元画像生成方法。 - 前記3次元画像生成方法は、さらに、
前記投光手段による投影パターンに対する第1の撮像手段による撮影パターンの変化量が所定値未満の領域について、第1の撮像手段および第2の撮像手段より得られた各輝度情報の対応づけにより第2の距離情報を生成し、前記第1の距離情報、第2の距離情報および第1または第2の撮像手段より得られた輝度情報を用いて3次元画像を得るステップを有することを特徴とする請求項8に記載の3次元画像生成方法。 - 前記3次元画像生成方法において、
前記第2の撮像手段は、前記測定対象を異なる角度で撮像する複数の撮像手段によって構成され、該複数の第2の撮像手段の各々の撮影した投影パターンに基づいて求められる距離情報を合成して3次元画像を得ることを特徴とする請求項8に記載の3次元画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000196049A JP3932776B2 (ja) | 2000-06-29 | 2000-06-29 | 3次元画像生成装置および3次元画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000196049A JP3932776B2 (ja) | 2000-06-29 | 2000-06-29 | 3次元画像生成装置および3次元画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002015306A JP2002015306A (ja) | 2002-01-18 |
JP3932776B2 true JP3932776B2 (ja) | 2007-06-20 |
Family
ID=18694611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000196049A Expired - Fee Related JP3932776B2 (ja) | 2000-06-29 | 2000-06-29 | 3次元画像生成装置および3次元画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3932776B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4848166B2 (ja) * | 2005-09-30 | 2011-12-28 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
CN105651203B (zh) * | 2016-03-16 | 2018-09-04 | 广东工业大学 | 一种自适应条纹亮度的高动态范围三维形貌测量方法 |
CN111595267B (zh) * | 2020-05-18 | 2022-08-16 | 浙江大华技术股份有限公司 | 确定物体相位值的方法、装置、存储介质及电子装置 |
-
2000
- 2000-06-29 JP JP2000196049A patent/JP3932776B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002015306A (ja) | 2002-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
US7075625B2 (en) | Range finder and method | |
JP3714063B2 (ja) | 3次元形状計測装置 | |
JP3482990B2 (ja) | 3次元画像撮影装置 | |
JP4915859B2 (ja) | 物体の距離導出装置 | |
EP1595224B1 (en) | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns | |
TW385360B (en) | 3D imaging system | |
KR20190051052A (ko) | 복수 개의 다른 파장의 레이저를 포함하는 3차원 스캔 방법 및 스캐너 | |
JP2002213931A (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2012504771A (ja) | 三次元及び距離の面間推定を与えるための方法及びシステム | |
JP6596433B2 (ja) | 2つのカメラからの曲線の集合の構造化光整合 | |
JP2002191058A (ja) | 3次元画像取得装置および3次元画像取得方法 | |
JPWO2006013635A1 (ja) | 3次元形状計測方法及びその装置 | |
JP3818028B2 (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JP3384329B2 (ja) | 3次元画像撮影装置 | |
JP2004110804A (ja) | 3次元画像撮影装置及び方法 | |
JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
JP3932776B2 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP3852285B2 (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2004077290A (ja) | 3次元形状計測装置および方法 | |
JP2002013918A (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP2006058092A (ja) | 3次元形状測定装置および方法 | |
JP4543821B2 (ja) | 3次元形状測定装置および方法 | |
TWI760237B (zh) | 使用於內視鏡之單攝影機三維掃描投影裝置及其操作方法 | |
JP2002107129A (ja) | 3次元画像撮像装置および3次元画像撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070312 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |