JP2008249430A - ３次元情報検出方法及びその装置 - Google Patents

Abstract

【課題】本発明は、距離画像検出の高速化及び高精細化を実現する３次元情報検出方法及びその装置を提供することを目的とする。
【解決手段】位相がπ／Ｍ（Ｍは４以上の整数）ずつシフトするＭ種類の強度変調光をフレーム毎に順次切替えて被写体に照射し、各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎にＭ種類の２次元画像を撮影し、前記Ｍ種類の２次元画像の差である差画像の和と前記差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出する。
【選択図】図１

Description

本発明は、３次元情報検出方法及びその装置に関し、特に、カメラから被写体までの距離を検出し３次元情報を取得する３次元情報検出方法及びその装置に関する。

カメラから被写体までの距離を検出し３次元情報を取得する３次元情報検出方法としては、例えば特許文献１や特許文献２に記載のものがある。

特許文献１に記載のイメージレーザレーダ装置は、所定周波数で強度変調され出射光を被写体に照射するレーザ光源と、被写体からの反射光を受光して像増強する機能を有し、所定周波数でゲインが変調されるイメージインテンシファイア管と、このゲイン変調周期の略１／４以下の周期であってゲインが単調に増加又は減少する期間においてのみイメージインテンシファイアの出力をオンとするゲート手段とを備え、これらの周期が同期することにより、距離に応じて濃淡が周期的に繰り返して変化する情報を得ることができ、測距結果を濃淡イメージで得るようにしたものである。

特許文献２は、所定の輝度を有する光で照明された被写体を光学像として結像し、この光学像を所定の撮像利得で撮像した映像から、被写体の各点の距離を検出する３次元情報検出方法であって、前記所定の輝度及び撮像利得の少なくとも一方が時間と共に変化するものであり、これにより前記被写体の各点の距離を映像信号のフレーム時間に実時間で追随する速度で検出できるようにするものである。時間と共に変化する輝度又は撮像利得を利用することで、撮像された被写体の映像の２次元的な輝度分布が得られ、この輝度分布には被写体の各点までの距離情報が含まれるため、被写体の３次元情報を検出することができる。
特開平６−２９４８６８号公報 特開２０００−１２１３３９号公報

特許文献１に記載の発明は、レーザ光の２次元走査と照明光の変調位相の変化があるため、被写体の３次元情報を映像信号のフレーム時間の速度で取り込むことが困難であるという問題がある。

特許文献２に記載の発明は、被写体の３次元情報を映像信号のフレーム内で検出することを目的としている。

従来、一般的に放送や映像コンテンツに使用されるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）では、テレビ映像並の画質転送レートは３ＯＨｚ程度に制限され、更に、複数の画像から被写体の３次元情報である距離画像を算出するとなると、距離画像の実質的更新速度は、（ＣＣＤ転送レート）／（距離算出に必要な画像枚数）となり、ビデオフレームレート（３０Ｈｚ又は６０Ｈｚ程度）でのスムーズな動きのある距離画像の検出は困難であった。

現在のＣＣＤセンサでは、画素単位にトランジスタが必要であり、高精細化と高速化の両立を実現できない。一方、近年性能向上が目覚ましく、製作コストが安いＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが実用化されてきている。近年では、ハイピジョンクラスの高精細画素を有すると共に、６０Ｈｚ〜１２０Ｈｚ以上の高速転送フレームレートのＣＭＯＳセンサが開発されている。

しかし、高精細画素と高速転送フレームレートを有するＣＭＯＳセンサを用いた撮像素子は、いわゆるローリングシャッタと呼ばれる方式であり、画像の水平走査ライン毎に、時分割で信号を蓄積転送するものである。

従来の３次元情報検出方法は、全画素を同一の時間だけ蓄積し、同時に転送するフルフレームシャッタ方式でのみ距離画像の検出が可能であり、ローリングシャッタ方式の高精細かつ高速転送フレームレートのＣＭＯＳ撮像素子は、距離画像検出には使用できなかった。

本発明は、上記の点に鑑みなされたもので、距離画像検出の高速化及び高精細化を実現する３次元情報検出方法及びその装置を提供することを目的とする。

本発明の一実施態様による３次元情報検出方法は、位相がπ／Ｍ（Ｍは４以上の整数）ずつシフトするＭ種類の強度変調光をフレーム毎に順次切替えて被写体に照射し、
各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎にＭ種類の２次元画像を撮影し、
前記Ｍ種類の２次元画像の差である差画像の和と前記差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出することにより、距離画像検出の高速化及び高精細化を実現することができる。

また、本発明の他の実施態様による３次元情報検出方法は、位相がπ／４ずつシフトする４種類の強度変調光をフレーム毎に順次切替えて被写体に照射し、
各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎に４種類の２次元画像を撮影し、
前記位相がπ／２だけ異なる２種類の２次元画像の差である２種類の差画像の和と前記２種類の差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出することにより、距離画像検出の高速化及び高精細化を実現することができる。

本発明の一実施態様による３次元情報検出装置は、位相がπ／Ｍ（Ｍは４以上の整数）ずつシフトするＭ種類の強度変調光をフレーム毎に順次切替えて被写体に照射する光源と、
各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎にＭ種類の２次元画像を撮影する撮像手段と、
前記Ｍ種類の２次元画像の差である差画像の和と前記差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出する距離画像算出手段とを有することにより、距離画像検出の高速化及び高精細化を実現することができる。

また、本発明の他の実施態様による３次元情報検出装置は、位相がπ／４ずつシフトする４種類の強度変調光をフレーム毎に順次切替えて被写体に照射する光源と、
各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎に４種類の２次元画像を撮影する撮像手段と、
前記位相がπ／２だけ異なる２種類の２次元画像の差である２種類の差画像の和と前記２種類の差画像の差との比に基づいて被写体の距離を画像の輝度で表す距離画像を算出する距離画像算出手段とを有することにより、距離画像検出の高速化及び高精細化を実現することができる。

前記３次元情報検出装置において、
前記強度変調光は、正弦波である構成とすることができる。

前記３次元情報検出装置において、
前記距離画像算出手段は、前記水平走査ライン毎に光蓄積と転送のタイミングがシフトするのに応じて前記距離画像の算出に用いる係数値を変化させる構成とすることができる。

前記３次元情報検出装置において、
前記被写体からの反射光を距離画像撮影用とカラー画像撮影用に分割する分割手段と、
前記分割手段からの光でカラー画像を撮影するカラー撮影手段とを有する構成とすることができる。

本発明によれば、距離画像検出の高速化及び高精細化を実現することができる。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の３次元情報検出装置の一実施形態のブロック図を示す。同図中、３次元情報検出装置は、強度変調光を被写体２に照射する光源部３と、画像を撮影するカメラレンズ４を持つ。また、受光した反射光を距離画像撮影用とカラー画像撮影用に分割する分割光学系６を有する。

距離画像を検出する距離検出部７は、例えばイメージインテンシファイア等の撮像部８と、高速シャッタとしてローリングシャッタを持ち撮像部８の出力を撮像する２次元画像センサ９を有する。２次元画像センサ９は、例えば水平走査ライン毎に蓄積転送を高速に行うＣＭＯＳセンサを用いる。

２次元画像センサ９の出力する画像信号は、複数のメモリ１０に記録される。これらの複数のメモリ１０から画像信号を読み出して画像信号処理装置１１に供給して距離画像を算出する演算を行う。

複数のメモリ１０には順次新しい画像信号が上書きされ、その都度、画像信号処理装置１１で（１）式により距離画像としての奥行き距離ｄｄを算出する演算が行われ、距離画像が動画像として出力される。

ここで、Ｖ_１，Ｖ_２，Ｖ_３，Ｖ_４は強度変調光の位相をπ／２ずつ変化させて撮影した映像信号、ｋは定数、ｈは画像の水平走査ライン毎に値が変化する係数である。この（１）式については後述する。

光源部３の出力する強度変調光と、撮像部８の高速シャッタは信号発生器１３の出力するシャッタトリガ信号で同期駆動される。また、位相切替器１４は映像の基準となる垂直同期信号に基づいて映像フレーム毎に変調信号の位相の切替え制御を行う。

また、通常のカラー画像は、分割光学系６の後に設けたカラーカメラ１５により撮影する。ここで得られたカラー画像は、遅延回路１６により距離演算時間に相当する遅延を施されて出力される。

光源部３は、図２（Ａ）〜（Ｄ）に示すように、正弦波状に強度変調している光の位相をπ／２ずつ変化させた、第１強度変調光パターン２０、第２強度変調光パターン２１、第３強度変調光パターン２２、第４強度変調光パターン２３を出力する。撮像部８は、図２（Ａ）〜（Ｄ）に示すように、シャッタ撮影２４のタイミングと時間幅を固定で行い、第１の映像信号Ｖ_１、第２の映像信号Ｖ_２、第３の映像信号Ｖ_３、第４の映像信号Ｖ_４を取得する。

上記位相の変化のタイミングは画像のフレームレートと同期させて行い、シャッタ撮影の時間幅は光の強度変調周期よりも十分に短い時間を設定して開放し信号を取り込む。

２次元画像センサ９として高精細画素で高速な転送レートが可能なＣＭＯＳセンサを使用する場合、図３に示すように、光蓄積と転送のタイミングが、水平走査ライン毎にシフトしている。

図３では横軸に時間を示し、縦軸の一番上が画像における一番上の第１番目の水平走査ラインを示し、ＣＭＯＳセンサの水平走査ラインの総数をＮとする。このとき、フレーム時間毎に、第１強度変調光、第２強度変調光、第３強度変調光、第４強度変調光を切替えて撮影を行う。

ＣＭＯＳセンサにおいては、光信号の蓄積時間と転送のタイミングが、水平走査ライン毎にシフトしているため、第１フレームにおける第１強度変調光と第２強度変調光の蓄積割合が水平走査ライン毎に異なっている。ここで、第１フレーム蓄積期間における第ｎ番目の水平走査ラインでの、第１強度変調光と第２強度変調光の蓄積割合は、（２）式であらわされる。

ｈ（ｎ）：１−ｈ（ｎ） …（２）
この場合の距離画像の求め方を以下に式を用いて示す。図２に示すように強度変調光の位相をフレーム毎にπ／２だけシフトさせ、第１フレーム〜第４フレームまでの画像を順次撮影する。この４極類の強度変調光パターン時のそれぞれにおいて撮影される画像強度（画像輝度）ｙ_１〜ｙ_４は以下の（３）〜（７）式で表される。

ただし、σは被写体の反射率、φは変調位相、ｅは光源以外の外光成分、ｔ_０はシャッタタイミング、νは光速度、ｆは強度変調の周波数、ｄはカメラ（撮像部８）から被写体２までの距離である。なお、（３）〜（６）式における係数「１／２」，定数「１」は画像強度の値を「０」〜「１」の範囲に規格化するために導入している。

ここで、２次元画像センサ９が図３に示すように、水平走査ライン毎に蓄積と転送のタイミングが異なるローリングシャッタを用いている場合、ｎ番目の水平走査ラインにおいて、１画像取得の蓄積時間内における光の切替りタイミング比が、ｈ：（１−ｈ）とすると、第１〜第４フレームで得られる第１〜第４の映像信号Ｖ_ｌ〜Ｖ_４の画像強度は（８）〜（１１）式で表される。

上記の（８）〜（１１）式より、（１２），（１３）式が導かれ、（１２），（１３）式から（１４），（１５）式が導かれる。更に、（１４），（１５）式から位相φを表す（１６）式が得られる。ここで、（７）式の関係があるため、（１６）式から距離ｄを表す（１７）式が得られる。

ところで、（１７）式の右辺第１項は、図４に示すようにカメラ（撮像部８）から測定レンジ（測定可能な範囲）ＭＲまでの距離Ｌ１を表しており、右辺第２項は、測定レンジＭＲ内での被写体２の奥行き距離Ｌ２を表している。実際の撮影ではシャッタタイミングｔ_０を調整することで距離Ｌ１を調整し、被写体２が測定レンジＭＲ内に存在するように設定する。

ここで、求めようとする被写体の奥行き距離つまり３次元情報は（１７）式の右辺第２項であるため、ν／４πｆ＝ｋとおくことで、奥行き距離ｄｄは（１）式で表される。

（１７），（１）式から明らかなように、被写体の反射率σの影響や外光成分ｅの影響を除去して、カメラから被写体間の距離ｄ及び奥行き距離ｄｄを求めることができる。

このようにして、ローリングシャッタ方式の高精細かつ高速転送フレームレートのＣＭＯＳ撮像素子を用いて距離画像検出を行うことが実現できる。

ここで、係数ｈは、水平走査ライン毎に異なる値で、水平走査ライン番号の関数ｈ（ｎ）であり、以下の式で表されるように初期値ｈ_０から単調に水平走査ライン毎に増分Δｈで与えられる。

ｈ（ｎ）＝ｈ_０＋ｎ×Δｈ …（１８）
ところで、（１）式において、定数ｋ（＝ν／４πｆ）を可変調整して映像信号レベルのダイナミックレンジを広くし、距離画像の測定分解能や測定レンジを拡大することができる。例えば映像信号レベルを０〜１００％とした場合、ｋが小さいと、例えば３０〜７０％の映像信号レベルで奥行き距離を表現することになる。ｋを大きくすることで、例えば１０〜９０％の映像信号レベルを使って距離を表現できることになる。つまり、距離を表現する階調が増えることになり、より細かく距離を表現でき分解能が向上する。

また、測定レンジは、光の変調周期を長くすることで大きくなるが、一般的に距離検出分解能が低下する。ｋを大きくすることで、その距離検出分解能の低下分を補えるので、間接的にｋを大きくすることが測定レンジを拡大するのに有効である。

なお、（１），（１７）式では、除算処理を行うため、丸め誤差が生じるが、カメラの出力映像信号の階調ビット数に応じた精度で演算処理を行うようにして、丸め誤差の影響を最小限にし、精度の良い距離検出を行うことができる。

距離検出部７においては、フレーム毎に、第１〜第４の映像信号Ｖ_ｌ〜Ｖ_４を取得して複数のメモリ１０に書き込み、順次（１）式で表わされる演算処理を行い、距離画像を出力する。

距離検出部７の動作について、図５に示すフローチャートを用いて説明する。ステップＳ１で任意の位相を持つ光源部３の変調信号が設定され、ステップＳ２で強度変調光が被写体２に照射される。

ステップＳ３で第１の映像信号Ｖ_１が取得される。ステップＳ４で第１の映像信号Ｖ_１はメモリ１０内のメモリＭ_１に書き込まれる。次のフレームでは、ステップＳ５で光源部３の変調信号が位相π／２だけシフトし、同様に第２の映像信号Ｖ_２が取得されメモリ１０内のメモリＭ_２に書き込まれる。同様に次のフレームでは、光源部３の変調信号が位相π／２だけシフトし、第３の映像信号Ｖ_３が取得されメモリ１０内のメモリＭ_３に書き込まれる。同様に次のフレームでは、光源部３の変調信号が位相π／２だけシフトし、第４の映像信号Ｖ_４が取得されメモリ１０内のメモリＭ_４に書き込まれる。更に次のフレームでは、光源部３の変調信号が位相π／２だけシフトし、再び第１の映像信号Ｖ_１が取得されメモリ１０内のＭ_１に書き込まれる。

以上のように、映像信号Ｖ_１〜Ｖ_４の撮像サイクルを順次繰り返して行く。このサイクルの中、メモリＭ_１〜Ｍ_４の記憶内容が書き換わる毎に、ステップＳ６で（１）式の演算を行い、ステップＳ７で距離画像を出力する。

これにより、フレーム毎に距離画像が更新され、動く被写体の距離画像の撮影が可能となる。

図６は、位相切替器１４の一実施形態の構成図を示す。同図中、信号発生器１３は正弦波の変調信号を出力する。撮影する被写体の奥行きレンジが測定レンジが、おおよそ１．５ｍ〜７．５ｍの場合、変調信号の周波数は１０ＭＨｚから５０ＭＨｚが使用できる。

位相切替器１４は、信号発生器１３からの変調信号を４分配し、位相器５１にて変調信号の位相をφ，φ＋π／４，φ＋π／２，φ＋３π／４とそれぞれπ／２ずつシフトさせてスイッチ５３に供給する。スイッチ５３は端子５２から映像の垂直同期信号が供給されており、フレーム毎にスイッチ５３で変調信号の位相を切替えて端子５４より出力する。なお、２次元画像センサ９の高速シャッタを駆動するシャッタトリガ信号も信号発生器１３から分配し端子５５より出力する。

上記の距離画像の検出は、カラー画像撮影と同時に行うことができ、距離検出用の光源（光源部３）で被写体を照射すると共に、通常の照明のもとで被写体を照明する。例えば、カラー画像を撮影するために可視光成分を持つ光源で照明し、距離検出用の光源の波長は、カラー画像で撮影に使用しない近赤外の波長領域を使用することで、お互いのクロストークの影響を小さくできる。

もっとも、（１７）式で示したように、本願発明方法では、外乱光もキャンセルして距離を求めることができるため、距離検出の波長と同じ波長の外光のもとでも距離検出が可能である。

撮影光学系には、ズームカメラレンズを使用し、結像の途中で分割光学系６により２分配し、もしくはカラー画像用と距離検出附の光に波長分割して結像することができる。これにより、カメラレンズのズーム機能が使用できる。具体的には、ズームカメラレンズの途中にハーフミラーを入れて、その先にレンズを付けて分割結像させ、結像面にフォーカス／デフォーカスセンサをおいてピント検出を行うプレシジョンフォーカスレンズ構成の光学系を利用でき、これによって、小型化も実現できる。

ただし、カラー画像と距離画像を撮影する場合、本発明装置では、撮像部８とカラーカメラ１５がプリズムなどの光学ブロックで固着されていないため、レンズの取り付けの際に、カラー画像と距離画像が画素単位でずれることがある。このずれは、マイクロメータやステッピングモータを用いたメカニカルなステージを導入することで吸収することが可能である。

カラー映像と距離画像でフレームをそろえるには、カラー映像を遅延回路１６で遅延することで、カラー映像と距離画像のタイミングを同じにすることができる。

また、カラー画像のフレームレートが例えば３０Ｈｚである場合、距離画像用の映像信号Ｖ_１〜Ｖ_４を取得するフレームレートを、カラー画像のフレームレートの４倍の１２０Ｈｚで繰り返し撮影する。これにより、カラー画像と距離画像との更新時間を一致することができる。

また、距離検出用の光源とカラー画像撮影用の光源との波長が異なるため、レンズの特性上、距離画像とカラー画像の画角が異なる場合は、距離画像に対し幾何学形状補正の画像処理を行って両者の画角を合わせることができる。

特に、イメージインテンシファイアで画像を撮影する場合には、ショットノイズの影響により距離画像にノイズが混入する。これらのノイズ成分は距離検出の精度を低下させる原因となる。これらのノイズ成分は、電気的なフィルタで除去することができる。例えばメモリＭ_１〜Ｍ_４の記憶内容に対しリカーシブフィルタやメディアンフィルタ処理を施すことにより、ランダムノイズを低減できる。

また、本発明方法では、従来の２画像間から距離を検出する方法に比して、２倍の４フレームの映像信号Ｖ_１〜Ｖ_４を基に距離を算出すると共に、正弦波の位相より距離を検出している。画像演算では画像の数の平方根でＳＮ比が向上するため、本発明方法では従来に比して１．４１倍、距離検出の精度の向上が期待できると共に、外部の雑音に対しても強い距離検出が可能となる。

また、光源部３に供給する変調信号が正弦波からずれた歪んだ波形であっても、その波形を予め測定しておけば、最終的に得られる距離の検出値を補正処理することで、正しい距離の値に補正することができる。更に、上記実施形態では正弦波状の強度変調光として説明したが、光強度が単調に増加と減少を同じ波形で単一の周期で繰り返す強度変調光についても、その波形形状が既知であれば、同様の原埋で信号処理を行うことによって距離画像を検出できる。

なお、従来方法では、三角波状に増加・減少する変調光を照射し２回の撮影で距離画像を求める。このため、測定レンジ端における被写体の測定は、光が増加や減少し始めるときに撮像した画像から距離を計算することになるため、画像の輝度レベルが低くＳＮ比が悪い画像を基に距離を求めることになり、測定レンジの端では分解能が悪くなる。

これに対し、本発明方法では、π／２位相シフトした４画像を撮影して距離画像を求めるため、平均すれば略一定の輝度レベルの画像が得られる。つまり、極端に輝度レベルが低い画像だけから距離を演算することはなくなるため、測定レンジ全体にわたって良好な性能が得られる。

本発明方法によれば、カラー映像の取得と同時に距離画像を取得することができるので、生放送中においても、例えばカメラの近くの人物だけを抽出する等の画面の切り出しや画面合成をリアルタイムに行うことが可能となる。

また、これによって、従来のブルーバックを用いるクロマキー手法ではできなかった、カメラから所定の距離範囲の被写体だけの映像を抽出することができ、従来困難であったコンピュータグラフィックスと実写映像との合成を実現することが可能となる。更に、本発明装置は高速な３次元形状計測機能を持つため、広い産業分野に活用することができる。

なお、上記実施形態では、撮像手段の一例として撮像部８を用い、距離画像算出手段の一例として画像信号処理装置１１を用い、分割手段の一例として分割光学系６を用い、カラー撮影手段の一例としてカラーカメラ１５を用いている。

本発明の３次元情報検出装置の一実施形態のブロックである。 強度変調光パターンとシャッタ撮影のタイミングを説明するための図である。 ＣＭＯＳセンサの光蓄積と転送のタイミングを説明するための図である。 測定レンジと奥行き距離を説明するための図である。 距離検出部の動作説明用フローチャートである。 位相切替器の一実施形態の構成図である。

符号の説明

２ 被写体
３ 光源部
４ カメラレンズ
６ 分割光学系
７ 距離検出部
８ 撮像部
９ ２次元画像センサ
１０ メモリ
１１ 画像信号処理装置
１３ 信号発生器
１４ 位相切替器
１５ カラーカメラ
１６ 遅延回路
５１ 位相器
５３ スイッチ

Claims (7)

1. 位相がπ／Ｍ（Ｍは４以上の整数）ずつシフトするＭ種類の強度変調光をフレーム毎に順次切替えて被写体に照射し、
   各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎にＭ種類の２次元画像を撮影し、
   前記Ｍ種類の２次元画像の差である差画像の和と前記差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出することを特徴とする３次元情報検出方法。
2. 位相がπ／４ずつシフトする４種類の強度変調光をフレーム毎に順次切替えて被写体に照射し、
   各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎に４種類の２次元画像を撮影し、
   前記位相がπ／２だけ異なる２種類の２次元画像の差である２種類の差画像の和と前記２種類の差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出することを特徴とする３次元情報検出方法。
3. 位相がπ／Ｍ（Ｍは４以上の整数）ずつシフトするＭ種類の強度変調光をフレーム毎に順次切替えて被写体に照射する光源と、
   各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎にＭ種類の２次元画像を撮影する撮像手段と、
   前記Ｍ種類の２次元画像の差である差画像の和と前記差画像の差との比に基づいて距離を画像の輝度で表す距離画像を算出する距離画像算出手段とを
   有することを特徴とする３次元情報検出装置。
4. 位相がπ／４ずつシフトする４種類の強度変調光をフレーム毎に順次切替えて被写体に照射する光源と、
   各強度変調を照射するときの被写体からの反射光を水平走査ライン毎に光蓄積と転送のタイミングがシフトするシャッタを通してフレーム毎に４種類の２次元画像を撮影する撮像手段と、
   前記位相がπ／２だけ異なる２種類の２次元画像の差である２種類の差画像の和と前記２種類の差画像の差との比に基づいて被写体の距離を画像の輝度で表す距離画像を算出する距離画像算出手段とを
   有することを特徴とする３次元情報検出装置。
5. 請求項４記載の３次元情報検出装置において、
   前記強度変調光は、正弦波であることを特徴とする３次元情報検出装置。
6. 請求項４又は５記載の３次元情報検出装置において、
   前記距離画像算出手段は、前記水平走査ライン毎に光蓄積と転送のタイミングがシフトするのに応じて前記距離画像の算出に用いる係数値を変化させることを特徴とする３次元情報検出装置。
7. 請求項４乃至６のいずれか１項記載の３次元情報検出装置において、
   前記被写体からの反射光を距離画像撮影用とカラー画像撮影用に分割する分割手段と、
   前記分割手段からの光でカラー画像を撮影するカラー撮影手段とを
   有することを特徴とする３次元情報検出装置。

Images