JP4369575B2

JP4369575B2 - ３次元画像検出装置

Info

Publication number: JP4369575B2
Application number: JP33016299A
Authority: JP
Inventors: 伸一垣内
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 1999-11-19
Filing date: 1999-11-19
Publication date: 2009-11-25
Anticipated expiration: 2019-11-19
Also published as: JP2001148868A

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置における３次元計測では、光伝播時間測定法を利用したものが知られている。「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体（被写体）に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。また、国際公開97/01111号公報に開示された装置では、パルス変調されたレーザ光等の光が被計測物体に照射され、その反射光はメカニカル又は液晶素子等から成り測距光のパルスとは異なるタイミングで制御される電気光学的シャッタと組み合わされた２次元ＣＣＤセンサによって受光され、電気信号に変換される。これらの構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各画素毎に得られる。
【０００３】
【発明が解決しようとする課題】
しかし、上述の方法で検出された距離情報には、被写体（被計測物体）の表面における反射率の違い等による誤差が含まれている。従って、検出精度の高い距離情報を得るには、これら誤差を補正する必要がある。反射率の違いによる誤差を補正するには、反射率に関する情報（反射率情報）を検出する必要がある。しかし、反射率情報の信号レベルは、距離情報の信号レベルに比べ高いため、反射率情報の信号レベルにＡ／Ｄ変換器の動作範囲を設定すると、距離情報に対する量子化Ｓ／Ｎ比が劣化してしまう。
【０００４】
本発明は、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、精度の高い距離情報を検出可能な３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、被写体に第１及び第２の測距光を照射するための光源と、光源の発光を制御する光源制御手段と、所定の蓄積期間内に第１の測距光による被写体からの反射光を撮像部において受光することによって生じる第１の信号電荷に基づいて、被写体までの距離情報を画素毎に検出する距離情報検出手段と、第２の測距光による被写体からの反射光を撮像部において受光することにより生じ、受光された反射光の全光量に対応する第２の信号電荷に基づいて、測距光が被写体の表面で反射するときに受ける影響に関する情報である反射率情報を画素毎に検出する反射率情報検出手段と、第１の信号電荷と第２の信号電荷とが、被写体の被計測領域に対応する画素において略同じ大きさとなるように光源制御手段を制御して第１の測距光と第２の測距光の出力を調整する出力調整手段とを備えることを特徴としている。
【０００６】
好ましくは、出力調整手段における第１および第２の測距光の調整は、予め被写体までの距離を概ね計測するプリ測距の結果に基づいて行われる。プリ測距は好ましくは、第１および第２の測距光の出力を同一にして距離情報検出手段および反射率情報検出手段を駆動して行われる。これにより、より適正な出力比を得ることができる。
【０００７】
好ましくは、出力調整手段における第１および第２の測距光の調整は、プリ測距において検出され、被写体の被計測領域に対応する画素を代表する１以上の標本画素の距離情報および反射率情報に基づいて行われる。このとき例えば、出力調整手段における第１および第２の測距光の調整は、１つの標本画素における第１の信号電荷と第２の信号電荷との比が１対１になるように調整される。これにより迅速かつ簡単に出力比を算出し、測距光の出力を調整することができる。
【０００８】
３次元画像検出装置は好ましくは、光学系の像面照度を調整するための開口絞りを備え、プリ測距を行なう際には、出力調整手段、距離情報検出手段、反射率情報検出手段を駆動して被写体までの距離を計測する本測距に比べ開口絞りを絞った状態で計測を行なう。
【０００９】
本発明の３次元画像検出装置は、測距光を被写体に照射し、測距光の被写体からの反射光を受光することにより被写体までの距離を画素毎に計測する３次元画像検出装置であって、測距光を被写体に照射しその反射光を受光することにより被写体までの距離を画素毎に相対的に低い精度で予め計測するプリ測距手段と、測距光を被写体に照射しその反射光を受光することにより被写体までの距離を画素毎に相対的に高い精度で計測する本測距手段と、本測距手段において照射される測距光の照射出力を、プリ測距手段を駆動して得られる計測結果に基づいて調整する照射出力調整手段とを備えることを特徴としている。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【００１１】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１２】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１３】
撮影レンズ１１の光軸上にはＣＣＤ（撮像部）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１４】
ＣＣＤ駆動回路３０は、Ｖ／Ｄ切替回路２９を介して３Ｄ駆動パルス発生回路２２または通常駆動パルス発生回路２４から出力されるパルス信号により制御される。通常駆動パルス発生回路２４から出力されるパルス信号は、ＣＣＤ２８において通常の撮影動作を行ない被写体の画像情報を検出するためのものである。一方、３Ｄ駆動パルス発生回路２２から出力されるパルス信号は、ＣＣＤ２８において距離情報を検出する際に用いられるパルス信号である。Ｖ／Ｄ切替回路２９は、Ｖ／Ｄモード切替スイッチ１８（図１）の設定に対応して、３Ｄ駆動パルス発生回路または通常駆動パルス発生回路２４からのパルス信号を選択的にＣＣＤ駆動回路３０へ出力する。３Ｄ駆動パルス発生回路２２および通常駆動パルス発生回路２４はシステムコントロール回路３５により制御される。
【００１５】
画像メモリ３４に一時的に記憶された画像信号は、画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１６】
カメラをカメラ本体１０の外部に設けられたモニタ装置３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブルを介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータ４１に伝送可能である。システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１７】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被写体の表面形状に関する距離情報が３次元画像として得られる。
【００１８】
発光素子制御回路４４は、３Ｄ駆動パルス発生回路２２から出力されたパルス信号に基いて制御される。３Ｄ駆動パルス発生回路２２から出力されたパルス信号は、パルス振幅変換回路２３を介して発光素子制御回路４４へ出力される。パルス振幅変換回路２３では、システムコントロール回路３５の信号指令に従って、発光素子１４ａが出力する測距光の出力を調整する。
【００１９】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２０】
次に図３を参照して、本実施形態における撮影動作について説明する。図３は、撮影動作プログラムのフローチャートである。
【００２１】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００２２】
ステップ１０２においてＤモードが選択されていると判定されると、ステップ１０３において本測距（ステップ１０５）の予備計測であるプリ測距が、アイリス２５を本測距のＦナンバーよりも絞った（例えば、本測距でのＦナンバーから２段絞り込む）状態で行われる。ステップ１０４では、ステップ１０３において検出された距離情報に基づいて、ステップ１０５の本測距において照射される測距光の出力比が算出される。後に説明するように、プリ測距と本測距において実行される距離測定動作では、距離情報と反射率情報とがそれぞれ検出され、これらの情報から被写体までの距離が算出される。プリ測距では、距離情報の検出と反射率情報の検出において照射される測距光の出力は一定である。一方ステップ１０５の本測距では、ステップ１０４において算出された出力比に基づいて測距光の出力が調整され、距離情報および反射率情報の検出が行われる。したがって、本測距において照射される測距光の出力は、距離情報の検出と反射率情報の検出とでは異なる。これは、距離情報の信号に対する量子化Ｓ／Ｎ比の劣化を防ぐためであり、距離情報を検出する際にＣＣＤ２８から出力される信号のレベルが、反射率情報を検出する際にＣＣＤ２８から出力される信号のレベルと略等しくなるよう調整される。その後ステップ１０６において得られた距離データが記録媒体Ｍに保存され、この撮影動作のプログラムは終了する。
【００２３】
一方、ステップ１０２において設定モードがＶモードであると判定されると、ステップ１０７において測距光の制御がオフ状態に定められるとともに、ステップ１０８においてＣＣＤのビデオ制御がオン状態に定められる。すなわち、被写体の画像情報（画像データ）がＣＣＤの通常の撮影動作により検出される。ステップ１０９において、検出された画像データが記録媒体Ｍに保存され、この撮影動作のプログラムは終了する。
【００２４】
次に図４および図５を参照して、本実施形態における距離測定の原理について説明する。なお図５において横軸は時間ｔである。
【００２５】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２６】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２７】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２８】
図６は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図７は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２９】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図６において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３０】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００３１】
図８は、ステップ１０３のプリ測距およびステップ１０５の本測距において実行される距離情報検出動作のタイミングチャートである。図１、図２、図６〜図８を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図５を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３２】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３３】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３４】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３５】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３６】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３７】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。
【００３８】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力される。
【００３９】
しかしＣＣＤ２８により検出された反射光は、被写体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被写体からの反射光以外に外光等の成分も含まれており、これに起因する誤差も存在する。これらの誤差を補正する方法について、次の距離測定動作のフローチャートを参照して説明する。
【００４０】
図１２と図１３はステップ１０３のプリ測距およびステップ１０５の本測距（図３参照）において実行される距離測定動作のフローチャートである。図１、図２、図８〜図１３を参照して、本実施形態における距離測定動作について説明する。なお図９〜図１１は、距離補正情報、反射率情報および反射率補正情報の検出動作におけるタイミングチャートである。
【００４１】
ステップ２０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ２０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図８を参照して説明した距離情報検出動作が開始され、電荷掃出し信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４２】
ステップ２０３では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると、１フィールド期間にわたる信号電荷Ｓ１１の積分が完了し、積分された信号電荷がステップ２０４においてＣＣＤ２８から出力される。この積分された信号電荷は距離情報に対応し、ステップ２０５において画像メモリ３４に一時的に記憶される。ステップ２０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４３】
ステップ２０７〜２１０では、距離補正情報の検出動作（図９参照）が行なわれる。まずステップ２０７では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ２１と電荷転送信号Ｓ２２が交互に出力される。電荷蓄積時間Ｔ_U1は図８に示す距離情報検出動作と同じであるが、被写体に測距光が照射されないため（符号Ｓ２３）、反射光は存在せず（符号Ｓ２４）。したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ２５が発生し、電荷転送信号Ｓ２２の出力によって、それまでフォトダイオードに蓄積していた信号電荷Ｓ２６が垂直転送部へ転送される。この信号電荷Ｓ２６は、外乱成分が距離情報に及ぼす影響を補正するための、電荷蓄積時間Ｔ_U1に対する距離補正情報に対応している。
【００４４】
ステップ２０８では、距離補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ２６の１フィールド期間にわたる積分が完了し、ステップ２０９においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は距離補正情報に対応し、ステップ２１０において画像メモリ３４に一時的に記憶される。
【００４５】
ステップ２１１〜２１６では、反射率情報の検出動作（図１０参照）が行なわれる。ステップ２１１では、垂直同期信号が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ３３が断続的に出力される。ステップ２１２では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ３１と電荷転送信号Ｓ３５が交互に出力される。電荷掃出し信号Ｓ３１が出力されることによって、フォトダイオードにおける蓄積電荷量はゼロになる（符号Ｓ３２）。電荷掃出し信号Ｓ３１の出力が終了すると、測距光Ｓ３３が出力され、ＣＣＤには反射光Ｓ３４が入射する。反射光Ｓ３４が消滅した後、電荷転送信号Ｓ３５が出力される。すなわち反射率情報の検出動作は、電荷掃出し信号Ｓ３１の出力が終了してから電荷転送信号Ｓ３５の出力が終了するまでの電荷蓄積期間Ｔ_U2内に、反射光Ｓ３４の全てが受光されるように制御される。
【００４６】
このようにフォトダイオード５１では、反射光Ｓ３４を受光している間は反射光Ｓ３４と外光に起因する信号電荷Ｓ３６が蓄積され、また、反射光Ｓ３４を受光していない間は外光のみに起因する信号電荷Ｓ３７、Ｓ３８が蓄積される。そして電荷転送信号Ｓ３５の出力により、それまでのフォトダイオードに蓄積されていた信号電荷Ｓ３９が垂直転送部へ転送される。この信号電荷Ｓ３９は反射率情報に対応し、外光に基く成分Ｓ’３９を含んでいる。
【００４７】
ステップ２１３では、反射率情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ３９の１フィールド期間にわたる積分が完了し、ステップ２１４においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は反射率情報に対応し、ステップ２１５において画像メモリ３４に一時的に記憶される。ステップ２１６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４８】
ステップ２１７〜２２０では、反射率補正情報の検出動作（図１１参照）が行なわれる。ステップ２１７では、垂直同期信号が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ４１と電荷転送信号Ｓ４２が交互に出力される。電荷蓄積時間Ｔ_U2は図１０に示す反射率情報検出動作と同じであるが、被写体に測距光が照射されないため（符号Ｓ４３）、反射光は存在せず（符号Ｓ４４）。したがって、反射率情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ４６が発生する。この信号電荷Ｓ４６は、外乱成分が電荷蓄積時間Ｔ_U2に対する反射率情報に及ぼす影響を補正するための反射率補正情報に対応している。
【００４９】
ステップ２１８では、反射率補正情報の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了すると信号電荷Ｓ４７の１フィールド期間にわたる積分が完了し、ステップ２１９においてこの積分された信号電荷がＣＣＤ２８から出力される。この積分された信号電荷は反射率補正情報に対応し、ステップ２２０において画像メモリ３４に一時的に記憶される。
【００５０】
ステップ２２１では、ステップ２０１〜２２０において得られた距離情報、距離補正情報、反射率情報および反射率補正情報を用いて距離データの演算処理が行なわれ、この距離測定動作のサブルーチンは終了する。
【００５１】
次にステップ２２１において実行される演算処理の内容を図８〜図１１を参照して説明する。
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオード５１に発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００５２】
被写体がレーザ等の光源からの光で照明される場合、輝度Ｉはその光源による輝度Ｉ_Sと背景光による輝度Ｉ_Bとの合成されたものとなり、
Ｉ＝Ｉ_S＋Ｉ_B ・・・（３）
と表せる。
【００５３】
図８に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。
【００５４】
図１０に示されるように電荷蓄積時間Ｔ_U2が、パルス状の測距光Ｓ３３の期間（パルス幅）Ｔ_Sよりも十分大きく、反射光の単位受光時間を全部含むように制御された場合に得られる出力ＳＭ₂₀は、

となる。
【００５５】
図９に示されるように発光を止めて、図８と同じ時間幅でのパルス状の電荷蓄積を行なった場合に得られる出力ＳＭ₁₁は、

となる。同様に、図１１に示されるような電荷蓄積を行なった場合に得られる出力ＳＭ₂₁は、

となる。
【００５６】
（４）、（６）、（７）、（８）式から、

が得られる。
【００５７】
上述したように測距光Ｓ３と反射光Ｓ４にはそれぞれ外光等の外乱成分（背景光による輝度Ｉ_B）が含まれている。（９）式のＴ_D／Ｔ_Sは、測距光Ｓ３を照射したときの被写体からの反射光Ｓ４の光量を、測距光Ｓ３の光量によって正規化したものであり、これは、測距光Ｓ３の光量（図８の信号電荷Ｓ１１に相当）から外乱成分（図９の信号電荷Ｓ２６に相当）を除去した値と、反射光Ｓ４の光量（図１０の信号電荷Ｓ３９に相当）から外乱成分（図１１の信号電荷Ｓ’３９に相当）を除去した値との比に等しい。
【００５８】
（９）式の各出力値ＳＭ₁₀、ＳＭ₁₁、ＳＭ₂₀、ＳＭ₂₁はステップ２０５、２１０、２１５、２２０において、距離情報、距離補正情報、反射率情報、反射率補正情報として格納されている。したがって、これらの情報に基いて、Ｔ_D／Ｔ_Sが得られる。パルス幅Ｔ_sは既知であるから、（５）式とＴ_D／Ｔ_Sから距離ｒが得られる。すなわち
２ｒ＝Ｃ・Ｔ_S・（ＳＭ₁₀−ＳＭ₁₁）／（ＳＭ₂₀−ＳＭ₂₁）（１０）
と表すことができる。
【００５９】
次に図１４、図１５を参照して図３のステップ１０４において算出される測距光の出力比について説明する。図１４および図１５は、被写体の被計測領域に対応する１つの画素（標本画素）において受光されるパルス光と蓄積期間の関係をプリ測距、本測距について示したものである。図１４はプリ測距において距離情報および反射率情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U1およびＴ_U2の関係を表したものである。また、図１５は本測距において距離情報および反射率情報を検出する際に、ＣＣＤ２８で受光されるパルス光（受光パルス）と蓄積期間Ｔ_U1およびＴ_U2の関係を表したものである。なお図１４および図１５において外光の影響は省略されている。
【００６０】
プリ測距における距離情報と反射率情報の検出では、被写体に照射される測距光（発光パルス）の出力が一定なので、各々の検出においてＣＣＤ２８で受光されるパルス光（受光パルス）は同一である（図１４）。すなわち、距離情報の検出において受光されるパルス光のパルス幅と高さは、反射率情報の検出において受光されるパルス光のパルス幅と高さに等しく、それらの値はともにＴ_Sとｈ₁である。距離情報の検出では、受光パルスの斜線部Ａ１のみが蓄積期間Ｔ_U1内に受光され信号電荷として検出される。この信号電荷は斜線部分Ａ１の面積（光量）ｈ₁×Ｔ_Dに対応しており、被写体までの距離情報を表している。ＣＣＤ２８において検出された信号電荷は信号電位に変換され、アンプ３１を介してＡ／Ｄ変換器３２へと出力される。また反射率情報の検出では、蓄積期間Ｔ_U2内に受光パルスの全てが受光され信号電荷として検出される。このとき検出される信号電荷は、斜線部Ａ２の面積（受光パルスの全光量）ｈ₂×Ｔ_Sに対応しており、反射率情報を表している。検出された信号電荷は信号電位に変換され、アンプ３１を介してＡ／Ｄ変換器３２へ出力される。なお、受光パルスの高さｈ₁、ｈ₂は、（４）式におけるｋ・Ｒ・Ｉ_Sに対応している。
【００６１】
距離情報と反射率情報の検出において測距光の出力が一定であると、斜線部Ａ２は受光パルス全体であるのに対し、斜線部Ａ１は受光パルスの一部であるため、斜線部Ａ２、Ａ１の面積にそれぞれ対応する反射率情報の信号レベルと距離情報の信号レベルは、後者が前者に比べ著しく小さくなる場合がある。この様な場合、反射率情報の信号に対して過負荷とならないようにＡ／Ｄ変換器３２の入力レベルを設定すると、距離情報の信号レベルに対する有効ビット数が相対的に減ることとなり、距離情報に対する量子化Ｓ／Ｎ比が劣化する。例えば、反射率情報の信号レベルが０〜Ｖボルトであり距離情報の信号レベルがそのｎ分の１、すなわち０〜Ｖ／ｎボルトであるとき、Ｐビットの線形量子化を行なうＡ／Ｄ変換器の動作範囲を距離情報の信号レベルに合わせて０〜Ｖボルトに設定すると、反射率情報はＰビットで量子化されるが、距離情報はＰ−Ｉｎｔ（ｌｏｇ₂ｎ）ビットで量子化されることとなり、距離情報に対する量子化Ｓ／Ｎ比が劣化する。なお、ここでＩｎｔ（）は括弧内の数値の小数部を切り捨てて整数に変換する関数である。
【００６２】
距離情報に対する量子化Ｓ／Ｎ比の劣化を防止するには、Ａ／Ｄ変換器３２へ出力される反射率情報の信号レベルと距離情報の信号レベルとを被写体の被計測領域に対応する画素において略等しくする必要がある。距離情報の信号レベルと反射率情報の信号レベルは、蓄積された信号電荷にそれぞれ相関する。したがって、距離情報、反射率情報の信号のレベルを略等しくするには、蓄積される信号電荷（蓄積電荷）の量を略同じにすればよく、これは被計測領域での反射率情報に対応する受光量を距離情報に対応する受光量を略等しくすればよい。ここで反射率情報に対応する受光量が距離情報に対応する受光量に略等しいとは、反射率情報に対応する受光量が距離情報に対応する受光量の例えば２倍以内であるような場合である。本実施形態の本測距では、標本画素において蓄積される信号電荷（蓄積電荷量）に対応する斜線部Ａ１’の面積ｈ₂×Ｔ_Dと斜線部Ａ２’の面積ｈ₂’×Ｔ_Sとが等しくなるように測距光の出力を調整することにより、被計測領域に対応する画素において反射率情報の信号レベルと距離情報の信号レベルとを略等しくしている。
【００６３】
プリ測距および本測距において、距離情報、反射率情報を検出する際に出力される測距光のパルス幅Ｔ_Sは一定である。また、被写体までの距離は、プリ測距と本測距とで変わらないので、距離情報を検出する際に受光パルスの信号電荷が蓄積される期間Ｔ_Dもプリ測距と本測距で同じである。プリ測距の検出結果から、Ｔ_DとＴ_Sとの比Ｔ_D／Ｔ_Sは既知であるので、これをα＝Ｔ_D／Ｔ_Sとすると、図１５の斜線部Ａ１’と斜線部Ａ２’の面積（受光量）が等しくなるための条件であるｈ₂’／ｈ₂＝αが求められる。受光パルスのパルス高さは、照射される測距光の出力に比例するので、距離情報を検出する際の測距光の出力と反射率情報を検出する際の測距光の出力を１：αの出力比で出力すれば、本測距における距離情報と反射率情報の信号レベルを等しくすることができる。なお、標本画素は、被写体の被計測領域に対応した画素を代表する画素であり、例えば画像の中央の画素や、一番近い距離に対応する画素などが用いられる。
【００６４】
次に、プリ測距および本測距における絞り（アイリス２５）の設定の違いについて図１４、図１５を参照して説明する。
【００６５】
プリ測距でのＦナンバーの設定を本測距と同一にすると、距離情報を検出する際に被写体に照射される測距光の出力は、プリ測距および本測距において同一であるので、プリ測距における受光パルスのパルス高さｈ₁は、本測距の距離情報の検出における受光パルスのパルス高さｈ₂に等しくなり、プリ測距での反射率情報の信号レベルは、本測距での距離情報の信号レベルのＴ_S／Ｔ_D倍となる。Ａ／Ｄ変換器３２の動作範囲は、本測距での信号レベルに設定されているので、Ｔ_S／Ｔ_Dの値が著しく大きいとき、プリ測距での反射率情報の信号レベルが、Ａ／Ｄ変換器３２に対して過負荷となる。これを防ぐためにプリ測距では予めＦナンバーが大き目に設定されている。したがって、ＣＣＤ２８において受光される反射光の光量は、プリ測距の方が本測距に比べ少なく、プリ測距での受光パルスのパルス高さｈ₁は、本測距での受光パルスのパルス高さｈ₂に比べアイリス２５が絞られている分小さい。
【００６６】
以上のように、本実施形態によれば、プリ測距を行いその計測結果に基づいて距離情報を検出するときと反射率情報を検出するときの測距光の出力を調整することにより、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、反射率情報を考慮した精度の高い距離情報を検出できる。また、プリ測距でのＦナンバーを本測距でのＦナンバーよりも大き目に設定しておくことにより、プリ測距での反射率情報の信号レベルがＡ／Ｄ変換器に対して過負荷となることなく、Ａ／Ｄ変換器の動作範囲を本測距での信号レベルに設定することができる。
【００６７】
なお、本実施形態では、標本画素として１つの画素を用いたが、標本画素として複数の画素を用い、標本画素全体におけるＴ_D／Ｔ_Sの平均値をαとしてもよい。
【００６８】
【発明の効果】
以上のように本発明によれば、距離情報に対する量子化Ｓ／Ｎ比を劣化させることなく、精度の高い距離情報を検出可能な３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態であるカメラ型の３次元画像検出装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】本実施形態で実行される撮影動作のプログラムのフローチャートである。
【図４】測距光による距離測定の原理を説明するための図である。
【図５】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図６】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図７】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図８】距離情報を検出する際のタイミングチャートである。
【図９】距離補正情報を検出する際のタイミングチャートである。
【図１０】反射率情報を検出する際のタイミングチャートである。
【図１１】反射率補正情報を検出する際のタイミングチャートである。
【図１２】距離測定動作に関するプログラムのフローチャートの前半部である。
【図１３】距離測定動作に関するプログラムのフローチャートの後半部である。
【図１４】プリ測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【図１５】本測距において距離情報、反射率情報を検出するときの受光パルスと蓄積期間との関係を示す図である。
【符号の説明】
１４発光装置（光源）
２３パルス振幅変換回路
２８ＣＣＤ（撮像部）

Claims

被写体に第１及び第２の測距光を照射するための光源と、
前記光源の発光を制御する光源制御手段と、
所定の蓄積期間内に前記第１の測距光による前記被写体からの反射光を撮像部において受光することによって生じる第１の信号電荷に基づいて、前記被写体までの距離情報を画素毎に検出する距離情報検出手段と、
前記第２の測距光による前記被写体からの反射光を前記撮像部において受光することにより生じ、受光された前記反射光の全光量に対応する第２の信号電荷に基づいて、前記測距光が前記被写体の表面で反射するときに受ける影響に関する情報である反射率情報を前記画素毎に検出する反射率情報検出手段と、
前記第１の信号電荷と前記第２の信号電荷とが、前記被写体の被計測領域に対応する画素において略同じ大きさとなるように前記光源制御手段を制御して前記第１の測距光と前記第２の測距光の出力を調整する出力調整手段と
を備えることを特徴とする３次元画像検出装置。
前記出力調整手段における前記第１および第２の測距光の調整が、予め前記被写体までの距離を概ね計測するプリ測距の結果に基づいて行われることを特徴とする請求項１に記載の３次元画像検出装置。
前記プリ測距が、前記第１および第２の測距光の出力を同一にして前記距離情報検出手段および前記反射率情報検出手段を駆動して行われることを特徴とする請求項２に記載の３次元画像検出装置。
前記出力調整手段における前記第１および第２の測距光の調整が、前記プリ測距において検出され、前記被写体の被計測領域に対応する画素を代表する１以上の標本画素の距離情報および反射率情報に基づいて行われることを特徴とする請求項３に記載の３次元画像検出装置。
前記出力調整手段における前記第１および第２の測距光の調整が、１つの標本画素における前記第１の信号電荷と前記第２の信号電荷との比が１対１になるように調整されることを特徴とする請求項４に記載の３次元画像検出装置。
光学系の像面照度を調整するための開口絞りを備え、前記プリ測距を行なう際には、前記出力調整手段、前記距離情報検出手段、前記反射率情報検出手段を駆動して被写体までの距離を計測する本測距に比べ前記開口絞りを絞った状態で計測を行なうことを特徴とする請求項２に記載の３次元画像検出装置。
測距光を被写体に照射し、前記測距光の前記被写体からの反射光を受光することにより前記被写体までの距離を画素毎に計測する３次元画像検出装置であって、
前記測距光を前記被写体に照射しその反射光を受光することにより前記被写体までの距離を前記画素毎に相対的に低い精度で予め計測するプリ測距手段と、
前記測距光を前記被写体に照射しその反射光を受光することにより前記被写体までの距離を前記画素毎に相対的に高い精度で計測する本測距手段と、
前記本測距手段において照射される前記測距光の照射出力を、前記プリ測距手段を駆動して得られる計測結果に基づいて調整する照射出力調整手段と
を備えることを特徴とする３次元画像検出装置。