JP3631325B2 - ３次元画像入力装置 - Google Patents
３次元画像入力装置 Download PDFInfo
- Publication number
- JP3631325B2 JP3631325B2 JP17719096A JP17719096A JP3631325B2 JP 3631325 B2 JP3631325 B2 JP 3631325B2 JP 17719096 A JP17719096 A JP 17719096A JP 17719096 A JP17719096 A JP 17719096A JP 3631325 B2 JP3631325 B2 JP 3631325B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- light
- light source
- sensitivity
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、２次元距離画像とその輝度画像とが同時に入力可能な２次元撮像素子を用いた３次元画像入力装置に関する。
【０００２】
【従来の技術】
２次元距離画像とその輝度画像の同時入力を目的とした従来の技術としては、例えば特願平７−１４６９４９号において提案されているような“２次元距離センサ”がある。次に、上記出願において提案されている従来の技術について説明する。図４は上記出願において提案されている２次元距離センサ（３次元画像入力装置）を示すブロック構成図である。図４において、１０１ は２次元撮像素子１０３ の感度を変調するための感度変調駆動部、１０２ は２次元撮像素子駆動部、１０４ は制御信号発生器、１０５ は信号処理部、１０６ は光源１０９ により放射される光の波長のみを透過させる光学バンドフィルタ、１０７ は結像光学系、１０８ は光源１０９ を変調する光源駆動部、１１０ は被写体（対象物体）を示している。感度変調が可能な２次元撮像素子１０３ としては、例えば、ＣＭＤ（Ｃｈａｒｇｅ Ｍｏｄｕｌａｔｉｏｎ Ｄｅｖｉｃｅ）撮像素子がある。
【０００３】
次に、このような構成の３次元画像入力装置の動作を、図５に示すタイミングチャートを用いて説明する。図５において、ΦＳ は計測開始パルス、ΦＳＭは２次元撮像素子１０３ の受光感度を変調するパルス、ΦＬＤは光源１０９ を駆動するパルス、Φｒｅｆ は光源１０９ から出射され、有限の距離にある被写体１１０ によって反射され２次元撮像素子１０３ の受光面上に結像された戻り光、ΦＲＤは２次元撮像素子１０３ からデータを読み出すための読み出し駆動パルス群、ΦＤＡＴＡは２次元撮像素子１０３ から読み出されたデータ（信号電荷）を表している。図５における時刻ｔ０ において、事前に２次元撮像素子１０３ の信号電荷は全てはき捨てられており、時刻ｔ０ に計測開始パルスΦＳ が入る。これを起点として測距装置が動作し始める。一方、光源１０９ がＯＦＦしている状態で、制御信号発生器１０４ からの制御信号ΦＬＤにより光源駆動部１０８ は光源１０９ の輝度変調を開始し、また２次元撮像素子１０３ の感度変調駆動部１０１ も、制御信号発生器１０４ からの制御信号ΦＳＭにより、前記輝度変調と同一の周波数で、２次元撮像素子１０３ の感度変調を開始する。
【０００４】
この３次元画像入力装置は、光源の輝度変調と２次元撮像素子の感度変調を同期させて測距を行っているが、更に、説明を簡単にするため、輝度変調並びに感度変調は、周期Ｔｆ ，デューティー５０％の矩形波でなされており、且つ変調された輝度の最低レベルは輝度０，また変調された感度の最高レベルを１，最低レベルを感度０に設定されるものと仮定する。また、感度変調しない時の感度を有した状態の感度レベルも１と規定する。また、ここで言う輝度変調とは、光源１０９ をある設定周波数でＯＮ−ＯＦＦさせることにより、２次元撮像素子１０３ の電荷蓄積を制御することを言う。一方、感度変調とは、ある設定周波数で２次元撮像素子１０３ の感度を変化させることを言う。
【０００５】
次に、距離情報の求め方と３次元画像入力装置の動作を合わせて説明する。距離ｚにある被写体１１０ を考えると、光源１０９ から投光された光は、距離ｚを走行して被写体１１０ に投影されて反射し、再び距離ｚを走行して２次元撮像素子１０３ に結像される。この距離ｚにある被写体１１０ からの入射光は、次式（１）で表されるｔｄ だけ光源１０９ からの発光より遅れて、２次元撮像素子１０３ に入射する。
ｔｄ ＝（２×ｚ）／ｃ ・・・・・・・・・・（１）
但し、ｃは光速である。このため１周期の輝度変調期間に、２次元撮像素子１０３ の画素部に生成可能な信号電荷数の比率ηは、距離ｚ＝０にある被写体の場合をη＝１と規格化すれば、次式（２）で表される。
η＝１−（２×ｔｄ ）／Ｔｆ ・・・・・・・（２）
つまり、当該画素の出力を計測すれば、式（２）に示すように既知の周期Ｔｆ と計測したηとから、ｔｄ を求めることができ、更に（１）を用いれば、次式（１）′により被写体１１０ までの距離ｚを算出することが可能となる。
ｚ＝（ｃ×ｔｄ ）／２ ・・・・・・・・・・（１）′
【０００６】
信号蓄積期間Ｔａ が終了した時点で、２次元撮像素子１０３ 上の各画素部には、信号蓄積期間Ｔａ 中に光源１０９ からの戻り光の輝度を持った期間と２次元撮像素子１０３ の感度を有した期間の重なった時間に発生した信号電荷が蓄積されている。この２次元撮像素子１０３ に蓄積した信号電荷を期間Ｒａ で読み出す。ここで読み出された信号電荷はＨａ として読み出される。この信号電荷Ｈａ は、次式（３）で表される。
Ｈａ （ｘ，ｙ）＝（ｋ／２）・η（ｚ）・Ｉ（ｘ，ｙ）・Ｔａ ・・・（３）
ここで、ｋ；輝度変調にかかわる比例定数、デューティー５０％で変調してるので１／２倍している。
η（ｚ）；感度変調にかかわる項
Ｉ（ｘ，ｙ）；被写体の反射光の強度で、このＩ（ｘ，ｙ）には被写体までの距離に応じて減少する光源の照度の影響も含まれている。
【０００７】
前記のように信号蓄積期間Ｔａ が終了した後、２次元撮像素子１０３ を駆動して、これらの信号電荷を読み出し、信号処理部１０５ の中に設けた図示しないメモリに格納する。読み出しと同時に、またはその後に、各画素の信号電荷をクリアーする。次に時刻ｔ１ において、再び制御信号発生器１０４ からの制御信号ΦＬＤにより光源駆動部１０８ は光源１０９ の輝度変調を開始し、また感度変調駆動部１０１ は、２次元撮像素子１０３ の感度を一定の状態に維持しながら信号電荷を蓄積可能にする（図５，期間Ｔｂ ）。この時、信号蓄積期間Ｔａ とＴｂ の時間は等しく設定する。何故ならば、後に信号蓄積期間Ｔａ とＴｂ の信号電荷を比較して、被写体までの距離情報を算出するためである。また期間Ｔｂ においては、感度変調をせず一定感度（通常の撮像モード）なので、（３）式の感度変調に伴う因子は定数であり、この感度を有した状態を１と規定する。したがって、期間Ｔｂ が終了した時点で２次元撮像素子１０３ の各画素部には、次式（４）で示される信号電荷が蓄積されていることになる。
Ｈｂ （ｘ，ｙ）＝（ｋ／２）・Ｉ（ｘ，ｙ）・Ｔｂ ・・・・・・・（４）
【０００８】
期間Ｔｂ の終了後、時刻ｔ１ 直前の動作と同様に、期間Ｒｂ において２次元撮像素子１０３ を駆動して、これらの信号電荷をＨｂ として読み出し、信号処理部１０５ の中に設けた図示しないメモリのうち、信号蓄積期間Ｔａ の終了の後に書き込んだものとは別のメモリに、式（４）で示される情報（信号電荷）が格納される。その後、時刻ｔ２ 以前に２次元撮像素子１０３ の信号電荷をはき捨て、時刻ｔ２ に計測開始パルスΦＳ が入り、時刻ｔ０ の時と同様にして測距が開始する。この時刻ｔ０ からｔ２ までが測距の１サイクルであり、実際の測距はこの手順の繰り返しによって行われることになる。このようにして信号処理部１０５ の中に設けた図示しないメモリに格納されている（３）式で表される信号電荷Ｈａ と、（４）式で表される信号電荷Ｈｂ から、２次元撮像素子１０３ の通常駆動時の信号電荷Ｈｂ に対する感度変調駆動時の信号電荷Ｈａ の比が、次式（５）により求められる。
η＝｛Ｈａ （ｘ，ｙ）／Ｔａ ｝／｛Ｈｂ （ｘ，ｙ）／Ｔｂ ｝・・・・（５）
この信号電荷比率ηと既知のＴｆ とから、（２）式によりｔｄ が求められ、ここで求めたｔｄ を（１）′式に代入すると、被写体１１０ までの距離ｚが得られることになる。
【０００９】
【発明が解決しようとする課題】
ところで、従来の構成の３次元画像入力装置（２次元距離センサ）により測距をする場合、測距可能な距離範囲ｚは、ｔｄ ≦（Ｔｆ ／２）という条件を満たさなければならない。したがって、（１）′式より次式（６）が得られる。
ｚ≦（ｃ×Ｔｆ ）／４ ・・・・・・・・・・（６）
したがって、測距範囲を拡大するには輝度変調周期Ｔｆ を大きく（輝度変調周波数を低く）する必要がある。また、測距精度を向上させるには輝度変調周期Ｔｆ を小さく（輝度変調周波数を高く）する必要がある。このことから、測距精度と測距範囲が両立しないことがわかる。
【００１０】
以上のように、先の出願で提案した従来構成の３次元画像入力装置（２次元距離センサ）では、単一光源であるから測距精度と測距範囲を両立させることは不可能である。例えば、光源の輝度変調周波数を１０ＭＨｚ とすると、（６）式より測距可能範囲は７．５０ｍとなり、仮に測距を８ビット階調（２５６ 階調）で行うとすれば、測距範囲７．５０ｍを２５６ 階調に分割すると１階調の測距範囲（分解能）は ２．９ｃｍとなる。一方、光源の輝度変調周波数が １００ＭＨｚ であれば、１輝度変調周期当たりの測距範囲は０．７５ｍに縮小されるので、８ビット階調において１階調当たりの測距範囲は０．２９ｃｍとなる。これは言い換えると、分解能が１桁向上したことと等価である。
【００１１】
本発明は、先に提案した２次元距離センサ（３次元画像入力装置）における上記問題点を解消するためなされたもので、測距精度と測距範囲が両立可能な３次元画像入力装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、本発明は、所定の周波数、持続時間及び繰り返し時間で輝度変調された光ビームを対象物体に投光する光源と、該光源からの光ビームで照明された対象物体の像を結像する結像光学系と、該結像光学系の結像面に設置された光電変換の感度変調が可能な２次元撮像素子と、該撮像素子の感度を決定する電極端子を前記周波数で変調する駆動部と、前記撮像素子の各画素において生成された信号電荷に対応した信号を取り出す読み出し手段とを備え、前記対象物体の２次元距離情報を前記２次元撮像素子の信号電荷の分布から得るようにした３次元画像入力装置において、前記光源からの光ビームは、輝度変調周波数の異なる複数の波長の光ビームにより構成されていることを特徴とするものである。
【００１３】
このように、光源からの光ビームを、輝度変調周波数の異なる複数の波長で構成し、該光ビームを分配する光学的分配器を設けると共に、該分割された複数の光ビームをそれぞれ受光する複数の２次元撮像素子を設けることにより、異なる輝度変調周波数による３次元撮像を同時に且つ並列的に行うことが可能となる。これにより、測距に要する時間は従来と変わらずに、且つ測距範囲も縮小せずに、測距精度を向上させることが可能となる。
【００１４】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係る３次元画像入力装置の実施の形態を示すブロック構成図である。この実施の形態においては、説明を簡単にするために用いる光源は２種としている。この実施の形態の３次元画像入力装置が図１に示した先に提案したものと異なる点は、光波長、輝度変調周波数の異なる２種の光源を用いて、これら２光源の被写体からの戻り光を同時観測するようにした点である。２種の光源のうち、一方の光源にはある所定の光波長、輝度変調周期を設定し、他方の光源には前記一方の光源とは異なる光波長であり、該一方の光源に対して輝度変調周期を短く（輝度変調周波数を高く）設定するものとしている。
【００１５】
先に、測距をする場合、測距可能な距離範囲ｚは、ｔｄ ≦（Ｔｆ ／２）という条件を満たさなければならないと述べたが、まずこの理由について説明する。図４に示した従来例で記述したように、測距の際、２次元撮像素子１０３ 上の各画素部には、信号蓄積期間Ｔａ 中に光源１０９ からの戻り光の輝度を持った期間（Φｒｅｆ のＯＮしている期間）と２次元撮像素子１０３ の感度を有している期間（ΦＳＭのＯＮしている期間）の重複した期間に発生した信号電荷が蓄積する。よって、ｔｄ が、０≦ｔｄ ≦（Ｔｆ ／２）の期間には、２次元撮像素子１０３ に蓄積する信号電荷Ｈａ は、ｔｄ ＝０の時をＨａ ＝１と規定すれば、ｔｄ が増すにつれてΦｒｅｆ とΦＳＭのＯＮしている期間の重複する期間が減少するので、Ｈａ の値は減少してゆき、ｔｄ ＝（Ｔｆ ／２）の時Ｈａ ＝０となる。一方、（Ｔｆ ／２）＜ｔｄ ＜Ｔｆ の期間については、ｔｄ ＝（Ｔｆ ／２）の時のＨａ ＝０を境に、再び信号電荷Ｈａ は増加に転じ、ｔｄ の時間の増加と共にΦｒｅｆ とΦＳＭのＯＮしている期間の重複する期間が増加するので、Ｈａ の値は増加してゆき、ｔｄ ＝Ｔｆ の時のＨａ ＝１（ｔｄ ＝０の時と等価）まで増加し続けることになる。本測距の距離情報は、蓄積信号電荷から算出しているので、（Ｔｆ ／２）＜ｔｄ ＜Ｔｆ の期間の蓄積信号電荷を測距データとして用いようとしても、０≦ｔｄ ≦（Ｔｆ ／２）の期間に得られたものか否かの判別ができない。このため、測距可能な距離範囲ｚを規定する式（６）には、ｔｄ ≦（Ｔｆ ／２）という条件が含まれることになる。
【００１６】
なお、次式（７）が成立するときも、検出される信号電荷は前記周期の繰り返しになる。
ｔｄ ≦（ｎ・Ｔｆ ）＋（Ｔｆ ／２）・・・・・（７）
但し、ｎは正の整数である。しかし、実際には（７）式において、ｎが１以上では被写体からの戻り光の強度は距離の２乗に比例して弱くなるから、現実的にはｎ＝０のデータを用いることが望ましい。
【００１７】
次に、図１に示した実施の形態の具体的な構成について説明する。図１において、１は被写体からの戻り光（反射光）の結像面を２つ形成するためのハーフミラー、２，３はそれぞれ背景光の影響を除去し、輝度変調された光源の波長帯域の反射光の波長付近の光のみを透過させる第１及び第２の光学バンドパスフィルタ、４，５は第１及び第２の２次元撮像素子、６は２次元撮像素子４，５の感度を変調するための感度変調駆動部、７は２次元撮像素子駆動部、８は制御信号発生器、９は信号処理部、１０は光源駆動部、１１は光源１１ａ，１１ｂを搭載した照明装置、１２は結像光学系、１３は被写体（対象物体）を示している。なお、第１のバンドパスフィルタ２は光源１１ａの光の波長のみを透過し、第２の光学バンドパスフィルタ３は光源１１ｂの光の波長のみを透過するように設定されている。
【００１８】
この実施の形態が図４に示した先に提案したものと異なる点は、先に述べたように、２種の光源を用いて、光源１１ａと光波長、輝度変調周波数の異なる光源１１ｂの被写体１３からの戻り光を、光源１１ａの被写体１３からの戻り光と同時観測するように構成した点であるが、次に、２種の光源を用いた際、異なる光波長と輝度変調周波数にする理由について述べる。異なる輝度変調周波数を用いる理由は、測距範囲と測距精度の両立を図るためである。次に、異なる光波長を用いる理由について述べる。これは、測定系の制約によるものである。照明装置１１から出射した２種の光（変調光）が被写体１３から戻ってきた際、第１，第２の２次元撮像素子４，５に入射する前に、ハーフミラー１で分配される。この光を第１，第２の２次元撮像素子４，５の前面にそれぞれ設置された光学バンドパスフィルタ２，３で、第１，第２の２次元撮像素子４，５がそれぞれ受光する光成分のみに選別する。このように変調周波数の異なる光の分離を可能にするために、異なる光波長の光源を用いることが必要になる。
【００１９】
次に、このように構成した３次元画像入力装置の動作を、図２に示したタイミングチャートを参照しながら説明する。まず、光源１１ａにおける被写体１３からの戻り光を測距する測定系に限って、その動作タイミングについて説明する。図２において、ΦＳ は計測開始パルス、ΦＳＭ１ は第１の２次元撮像素子４の感度を変調するパルス、ΦＬＤ１ は光源１１ａを駆動するパルス、Φｒｅｆ１は光源１１ａから出射され、有限の距離にある被写体１３によって反射されハーフミラー１を介して第１の２次元撮像素子４の受光面上に結像された戻り光、ΦＲＤ１ は第１の２次元撮像素子４から蓄積信号電荷を読み出すための読み出し駆動パルス群、ΦＤＡＴＡ１ は第１の２次元撮像素子４から読み出された蓄積信号電荷を表している。
【００２０】
次に、光源１１ａによる被写体１３からの戻り光を観測する測定系の動作について説明する。ここで説明を簡単にするため、輝度変調並びに感度変調は、期間Ｔｆｇ，デューティー５０％の矩形波でなされており、且つ変調された輝度の最低レベルは輝度０，また変調された感度の最低レベルは感度０に設定されるものと仮定する。また、感度変調しない時の感度を有している状態の感度レベルも１と規定する。
【００２１】
まず、時刻ｔ０ では、事前に第１の２次元撮像素子４の信号電荷は全てはき捨てられており、時刻ｔ０ に計測開始パルスΦＳ が入る。これを起点として測距装置が動作し始める。光源１１ａは、ＯＦＦしている状態で、制御信号発生器８からの制御信号ΦＬＤ１ により、光源駆動部１０は光源１１ａの輝度変調を開始する。また第１の２次元撮像素子４の感度変調駆動部６も制御信号発生器８からの制御信号ΦＳＭ１ により、前記輝度変調周波数と同一の周波数で、第１の２次元撮像素子４の感度変調駆動を開始する（図２の信号蓄積期間Ｔａｇ）。距離ｚにある被写体１３へ光源１１ａから投光された光は、距離ｚを走行して被写体１３に投影されて反射し、再び距離ｚを走行して第１の２次元撮像素子４に結像される。このため距離ｚにある被写体１３からの戻り光Φｒｅｆ１は、ｔｄｇだけ光源１１ａの発光時間より遅れて、第１の２次元撮像素子４へ入射する。
【００２２】
信号蓄積期間Ｔａｇの終了の後、期間Ｒａｇにおいて第１の２次元撮像素子４を駆動して、これらの信号を信号電荷Ｈａｇとして読み出し、信号処理部９の内部に設けた図示しないメモリａｇに格納する。読み出しと同時に、又はその後に各画素の信号電荷をクリアする。次に時刻ｔ１ において、再び、制御信号発生器８からの制御信号ΦＬＤ１ により光源駆動部１０は光源１１ａの輝度変調を開始し、一方第１の２次元撮像素子４の感度変調駆動部６は、第１の２次元撮像素子４が受光状態で且つ一定感度（通常駆動）を維持する（図２の期間Ｔｂｇ）。
【００２３】
この時には、２次元撮像素子の感度変調をさせないので、期間Ｔｂｇ中に各画素内で発生した電荷が全て蓄積することになる。但し、戻り光Φｒｅｆ１の遅延時間ｔｄｇを考慮し、ΦＳＭ１ の立ち下がりのタイミングは期間Ｔｂｇの終了後、Ｔｆｇ／２以上経過時点に設定する。
【００２４】
期間Ｔｂｇが終了の後、期間Ｒｂｇにおいて第１の２次元撮像素子４を駆動して、これらの蓄積信号電荷を読み出し、信号処理部９の内部に設けた図示しないメモリのうち、信号蓄積期間Ｔａｇの終了後に書き込んだメモリａｇとは別のメモリｂｇに格納する。その後、時刻ｔ２ 以前に第１の２次元撮像素子４の信号電荷をはき捨て、時刻ｔ２ に計測開始パルスΦＳ が入り、時刻ｔ０ の時と同様にして測距が開始する。この時刻ｔ０ からｔ２ までが測距の１サイクルであり、実際の測距はこの手順の繰り返しによって行われることになる。上記信号処理部内の各メモリａｇ，ｂｇには、それぞれ信号蓄積期間Ｔａｇ，Ｔｂｇ中の情報（信号電荷）が記憶されており、２次元距離情報は従来例と同様にして簡単に求められる。
【００２５】
以上は、光源１１ａによる被写体１３からの戻り光を観測する場合について説明したが、次に、光源１１ｂにおける被写体１３からの戻り光を測距する測定系に限って、その動作タイミングについて説明する。図２において、ΦＳ は計測開始パルス、ΦＬＤ２ は光源１１ｂを駆動するパルス、ΦＳＭ２ は第２の２次元撮像素子５の感度を変調するパルス、Φｒｅｆ２は光源１１ｂから出射され、有限の距離にある被写体１３によって反射され、ハーフミラー１を介して第２の２次元撮像素子５の受光面上に結像された戻り光、ΦＲＤ２ は第２の２次元撮像素子５からデータ（蓄積信号電荷）を読み出すための読み出し駆動パルス群、ΦＤＡＴＡ２ は第２の２次元撮像素子５から読み出されたデータ（蓄積信号電荷）を表している。
【００２６】
次に、光源１１ｂによる被写体１３からの戻り光を観測する測定系の動作について説明する。基本的な動作は光源１１ａの被写体１３からの戻り光の観測系と同様である。また、検出された信号電荷から２次元距離情報を得る方法も従来例と同様である。異なる点は、光源１１ｂの波長、光源１１ｂを駆動するΦＬＤ２ の輝度変調周波数と、第２の２次元撮像素子５を駆動するΦＳＭ２ の感度変調周波数であり、光源１１ｂからの戻り光Φｒｅｆ２は、ΦＬＤ２ の輝度変調周波数が異なるので、それに伴ってΦｒｅｆ１とは異なった変調になっている。（ΦＬＤ２ の輝度変調周波数と等価）。なお、信号蓄積期間ＴａｇとＴｂｇ，ＴａｈとＴｂｈは、同一期間に設定しなければならない。また、信号蓄積期間Ｔａｇ（Ｔｂｇ）とＴａｈ（Ｔｂｈ）も同一期間に設定するものとする。なお、図２においてｔｄｈはｔｄｇに対応する遅延時間、ＴｆｈはＴｆｇに対応する期間、Ｒａｈ，ＲｂｈはＲａｇ，Ｒｂｇに対応する期間、Ｈａｈ，ＨｂｈはＨａｇ，Ｈｂｇに対応する信号電荷をそれぞれ示している。
【００２７】
次に、このようにして、２種の光源を用いて２つの２次元撮像素子から観測された信号電荷をどのように処理するか、その概念について図３を用いて説明する。図３は、横軸が光源から被写体までの距離ｚを表し、右縦軸は信号電荷比率η，左縦軸は検出階調を表している。なお、説明を簡単にするため、便宜上、検出階調を８階調と仮定している。この１階調範囲内の距離は識別不可能である。よって、ある階調とある階調の範囲内に被写体までの距離ｚが存在する時は、その距離を上位階調と認識するか下位階調と認識するかは予め定義しておく。また、信号電荷比率ηに関しては、ｔｄ ＝０のとき得られる信号電荷を１に規格化している。
【００２８】
図３において、ａが変調周波数の低い光源の測距結果の信号電荷比率の周期を表し、ｂはａの１０倍の変調周波数を持つ光源の測距結果の信号電荷比率周期を表している。また、ａの測距範囲は（６）式より図３に示す通り（ｃ・Ｔ１０）／４であり、ｂの測距範囲は（ｃ・Ｔ１００ ）／４である。ここで、Ｔ１０，Ｔ１００ は、それぞれ変調周波数１０ＭＨｚ ， １００ＭＨｚ の変調周期を示している。
【００２９】
次に、処理手順について説明する。まず、変調周波数の低い一方の光源の被写体までの距離を、測定された信号電荷比率より大雑把につかむ。その後に、他方の変調周波数の高い光源において、測定された信号電荷比率から先に求めた結果より精度の良い距離を求める。図３においては、まずａにおいて被写体までの距離ｚを信号電荷比率から求める。ａからは被写体までの距離ｚはｚ１ 〜ｚ２ の範囲に存在することがわかる。次に、いま求めた結果を基に、ｂで得られた信号電荷比率より光源から被写体までの距離ｚを算出する。この時ｚは、ｚ３ 〜ｚ４ の範囲に存在することがわかる。このように、ｚは先に求めた結果より良い精度で求められることになる。
【００３０】
次に、これを実際にどのようにして求めるかについて説明する。例えば、ａの光源の輝度変調周波数を１０ＭＨｚ ，信号電荷比率をη＝０．６５， ２５６階調の測距、という３つの仮定をした時、（２）式よりｔｄ ＝１７．５〔ｎｓ〕となり、（１）′式より被写体までの距離は、ｚ＝２．６１〜２．６４（ｍ）の範囲に存在することがわかる。これをもとにして、ｂの輝度変調周波数を １００ＭＨｚ に設定した光源の被写体からの戻り光を ２５６階調で測距したデータを比較、算出する。この結果より被写体までの距離がｚ＝２．６２４ 〜２．６２５ （ｍ）の範囲内に存在することがわかる。この例では、輝度変調周波数が１０ＭＨｚ と １００ＭＨｚ の１桁異なる２つの光源による２つの測距結果を組み合わせることにより、輝度変調周波数１０ＭＨｚ の光源からの戻り光の測距範囲７．５０ｍを維持したままで、輝度変調周波数 １００ＭＨｚ の光源からの戻り光の測距によって、分解能を１桁向上した測距が可能となることを示している。もし、単一光源で輝度変調周波数 １００ＭＨｚ の光源からの戻り光の測距を行った場合には、測距精度は輝度変調周波数１０ＭＨｚ の場合に比べ１桁向上するものの、この光源の測距範囲は輝度変調周波数１０ＭＨｚ の場合の１／１０になってしまう。しかし、本発明による構成をとることにより、測距範囲の低下を防ぐことができる。
【００３１】
このように、従来の測距に要する時間を変化させずに、且つ測距範囲を縮小させることなく、測距精度を向上させることを可能にすることができる。なお、本発明に係る３次元画像入力装置においては、測距範囲は用いている光源のなかで最も低い輝度変調周波数で規定され、測距精度は用いている光源のなかで最も高い輝度変調周波数で規定されることになる。
【００３２】
上記実施の形態では、光源を２つ用いる場合について示したが、言うまでもなく光源の数を２つに限る必要はない。また、本発明の基礎は、光源の輝度変調周波数と同期して２次元撮像素子の感度を変調するところにある。したがって、基板電位あるいは受光面に存在する電極電位により、感度が変化する撮像素子全般に、本発明が適用可能である。
【００３３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、複数の２次元撮像素子の感度変調を、光波長、輝度変調周波数の異なる複数の光源の各々の輝度変調に対応させて同期化し、対象物体の２次元距離情報の同時測定を行うように構成しているので、従来の測距に要する時間を変化させずに、且つ測距範囲を縮小させることなく、測距精度を向上させることが可能となる。また、本発明によれば、光の多重性を利用することにより、各波長の光源位置及び撮像素子までの光軸及び距離を揃えることが可能となり、複数の輝度変調周波数の光による並列測定においても、幾何学的精度を保つことが可能になる。
【図面の簡単な説明】
【図１】本発明に係る３次元画像入力装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態の動作を説明するためのタイミングチャートである。
【図３】図１に示した実施の形態における測距処理手順を説明するための概念図である。
【図４】先に提案した３次元画像入力装置を示すブロック構成図である。
【図５】図４に示した３次元画像入力装置の動作を説明するためのブロック構成図である。
【符号の説明】
１ ハーフミラー
２ 第１の光学バンドパスフィルタ
３ 第２の光学バンドパスフィルタ
４ 第１の２次元撮像素子
５ 第２の２次元撮像素子
６ 感度変調駆動部
７ ２次元撮像素子駆動部
８ 制御信号発生器
９ 信号処理部
１０ 光源駆動部
１１ 照明装置
１１ａ，１１ｂ 光源
１２ 結像光学系
１３ 被写体
【発明の属する技術分野】
この発明は、２次元距離画像とその輝度画像とが同時に入力可能な２次元撮像素子を用いた３次元画像入力装置に関する。
【０００２】
【従来の技術】
２次元距離画像とその輝度画像の同時入力を目的とした従来の技術としては、例えば特願平７−１４６９４９号において提案されているような“２次元距離センサ”がある。次に、上記出願において提案されている従来の技術について説明する。図４は上記出願において提案されている２次元距離センサ（３次元画像入力装置）を示すブロック構成図である。図４において、１０１ は２次元撮像素子１０３ の感度を変調するための感度変調駆動部、１０２ は２次元撮像素子駆動部、１０４ は制御信号発生器、１０５ は信号処理部、１０６ は光源１０９ により放射される光の波長のみを透過させる光学バンドフィルタ、１０７ は結像光学系、１０８ は光源１０９ を変調する光源駆動部、１１０ は被写体（対象物体）を示している。感度変調が可能な２次元撮像素子１０３ としては、例えば、ＣＭＤ（Ｃｈａｒｇｅ Ｍｏｄｕｌａｔｉｏｎ Ｄｅｖｉｃｅ）撮像素子がある。
【０００３】
次に、このような構成の３次元画像入力装置の動作を、図５に示すタイミングチャートを用いて説明する。図５において、ΦＳ は計測開始パルス、ΦＳＭは２次元撮像素子１０３ の受光感度を変調するパルス、ΦＬＤは光源１０９ を駆動するパルス、Φｒｅｆ は光源１０９ から出射され、有限の距離にある被写体１１０ によって反射され２次元撮像素子１０３ の受光面上に結像された戻り光、ΦＲＤは２次元撮像素子１０３ からデータを読み出すための読み出し駆動パルス群、ΦＤＡＴＡは２次元撮像素子１０３ から読み出されたデータ（信号電荷）を表している。図５における時刻ｔ０ において、事前に２次元撮像素子１０３ の信号電荷は全てはき捨てられており、時刻ｔ０ に計測開始パルスΦＳ が入る。これを起点として測距装置が動作し始める。一方、光源１０９ がＯＦＦしている状態で、制御信号発生器１０４ からの制御信号ΦＬＤにより光源駆動部１０８ は光源１０９ の輝度変調を開始し、また２次元撮像素子１０３ の感度変調駆動部１０１ も、制御信号発生器１０４ からの制御信号ΦＳＭにより、前記輝度変調と同一の周波数で、２次元撮像素子１０３ の感度変調を開始する。
【０００４】
この３次元画像入力装置は、光源の輝度変調と２次元撮像素子の感度変調を同期させて測距を行っているが、更に、説明を簡単にするため、輝度変調並びに感度変調は、周期Ｔｆ ，デューティー５０％の矩形波でなされており、且つ変調された輝度の最低レベルは輝度０，また変調された感度の最高レベルを１，最低レベルを感度０に設定されるものと仮定する。また、感度変調しない時の感度を有した状態の感度レベルも１と規定する。また、ここで言う輝度変調とは、光源１０９ をある設定周波数でＯＮ−ＯＦＦさせることにより、２次元撮像素子１０３ の電荷蓄積を制御することを言う。一方、感度変調とは、ある設定周波数で２次元撮像素子１０３ の感度を変化させることを言う。
【０００５】
次に、距離情報の求め方と３次元画像入力装置の動作を合わせて説明する。距離ｚにある被写体１１０ を考えると、光源１０９ から投光された光は、距離ｚを走行して被写体１１０ に投影されて反射し、再び距離ｚを走行して２次元撮像素子１０３ に結像される。この距離ｚにある被写体１１０ からの入射光は、次式（１）で表されるｔｄ だけ光源１０９ からの発光より遅れて、２次元撮像素子１０３ に入射する。
ｔｄ ＝（２×ｚ）／ｃ ・・・・・・・・・・（１）
但し、ｃは光速である。このため１周期の輝度変調期間に、２次元撮像素子１０３ の画素部に生成可能な信号電荷数の比率ηは、距離ｚ＝０にある被写体の場合をη＝１と規格化すれば、次式（２）で表される。
η＝１−（２×ｔｄ ）／Ｔｆ ・・・・・・・（２）
つまり、当該画素の出力を計測すれば、式（２）に示すように既知の周期Ｔｆ と計測したηとから、ｔｄ を求めることができ、更に（１）を用いれば、次式（１）′により被写体１１０ までの距離ｚを算出することが可能となる。
ｚ＝（ｃ×ｔｄ ）／２ ・・・・・・・・・・（１）′
【０００６】
信号蓄積期間Ｔａ が終了した時点で、２次元撮像素子１０３ 上の各画素部には、信号蓄積期間Ｔａ 中に光源１０９ からの戻り光の輝度を持った期間と２次元撮像素子１０３ の感度を有した期間の重なった時間に発生した信号電荷が蓄積されている。この２次元撮像素子１０３ に蓄積した信号電荷を期間Ｒａ で読み出す。ここで読み出された信号電荷はＨａ として読み出される。この信号電荷Ｈａ は、次式（３）で表される。
Ｈａ （ｘ，ｙ）＝（ｋ／２）・η（ｚ）・Ｉ（ｘ，ｙ）・Ｔａ ・・・（３）
ここで、ｋ；輝度変調にかかわる比例定数、デューティー５０％で変調してるので１／２倍している。
η（ｚ）；感度変調にかかわる項
Ｉ（ｘ，ｙ）；被写体の反射光の強度で、このＩ（ｘ，ｙ）には被写体までの距離に応じて減少する光源の照度の影響も含まれている。
【０００７】
前記のように信号蓄積期間Ｔａ が終了した後、２次元撮像素子１０３ を駆動して、これらの信号電荷を読み出し、信号処理部１０５ の中に設けた図示しないメモリに格納する。読み出しと同時に、またはその後に、各画素の信号電荷をクリアーする。次に時刻ｔ１ において、再び制御信号発生器１０４ からの制御信号ΦＬＤにより光源駆動部１０８ は光源１０９ の輝度変調を開始し、また感度変調駆動部１０１ は、２次元撮像素子１０３ の感度を一定の状態に維持しながら信号電荷を蓄積可能にする（図５，期間Ｔｂ ）。この時、信号蓄積期間Ｔａ とＴｂ の時間は等しく設定する。何故ならば、後に信号蓄積期間Ｔａ とＴｂ の信号電荷を比較して、被写体までの距離情報を算出するためである。また期間Ｔｂ においては、感度変調をせず一定感度（通常の撮像モード）なので、（３）式の感度変調に伴う因子は定数であり、この感度を有した状態を１と規定する。したがって、期間Ｔｂ が終了した時点で２次元撮像素子１０３ の各画素部には、次式（４）で示される信号電荷が蓄積されていることになる。
Ｈｂ （ｘ，ｙ）＝（ｋ／２）・Ｉ（ｘ，ｙ）・Ｔｂ ・・・・・・・（４）
【０００８】
期間Ｔｂ の終了後、時刻ｔ１ 直前の動作と同様に、期間Ｒｂ において２次元撮像素子１０３ を駆動して、これらの信号電荷をＨｂ として読み出し、信号処理部１０５ の中に設けた図示しないメモリのうち、信号蓄積期間Ｔａ の終了の後に書き込んだものとは別のメモリに、式（４）で示される情報（信号電荷）が格納される。その後、時刻ｔ２ 以前に２次元撮像素子１０３ の信号電荷をはき捨て、時刻ｔ２ に計測開始パルスΦＳ が入り、時刻ｔ０ の時と同様にして測距が開始する。この時刻ｔ０ からｔ２ までが測距の１サイクルであり、実際の測距はこの手順の繰り返しによって行われることになる。このようにして信号処理部１０５ の中に設けた図示しないメモリに格納されている（３）式で表される信号電荷Ｈａ と、（４）式で表される信号電荷Ｈｂ から、２次元撮像素子１０３ の通常駆動時の信号電荷Ｈｂ に対する感度変調駆動時の信号電荷Ｈａ の比が、次式（５）により求められる。
η＝｛Ｈａ （ｘ，ｙ）／Ｔａ ｝／｛Ｈｂ （ｘ，ｙ）／Ｔｂ ｝・・・・（５）
この信号電荷比率ηと既知のＴｆ とから、（２）式によりｔｄ が求められ、ここで求めたｔｄ を（１）′式に代入すると、被写体１１０ までの距離ｚが得られることになる。
【０００９】
【発明が解決しようとする課題】
ところで、従来の構成の３次元画像入力装置（２次元距離センサ）により測距をする場合、測距可能な距離範囲ｚは、ｔｄ ≦（Ｔｆ ／２）という条件を満たさなければならない。したがって、（１）′式より次式（６）が得られる。
ｚ≦（ｃ×Ｔｆ ）／４ ・・・・・・・・・・（６）
したがって、測距範囲を拡大するには輝度変調周期Ｔｆ を大きく（輝度変調周波数を低く）する必要がある。また、測距精度を向上させるには輝度変調周期Ｔｆ を小さく（輝度変調周波数を高く）する必要がある。このことから、測距精度と測距範囲が両立しないことがわかる。
【００１０】
以上のように、先の出願で提案した従来構成の３次元画像入力装置（２次元距離センサ）では、単一光源であるから測距精度と測距範囲を両立させることは不可能である。例えば、光源の輝度変調周波数を１０ＭＨｚ とすると、（６）式より測距可能範囲は７．５０ｍとなり、仮に測距を８ビット階調（２５６ 階調）で行うとすれば、測距範囲７．５０ｍを２５６ 階調に分割すると１階調の測距範囲（分解能）は ２．９ｃｍとなる。一方、光源の輝度変調周波数が １００ＭＨｚ であれば、１輝度変調周期当たりの測距範囲は０．７５ｍに縮小されるので、８ビット階調において１階調当たりの測距範囲は０．２９ｃｍとなる。これは言い換えると、分解能が１桁向上したことと等価である。
【００１１】
本発明は、先に提案した２次元距離センサ（３次元画像入力装置）における上記問題点を解消するためなされたもので、測距精度と測距範囲が両立可能な３次元画像入力装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、本発明は、所定の周波数、持続時間及び繰り返し時間で輝度変調された光ビームを対象物体に投光する光源と、該光源からの光ビームで照明された対象物体の像を結像する結像光学系と、該結像光学系の結像面に設置された光電変換の感度変調が可能な２次元撮像素子と、該撮像素子の感度を決定する電極端子を前記周波数で変調する駆動部と、前記撮像素子の各画素において生成された信号電荷に対応した信号を取り出す読み出し手段とを備え、前記対象物体の２次元距離情報を前記２次元撮像素子の信号電荷の分布から得るようにした３次元画像入力装置において、前記光源からの光ビームは、輝度変調周波数の異なる複数の波長の光ビームにより構成されていることを特徴とするものである。
【００１３】
このように、光源からの光ビームを、輝度変調周波数の異なる複数の波長で構成し、該光ビームを分配する光学的分配器を設けると共に、該分割された複数の光ビームをそれぞれ受光する複数の２次元撮像素子を設けることにより、異なる輝度変調周波数による３次元撮像を同時に且つ並列的に行うことが可能となる。これにより、測距に要する時間は従来と変わらずに、且つ測距範囲も縮小せずに、測距精度を向上させることが可能となる。
【００１４】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係る３次元画像入力装置の実施の形態を示すブロック構成図である。この実施の形態においては、説明を簡単にするために用いる光源は２種としている。この実施の形態の３次元画像入力装置が図１に示した先に提案したものと異なる点は、光波長、輝度変調周波数の異なる２種の光源を用いて、これら２光源の被写体からの戻り光を同時観測するようにした点である。２種の光源のうち、一方の光源にはある所定の光波長、輝度変調周期を設定し、他方の光源には前記一方の光源とは異なる光波長であり、該一方の光源に対して輝度変調周期を短く（輝度変調周波数を高く）設定するものとしている。
【００１５】
先に、測距をする場合、測距可能な距離範囲ｚは、ｔｄ ≦（Ｔｆ ／２）という条件を満たさなければならないと述べたが、まずこの理由について説明する。図４に示した従来例で記述したように、測距の際、２次元撮像素子１０３ 上の各画素部には、信号蓄積期間Ｔａ 中に光源１０９ からの戻り光の輝度を持った期間（Φｒｅｆ のＯＮしている期間）と２次元撮像素子１０３ の感度を有している期間（ΦＳＭのＯＮしている期間）の重複した期間に発生した信号電荷が蓄積する。よって、ｔｄ が、０≦ｔｄ ≦（Ｔｆ ／２）の期間には、２次元撮像素子１０３ に蓄積する信号電荷Ｈａ は、ｔｄ ＝０の時をＨａ ＝１と規定すれば、ｔｄ が増すにつれてΦｒｅｆ とΦＳＭのＯＮしている期間の重複する期間が減少するので、Ｈａ の値は減少してゆき、ｔｄ ＝（Ｔｆ ／２）の時Ｈａ ＝０となる。一方、（Ｔｆ ／２）＜ｔｄ ＜Ｔｆ の期間については、ｔｄ ＝（Ｔｆ ／２）の時のＨａ ＝０を境に、再び信号電荷Ｈａ は増加に転じ、ｔｄ の時間の増加と共にΦｒｅｆ とΦＳＭのＯＮしている期間の重複する期間が増加するので、Ｈａ の値は増加してゆき、ｔｄ ＝Ｔｆ の時のＨａ ＝１（ｔｄ ＝０の時と等価）まで増加し続けることになる。本測距の距離情報は、蓄積信号電荷から算出しているので、（Ｔｆ ／２）＜ｔｄ ＜Ｔｆ の期間の蓄積信号電荷を測距データとして用いようとしても、０≦ｔｄ ≦（Ｔｆ ／２）の期間に得られたものか否かの判別ができない。このため、測距可能な距離範囲ｚを規定する式（６）には、ｔｄ ≦（Ｔｆ ／２）という条件が含まれることになる。
【００１６】
なお、次式（７）が成立するときも、検出される信号電荷は前記周期の繰り返しになる。
ｔｄ ≦（ｎ・Ｔｆ ）＋（Ｔｆ ／２）・・・・・（７）
但し、ｎは正の整数である。しかし、実際には（７）式において、ｎが１以上では被写体からの戻り光の強度は距離の２乗に比例して弱くなるから、現実的にはｎ＝０のデータを用いることが望ましい。
【００１７】
次に、図１に示した実施の形態の具体的な構成について説明する。図１において、１は被写体からの戻り光（反射光）の結像面を２つ形成するためのハーフミラー、２，３はそれぞれ背景光の影響を除去し、輝度変調された光源の波長帯域の反射光の波長付近の光のみを透過させる第１及び第２の光学バンドパスフィルタ、４，５は第１及び第２の２次元撮像素子、６は２次元撮像素子４，５の感度を変調するための感度変調駆動部、７は２次元撮像素子駆動部、８は制御信号発生器、９は信号処理部、１０は光源駆動部、１１は光源１１ａ，１１ｂを搭載した照明装置、１２は結像光学系、１３は被写体（対象物体）を示している。なお、第１のバンドパスフィルタ２は光源１１ａの光の波長のみを透過し、第２の光学バンドパスフィルタ３は光源１１ｂの光の波長のみを透過するように設定されている。
【００１８】
この実施の形態が図４に示した先に提案したものと異なる点は、先に述べたように、２種の光源を用いて、光源１１ａと光波長、輝度変調周波数の異なる光源１１ｂの被写体１３からの戻り光を、光源１１ａの被写体１３からの戻り光と同時観測するように構成した点であるが、次に、２種の光源を用いた際、異なる光波長と輝度変調周波数にする理由について述べる。異なる輝度変調周波数を用いる理由は、測距範囲と測距精度の両立を図るためである。次に、異なる光波長を用いる理由について述べる。これは、測定系の制約によるものである。照明装置１１から出射した２種の光（変調光）が被写体１３から戻ってきた際、第１，第２の２次元撮像素子４，５に入射する前に、ハーフミラー１で分配される。この光を第１，第２の２次元撮像素子４，５の前面にそれぞれ設置された光学バンドパスフィルタ２，３で、第１，第２の２次元撮像素子４，５がそれぞれ受光する光成分のみに選別する。このように変調周波数の異なる光の分離を可能にするために、異なる光波長の光源を用いることが必要になる。
【００１９】
次に、このように構成した３次元画像入力装置の動作を、図２に示したタイミングチャートを参照しながら説明する。まず、光源１１ａにおける被写体１３からの戻り光を測距する測定系に限って、その動作タイミングについて説明する。図２において、ΦＳ は計測開始パルス、ΦＳＭ１ は第１の２次元撮像素子４の感度を変調するパルス、ΦＬＤ１ は光源１１ａを駆動するパルス、Φｒｅｆ１は光源１１ａから出射され、有限の距離にある被写体１３によって反射されハーフミラー１を介して第１の２次元撮像素子４の受光面上に結像された戻り光、ΦＲＤ１ は第１の２次元撮像素子４から蓄積信号電荷を読み出すための読み出し駆動パルス群、ΦＤＡＴＡ１ は第１の２次元撮像素子４から読み出された蓄積信号電荷を表している。
【００２０】
次に、光源１１ａによる被写体１３からの戻り光を観測する測定系の動作について説明する。ここで説明を簡単にするため、輝度変調並びに感度変調は、期間Ｔｆｇ，デューティー５０％の矩形波でなされており、且つ変調された輝度の最低レベルは輝度０，また変調された感度の最低レベルは感度０に設定されるものと仮定する。また、感度変調しない時の感度を有している状態の感度レベルも１と規定する。
【００２１】
まず、時刻ｔ０ では、事前に第１の２次元撮像素子４の信号電荷は全てはき捨てられており、時刻ｔ０ に計測開始パルスΦＳ が入る。これを起点として測距装置が動作し始める。光源１１ａは、ＯＦＦしている状態で、制御信号発生器８からの制御信号ΦＬＤ１ により、光源駆動部１０は光源１１ａの輝度変調を開始する。また第１の２次元撮像素子４の感度変調駆動部６も制御信号発生器８からの制御信号ΦＳＭ１ により、前記輝度変調周波数と同一の周波数で、第１の２次元撮像素子４の感度変調駆動を開始する（図２の信号蓄積期間Ｔａｇ）。距離ｚにある被写体１３へ光源１１ａから投光された光は、距離ｚを走行して被写体１３に投影されて反射し、再び距離ｚを走行して第１の２次元撮像素子４に結像される。このため距離ｚにある被写体１３からの戻り光Φｒｅｆ１は、ｔｄｇだけ光源１１ａの発光時間より遅れて、第１の２次元撮像素子４へ入射する。
【００２２】
信号蓄積期間Ｔａｇの終了の後、期間Ｒａｇにおいて第１の２次元撮像素子４を駆動して、これらの信号を信号電荷Ｈａｇとして読み出し、信号処理部９の内部に設けた図示しないメモリａｇに格納する。読み出しと同時に、又はその後に各画素の信号電荷をクリアする。次に時刻ｔ１ において、再び、制御信号発生器８からの制御信号ΦＬＤ１ により光源駆動部１０は光源１１ａの輝度変調を開始し、一方第１の２次元撮像素子４の感度変調駆動部６は、第１の２次元撮像素子４が受光状態で且つ一定感度（通常駆動）を維持する（図２の期間Ｔｂｇ）。
【００２３】
この時には、２次元撮像素子の感度変調をさせないので、期間Ｔｂｇ中に各画素内で発生した電荷が全て蓄積することになる。但し、戻り光Φｒｅｆ１の遅延時間ｔｄｇを考慮し、ΦＳＭ１ の立ち下がりのタイミングは期間Ｔｂｇの終了後、Ｔｆｇ／２以上経過時点に設定する。
【００２４】
期間Ｔｂｇが終了の後、期間Ｒｂｇにおいて第１の２次元撮像素子４を駆動して、これらの蓄積信号電荷を読み出し、信号処理部９の内部に設けた図示しないメモリのうち、信号蓄積期間Ｔａｇの終了後に書き込んだメモリａｇとは別のメモリｂｇに格納する。その後、時刻ｔ２ 以前に第１の２次元撮像素子４の信号電荷をはき捨て、時刻ｔ２ に計測開始パルスΦＳ が入り、時刻ｔ０ の時と同様にして測距が開始する。この時刻ｔ０ からｔ２ までが測距の１サイクルであり、実際の測距はこの手順の繰り返しによって行われることになる。上記信号処理部内の各メモリａｇ，ｂｇには、それぞれ信号蓄積期間Ｔａｇ，Ｔｂｇ中の情報（信号電荷）が記憶されており、２次元距離情報は従来例と同様にして簡単に求められる。
【００２５】
以上は、光源１１ａによる被写体１３からの戻り光を観測する場合について説明したが、次に、光源１１ｂにおける被写体１３からの戻り光を測距する測定系に限って、その動作タイミングについて説明する。図２において、ΦＳ は計測開始パルス、ΦＬＤ２ は光源１１ｂを駆動するパルス、ΦＳＭ２ は第２の２次元撮像素子５の感度を変調するパルス、Φｒｅｆ２は光源１１ｂから出射され、有限の距離にある被写体１３によって反射され、ハーフミラー１を介して第２の２次元撮像素子５の受光面上に結像された戻り光、ΦＲＤ２ は第２の２次元撮像素子５からデータ（蓄積信号電荷）を読み出すための読み出し駆動パルス群、ΦＤＡＴＡ２ は第２の２次元撮像素子５から読み出されたデータ（蓄積信号電荷）を表している。
【００２６】
次に、光源１１ｂによる被写体１３からの戻り光を観測する測定系の動作について説明する。基本的な動作は光源１１ａの被写体１３からの戻り光の観測系と同様である。また、検出された信号電荷から２次元距離情報を得る方法も従来例と同様である。異なる点は、光源１１ｂの波長、光源１１ｂを駆動するΦＬＤ２ の輝度変調周波数と、第２の２次元撮像素子５を駆動するΦＳＭ２ の感度変調周波数であり、光源１１ｂからの戻り光Φｒｅｆ２は、ΦＬＤ２ の輝度変調周波数が異なるので、それに伴ってΦｒｅｆ１とは異なった変調になっている。（ΦＬＤ２ の輝度変調周波数と等価）。なお、信号蓄積期間ＴａｇとＴｂｇ，ＴａｈとＴｂｈは、同一期間に設定しなければならない。また、信号蓄積期間Ｔａｇ（Ｔｂｇ）とＴａｈ（Ｔｂｈ）も同一期間に設定するものとする。なお、図２においてｔｄｈはｔｄｇに対応する遅延時間、ＴｆｈはＴｆｇに対応する期間、Ｒａｈ，ＲｂｈはＲａｇ，Ｒｂｇに対応する期間、Ｈａｈ，ＨｂｈはＨａｇ，Ｈｂｇに対応する信号電荷をそれぞれ示している。
【００２７】
次に、このようにして、２種の光源を用いて２つの２次元撮像素子から観測された信号電荷をどのように処理するか、その概念について図３を用いて説明する。図３は、横軸が光源から被写体までの距離ｚを表し、右縦軸は信号電荷比率η，左縦軸は検出階調を表している。なお、説明を簡単にするため、便宜上、検出階調を８階調と仮定している。この１階調範囲内の距離は識別不可能である。よって、ある階調とある階調の範囲内に被写体までの距離ｚが存在する時は、その距離を上位階調と認識するか下位階調と認識するかは予め定義しておく。また、信号電荷比率ηに関しては、ｔｄ ＝０のとき得られる信号電荷を１に規格化している。
【００２８】
図３において、ａが変調周波数の低い光源の測距結果の信号電荷比率の周期を表し、ｂはａの１０倍の変調周波数を持つ光源の測距結果の信号電荷比率周期を表している。また、ａの測距範囲は（６）式より図３に示す通り（ｃ・Ｔ１０）／４であり、ｂの測距範囲は（ｃ・Ｔ１００ ）／４である。ここで、Ｔ１０，Ｔ１００ は、それぞれ変調周波数１０ＭＨｚ ， １００ＭＨｚ の変調周期を示している。
【００２９】
次に、処理手順について説明する。まず、変調周波数の低い一方の光源の被写体までの距離を、測定された信号電荷比率より大雑把につかむ。その後に、他方の変調周波数の高い光源において、測定された信号電荷比率から先に求めた結果より精度の良い距離を求める。図３においては、まずａにおいて被写体までの距離ｚを信号電荷比率から求める。ａからは被写体までの距離ｚはｚ１ 〜ｚ２ の範囲に存在することがわかる。次に、いま求めた結果を基に、ｂで得られた信号電荷比率より光源から被写体までの距離ｚを算出する。この時ｚは、ｚ３ 〜ｚ４ の範囲に存在することがわかる。このように、ｚは先に求めた結果より良い精度で求められることになる。
【００３０】
次に、これを実際にどのようにして求めるかについて説明する。例えば、ａの光源の輝度変調周波数を１０ＭＨｚ ，信号電荷比率をη＝０．６５， ２５６階調の測距、という３つの仮定をした時、（２）式よりｔｄ ＝１７．５〔ｎｓ〕となり、（１）′式より被写体までの距離は、ｚ＝２．６１〜２．６４（ｍ）の範囲に存在することがわかる。これをもとにして、ｂの輝度変調周波数を １００ＭＨｚ に設定した光源の被写体からの戻り光を ２５６階調で測距したデータを比較、算出する。この結果より被写体までの距離がｚ＝２．６２４ 〜２．６２５ （ｍ）の範囲内に存在することがわかる。この例では、輝度変調周波数が１０ＭＨｚ と １００ＭＨｚ の１桁異なる２つの光源による２つの測距結果を組み合わせることにより、輝度変調周波数１０ＭＨｚ の光源からの戻り光の測距範囲７．５０ｍを維持したままで、輝度変調周波数 １００ＭＨｚ の光源からの戻り光の測距によって、分解能を１桁向上した測距が可能となることを示している。もし、単一光源で輝度変調周波数 １００ＭＨｚ の光源からの戻り光の測距を行った場合には、測距精度は輝度変調周波数１０ＭＨｚ の場合に比べ１桁向上するものの、この光源の測距範囲は輝度変調周波数１０ＭＨｚ の場合の１／１０になってしまう。しかし、本発明による構成をとることにより、測距範囲の低下を防ぐことができる。
【００３１】
このように、従来の測距に要する時間を変化させずに、且つ測距範囲を縮小させることなく、測距精度を向上させることを可能にすることができる。なお、本発明に係る３次元画像入力装置においては、測距範囲は用いている光源のなかで最も低い輝度変調周波数で規定され、測距精度は用いている光源のなかで最も高い輝度変調周波数で規定されることになる。
【００３２】
上記実施の形態では、光源を２つ用いる場合について示したが、言うまでもなく光源の数を２つに限る必要はない。また、本発明の基礎は、光源の輝度変調周波数と同期して２次元撮像素子の感度を変調するところにある。したがって、基板電位あるいは受光面に存在する電極電位により、感度が変化する撮像素子全般に、本発明が適用可能である。
【００３３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、複数の２次元撮像素子の感度変調を、光波長、輝度変調周波数の異なる複数の光源の各々の輝度変調に対応させて同期化し、対象物体の２次元距離情報の同時測定を行うように構成しているので、従来の測距に要する時間を変化させずに、且つ測距範囲を縮小させることなく、測距精度を向上させることが可能となる。また、本発明によれば、光の多重性を利用することにより、各波長の光源位置及び撮像素子までの光軸及び距離を揃えることが可能となり、複数の輝度変調周波数の光による並列測定においても、幾何学的精度を保つことが可能になる。
【図面の簡単な説明】
【図１】本発明に係る３次元画像入力装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態の動作を説明するためのタイミングチャートである。
【図３】図１に示した実施の形態における測距処理手順を説明するための概念図である。
【図４】先に提案した３次元画像入力装置を示すブロック構成図である。
【図５】図４に示した３次元画像入力装置の動作を説明するためのブロック構成図である。
【符号の説明】
１ ハーフミラー
２ 第１の光学バンドパスフィルタ
３ 第２の光学バンドパスフィルタ
４ 第１の２次元撮像素子
５ 第２の２次元撮像素子
６ 感度変調駆動部
７ ２次元撮像素子駆動部
８ 制御信号発生器
９ 信号処理部
１０ 光源駆動部
１１ 照明装置
１１ａ，１１ｂ 光源
１２ 結像光学系
１３ 被写体
Claims (2)
- 所定の周波数、持続時間及び繰り返し時間で輝度変調された光ビームを対象物体に投光する光源と、該光源からの光ビームで照明された対象物体の像を結像する結像光学系と、該結像光学系の結像面に設置された光電変換の感度変調が可能な２次元撮像素子と、該撮像素子の感度を決定する電極端子を前記周波数で変調する駆動部と、前記撮像素子の各画素において生成された信号電荷に対応した信号を取り出す読み出し手段とを備え、前記対象物体の２次元距離情報を前記２次元撮像素子の信号電荷の分布から得るようにした３次元画像入力装置において、前記光源からの光ビームは、輝度変調周波数の異なる複数の波長の光ビームにより構成されていることを特徴とする３次元画像入力装置。
- 前記対象物体からの戻り光の結像面を複数形成する光学的分配器を備え、該複数の結像面にはそれぞれ光学的バンドパスフィルタを介して２次元撮像素子を配設し、前記光学的バンドパスフィルタは前記光ビームに含まれる波長成分のうち少なくともひとつの波長の光を透過させると共に、前記２次元撮像素子の感度変調周期は、対応するバンドパスフィルタを透過する波長の光の変調周期と一致するように構成されていることを特徴とする請求項１記載の３次元画像入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17719096A JP3631325B2 (ja) | 1996-06-19 | 1996-06-19 | ３次元画像入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17719096A JP3631325B2 (ja) | 1996-06-19 | 1996-06-19 | ３次元画像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH109834A JPH109834A (ja) | 1998-01-16 |
| JP3631325B2 true JP3631325B2 (ja) | 2005-03-23 |
Family
ID=16026757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17719096A Expired - Fee Related JP3631325B2 (ja) | 1996-06-19 | 1996-06-19 | ３次元画像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3631325B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3840341B2 (ja) | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
| FR2832892B1 (fr) * | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
| JP4673674B2 (ja) * | 2005-06-06 | 2011-04-20 | 株式会社リコー | 形状測定装置 |
| DE102005056265A1 (de) * | 2005-11-14 | 2007-05-16 | Pilz Gmbh & Co Kg | Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage |
| JP2010175435A (ja) * | 2009-01-30 | 2010-08-12 | Nippon Hoso Kyokai <Nhk> | 三次元情報検出装置及び三次元情報検出方法 |
| WO2010100846A1 (ja) * | 2009-03-05 | 2010-09-10 | パナソニック株式会社 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
| CN103261912B (zh) * | 2010-07-29 | 2016-01-20 | 威凯托陵科有限公司 | 用于测量对象的距离和/或强度特性的设备和方法 |
| KR101030763B1 (ko) * | 2010-10-01 | 2011-04-26 | 위재영 | 이미지 획득 유닛, 방법 및 연관된 제어 유닛 |
| EP4016981A3 (en) * | 2013-12-24 | 2022-09-21 | Sony Depthsensing Solutions | A time-of-flight camera system |
| AU2015249509A1 (en) * | 2014-04-22 | 2016-10-27 | Basf Se | Detector for optically detecting at least one object |
| CN107370913B (zh) | 2016-05-11 | 2021-03-16 | 松下知识产权经营株式会社 | 摄像装置、摄像***以及光检测方法 |
-
1996
- 1996-06-19 JP JP17719096A patent/JP3631325B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH109834A (ja) | 1998-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3615959B1 (en) | A pixel structure | |
| US10545237B2 (en) | Method and device for acquiring distance information | |
| JP3631325B2 (ja) | ３次元画像入力装置 | |
| JP4623843B2 (ja) | ３次元画像入力装置 | |
| US7428997B2 (en) | Method and apparatus for illuminating a field-of-view and capturing an image | |
| US7009690B2 (en) | Three-dimensional measurement device and three-dimensional measurement method | |
| US9894347B2 (en) | 3D image acquisition apparatus and method of driving the same | |
| US20230204724A1 (en) | Reducing interference in an active illumination environment | |
| JP2000121339A (ja) | 立体情報検出方法及び装置 | |
| JP3574607B2 (ja) | ３次元画像入力装置 | |
| CN102722076B (zh) | 投影装置及投影方法 | |
| CN106646510A (zh) | 一种基于光子标记的首光子激光成像*** | |
| US20210103054A1 (en) | Distance measurement device and distance measurement system | |
| JP5271643B2 (ja) | 光飛行時間型距離画像センサの制御方法およびそのシステム | |
| US20160065942A1 (en) | Depth image acquisition apparatus and method of acquiring depth information | |
| US20060257140A1 (en) | Device and method for generating images | |
| KR102434786B1 (ko) | 거리 측정을 위한 방법 및 디바이스 | |
| US7375311B2 (en) | Scanned-beam imager with phase offset photon emission imaging | |
| US20190293797A1 (en) | 3d imaging system and method of 3d imaging | |
| CN115986556A (zh) | Vcsel阵列驱动装置及双目tof深度感知*** | |
| US20210014401A1 (en) | Three-dimensional distance measuring method and device | |
| EP4057614A1 (en) | Method and imaging system for generating a gray-scale image | |
| CN114063044A (zh) | 用于飞行时间感测的方法和装置 | |
| JPH01106486A (ja) | 半導体レーザアレイの光量モニタ方法 | |
| CN117804342A (zh) | 一种三维扫描仪和三维扫描方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |