JP2009124398A

JP2009124398A - 距離画像生成装置

Info

Publication number: JP2009124398A
Application number: JP2007295659A
Authority: JP
Inventors: Ryohei Ikeno; 良平池野; Takashi Kawada; 任史河田; Hideki Urabe; 秀樹浦邊
Original assignee: Stanley Electric Co Ltd
Current assignee: Stanley Electric Co Ltd
Priority date: 2007-11-14
Filing date: 2007-11-14
Publication date: 2009-06-04
Anticipated expiration: 2027-11-14
Also published as: US7697119B2; JP5019117B2; US20090122297A1

Abstract

【課題】誤った距離値の画素等を含む混信距離画像を生成することを防止又は低減することができる距離画像生成装置を提供する。
【解決手段】対象空間に変調光を照射する光源と、前記光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、フレームレート又は電荷蓄積時間ごとに、変調周波数を変更する周波数可変部と、前記周波数可変部によって変更された変調周波数に同期して、前記光源及び前記撮像素子を制御する制御手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、距離画像生成装置に係り、特に誤った距離値の画素等を含む混信距離画像を生成することを防止又は低減することができる距離画像生成装置に関する。

従来、光源から変調光を照射し、対象物で反射した光を光電変換素子により受光して電荷に変換し、光源の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分け、該複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成装置が知られている（例えば、特許文献１）。

この種の距離画像生成装置においては、変調光を照射し、反射光の位相差を求めて距離を計測しているため、他の距離画像生成装置が撮影範囲に存在する場合、該他の距離画像生成装置から照射される変調光を直接受光してしまう。このとき、自己の距離画像生成装置から照射される変調光の変調周波数と、他の距離画像生成装置から照射される変調光の変調周波数が同一であると、該他の距離画像生成装置の光源や、該他の距離画像装置の光源から照射された変調光の反射光成分を含む入射光の位相差を誤検出し、誤った距離値の画素を含む距離画像（以下、混信距離画像ともいう）を生成する可能性がある。
特開２００４−３２６８２号公報

本発明は、このような事情に鑑みてなされたものであり、誤った距離値の画素等を含む混信距離画像を生成することを防止又は低減することができる距離画像生成装置を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、対象空間に変調光を照射する光源と、前記光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、フレームレート又は電荷蓄積時間ごとに、変調周波数を変更する周波数可変部と、前記周波数可変部によって変更された変調周波数に同期して、前記光源及び前記撮像素子を制御する制御手段と、を備えることを特徴とする。

請求項１に記載の発明によれば、フレームレート又は電荷蓄積時間ごとに、光源及び撮像素子を同期制御するための変調周波数を変更する周波数可変部を備えているので、自己の距離画像生成装置及び他の距離画像生成装置から照射される変調光の変調周波数が同一となる確率が極めて小さくなる。従って、請求項１に記載の距離画像生成装置によれば、誤った距離値の画素を含む混信距離画像を生成することを防止又は低減することが可能となる。

請求項２に記載の発明は、請求項１に記載の発明において、前記周波数可変部は、前記変調周波数を、ランダム又は一定の規則に従って変更することを特徴とする。

請求項２に記載の発明によれば、光源及び撮像素子を同期制御するための変調周波数をランダム又は一定の規則に従って変更するので、自己の距離画像生成装置及び他の距離画像生成装置から照射される変調光の変調周波数が同一となって混信距離画像を生成する確率が極めて小さくなる。すなわち、請求項１に記載の距離画像生成装置によれば、誤った距離値の画素を含む距離画像を生成することを防止又は低減することが可能となる。

請求項３に記載の発明は、請求項２又は３に記載の発明において、前記周波数可変部は、前記変調周波数を、予め定められた基準変調周波数に対してフレームレート又は光蓄積時間の整数倍の周波数を増減した周波数に変更することを特徴とする。

請求項３に記載の発明によれば、光源及び撮像素子を同期制御するための変調周波数を予め定められた基準変調周波数に対してフレームレート（又は光蓄積時間）の整数倍の周波数を増減した周波数に変更するので、自己の距離画像生成装置から照射される変調光の変調周波数ｆ_ｔと、他の距離画像生成装置から照射される変調光の変調周波数ｆ_ｓの関係が、ｆ_ｔ−ｆ_ｓ＝±フレームレートＲ×ｎ（ｎは、１以上の整数。）の関係を満たす。この関係を満たした場合、他の距離画像生成装置から照射され自己の距離画像生成装置（撮像素子）に入射した変調光により発生した電荷は、１フレーム全体を通してみると、数万〜数十万周期の電荷振り分けにより、各々の電荷蓄積部に均等に割り振られる。このため、他の距離画像生成装置から照射され自己の距離画像生成装置（撮像素子）に入射した変調光は、一様な背景光と同等とみなせる。従って、他の距離画像生成装置から照射された変調光が自己の距離画像生成装置（撮像素子）に入射したとしても、上記関係を満たす限り、該他の距離画像生成装置から照射された変調光の影響を受けることなく、正確な距離値の距離画像を生成することが可能となる。

請求項４に記載の発明は、請求項１から３のいずれかに記載の発明において、前記距離画像生成部により連続した時間に生成された複数の距離画像を比較し、当該複数の距離画像のうち少なくとも１つの距離画像が有限の値を示す画素を含み、かつ、他の距離画像中の同一位置の画素が無限遠又は測定不能を示す場合に、前記有限の値を示す画素を、他の距離画像生成装置の光源と判断する判断部を備えることを特徴とする。

請求項４に記載の発明によれば、複数の距離画像のうち少なくとも１つの距離画像が有限の値を示す画素を含み、かつ、他の距離画像中の同一位置の画素が無限遠又は測定不能を示す場合に、前記有限の値を示す画素を、他の距離画像生成装置の光源として特定することが可能となる。

請求項５に記載の発明は、請求項４に記載の発明において、前記判断部によって他の距離画像生成装置の光源と判断された画素の距離値を、該画素に空間的に隣接した画素の距離値で置き換える手段を備えることを特徴とする。

請求項５に記載の発明によれば、仮に、自己の距離画像生成装置及び他の距離画像生成装置から照射される変調光の変調周波数が同一となり、混信距離画像が生成されたとしても、他の距離画像生成装置の光源と判断された画素の距離値を、該画素に空間的に隣接した画素の距離値で置き換えるので、適切な距離画像を得ることが可能となる。

請求項６に記載の発明は、請求項１から３のいずれかに記載の発明において、前記距離画像生成部により連続した時間に生成された複数の距離画像を比較し、当該複数の距離画像のうち少なくとも１つの距離画像が実際の距離と大きく異なる距離値又は測定不能の画素を含み、かつ、他の距離画像中の同一位置の画素が適正な距離値を示す場合に、前記実際の距離と大きく異なる距離値又は測定不能の画素を混信した物体と判断する判断部を備えることを特徴とする。

請求項６に記載の発明によれば、複数の距離画像のうち少なくとも１つの距離画像が実際の距離と大きく異なる距離値又は測定不能の画素を含み、かつ、他の距離画像中の同一位置の画素が適正な距離値を示す場合に、前記実際の距離と大きく異なる距離値又は測定不能の画素を混信した物体として特定することが可能となる。

請求項７に記載の発明は、請求項６に記載の発明において、前記判断部によって混信した物体と判断された画素の距離値を、該画素に時間的に隣接した画素の距離値で置き換える手段を備えることを特徴とする。

請求項７に記載の発明によれば、仮に、自己の距離画像生成装置及び他の距離画像生成装置から照射される変調光の変調周波数が同一となり、混信距離画像が生成されたとしても、混信した物体と判断された画素の距離値を、該画素に時間的に隣接した画素の距離値で置き換えるので、適切な距離画像を得ることが可能となる。

また、請求項４に記載の発明は、次のように特定することもできる。

請求項１から３のいずれかに記載の発明において、前記距離画像生成部により連続した時間に生成された複数の（少なくとも２つ、又は３つ以上の）距離画像を比較し、一方の距離画像（特定の距離画像）では有限の値を示す画素のうち、他方の距離画像（複数の距離画像のうち特定の距離画像以外の距離画像）中の同一位置の画素が無限遠又は測定不能を示す画素を、他の距離画像生成装置の光源と判断する判断部を備えることを特徴とする距離画像生成装置。

この発明によれば、一方の距離画像では有限の値を示す画素のうち、他方の距離画像中の同一位置の画素が無限遠又は測定不能を示す画素（混信によって異常な値を示す画素）を、他の距離画像生成装置の光源として特定することが可能となる。

また、請求項６に記載の発明は、次のように特定することもできる。

請求項１から３のいずれかに記載の発明において、前記距離画像生成部により連続した時間に生成された複数の（少なくとも２つ、又は３つ以上の）距離画像を比較し、一方の距離画像（特定の距離画像）では実際の距離と大きく異なる距離値又は測定不能の画素のうち、他方の距離画像（複数の距離画像のうち特定の距離画像以外の距離画像）中の同一位置の画素が適正な距離値の画素を、混信した物体と判断する判断部を備えることを特徴とする距離画像生成装置。

この発明によれば、一方の距離画像では実際の距離と大きく異なる距離値又は測定不能の画素のうち、他方の距離画像中の同一位置の画素が適正な距離値の画素を混信した物体として特定することが可能となる。

本発明によれば、誤った距離値の画素等を含む混信距離画像を生成することを防止又は低減することができる距離画像生成装置を提供することが可能となる。

以下、本発明の一実施形態である距離画像生成装置について図面を参照しながら説明する。

図１は、第一実施形態である距離画像生成装置のブロック図である。図１に示すように、距離画像生成装置１は、自動車等の車両に搭載されるものであり、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、距離画像生成部１７、周波数可変部１８等を備えている。

光源１１は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する光源であり、例えば、ＬＥＤ等の高速変調が可能なデバイスが用いられる。撮像素子１５は、複数の光電変換素子（画素ともいう）、光電変換素子ごとに設けられた複数の電荷蓄積部、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける振り分け手段等を備えている（いずれも図示せず）。光電変換素子は、光源１１から照射され対象空間に存在する物体で反射した反射光１４を受光して電荷に変換する。振り分け手段は、制御部１６の同期信号に従って、光電変換素子によって変換された電荷を、複数の電荷蓄積部に高速に振り分ける。距離画像生成部１７は、振り分けられた電荷に基づいて所定演算を行い、光源１１との位相差を算出し、画素値が距離値である距離画像を生成する。

図２は、距離画像を生成する原理を説明するための図である。図２中、正弦波２１は、光源１１から照射された変調光を表しており、正弦波２２は、光源１１から照射された変調光のうち、対象空間に存在する物体で反射し撮像素子１５へ入射する反射光を表している。正弦波２１と正弦波２２との位相差φは、光の対象物までの飛行時間によって生じる遅延を表している。

図２では、光源１１の変調の１周期を４つの期間に分けて４つの電荷蓄積部に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。

光の速度は既知であるから、この位相差φを求めることで対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。

なお、一般的な画像データとして用いる電荷量平均Ａは、次の式で表される。

また、対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。

一般的に光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。

以上の原理により、距離画像生成部１７は、画素値が距離値である距離画像を生成する。

しかし、図３に示すように、撮像素子１５の撮像範囲（例えば、対向車線）に距離画像生成装置１を搭載した他車３１（の光源１１）が存在し、該他車３１（の光源１１）から同一変調周波数の変調光が照射されている場合、図４に示すように、撮像素子１５には、自車（の光源１１）から照射され他車３１（の光源１１）で反射した反射光だけでなく、他車３１（の光源１１）から照射された変調光４２（直接光）も入射する。なお、図４中、正弦波４１は、自車（の光源１１）から照射された変調光を表している。自車（の光源１１）から照射され他車３１（の光源１１）で反射した反射光は、他車３１（の光源１１）から照射された変調光４２と比較して無視できるほど小さい。このため、距離画像生成部１７は、自車（の光源１１）から照射された変調光と、他車（の光源１１）から照射された変調光４２との位相差を誤って算出し、有限の誤った距離値の画素を含む距離画像（以下、混信距離画像ともいう。）を生成する。

また、図３に示すように、撮像素子１５の撮像範囲（例えば、対向車線）に距離画像生成装置１を搭載した他車３１（の光源１１）が存在し、該他車３１（の光源１１）から同一変調周波数の変調光が照射されている場合、図５に示すように、撮像素子１５には、自車（の光源１１）から照射されある物体で反射した反射光５１だけでなく、他車（の光源１１）から照射され同一の物体で反射した反射光５２も入射する。この場合、距離画像生成部１７は、自車（の光源１１）から照射された変調光と、反射光５１及び反射光５２の合成波５３との位相差を誤って算出し、実際の距離と大きく異なる距離値又は測定不能の画素を含む距離画像（以下、混信距離画像ともいう。）を生成する。

以上のように、撮像素子１５の撮像範囲（例えば、対向車線）に距離画像生成装置１を搭載した他車３１（の光源１１）が存在し、該他車３１（の光源１１）から同一変調周波数の変調光が照射されている場合、正しい距離値の距離画像を生成することができない可能性がある。この問題を解消するべく、本実施形態の距離画像生成装置１は、周波数可変部１８を備えている。

周波数可変部１８は、予め定められたフレームレート（又は、電荷蓄積時間）ごとに、変調周波数を、基準変調周波数±フレームレートの整数倍の周波数に変更し（ランダムに又は一定の規則に従って）、該変更後の変調周波数を、制御部１６に通知する。制御部１６は、変更後の変調周波数に同期して、光源１１と撮像素子１５を制御する。

このように、予め定められたフレームレート（又は、電荷蓄積時間）ごとに、変調周波数を、基準変調周波数±フレームレートの整数倍の周波数に変更するようにしたので、自車（の光源１１）及び他車３１（の光源１１）から照射される変調光の変調周波数が同一となる確率が極めて小さくなる。従って、誤った距離値等の画素を含む混信距離画像を生成することを防止又は低減することが可能となる。

両変調光の変調周波数が同一となって混信距離画像を生成する確率は、例えば、後述のように、基準変調周波数を１０ＭＨｚ、フレームレートを３０Ｈｚ、周波数変動範囲を９．５ＭＨｚ〜１０．５ＭＨｚに設定した場合、３３３３３分の１（２０分に１フレーム程度）である。

このように、予め定められたフレームレート（又は、電荷蓄積時間）ごとに、変調周波数を変更したとしても、同一の物体に対しては、フレームごとに同一の距離を測定することが可能である。図６は、このことを説明するための図である。図６に示すように、あるフレームＩ_ｔの変調周波数をｆ_ｔ、このフレームＩ_ｔで得られた、一定距離に存在する物体からの反射光の位相差をφ_ｔ、その次のフレームＩ_ｔ＋１の変調周波数をｆ_ｔ＋１、このフレームＩ_ｔ＋１で得られた、同一物体からの反射光の位相差をφ_ｔ＋１とすると、各フレームの計測距離Ｌは、次の式で表される。

フレームＩ_ｔとＩ_ｔ＋１は変調周波数が異なるため、一定距離に存在する物体からの反射光の位相差φｔとφｔ＋１は異なる。しかし、計測距離Ｌ_ｔとＬ_ｔ＋１は、同じ値になる。

ただし、変調周波数は、測定対象物体が計測距離範囲に十分含まれる範囲（例えば、９．５ＭＨｚ〜１０．５ＭＨｚ）で変更しなければならない。これは、変調周波数は計測距離範囲と反比例の関係があるので、変調周波数を大きく変えると、フレームごとに計測距離範囲が大きく変わってしまうからである。なお、変調周波数が９．５ＭＨｚ、１０．５ＭＨｚの計測距離範囲は、それぞれ、０〜１５．７９ｍ、０〜１４．２９ｍである。

上記のように、変調周波数を、基準変調周波数±フレームレートＲの整数倍の周波数に変更するようにしたので、ｆ_ｔ−ｆ_ｓ＝±フレームレートＲ×ｎ（ただし、ｆ_ｔは、自車の変調周波数、ｆ_ｓは、他車３１の変調周波数、ｎは、１以上の整数。）の関係を満たす。この関係を満たした場合、他車３１（の光源１１）から照射され撮像素子１５に入射した変調光により発生した電荷は、１フレーム全体を通してみると、数万〜数十万周期の電荷振り分けにより、各々の電荷蓄積部に均等に割り振られる。このため、他車３１（の光源１１）から照射され撮像素子に入射した変調光は、一様な背景光と同等とみなせる。従って、他車３１（の光源１１）から照射された変調光が入射したとしても、上記関係を満たす限り、距離画像生成部１７は、該他車３１（の光源１１）から照射された変調光の影響を受けることなく、正確な距離値の距離画像を生成することが可能となる。

しかし、上記のように、予め定められたフレームレートＲ（又は、電荷蓄積時間）ごとに、変調周波数を、基準変調周波数±フレームレートの整数倍の周波数に変更したとしても、一定の確率で、両変調光の変調周波数が同一となって混信距離画像を生成する。

例えば、基準変調周波数を１０ＭＨｚ、フレームレートＲを３０Ｈｚ、周波数変動範囲を９．５ＭＨｚ〜１０．５ＭＨｚに設定した場合、図７に示すように、周波数可変部１８は、３３３３３通りの変調周波数の中のいずれかの変調周波数に変更可能である。この場合、他車３１（の光源１１）から照射された変調光と同一の変調周波数となる確率は、３３３３３分の１（２０分に１フレーム程度）である。すなわち、基準変調周波数を１０ＭＨｚ、フレームレートＲを３０Ｈｚ、対象物体が計測距離範囲に十分含まれる範囲を９．５ＭＨｚ〜１０．５ＭＨｚに設定した場合、距離画像生成部１７は、２０分に１フレーム程度、有限の誤った距離値の画素を含む混信距離画像を生成する可能性がある。

しかし、有限の誤った距離値の画素を含む混信距離画像が生成されたとしても、周波数可変部１８はフレームレートＲ（又は、電荷蓄積時間）ごとに変調周波数を変更するので、やがて変調周波数が変更され、撮像素子には、他車（の光源１１）から照射された異なる変調周波数の変調光（直接光）が入射する。該他車（の光源１１）から照射された異なる変調周波数の変調光（直接光）により発生した電荷は、各々の電荷蓄積部に均等に割り振られるため、強い均一光が検出される。このため、距離画像生成部１７は、有限の誤った距離値の画素を含む混信距離画像の次に、無限遠又は測定不能の画素を含む距離画像を生成する。

従って、時間的に連続するフレーム間の同一位置の画素（距離値）の変化（有限の誤った距離値→無限遠又は測定不能）に着目すれば、有限の誤った距離値の画素を含む混信距離画像を検出することが可能となる。

例えば、図８に示すように、距離画像生成部１７によって距離画像が生成されるごとに（ステップＳ１０）、該生成された距離画像と該距離画像前後のフレーム（距離画像）とを画素ごとに比較し（ステップＳ１１）、ステップＳ１０で生成された距離画像中に、有限の距離値を持ち、かつ、フレーム間で大きな変化がない画素があるか否かを判定する（ステップＳ１２）。そのような画素が存在する場合（ステップＳ１２：Ｙｅｓ）、その画素の距離値は正常であると判断する（ステップＳ１３）。

一方、そのような画素が存在しない場合（ステップＳ１２：Ｎｏ）、ステップＳ１０で生成された距離画像（本発明の一方の距離画像に相当）では有限の距離値を示す画素のうち、該距離画像前後のフレーム（本発明の他方の距離画像に相当）中の同一位置の画素が無限遠又は測定不能を示す画素が存在するか否かを判定する（ステップＳ１５）。そのような画素が存在する場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１０で生成された距離画像は有限の誤った距離値を持つ画素を含む混信距離画像であり、かつ、ステップＳ１０で生成された距離画像中の有限の距離値を持つ画素は、混信を起こした他車３１の光源１１であると判断する（ステップＳ１６）。そして、ステップＳ１０で生成された距離画像中の有限の距離値を持つ画素（すなわち、混信を起こした他車３１の光源１１であると判断された画素）を、ステップＳ１０で生成された距離画像中の該画素に隣接する画素（空間的に隣接する画素）の距離値で補完する（ステップＳ１７）。従って、仮に、自車（の光源１１）及び他車（の光源１１）から照射される変調光の変調周波数が同一となり、有限の誤った距離値の画素を持つ混信距離画像が生成されたとしても、適切な距離画像を得ることが可能となる。

また、基準変調周波数を１０ＭＨｚ、フレームレートを３０Ｈｚ、対象物体が計測距離範囲に十分含まれる範囲を９．５ＭＨｚ〜１０．５ＭＨｚに設定した場合、距離画像生成部１７は、２０分に１フレーム程度、実際の距離と大きく異なる距離値又は測定不能の画素を含む混信距離画像を生成する可能性がある。

しかし、実際の距離と大きく異なる距離値又は測定不能の画素を含む混信距離画像が生成されたとしても、周波数可変部１８はフレームレートＲ（又は、電荷蓄積時間）ごとに変調周波数を変更するので、やがて変調周波数は変更され、撮像素子には、他車３１（の光源１１）から照射された異なる変調周波数の変調光（ある物体で反射した反射光）が入射する。該他車（の光源１１）から照射された異なる変調周波数の変調光（ある物体で反射した反射光）により発生した電荷は、各々の電荷蓄積部に均等に割り振られる。このため、距離画像生成部１７は、実際の距離と大きく異なる距離値又は測定不能の画素を含む混信距離画像の次に、適正な距離値の距離画像を生成する。

従って、時間的に連続するフレーム間の同一位置の画素（距離値）の変化（実際の距離と大きく異なる距離値又は測定不能→適正な距離値）に着目すれば、実際の距離と大きく異なる距離値又は測定不能の画素を含む混信距離画像を検出することが可能となる。

例えば、図８に示すように、距離画像生成部１７によって距離画像が生成されるごとに（ステップＳ１０）、該生成された距離画像と該距離画像前後のフレーム（距離画像）とを画素ごとに比較する（ステップＳ１１）。そして、ステップＳ１０で生成された距離画像（本発明の一方の距離画像に相当）では実際の距離と大きく異なる距離値（異常距離値）又は測定不能の画素のうち、該距離画像前後のフレーム（本発明の他方の距離画像に相当）中の同一位置の画素が適正な距離値の画素が存在するか否かを判定する（ステップＳ１８）。そのような画素が存在する場合（ステップＳ１８：Ｙｅｓ）、ステップＳ１０で生成された距離画像は実際の距離と大きく異なる距離値（異常距離値）又は計測不能の画素を含む混信画像であり、かつ、ステップＳ１０で生成された距離画像中の実際の距離と大きく異なる距離値（異常距離値）又は計測不能の画素は混信した物体であると判断する（ステップＳ１９）。例えば、少なくとも３つの距離画像を比較し、少なくとも２つの距離画像で類似した距離値を持つ画素が、他方の距離画像の同一画素で一定の閾値以上の差を持つ距離値をもった場合、この画素を混信した物体と判断する。そして、ステップＳ１０で生成された距離画像中の実際の距離と大きく異なる距離値（異常距離値）又は測定不能の画素（すなわち、混信した物体であると判断された画素）を、ステップＳ１０で生成された距離画像前後のフレーム中の同一位置の画素（時間的に隣接する画素）の距離値で補完する（ステップＳ２０）。従って、仮に、自車（の光源１１）及び他車（の光源１１）から照射される変調光の変調周波数が同一となり、実際の距離と大きく異なる距離値（異常距離値）又は測定不能の画素を持つ混信距離画像が生成されたとしても、適切な距離画像を得ることが可能となる。

なお、そのような画素が存在しない場合（ステップＳ１８：Ｎｏ）、この画素の距離値は異常であると判断する（ステップＳ２１）。以上のステップＳ１１〜Ｓ２１の処理をステップＳ１０で生成された距離画像の各画素について行う。

以上説明したように、本実施形態の距離画像生成装置１によれば、フレームレート（又は電荷蓄積時間）ごとに、光源１１及び撮像素子１５を同期制御するための変調周波数を変更する周波数可変部１８を備えているので、自己の距離画像生成装置１（すなわち、自車に搭載された距離画像生成装置１）及び他の距離画像生成装置１（すなわち、他車３１に搭載された距離画像生成装置１）から照射される変調光の変調周波数が同一となる確率が極めて小さくなる。従って、本実施形態の距離画像生成装置１によれば、誤った距離値等の画素を含む混信距離画像を生成することを防止又は低減することが可能となる。

上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神または主要な特徴から逸脱することなく他の様々な形で実施することができる。

本発明の一実施形態である距離画像生成装置のブロック図である。距離画像を生成する原理を説明するための図である。撮像素子１５の撮像範囲に他車（の光源１１）が存在している例である。撮像素子１５には、自車（の光源１１）から照射され他車３１（の光源１１）で反射した反射光だけでなく、他車３１（の光源１１）から照射された変調光４２（直接光）も入射することを説明するための図である。撮像素子１５には、自車（の光源１１）から照射されある物体で反射した反射光５１だけでなく、他車（の光源１１）から照射され同一の物体で反射した反射光５２も入射することを説明するための図である。フレームレート（又は、電荷蓄積時間）ごとに、変調周波数を変更したとしても、同一の物体に対しては、フレームごとに同一の距離を測定することが可能であることを説明するための図である。周波数可変部１８が変調可能な変調周波数を説明するための図である。本発明の一実施形態である距離画像生成装置１の動作例を説明するためのフローチャートである。

符号の説明

１…距離画像生成装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１５…撮像素子、１６…制御部、１７…距離画像生成部、１８…周波数可変部、３１…他車

Claims

対象空間に変調光を照射する光源と、
前記光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、
前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、
フレームレート又は電荷蓄積時間ごとに、変調周波数を変更する周波数可変部と、
前記周波数可変部によって変更された変調周波数に同期して、前記光源及び前記撮像素子を制御する制御手段と、
を備えることを特徴とする距離画像生成装置。
前記周波数可変部は、前記変調周波数を、ランダム又は一定の規則に従って変更することを特徴とする請求項１に記載の距離画像生成装置。
前記周波数可変部は、前記変調周波数を、予め定められた基準変調周波数に対してフレームレート又は光蓄積時間の整数倍の周波数を増減した周波数に変更することを特徴とする請求項１又は２に記載の距離画像生成装置。
前記距離画像生成部により連続した時間に生成された複数の距離画像を比較し、当該複数の距離画像のうち少なくとも１つの距離画像が有限の値を示す画素を含み、かつ、他の距離画像中の同一位置の画素が無限遠又は測定不能を示す場合に、前記有限の値を示す画素を、他の距離画像生成装置の光源と判断する判断部を備えることを特徴とする請求項１から３のいずれかに記載の距離画像生成装置。
前記判断部によって他の距離画像生成装置の光源と判断された画素の距離値を、該画素に空間的に隣接した画素の距離値で置き換える手段を備えることを特徴とする請求項４に記載の距離画像生成装置。
前記距離画像生成部により連続した時間に生成された複数の距離画像を比較し、当該複数の距離画像のうち少なくとも１つの距離画像が実際の距離と大きく異なる距離値又は測定不能の画素を含み、かつ、他の距離画像中の同一位置の画素が適正な距離値を示す場合に、前記実際の距離と大きく異なる距離値又は測定不能の画素を混信した物体と判断する判断部を備えることを特徴とする請求項１から３のいずれかに記載の距離画像生成装置。
前記判断部によって混信した物体と判断された画素の距離値を、該画素に時間的に隣接した画素の距離値で置き換える手段を備えることを特徴とする請求項６に記載の距離画像生成装置。