JP7096701B2

JP7096701B2 - 撮像装置

Info

Publication number: JP7096701B2
Application number: JP2018091755A
Authority: JP
Inventors: 制時今川; 彰二村松; 圭一別井
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2022-07-06
Anticipated expiration: 2038-05-10
Also published as: WO2019216020A1; CN111971527A; JP2019197008A; CN111971527B

Description

本発明は、構造化光を用いて物体までの距離を取得する撮像装置に関する。

物体までの距離を取得する技術として、対象物に対して光を照射し、対象物から反射された光を計測することにより、対象物までの距離を計測するものがある。さらに、対象物に対して複数種類の光を照射し、それぞれの光を計測した結果を用いて測距する場合もある。

下記特許文献１は、ステレオカメラを用いる物体認識装置について記載している。同文献は、『対象物体１に光を投光する投光ユニット１１０を有しその反射光より対象物体１までの距離を求めるためのアクティブレンジファインダー１００と、対象物体１からの画像情報に基づいて当該対象物体１までの距離を求めるためのステレオカメラ２００と、アクティブレンジファインダー１００からの出力信号Ｓ１とステレオカメラ２００からの出力信号Ｓ２とに基づいて対象物体１を認識する物体認識手段３１０と、アクティブレンジファインダー１００の投光ユニット１１０で投光される光をステレオカメラ２００の補助光として照射するように投光ユニット１１０を動作制御する補助光制御手段３２０と、を備えたことを主たる特徴としている。』という技術を開示している（要約参照）。

下記特許文献２は、均一パターン光とランダムパターン光を照射して視認性の低下を抑制する技術を記載している。同文献は、『車両本体に搭載され、輝度分布が異なる均一パターン光及びランダムパターン光を異なる時間帯に投光する、ヘッドライト装置１０を含む投光装置と、該投光装置の投光範囲を撮像する、左右の２つの撮像部を含むステレオカメラ２０と、を備えている。この場合、視認性の低下を抑制しつつ物体情報の検出に有効な画像を得ることができる。』という技術を開示している（要約参照）。

特開２００５－０７７１３０号公報特開２０１６－１７０１６３号公報

車両に備えた光源から照射したパターン光をカメラにより撮像すると、遠方ほどパターンの輝度は低下し、パターン画像のコントラストは低下する。また、等幅の直線パターンや平行直線からなるパターンをカメラで撮像すると、パターンが遠近法における消滅点に向かって収束するような画像が得られることになる。そうすると、遠方ほどパターン幅や直線の間隔が狭くなるので、カメラの空間分解能に起因してパターン画像のコントラストは低下する。これらの影響により、構造化パターン光を用いたとしても、物体の距離計測性能は劣化する。

本発明は、上記のような課題に鑑みてなされたものであり、構造化光を用いて物体までの距離を取得する際に、遠方の物体であっても精度よく距離を計測することができる技術を提供することを目的とする。

本発明に係る撮像装置は、光源から投光箇所までの距離にしたがって、構造化光の光強度、または構造化光のパターンサイズ、のうち少なくともいずれかを変更する。

本発明に係る撮像装置によれば、暗所などのように画像のコントラストが低い環境においても、遠方に対する測距を精度よく実施することができる。これにより、例えば本発明に係る撮像装置を搭載した車両は、走行可能経路の有無や回避要否の判断を、高い信頼性で実施することができる。

実施形態１に係るステレオカメラ１００の構成図である。ヘッドライト２００が構造化光を投光したときの投光パターンの１例を示している。補完パターンの例である。図２の構造化パターンと図３の構造化パターンを時間平均した結果である。撮像素子の各行の露光タイミングが同時であるグローバルシャッタ方式を想定したパターン切替えタイミングの例である。撮像素子の各行の露光タイミングがずれているローリングシャッタ方式の撮像素子を想定した例である。フレーム周期と比較して露光時間が相対的に長い例である。カメラ１の撮像素子とカメラ２の撮像素子との間の位置関係を上下にずらした例である。走行速度が所定速度以上の場合における投光範囲を例示する図である。走行速度が所定速度以下の場合における投光範囲を例示する図である。自車の前方に先行車がいることを検出した例である。左にハンドルをきった場合における投光範囲の例である。エリアマッチング方式によるマッチングの説明図である。投光エリアごとに光強度を変える例である。構造化パターンと補間パターンの投光エリア毎の光強度の例である。構造化パターンと補間パターンの投光エリア毎の光強度の別例である。実施形態２に係るステレオカメラ７００の構成図である。レーザ光源７０７が構造化光を投光したときの投光パターンの１例である。２本の類似直線を識別するための投光パターンを示す図である。撮像画像上の直線パターンがいずれの直線であるのかを識別する判断基準の例である。直線パターンの光強度／直線幅／並びによって直線を区別する方法の１例である。直線パターンの色／並びによって直線を区別する方法の１例である。走行速度が所定速度以上の場合における投光範囲を例示する図である。走行速度が所定速度以下の場合における投光範囲を例示する図である。左にハンドルをきった場合における投光範囲の例である。ステレオカメラ７００が加速度センサ７０８を搭載する構成例である。実施形態３に係るカメラ１０００の構成図である。実施形態４に係るカメラ１４００の構成図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係るステレオカメラ１００の構成図である。ステレオカメラ１００は、車両が搭載するヘッドライトを用いて構造化光を投光する撮像システムである。ステレオカメラ１００は、光学部１０１、信号処理部１０２、距離演算部１０３、物体認識部１０４、車両制御部１０５、コントロール部１０６を備える。ステレオカメラ１００を搭載する車両は、ヘッドライト２００、ヘッドライト３００、車両コントローラ４００を備える。信号ａ、ｂ１、ｂ２については後述する。

ステレオカメラ１００は、ステレオカメラを搭載する車両のアクセサリー電源がＯＮされると、立ち上げ動作および自己診断を実施した後、測距動作を開始する。光学部１０１は、レンズと撮像素子のペアを２ペア有する。光学部１０１は、コントロール部１０６からの情報に基づいて、シャッタ速度やゲインなどの露光設定を決定して各々の撮像素子により撮像を実施し、取得した２つの画像データを信号処理部１０２に送る。信号処理部１０２は、光学部１０１から送られた２つの画像データの輝度／色／歪みを補正し、補正した２つの画像データを距離演算部１０３に送る。距離演算部１０３は、信号処理部１０２から送られた画像データから両画像の対応点を検索し、対応点の視差に基づいて対応点までの距離を算出し、算出した距離情報を物体認識部１０４に送る。物体認識部１０４は、距離演算部１０３から送られた距離情報に基づいて、物体の検出および認識を実施し、得られた物体情報を車両制御部１０５に送る。車両制御部１０５は、物体認識部１０４から送られた物体情報に基づいて、車両の加速／減速／操舵、車両の光源の制御、ワイパーの制御、搭乗者への注意や付加情報の通知を行うための信号を生成し、生成した制御信号を車両コントローラ４００に送る。車両コントローラ４００は、送られた制御信号に基づいて車両の動作をコントロールする。

図２は、ヘッドライト２００が構造化光を投光したときの投光パターンの１例を示している。説明のため一方のヘッドライト２００の投光のみを示している。白に近い塗り潰し部ほど照度が高く、黒に近い塗り潰し部ほど照度が低いことを示している。ヘッドライト２００を中心とした円周方向に沿って、低照度部分と高照度部分とを交互に投光する。この投光パターンをステレオカメラ１００が撮像した場合、周辺が暗いあるいは画像が低コントラストとなる環境であったとしても、低照度部分と高照度部分との間の境界で生じるエッジ部分において、視差を得ることができる。

図２の投光パターンは、半径方向に沿って中心（ヘッドライト２００）に近いほど暗く、中心から遠いほど明るい。一般に撮像画像上の輝度は遠方ほど低いが、図２のように遠方ほど照度を高くすることにより、画像上に形成されるエッジは距離に拠らず同等の輝度差とすることができる。これにより遠方であっても安定して視差を得ることができる。

図２の投光パターンは、ヘッドライト２００を中心とした略扇形に形成され、低照度部分のパターン幅と高照度部分のパターン幅は、遠方ほど広い。遠近法の効果により、一般に撮像画像上のパターン幅は遠方ほど狭くなって識別性が低下するが、図２のように遠方ほどパターン幅を広げることにより、遠方であってもエッジを識別しやすくなる。これにより、遠方まで視差を安定して得ることができる。

図３は、補完パターンの例である。ヘッドライト２００は、図２に示した構造化パターンと、図３に示す補間パターンとを交互に切り替えながら投光する。これにより、構造化パターンと補間パターンのいずれの投光期間においても低照度部分と高照度部分との間の境界で生じるエッジ部分で視差を得ることができる。

図４は、図２の構造化パターンと図３の構造化パターンを時間平均した結果である。これらの構造化パターンを時間平均することにより、図４のように構造化パターンが見えない一様な輝度分布、あるいは構造化パターンが見えない滑らかな輝度分布を有する投下光となる。これにより、搭乗者や歩行者に対して違和感を与えない投光を実現することができる。

図５～図８は、投光パターンを切り替えるタイミングについて説明するタイムチャートである。構造化パターンと補間パターンとの間を切り替えるタイミングは、カメラの露光期間を避けることが望ましい。これは、露光期間にパターンを切り替えると、取得した画像に２つのパターンが露光されることによって低照度部分と高照度部分のエッジの輝度差が低下する可能性があり、あるいは類似パターンが発生することにより画像マッチング処理において本来マッチングすべきエッジを間違える誤マッチングが発生しやすくなるからである。誤マッチングに関しては図１３を用いて後述する。

図５は、撮像素子の各行の露光タイミングが同時であるグローバルシャッタ方式を想定したパターン切替えタイミングの例である。これは、撮像素子の全行の露光タイミングが一致しているＣＣＤやグローバルシャッタタイプのＣＭＯＳを想定したものである。この場合は全ての画素の露光が終了するタイミングが一致しているので、露光終了時にパターン５０１と５０２を切り替える。

図６は、撮像素子の各行の露光タイミングがずれているローリングシャッタ方式の撮像素子を想定した例である。最終行の露光終了と先頭行の露光開始との間に、いずれの行においても露光が実施されていない期間が存在する場合は、その期間においてパターン５１１と５１２を切替える。

図７は、フレーム周期と比較して露光時間が相対的に長い例である。この場合は図７に示すように、いずれの行の露光も実施されていない期間が存在しない。この場合ヘッドライト２００は、例えば２フレームごとにパターン５２１と５２２を切り替え、ステレオカメラ１００はパターンを切り替えた直後のフレームにおいて取得した画像を用いて視差を得る。より厳密には、先頭行の露光開始時間から最終行の露光終了時間までの時間をｔ１、フレーム周期である点線の間隔をｔ２とした場合、ｔ１・（ｎ－１）＜ｔ２≦ｔ１・ｎとなるｎに対してｎフレームごとにパターン５２１と５２２を切替える。図７の場合、ｎ＝２なので２フレームごとにパターン５２１と５２２を切替える。

図８は、カメラ１の撮像素子とカメラ２の撮像素子との間の位置関係を上下にずらした例である。この場合には図８のようにカメラ１の露光タイミングとカメラ２の露光タイミングを意図的にずらすことがある。この場合、視差を検出できるのは撮像素子の一部の行だけになる。したがって、露光開始が遅い撮像素子の先頭行の露光開始から、露光終了が早い撮像素子の最終行の露光終了までの期間を避けて、パターン５３１と５３２を切り替える。

図１に示す信号ｂ１およびｂ２は、ステレオカメラ１００がヘッドライト２００と３００に対して投光パターンを指示する制御信号である。投光パターンを切り替えるタイミングについては、例えば露光方式／フレーム周期／露光時間に基づいて指示することができる。光強度／形状パターン／色などについては、これらの内容そのものを指示する制御信号をステレオカメラ１００から出力し、ヘッドライト２００と３００がこれを解釈して自ら指示された構造化光を生成してもよいし、ステレオカメラ１００がヘッドライト２００と３００の素子を個別に制御するような制御信号を出力してもよい。いずれの場合であっても、所望の構造化光をヘッドライト２００と３００が出力できればよい。後述する実施形態２におけるレーザ光源７０７についても同様である。

以上の説明においては、遠方に存在する物体であっても精度よく検出することができる投光パターンについて説明した。他方で、自車の走行速度に応じて検出したい物体の範囲は異なる。例えば、自車が時速１００ｋｍ／ｈで走行している場合は衝突回避の観点から１００ｍ以上前方の物体を検知できることが望ましいが、停止中や道幅の狭い道路での走行においてはより広角な範囲で物体を検知できることが望ましい。これらの範囲を包括的に照射すると不要な電力を消費し、あるいは周辺の車両や歩行者に対して不要な違和感を与えてしまう。そこでステレオカメラ１００は、車両コントローラ４００から信号ａにより車両の走行速度を取得し、ヘッドライト２００およびヘッドライト３００に対して投光範囲を指示する。

図９は、走行速度が所定速度以上の場合における投光範囲を例示する図である。この場合は、図２の投光範囲と比較して進行方向に沿ってより遠方まで構造化パターンを投光する。

図１０は、走行速度が所定速度以下の場合における投光範囲を例示する図である。この場合は、図２の投光範囲と比較してより広角に構造化パターンを投光する。図９と図１０の差異は、車両の走行速度によって認識したい物体の範囲が異なることに起因する。ステレオカメラ１００は、自車速度に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。

図１１は、自車の前方に先行車がいることを検出した例である。この場合、ステレオカメラ１００は、先行車まで到達しない範囲で構造化パターンを投光する。先行車の搭乗者がルームミラーの反射によってまぶしさを感じないように、例えばバンパーやナンバープレートより下に構造化光が照射されるように、投光範囲を制御することが望ましい。

図１２は、左にハンドルをきった場合における投光範囲の例である。ステレオカメラ１００は、車両コントローラ４００から信号ａにより車両の操舵角を取得するとともに、その操舵角にしたがって車両の進行方向を取得する。ステレオカメラ１００は、車両の進行方向に向かって投光範囲を変更するように、ヘッドライト２００およびヘッドライト３００に対して指示する。ここでは低速で直進している図１０と比べて投光範囲を左側へ回転させている。このように操舵角に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。

ステレオカメラ１００は、物体距離を測定するため、当該物体を２つの視点から見た視差を用いる。２視点間で１つの物体が同一のものと判断するためには、例えば基準点同士をマッチングする処理が必要になる。このとき２つの視点から得た画像が、類似した特徴点あるいは模様を複数有していると、本来マッチングすべき基準点ではない部分を基準点としてマッチングしてしまう、いわゆる誤マッチングが生じる可能性がある。

図１３は、エリアマッチング方式によるマッチングの説明図である。左図の四角で示したエリアとマッチングするエリアを右図から検索するには、エピポーラ線上を検索すればよい。投光パターンが単調な繰り返しパターンである場合、本来マッチングすべきエリア（右図内の白実線）の他に類似した模様を有するエリア（右図内の白点線）が複数存在するので、誤マッチングが発生する可能性がある。これを防ぐため、投光エリアごとに、光強度／低照度部分と高照度部分の投光角度／低照度部分と高照度部分のパターン幅／色のうち少なくともいずれかを変えることが考えられる。

図１４は、投光エリアごとに光強度を変える例である。ステレオカメラ１００は、例えば投光エリア６０１／６０２／６０３の光強度をそれぞれ異なるようにセットする。これにより、低照度部分と高照度部分との間の輝度差が投光エリアごとに異なることになるので、誤マッチングを防ぐことができる。

図１５は、構造化パターンと補間パターンの投光エリア毎の光強度の例である。表の上行から順に、時間経過ごとに各投光エリアにおける光強度を示している。この例においては、構造化パターンと補間パターンとの強度の和が全ての投光エリアにおいて同じになるようにしている。

図１６は、構造化パターンと補間パターンの投光エリア毎の光強度の別例である。この例において、エリア６０１から６０３までの光強度の和は、ｔ＝１からｔ＝６の期間において同じになるようにしている。エリア６１１から６１４までの光強度の和は、ｔ＝１からｔ＝８の期間において同じになるようにしている。さらに、撮像範囲の明るさに応じて各エリアの強度をオフセットさせてもよい。これにより、環境変化に対してロバストな測距性能を実現できる。後述する実施形態２においても同様である。

投光エリアごとに光強度を変えることに代えてまたはこれに加えて、投光エリア６０１～６０３の放射角をそれぞれ異なる角度としてもよい。さらに、投光エリア６０１～６０３の色をそれぞれ異なる色としてもよい。この場合、構造化パターンと補間パターンは光の３原色に近い赤／緑／青の光を交互に投光することにより、投光エリア全域が白色で輝度が一様な分布となる照明となる。エリア毎に異なる色を投光した場合、ステレオカメラ１００は撮像素子の画素種別毎にマッチング処理を実施することにより、類似パターンによる誤マッチングを防ぐことができる。

ヘッドライト２００およびヘッドライト３００が可視光光源の他に非可視光光源を有しており、非可視光によって構造化パターンを投光する場合、非可視光に対する感度が高い撮像素子の画素種別を使用してマッチング処理を実施することにより、より早く対象物の視差算出および測距を実施することができる。

＜実施の形態１：まとめ＞
本実施形態１に係るステレオカメラ１００は、ヘッドライト２００からの距離に応じて構造化光の光強度／構造化光のパターン幅／構造化光のパターンサイズのうち少なくともいずれかを変える。これにより、遠方の物体であっても撮像画像上でパターンエッジを明瞭に識別することができるので、識別精度を向上させることができる。

本実施形態１に係るステレオカメラ１００は、投光エリアごとに光強度／パターン幅／パターンサイズ／色のうち少なくともいずれかを変える。これにより、撮像画像上に類似するパターンが含まれている場合において、ステレオ画像間における誤マッチングを抑制することができる。

本実施形態１においては、例えば投光距離に応じて滑らかに構造化パターンの光強度を変化させることができるが、本発明はこれに限定されない。例えば、投光距離を複数レンジに分割してレンジごとに異なる光強度をセットすることにより、光強度を離散的に変化させることもできる。この場合であっても同等の効果を得ることができる。後述する実施形態２においても同様である。

本実施形態１においては、自車の走行速度を低速／中速／高速の３段階の速度グループに分割し、速度グループごとに投光範囲を設定することができるが、本発明はこれに限定されない。例えば自車の速度に応じて連続的に投光範囲を変えることもできる。この場合であっても同等の効果を得ることができる。後述する実施形態２においても同様である。

本実施形態１においてはヘッドライト２００と３００が構造化光を投光することとしたが、本発明はこれに限定されない。例えば、フォグランプ／ストップランプ／テールランプなどであっても同等の効果を得ることができる。また、旋回時にサイドターンランプ、後進時にリアターンランプを使用しても同等の効果を得ることができる。

本実施形態１においては、左右両方のヘッドランプを使用して構造化光を投光しているが、本発明はこれに限定されない。例えば、右のヘッドランプあるいは左のヘッドランプのみを使用して構造化光を投光してもよい。あるいは視差の検出ができないエリアや検出精度が不安定なエリアを検出し、当該エリアにおいてのみ構造化光を投光しても同等の効果を得ることができる。

本実施形態１においては、ステレオカメラ１００の内部で物体認識処理と車両制御信号生成を実施しているが、本発明はこれに限定されない。例えば、距離演算結果あるいは距離演算結果を簡素化した情報を、車両が搭載した演算処理部やコントロール部に対して出力しても同等の効果を得ることができる。後述する実施形態２においても同様である。

本実施形態１においては、投光距離に応じて、構造化光が有する光強度／形状パターンを変えることを説明した。ここでいう投光距離とは、路面から光源までの高さと構造化光の俯角によって定まる、光源から投光箇所までの距離のことである。ステレオカメラ１００は、構造化光の投光方向と投光距離との間の関係をあらかじめ記憶しておき、その関係にしたがって、投光距離に対応する構造化光をヘッドライト２００と３００に対して指示すればよい。後述する実施形態２におけるレーザ光源７０７についても同様である。

＜実施の形態２＞
図１７は、本発明の実施形態２に係るステレオカメラ７００の構成図である。ステレオカメラ７００は、レーザ光源を用いて構造化光を投光する。光学部７０１～コントロール部７０６は、実施形態１における光学部１０１～コントロール部１０６と同様の機能部である。ステレオカメラ１００を搭載する車両は、レーザ光源７０７、車両コントローラ４００を備える。レーザ光源７０７は、コントロール部７０６から送られる信号に基づいて、構造化光のパターン／投光エリア／光強度などを制御する。信号ａ、ｂについては後述する。

図１８は、レーザ光源７０７が構造化光を投光したときの投光パターンの１例である。説明のため、構造化光は走行方向に伸びた２本の直線で示している。色が濃いほど照度が高く、色が薄いほど照度が低いことを示している。各直線の光強度は自車あるいはステレオカメラ７００からの距離が遠くなるほど強くなるようにしている。各直線の幅は自車あるいはステレオカメラ７００からの距離が遠くなるほど太くなるようにしている。

図１８の投光パターンをステレオカメラ７００が撮像した場合、周辺が暗いあるいは撮像画像が低コントラストとなる環境下においても、低照度部分と高照度部分との間の境界で生じるエッジ部分で視差を得ることができる。特に、遠方ほど照度を高くすることにより、画像上に形成されるエッジは距離に拠らず同等の輝度差とすることができるので、遠方でも安定して視差を得ることができる。またパターンの幅を遠方ほど太くすることにより、画像上に形成されるエッジ間隔が距離に応じて小さくなることを防ぎ、より遠方までエッジを識別することができ、遠方まで視差を安定して得ることができる。

図１８においては構造化パターンは２本の直線としたが、輝度差は直線のエッジ部分でしか得られないので、直線の数が少ないと視差の検出が部分的になる。反面、直線の数が多くなるほど誤マッチングの確率が増大するので、投光パターンに類似模様が生じない工夫が必要となる。この工夫について図１９を用いて説明する。

図１９は、２本の類似直線を識別するための投光パターンを示す図である。両カメラの光軸より外側の２エリアに各々の直線を投光している。しかし図１９に示すように、光学部７０１の２つのカメラの光軸よりも外側に直線を配置することにより、撮像画像上の消失点（遠近法における平行線が収束する点）と直線との間の相対位置にしたがって、いずれの直線であるのかを識別することができる。次の図２０を用いて判断基準を説明する。

図２０は、撮像画像上の直線パターンがいずれの直線であるのかを識別する判断基準の例である。直線９０１は、左カメラから見ても右カメラから見ても消失点よりも左側にある。直線９０２は、左カメラから見ても右カメラから見ても消失点よりも右側にある。これらの判断基準にしたがって、ステレオカメラ７００は撮像画像上の直線がいずれの直線であるのかを識別できる。

直線パターンを識別するその他方法として、投光パターンごとに異なる位置に直線を投光し、時間経過にしたがってパターンを切り替える方法が考えられる。その他、直線パターンの光強度／直線幅／色／並びを適当に設定することにより、類似模様が同時に発生しないパターンを形成する方法が考えられる。

時間経過にしたがってパターンを切り替える方法においては、パターン切り替えはカメラの露光期間を避けて実施することが望ましい。露光期間においてパターンを切り替えると、取得した画像に２つのパターンが露光されるので、低照度部分と高照度部分のエッジの輝度差が低下する可能性があり、あるいは類似パターンが発生することにより画像マッチング処理において誤マッチングが発生しやすくなるからである。パターン切り替えの具体例は実施形態１の図５から図８で説明したので省略する。

図２１は、直線パターンの光強度／直線幅／並びによって直線を区別する方法の１例である。図２１において、左右カメラの光軸を挟んで右側に弱／中／強の３つの光強度の直線９０３／９０４／９０５を投光し、左側にも弱／中／強の３つの光強度の直線９０６／９０７／９０８を投光している。これにより１フレームの撮像画像内に６本の直線を表示することができ、図１８に示した例よりも同時かつ細かい空間分解能で視差を得ることができる。さらに光強度の異なる線を隣接する様に表示し、並び順を変えることにより、同時に表示する直線数をさらに増やすこともできる。単色光を使用する場合は、当該波長の光に対する感度が高い撮像素子の画素種別を使用してマッチング処理を先行して実施することにより、より早く対象物の視差算出および測距を実施できる。

図２２は、直線パターンの色／並びによって直線を区別する方法の１例である。図２２において、左右カメラの光軸を挟んで右側に赤／緑／青の３色の直線９０９／９１０／９１１を投光し、左側にも赤／緑／青の３色の直線９１２／９１３／９１４を投光している。これにより１フレームの撮像画像内に６本の直線を表示することができ、図１８に示した例よりも同時かつ細かい空間分解能で視差を得ることができる。この場合、視差検出におけるマッチング処理は赤／緑／青の画素種別毎に独立で実施することが望ましい。さらには光強度／並び順／色を組み合わせることにより、図２１と図２２に示した例より同時かつ細かい空間分解能で視差を得ることができる。

図２３は、走行速度が所定速度以上の場合における投光範囲を例示する図である。ステレオカメラ７００は、コントロール部７０６を介して車両コントローラ４００から信号ａにより車両の走行速度を取得し、レーザ光源７０７に対して表示範囲を指示する。走行速度が所定速度以上の場合は、図１８の投光範囲よりも進行方向に沿って遠方まで構造化パターンを投光する。

図２４は、走行速度が所定速度以下の場合における投光範囲を例示する図である。この場合は図１８の投光範囲よりも広角に構造化パターンを投光する。図２３と図２４の差異は図９と図１０の差異と同じ理由による。

前方および周辺に先行車や歩行者がいることを検出した場合は、実施形態１の図１１で説明したとおり走行速度で決定される投光距離を制限する。すなわち、少なくとも先行車が存在する方向の構造化光の投光距離を制限し、ルームミラーを介してレーザ光が先行車の搭乗者の目に入らないように、例えばバンパーやナンバープレートより下に構造化光が照射されるように投光範囲を制御する。また少なくとも周辺の歩行者が存在する方向の構造化光の投光距離を制限し、歩行者の目にレーザが入らないように例えば当該歩行者の下半身以下に構造化光が照射されるように投光範囲を制御する。

図２５は、左にハンドルをきった場合における投光範囲の例である。ステレオカメラ７００は、車両コントローラ４００から信号ａにより車両の操舵角を取得し、レーザ光源７０７に対して表示範囲を指示する。ここでは低速で直進している図１８と比べて投光範囲を左側へ回転させている。このように操舵角に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。

図２６は、ステレオカメラ７００が加速度センサ７０８を搭載する構成例である。加速度センサ７０８が検出した加速度に応じて構造化光のピッチ方向の投光方向を制御することにより、後部座席の搭乗やトランクへの荷物の格納の差異に変動する車両のピッチ方向の姿勢に対して、ロバスト性能が高い投光範囲制御を実現することができる。

レーザ光源７０７は、ステレオカメラ７００が有する２つのカメラレンズのうちいずれかの光軸と重なるように、直線形状の構造化光を投光してもよい。すなわち、光軸を含む鉛直面と路面との交線上に、構造化光を投光する。この場合、構造化光の直線パターンははそのカメラの光軸と一致するので、車両のピッチ角が変化しても構造化光のＸ座標は変化しない（常に消失点と略同じＸ座標となる）。したがって、車両のピッチ方向の姿勢変化に対して、マッチング精度のロバスト性を高めることができる。これにより、他方のカメラが検出したＸ座標をそのまま視差とみなすことができるので、マッチング処理を簡略化できる。

ステレオカメラ７００は、撮像画像上の視差を用いて測距するので、視差が生じるのであれば測距は可能である。例えば２つのカメラを用いることに代えて（またはこれに加えて）、一方のカメラとレーザ光源７０７の組み合わせによって、測距することが可能である。ただしステレオカメラを用いる測距は、その原理上、カメラの基線長が長いほどより遠方の対象物を測距することができる。一方のカメラとレーザ光源７０７の組み合わせにより測距する場合も同様である。したがってこの場合、一方のカメラとレーザ光源７０７との間の間隔は、ステレオカメラ７００の基線長以上にすることが望ましい。間隔がこれよりも小さいと、ステレオカメラ７００よりも測距精度が劣るからである。一方のカメラとレーザ光源７０７を用いて測距する場合は、構造化光を車両の直進方向に対して平行な鉛直面に含まれるように投光すればよい。

＜実施の形態２：まとめ＞
本実施形態２においては、車両が搭載するヘッドライトに代えて、レーザ光源７０７を用いて構造化光を投光する。本実施形態２においても、実施形態１と同様の効果を発揮することができる。本実施形態２においてはレーザ光源７０７によって構造化光を投光することしたが、本発明はこれに限定されない。例えば、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）ライトを用いても類似の効果を得ることができる。

本実施形態２において、レーザ光源７０７はステレオカメラ７００本体から離れた位置に配置してもよい。例えば、フロントガラスの右上部あるいは左上部、バックミラー、ヘッドライト、バンパーなどに配置しても同等の効果を得ることができる。

＜実施の形態３＞
図２７は、本発明の実施形態３に係るカメラ１０００の構成図である。本実施形態３において、光学部１００１はレンズと撮像素子のペアを１ペア有する。信号処理部１００２～コントロール部１００６は、実施形態１における信号処理部１０２～コントロール部１０６と同様の機能部である。本実施形態３において、低照度部分と高照度部分との境界で生じるエッジ部分と光学部１００１との間の相対位置が既知である点が実施形態１と異なる。それ以外は実施形態１と同様である。本実施形態３においても、実施形態１と同様の原理により距離を計測することができる。

＜実施の形態４＞
図２８は、本発明の実施形態４に係るカメラ１４００の構成図である。本実施形態４において、光学部１４０１はレンズと撮像素子のペアを１ペア有する。信号処理部１４０２～レーザ光源１４０７は、実施形態２における信号処理部７０２～レーザ光源７０７と同様の機能部である。本実施形態４において、低照度部分と高照度部分との境界で生じるエッジ部分と光学部１４０１との相対位置が既知である点もしくは構造化パターンの線間隔が既知である点が実施形態２と異なる。それ以外は実施形態２と同様である。本実施形態４においても、実施形態２と同様の原理により距離を計測することができる。

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：ステレオカメラ
１０１：光学部
１０２：信号処理部
１０３：距離演算部
１０４：物体認識部
１０５：車両制御部
１０６：コントロール部
２００：ヘッドライト
３００：ヘッドライト
４００：車両コントローラ
７０７：レーザ光源
７０８：加速度センサ

Claims

物体までの距離を取得する撮像装置であって、
構造化光を投光する光源、
前記構造化光が投光された投光箇所の画像を取得するカメラ、
を備え、
前記光源は、前記光源から前記投光箇所までの距離にしたがって、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを変更し、
前記カメラは、前記画像に含まれる前記構造化光のパターンを用いて、前記カメラから前記物体までの距離を取得し、
前記光源は、前記構造化光のパターンが、第１照度を有する第１部分、前記第１照度よりも高い第２照度を有する第２部分、を有するように、前記構造化光を投光し、
前記カメラは、第１カメラと第２カメラを有するステレオカメラであり、
前記カメラは、前記第１部分と前記第２部分との間の境界において前記第１カメラと前記第２カメラとの間で生じる視差を用いて、前記カメラから前記物体までの距離を取得する
ことを特徴とする撮像装置。
前記光源は、前記構造化光が有する光強度を２以上の光強度の間で変更しながら前記構造化光を投光し、
前記光源は、前記距離が第１距離であるときは、第１光強度を有する前記構造化光を投光し、
前記光源は、前記距離が前記第１距離よりも長い第２距離であるときは、前記第１光強度よりも強い第２光強度を有する前記構造化光を投光する
ことを特徴とする請求項１記載の撮像装置。
前記光源は、前記光源から前記投光箇所までの距離が離れるほど幅が広くなる形状パターンを有する前記構造化光を投光する
ことを特徴とする請求項１記載の撮像装置。
前記撮像装置はさらに、前記撮像装置の移動速度を取得する速度取得部を備え、
前記光源は、前記構造化光が有する形状パターンを２以上の形状パターンの間で切り替えながら前記構造化光を投光し、
前記光源は、前記移動速度が第１速度であるときは、第１形状パターンを有する前記構造化光を投光し、
前記光源は、前記移動速度が前記第１速度よりも速い第２速度であるときは、前記第１形状パターンよりも前記光源から遠く離れた位置まで到着する第２形状パターンを有する前記構造化光を投光する
ことを特徴とする請求項１記載の撮像装置。
前記光源は、第１投光領域に対して第１構造化光を投光するとともに、第２投光領域に対して第２構造化光を投光し、
前記第１構造化光が有する光強度と前記第２構造化光が有する光強度、または前記第１構造化光が有する形状パターンサイズと前記第２構造化光が有する形状パターンサイズ、または前記第１構造化光が有する色と前記第２構造化光が有する色、のうち少なくともいずれかは互いに異なる
ことを特徴とする請求項１記載の撮像装置。
前記光源は、前記カメラが備える撮像素子が露光されている期間以外の期間において、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替える
ことを特徴とする請求項１記載の撮像装置。
撮像素子の所定範囲の中で最初に露光が行われる画素の露光開始時間と最後に露光が終了する画素の露光終了時間との差をｔ１とし、フレーム周期をｔ２とした場合、
ｔ１＞ｔ２のとき、ｔ２×（ｎ－１）＜ｔ１＜ｔ２×ｎ（ｎは自然数）となるｎに対して、
前記光源は、ｎフレームごとに、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替える
ことを特徴とする請求項１記載の撮像装置。
前記撮像装置はさらに、前記撮像装置を搭載する車両の操舵角を取得する操舵角取得部を備え、
前記光源は、前記操舵角にしたがって前記車両の進行方向を取得するとともに、前記進行方向に向かって前記構造化光を投光する方向を変化させる
ことを特徴とする請求項１記載の撮像装置。
前記撮像装置はさらに、前記投光箇所の照度を取得する照度取得部を備え、
前記光源は、前記照度にしたがって前記構造化光の光強度を変更する
ことを特徴とする請求項１記載の撮像装置。
前記光源は、
第１照度を有する第１構造化光を第１投光領域に対して投光するとともに、前記第１照度よりも高い第２照度を有する第２構造化光を第２投光領域に対して投光する第１投光モードと、
前記第１照度よりも高い第３照度を有する第３構造化光を前記第１投光領域に対して投光するとともに、前記第２照度よりも低い第４照度を有する第４構造化光を前記第２投光領域に対して投光する第２投光モードと、
を切り替えながら実施することにより、前記第１投光領域における前記構造化光の照度と前記第２投光領域における前記構造化光の照度をそれぞれ平滑化する
ことを特徴とする請求項１記載の撮像装置。
前記光源は、前記撮像装置を搭載する車両が備えるヘッドライトである
ことを特徴とする請求項１記載の撮像装置。
前記光源は、レーザ光源またはＬＥＤ光源である
ことを特徴とする請求項１記載の撮像装置。
前記光源は、レーザ光源またはＬＥＤ光源であり、
前記光源は、前記第１カメラが有するレンズの光軸を含む鉛直面と路面の交線を含む直線上に、直線形状の前記構造化光を投光する
ことを特徴とする請求項１記載の撮像装置。
前記光源は、レーザ光源またはＬＥＤ光源であり、
前記光源は、前記ステレオカメラから、前記ステレオカメラの基線長以上離れた位置に配置されている
ことを特徴とする請求項１記載の撮像装置。
物体までの距離を取得する撮像装置であって、
構造化光を投光する光源を制御する制御部、
前記構造化光が投光された投光箇所の画像を取得するカメラ、
を備え、
前記制御部は、前記光源から前記投光箇所までの距離にしたがって、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを変更するように、前記光源に対して指示する制御信号を出力し、
前記カメラは、前記画像に含まれる前記構造化光のパターンを用いて、前記カメラから前記物体までの距離を取得し、
前記制御部は、前記構造化光のパターンが、第１照度を有する第１部分、前記第１照度よりも高い第２照度を有する第２部分、を有するように、前記構造化光を投光させる前記制御信号を前記光源に対して出力し、
前記カメラは、第１カメラと第２カメラを有するステレオカメラであり、
前記カメラは、前記第１部分と前記第２部分との間の境界において前記第１カメラと前記第２カメラとの間で生じる視差を用いて、前記カメラから前記物体までの距離を取得する
ことを特徴とする撮像装置。
前記制御部は、前記構造化光が有する光強度を２以上の光強度の間で変更しながら前記構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
前記光源は、前記距離が第１距離であるときは、第１光強度を有する前記構造化光を投光し、
前記光源は、前記距離が前記第１距離よりも長い第２距離であるときは、前記第１光強度よりも強い第２光強度を有する前記構造化光を投光する
ことを特徴とする請求項１５記載の撮像装置。
前記制御部は、前記光源から前記投光箇所までの距離が離れるほど幅が広くなる形状パターンを有する前記構造化光を投光するように前記光源に対して指示する前記制御信号を出力する
ことを特徴とする請求項１５記載の撮像装置。
前記撮像装置はさらに、前記撮像装置の移動速度を取得する速度取得部を備え、
前記制御部は、前記構造化光が有する形状パターンを２以上の形状パターンの間で切り替えながら前記構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
前記光源は、前記移動速度が第１速度であるときは、第１形状パターンを有する前記構造化光を投光し、
前記光源は、前記移動速度が前記第１速度よりも速い第２速度であるときは、前記第１形状パターンよりも前記光源から遠く離れた位置まで到着する第２形状パターンを有する前記構造化光を投光する
ことを特徴とする請求項１５記載の撮像装置。
前記制御部は、第１投光領域に対して第１構造化光を投光するとともに、第２投光領域に対して第２構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
前記第１構造化光が有する光強度と前記第２構造化光が有する光強度、または前記第１構造化光が有する形状パターンサイズと前記第２構造化光が有する形状パターンサイズ、または前記第１構造化光が有する色と前記第２構造化光が有する色、のうち少なくともいずれかは互いに異なる
ことを特徴とする請求項１５記載の撮像装置。
前記制御部は、前記カメラが備える撮像素子が露光されている期間以外の期間において、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替えるように、前記光源に対して指示する前記制御信号を出力する
ことを特徴とする請求項１５記載の撮像装置。
前記撮像装置はさらに、前記撮像装置を搭載する車両の操舵角を取得する操舵角取得部を備え、
前記制御部は、前記操舵角にしたがって前記車両の進行方向を取得し、
前記制御部は、前記進行方向に向かって前記構造化光を投光する方向を変化させるように、前記光源に対して指示する前記制御信号を出力する
ことを特徴とする請求項１５記載の撮像装置。
前記撮像装置はさらに、前記投光箇所の照度を取得する照度取得部を備え、
前記制御部は、前記照度にしたがって前記構造化光の光強度を変更するように、前記光源に対して指示する前記制御信号を出力する
ことを特徴とする請求項１５記載の撮像装置。
前記制御部は、
第１照度を有する第１構造化光を第１投光領域に対して投光するとともに、前記第１照度よりも高い第２照度を有する第２構造化光を第２投光領域に対して投光する第１投光モードと、
前記第１照度よりも高い第３照度を有する第３構造化光を前記第１投光領域に対して投光するとともに、前記第２照度よりも低い第４照度を有する第４構造化光を前記第２投光領域に対して投光する第２投光モードと、
を切り替えながら実施することにより、前記第１投光領域における前記構造化光の照度と前記第２投光領域における前記構造化光の照度をそれぞれ平滑化するように、前記光源に対して指示する前記制御信号を出力する
ことを特徴とする請求項１５記載の撮像装置。
前記光源は、前記撮像装置を搭載する車両が備えるヘッドライトである
ことを特徴とする請求項１５記載の撮像装置。