JP6704607B2

JP6704607B2 - 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム

Info

Publication number: JP6704607B2
Application number: JP2016009428A
Authority: JP
Inventors: 洋義関口; 栄太渡邊; 玲子黒水; 渡邊　義一; 義一渡邊; 高橋　祐二; 祐二高橋; 井上　貴之; 貴之井上; 藤本　英臣; 英臣藤本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-03-11
Filing date: 2016-01-21
Publication date: 2020-06-03
Anticipated expiration: 2036-01-21
Also published as: JP2016169001A

Description

本発明は、撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラムに係り、更に詳しくは、投光装置と撮像装置を備える撮像システム、該撮像システムを備える画像処理システム、該画像処理システムを備える移動体制御システム、該移動体制御システムを備える移動体装置、パターン光を投光する投光装置、投光する工程を含む物体検出方法、投光する手順を含む物体検出プログラムに関する。

従来、複数の撮像部を含む撮像装置を用いて、物体の有無、該物体までの距離等の物体情報を検出する技術が知られている。

また、近年、移動体に搭載される投光装置の開発が盛んに行われている（例えば特許文献１参照）。

しかしながら、従来の撮像装置と投光装置を移動体に搭載しても、暗部に対しての物体情報の検出に有効な画像を得ることができなかった。

本発明は、移動体に搭載される撮像システムであって、不規則な輝度分布を持つパターン光を投光する投光装置と、前記投光装置の投光範囲を撮像する、複数の撮像部を含む撮像装置と、を備え、前記投光装置は、前記移動体の外部の明るさ情報が所定値未満のときに前記パターン光を投光し、前記パターン光を投光するとき、前記投光範囲におけるテクスチャ量に基づいて前記パターン光の輝度分布を調整する撮像システムである。

本発明によれば、暗部に対しての物体情報の検出に有効な画像を得ることができる。

本発明の一実施形態の移動体制御システムを備える車両の平面図である。図２（Ａ）は移動体制御システムを備える車両の側面図であり、図２（Ｂ）は移動体制御システムを備える車両の正面図である。移動体制御システムのステレオカメラの斜視図である。ランダムパターン光の一例を示す図である。移動体制御システムのハードウェアの構成を示すブロック図である。画像処理部の視差画像生成手段について説明するための図である。伝播８方向の場合について説明するための図である。サブピクセル推定による少数視差について説明するための図である。ステレオカメラから物体までの距離を導き出す原理の説明図である。図１０（Ａ）は基準画像を示す図であり、図１０（Ｂ）は図１０（Ａ）に対する高密度視差画像を示す図であり、図１０（Ｃ）は図１０（Ａ）に対するエッジ視差画像を示す概念図である。図１１（Ａ）は基準画像における基準画素を示す概念図であり、図１１（Ｂ）は図１１（Ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。シフト量毎のコスト値を示すグラフである。合成コスト値を導き出すための概念図である。視差値毎の合成コスト値を示すグラフである。一実施形態の移動体制御システムによる車両制御処理を説明するためのフローチャートである。一実施形態の物体検出装置による投光制御処理１を説明するためのフローチャートである。変形例１の物体検出装置による投光制御処理２を説明するためのフローチャートである。変形例２の移動体制御システムのハードウェアの構成を示すブロック図である。変形例２の物体検出装置による投光制御処理３を説明するためのフローチャートである。変形例３の物体検出装置による投光制御処理４を説明するためのフローチャートである。図２１（Ａ）及び図２１（Ｂ）は、テクスチャ量の算出方法について説明するための図である。変形例４の物体検出装置による投光制御処理５を説明するためのフローチャートである。変形例５の物体検出装置による投光制御処理６を説明するためのフローチャートである。変形例６の物体検出装置による投光制御処理７を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

［概要］
一実施形態の移動体制御システム１００は、図１〜図２（Ｂ）に示されるように、移動体装置としての車両１の車両本体（移動体）に搭載され、ヘッドライト装置１０、撮像装置としてのステレオカメラ２０（図３参照）、処理装置３０（図５参照）、電子制御装置としてのＥＣＵ５０（図５参照）などを備えている。ここでは、移動体制御システム１００は、車両１の電気系用のバッテリーから電力の供給を受ける。

なお、移動体である車両本体としては、例えば自動車、電車、バイク、自転車、車椅子、農業用の耕運機等が挙げられる。また、移動体制御システム１００と、該移動体制御システム１００が搭載される移動体とを備える移動体装置としては、車両に限らず、例えば航空機、船舶等であっても良い。

ヘッドライト装置１０は、車両本体の前部に設けられる左右一組のヘッドライト１０ａ、１０ｂを含む。ヘッドライト１０ａ、１０ｂは、同時に、点灯もしくは消灯される。ここでは、ヘッドライト１０ａ、１０ｂは、車両１に標準装備されるものである。以下では、ヘッドライト１０ａ、１０ｂを区別する必要がない場合、「ヘッドライト」と総称する。

各ヘッドライトは、光源としての、複数のＬＥＤがアレイ状に配列されたＬＥＤアレイと該ＬＥＤアレイを駆動する駆動回路とを含み、ＥＣＵ５０によって点灯／消灯が制御される。また、ヘッドライトは、車両１のハンドル付近に設けられたヘッドライトスイッチを手動操作することでも点灯／消灯が可能となっている。なお、ヘッドライトは、光源として、ＬＥＤに代えて、例えば白色光源などを含んでいても良い。

ヘッドライトから車両前方に投光された光は、ヘッドライト装置１０の投光範囲に物体がある場合に、該物体に照射される。ここで、「投光範囲」は、ヘッドライト装置１０の各ヘッドライトによる投光可能な範囲を併せた範囲（図１参照）を意味する。

ステレオカメラ２０は、一例として、図２（Ａ）及び図２（Ｂ）に示されるように、車両内部の運転席上方におけるバックミラー近傍に取り付けられており、両眼（左右の撮像部２０ａ、２０ｂ）で車両前方を撮像できるように設置されている。すなわち、ステレオカメラ２０は、ヘッドライト装置１０の投光範囲を撮像可能となっている。ステレオカメラ２０の両眼で撮像された左右の画像（輝度画像）は、フレーム毎に処理装置３０に送られる。処理装置３０は、ステレオカメラ２０からの左右の画像を用いて視差計算を行う。

ヘッドライト装置１０が投光中には、投光範囲にある物体（例えば人、他車両、構造物、道路、樹木等）にパターン光が照射されるため、ステレオカメラ２０の両眼で撮像された左右の画像における物体上にパターン光のパターンが重畳される（テクスチャが付く）ことになる。

処理装置３０は、図５に示されるように、ＣＰＵ３１、メモリ２９、ステレオカメラ制御用ＣＰＵＩ／Ｆ３２、画像処理部３３、画像認識処理部３４、明るさ情報ＣＰＵＩ／Ｆ３５、画像認識結果ＣＰＵＩ／Ｆ３７、開始終了信号転送用Ｉ／Ｆ３８、画像認識結果転送用Ｉ／Ｆ４０を含む。

ステレオカメラ制御用ＣＰＵＩ／Ｆ３２は、ＣＰＵ３１とステレオカメラ２０との送受信用のインターフェースである。ＣＰＵ３１は、ステレオカメラ制御用ＣＰＵＩ／Ｆ３２を介してステレオカメラ２０の撮像制御を行う。

ＣＰＵ３１とＥＣＵ５０は、開始終了信号転送用Ｉ／Ｆ３８を介して送受信可能となっている。

画像処理部３３は、ステレオカメラ２０からの左右の画像（輝度画像）から、明るさ情報を算出し、明るさ情報ＣＰＵＩ／Ｆ３５を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した明るさ情報を明るさデータ転送用Ｉ／Ｆ３８を介してＥＣＵ５０に送信する。

また、画像処理部３３は、ステレオカメラ２０で撮像された左右の画像に対して、ガンマ補正や歪み補正などを実施した後、該左右の画像（輝度画像）を用いて視差計算を行い、視差画像と輝度画像を画像認識処理部３４に送る。

画像認識処理部３４は、画像処理部３３からの視差画像と輝度画像に基づいて、例えば物体の有無、該物体の種別（種類）、該物体までの距離等の物体情報を認識（検出）し、その認識結果である画像認識結果を画像認識結果ＣＰＵＩ／Ｆ３７を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した画像認識結果を画像認識結果転送用Ｉ／Ｆ４０を介してＥＣＵ５０に送信する。

すなわち、画像処理部３３、画像認識処理部３４での処理結果は、処理装置３０のＣＰＵ３１に送られ、ＥＣＵ５０が受け取れるデータフォーマットに修正された後、ＥＣＵ５０に転送される。ＥＣＵ５０に転送するデータフォーマットとしては、主に、ＣＡＮＩ／Ｆ、ＬＩＮＩ／Ｆなどが挙げられる。

ＥＣＵ５０は、運転者等のヘッドライトスイッチの操作（ＯＮ／ＯＦＦ）に応じてヘッドライトを制御し、処理装置３０からの処理情報に基づいて、ヘッドライト装置１０に加えて、車両１の制動装置、操舵装置を制御する。

ＥＣＵ５０は、ＣＰＵ５１、メモリ５２、ＣＰＵＩ／Ｆ５３、ＣＰＵＩ／Ｆ５５、発光制御用Ｉ／Ｆ５６、制動制御用Ｉ／Ｆ５７、操舵制御用Ｉ／Ｆ５８を含む。

ＣＰＵ５１は、ヘッドライト装置１０を制御する投光制御部５１ａ、制動装置を制御する制動制御部５１ｂ、操舵装置を制御する操舵制御部５１ｃを含む。

ＣＰＵ５１は、ＣＰＵ３１からの明るさ情報を、開始終了信号転送用Ｉ／Ｆ３８、ＣＰＵＩ／Ｆ５３を介して取得する。

また、ＣＰＵ５１は、ＣＰＵ３１からの画像認識結果を、画像認識結果転送用Ｉ／Ｆ４０、ＣＰＵＩ／Ｆ５５を介して取得する。

制動制御部５１ｂ、操舵制御部５１ｃは、ＣＰＵ３１からの画像認識結果を、画像認識結果転送用Ｉ／Ｆ４０、ＣＰＵＩ／Ｆ５５を介して取得する。

制動制御部５１ｂは、取得した画像認識結果に基づいて、制動装置の制御（例えば危険回避のためのオートブレーキ）を行う。

操舵制御部５１ｃは、取得した画像認識結果に基づいて、操舵装置の制御（例えば危険回避のためのオートステアリング）を行う。

次に、ステレオカメラ２０により撮像された画像を用いる視差計算アルゴリズムについて図６〜図８を参照して説明する。

ステレオカメラ２０の左右の撮像部により撮像された画像データは、画像処理部３３の前処理部にて、それぞれガンマ補正や歪み補正などの処理が施される。前処理が施された左右の画像データは、画像処理部３３の後処理部である視差画像生成手段（図６参照）にて視差算出アルゴリズムが実行され、画素ごとに視差値が算出される。

ところで、視差画像を生成する演算手法は、ＥＢＭ（エッジベース）のようにテクスチャの強い部分（エッジの強い部分）についてのみ視差を演算する手法でも良い。または、ＳＧＭ（セミグローバルマッチング）のように各ピクセル周囲からマッチングの非類似度を漸化式により伝播させ、最小の非類似度を与える整数視差とそれに隣接する視差の非類似度とから小数視差を算出するサブピクセル推定手法（等角直線、パラボラ、高次多項式等によるフィッティング）を用いることで画像全体の各ピクセルの視差を演算することも可能である。

ＳＧＭの方が、ＥＢＭに比べると、視差データの画素抜けを抑えることができるため好ましい。

そこで、本実施形態の視差画像生成手段は、ＳＧＭ法を採用しており、一例として、図７に示されるように、基準画像に対する高域強調フィルタ部、比較画像に対する高域強調フィルタ部、一致度算出部、伝播類似度算出部、整数視差算出部、少数視差算出部を含む。なお、ＳＧＭ法に関しては、非特許文献(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)に開示されている。

以下に、本実施形態の視差画像生成手段について説明する。ＳＧＭ視差計算では、図７に示されるように、視差を算出させたい注目画素の各方向から非類似度を伝播させ（（１）式又は（２）式参照）、それらの和であるエネルギーＳ（（３）式参照）を算出し、エネルギーＳの最小値を与える整数視差Ｄ［ピクセル］を、注目画素の整数視差として導出する。ここで（１）式および（２）式で表現されているＣとは、基準画像の注目画素の比較画像の視差探索による一致度を表している。Ｃの例としては、ＳＡＤやＳＳＤやＮＣＣ等、他のステレオマッチング指標を用いても良い。Ｃの算出の後に、（１）式または（２）式からＬｒを算出し、最後に（３）式によりＳを算出する。伝播方向数を増やすと視差計算精度が向上するが、計算処理回路規模が大きくなる（視差計算精度と処理回路規模がトレードオフの関係）。

さらに視差精度を追求する場合には、図８に示されるようにサブピクセル推定手法を使って小数視差を算出する。例えば等角直線法では、視差Ｄ−１、Ｄ、Ｄ＋１に対応する３つのＳを使って小数視差Ｄ’を計算する。またはパラボラフィット手法では、視差Ｄ−２、Ｄ−１、Ｄ、Ｄ＋１、Ｄ＋２に対応する５つのＳを使って小数視差Ｄ’を計算する。

なお、算出された視差値は、信頼度判定によって信頼できるか否かの判断が行なわれる。信頼できない視差値であると判断された場合には、その画素の視差は無効視差とされる。

＜測距の原理＞
図９を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図９は、ステレオカメラ２０から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。
なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

（視差値算出）
まず、図９に示される撮像部２０ａおよび撮像部２０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図９では、撮像部２０ａおよび撮像部２０ｂが平行等位に設置されているものとする。図９において、３次元空間内の物体Ｅ上のＳ点は、撮像部２０ａおよび撮像部２０ｂの同一水平線上の位置に写像される。すなわち、各画像中のＳ点は、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像部２０ａ上の座標におけるＳａ（ｘ，ｙ）と撮像部２０ｂ上の座標におけるＳｂ（Ｘ，ｙ）とを用いて、次の（４）式のように表される。
Δ＝Ｘ−ｘ …（４）

ここで、図９のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

（距離算出）
また、視差値Δを用いることで、撮像部２０ａ，２０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図９に示されるように、撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、及び視差値Δを用いて、次の（５）式により、距離Ｚを算出することができる。
Ｚ＝（Ｂ×ｆ）／Δ …（５）
この（５）式により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

＜ＳＧＭ法＞
続いて、図１０（Ａ）〜図１４を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図１０（Ａ）は基準画像、図１０（Ｂ）は図１０（Ａ）に対する高密度視差画像、図１０（Ｃ）は図１０（Ａ）に対するエッジ視差画像を示す概念図である。

ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図１０（Ａ）に示されている基準画像に基づいて、図１０（Ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図１０（Ａ）に示されている基準画像に基づいて、図１０（Ｃ）に示されているエッジ視差画像が導き出される。図１０（Ｂ）及び図１０（Ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、更に、合成非類似度である合成コスト値 (Synthesis Cost)を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。
なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。

（コスト値の算出）
まず、図１１（Ａ）〜図１２を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図１１（Ａ）は基準画像における基準画素を示す概念図、図１１（Ｂ）は図１１（Ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）シフト量（ずれ量）を算出する際の概念図である。図１２は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図１１（Ａ）及び図１１（Ｂ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線(Epipolar Line)上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。即ち、図１１（Ａ）及び図１１（Ｂ）では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。コスト値Ｃの算出方法としては、コスト値Ｃが非類似度を示す場合、ＳＡＤ(Sum of Absolute Difference)等の公知の方法が適用される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図１２に示されているように、シフト量ｄ毎のコスト値Ｃの集まりであるコスト曲線のグラフによって表すことができる。図１２では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。
（合成コスト値の算出）
次に、図１３及び図１４を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図１３は、合成コスト値を導き出すための概念図である。図１４は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。本実施形態における合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。

次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。次の（６）式は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であって上記（１）式と実質的に同じ式であり、（７）式は、合成コスト値Ｌｓを算出するための式であって上記（３）式と実質的に同じ式である。
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝…（６）

ここで、（６）式において、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。なお、Ｌｒは、（６）式に示されているように再帰的に適用される。また、Ｐ１及びＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（６）式に示されているように、Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図１３に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素におけるＬｒを求めるため、最初は、基準画像ｐ（ｘ，ｙ）のｒ方向の一番端の画素からＬｒが求められ、ｒ方向に沿ってＬｒが求められる。
そして、図１３に示されているように、８方向のＬｒ_０，Ｌｒ_４５，Ｌｒ_９０，Ｌｒ_１３５，Ｌｒ_１８０，Ｌｒ_２２５，Ｌｒ_２７０，Ｌｒ_３１５求められ、最終的に（７）式に基づいて、合成コスト値Ｌｓが求められる。

このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図１４に示されているように、シフト量ｄ毎に合成コスト値Ｌｓ（ｐ，ｄ）が示される合成コスト曲線のグラフによって表すことができる。図１４では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。
なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。
また、コスト値Ｃは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Ｃの算出方法としては、ＮＣＣ(Normalized Cross Correlation)等の公知の方法が適用される。また、この場合、合成コスト値Ｌｓが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。

なお、処理装置の処理の一部をＥＣＵが実行しても良いし、ＥＣＵの処理の一部を処理装置が実行しても良い。また、処理装置及びＥＣＵ双方の機能を併有する１つの制御系を構成しても良い。この場合、物体検出プログラム、移動体制御プログラムを１つのメモリに格納しても良い。

また、メモリに代えて、例えばハードディスク等の他の記憶媒体を用いても良い。

また、移動体制御システムの制御対象が車両の制動装置、操舵装置であるが、これに限られない。例えば、制動装置及び操舵装置の一方のみを制御対象としても良いし、車両の駆動源（例えばエンジンやモータ）を制御対象の少なくとも１つとしても良い。

また、移動体制御システムは、車両本体を制御する制動制御部、操舵制御部を有しているが、これに代えて又は加えて、後述する物体検出装置の検出情報に基づいて、運転者等に注意を促すための警報音や警報表示を出力する警報装置を有していても良い。

また、光量分布が不規則な発光パターンによってＬＥＤアレイを点灯させてランダムパターン光を投光しているが、これに代えて、例えば、プロジェクションマッピング映像で代表される「模様」を自車両前方に投影させても良い。すなわち、投光装置は、光により画像を形成し、該画像を形成した光をランダムパターン光として射出する画像形成部を有していても良い。また、不規則なパターン分布を持つマスクパターンに光を照射することにより、ランダムパターン光を生成し、投光しても良い。

また、投光装置の光源部としてヘッドライト装置が用いられているが、ヘッドライト装置とは、別の専用の光源部を別途設けても良い。また、ヘッドライト装置は、車両本体に標準装備されるものに限らず、特注品やオプション品であっても良い。

また、撮像装置として、２つの撮像部（２眼）を有するステレオカメラ２０が採用されているが、３つ以上の撮像部を有する撮像装置を採用しても良い。

［詳細］
上記投光制御部５１ａは、取得した明るさ情報に応じて、メモリ５２に格納された発光パターンデータを用いてヘッドライト装置１０のヘッドライトを点灯させ、ランダムパターン光を投光させる。

そこで、ヘッドライト装置１０及び投光制御部５１ａを含んで、ランダムパターン光を投光する「投光装置」が構成される。また、投光装置及びステレオカメラ２０を含んで、投光装置の投光範囲を撮像する「撮像システム」が構成される。さらに、撮像システム及び画像処理部３３を備える画像処理システムを含んで、投光装置の投光範囲の物体情報を検出する物体検出装置が構成される。

ＥＣＵ５０は、ヘッドライトの消灯中に車両外部が「暗い」と判断したときにヘッドライトを点灯し、該ヘッドライトの点灯中に車両外部が「明るい」と判断したときにヘッドライトを消灯する。

詳述すると、ＥＣＵ５０は、ヘッドライトの消灯中に、車両外部の明るさ情報を検出する明るさ情報検出手段からの検出結果に基づいて車両外部が「暗い」と判断したときに、発光パターンデータを用いてヘッドライトを点灯し、該ヘッドライトからパターン光を投光させる。なお、ヘッドライトの駆動回路は、発光パターンデータを受信すると、ＬＥＤアレイの各ＬＥＤを該発光パターンデータにおいて該ＬＥＤ毎に設定された電流値で駆動する。

詳述すると、発光パターンデータは、ＥＣＵ５０のメモリ５２（図５参照）に格納されている。ＥＣＵ５０のＣＰＵ５１（図５参照）は、投光時にメモリ５２から発光パターンデータを読み出し、該発光パターンデータに従って各ヘッドライトのＬＥＤアレイを駆動する。

また、ＥＣＵ５０は、ヘッドライトを点灯しているときに、明るさ情報検出手段からの検出結果に基づいて車両外部が明るくなったと判断したときに、該ヘッドライトを消灯する。

ヘッドライトから車両前方に投光されたパターン光は、投光範囲に物体がある場合に、該物体に照射される。ここで、「投光範囲」は、各ヘッドライトによる投光可能な範囲を併せた範囲を意味する（図１参照）。

明るさ情報検出手段としては、ステレオカメラ２０と該ステレオカメラ２０で撮像された画像を処理する後述する画像処理部３３とを含んで構成することができるが、例えば単眼カメラと画像処理部の組み合わせや、照度センサなどを用いても良い。すなわち、明るさ情報検出手段がステレオカメラ２０と画像処理部３３で構成される場合には、画像処理部３３が画像中の全画素の輝度の合計値が閾値より小さいときに「暗い」と判断する。また、明るさ情報検出手段が照度センサである場合には、センサの取得値が閾値より小さいときに「暗い」と判断する。もちろん、明るさ情報検出手段による明るさの検出は、車両外部の明るさを取得できれば種々の態様をとり得る。明るさ情報検出手段での検出結果は、ＥＣＵ５０に送信される。

ここで、「発光パターンデータ」は不規則な光量分布（電流値分布）を持つデータであり、対応する「パターン光」は不規則な輝度分布を持つ（図４参照）。そこで、以下では、「パターン光」を「ランダムパターン光」とも呼ぶ。

ランダムパターン光では、２値又は多値（３値以上）の輝度部が不規則に分布している（図４参照）。

例えば、発光パターンデータの光量分布が２値の光量部が不規則に分布したものである場合には、これに対応して、ランダムパターン光も２値の輝度部が不規則に分布したものとなる。

例えば、発光パターンデータの光量分布が、多値の光量部が不規則に分布したものである場合には、これに対応して、ランダムパターン光も多値の輝度部が不規則に分布したものとなる。

ここで、ＥＣＵ５０のメモリ５２に、例えば模様が同一であってコントラストが異なる複数の発光パターンデータ（以下では「コントラストが異なる複数の発光パターンデータ」と略称する）を格納しても良い。コントラストが異なる複数の発光パターンデータは、基準となる発光パターンデータに対して全光量部の光量値を一律に増減させることで得られる。

この場合に、ＥＣＵ５０が、車両外部の明るさや、車両前方の他車両、障害物などの物体の有無や、車両前方の環境のテクスチャ量や、視差画像の視差信頼度情報に基づいて、コントラストが異なる複数の発光パターンデータから適切な発光パターンデータを選択し、該発光パターンデータを用いて各ヘッドライトのＬＥＤアレイを点灯することが望ましい。

車両前方の物体の有無を検出する物体有無検出手段としては、ステレオカメラ２０と画像処理部３３を含んで構成することができるが、例えば単眼カメラや偏光カメラと画像処理部の組み合わせや、レーザレーダなどを用いても良い。なお、明るさ検出手段として単眼カメラと画像処理部の組み合わせを用いる場合には、この組み合わせを物体有無検出手段としても用いることができる。

車両前方の環境のテクスチャ量を検出するテクスチャ検出手段、視差画像の視差信頼度情報を取得する手段としては、ステレオカメラ２０と画像処理部３３とを含んで構成することができる。

そこで、コントラストが異なる複数の発光パターンデータがメモリ５２に格納されている場合には、ＥＣＵ５０は、車両外部の明暗や車両前方の環境に応じて、コントラストが異なる複数のパターン光のうち一のパターン光を各ヘッドライトから選択的に投光させることができる。

ところで、車両において、昼間のトンネル内、夜間などの暗部においては、ヘッドライトから前方に光を投光することにより暗部を明るくするが、元々暗部にある物体のコントラストはすでに低いため、単にヘッドライトを点灯して均一な光を照射しても、画像コントラストが得られにくい。そのため、暗部では、ステレオカメラで車両前方の視差画像を取得する際に、視差計算時に左右画像のマッチング（相関）が取りづらくなる。その結果、車両前方の被写体（人、他車両、障害物、路面、背景など）の無効視差画素数が多くなり、出力視差の精度が低下していた。

以下に、本実施形態の移動体制御システム１００による車両本体の制御（車両制御処理）を、図１５のフローチャートを参照して説明する。ここでの制御は、ＥＣＵ５０と処理装置３０によって実行される。すなわち、移動体制御システム１００の制御に用いられる移動体制御プログラムのうちＥＣＵ５０を動作させるためのサブプログラムがＥＣＵ５０のメモリ５２に格納され、処理装置３０を動作させるためのサブプログラムが処理装置３０のメモリ２９に格納されている。

なお、移動体制御プログラムは、物体検出装置の制御に用いられる物体検出プログラムの全手順を含む。物体検出プログラムのうち投光装置を制御するためのサブプログラムがＥＣＵ５０のメモリ５２に格納され、ステレオカメラ２０、処理装置３０を制御するためのサブプログラムが処理装置３０のメモリ２９に格納されている。

ここでの制御は、運転者や同乗者（以下では「運転者等」と呼ぶ）により車両１の操作部においてセーフティモード（危険回避モード）が選択（ＯＮ）されているときに行われる。セーフティモードが選択（ＯＮ）されているときには、ステレオカメラ２０は両眼でリアルタイムに撮像を行い、左右の画像をフレーム毎に画像処理部３３に送る。

最初のステップＳ１では、ＥＣＵ５０が「投光制御処理１」を実行する。「投光制御処理１」については、後述する。

次のステップＳ２では、「視差画像生成処理」を実行する。「視差画像生成処理」は、メモリ２９に格納されたサブプログラムに従って処理装置３０により実行される。具体的には、処理装置３０がステレオカメラ２０で撮像された左右のフレーム毎の画像（輝度画像）から視差画像を生成する。詳述すると、画像処理部３３がガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、前処理された輝度画像、視差計算によって得られた視差画像を画像認識処理部３４に送る。

次のステップＳ３では、「画像認識処理」を実行する。「画像認識処理」は、メモリ２９に格納されたサブプログラムに従って処理装置３０により実行される。具体的には、処理装置３０が視差画像を用いて画像認識（物体認識）を実施する。詳述すると、画像認識処理部３４が投光範囲の物体に関する情報（物体情報）を認識（検出）し、その結果（画像認識結果）をＥＣＵ５０に送る。なお、「物体に関する情報」は、例えば物体の有無、物体までの距離、物体の種類（例えば人、構造物、道路等）などである。なお、物体の種類の検出は、複数種類の物体の大きさ、形状等のパラメータを予めメモリ２９に格納し、該パラメータに基づいて検出することが可能である。

次のステップＳ４では、「制動・操舵制御処理」を実行する。「制動・操舵制御処理」は、メモリ５２に格納されたサブプログラムに従ってＥＣＵ５０により実行される。具体的には、ＥＣＵ５０が、受信した画像認識結果に基づいて、オートブレーキやオートステアリング（危険回避のための制御）を行う。より詳細には、画像認識結果に基づいて、制動・操舵制御部５１ｂが制動装置、操舵装置を適宜制御する。

次のステップＳ５では、ＥＣＵ５０が、セーフティモードがＯＮか否かを判断する。ここでの判断が肯定されるとステップＳ１に戻り、否定されるとフローは終了する。

次に、「車両制御処理」のステップＳ１の「投光制御処理１」について、図１６のフローチャートを参照して説明する。投光制御処理１は、投光制御部５１ａにより、メモリ５２に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置３０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信されている。

最初のステップＳ１１では、車両外部が暗いか否かを判断する。具体的には、処理装置３０からの明るさ情報を予め設定された基準値と比較し、その明るさ情報が該基準値未満であれば「暗い」と判断し、該基準値以上であれば「暗くない」と判断する。ステップＳ１１での判断が否定されると（暗くないと判断されると）ステップＳ１２に移行し、ステップＳ１１での判断が肯定されると（暗いと判断されると）、ステップＳ１３に移行する。

ステップＳ１２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ１２が実行されると、フローは終了する。

ステップＳ１３では、点灯トリガ信号と発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、ランダムパターン光が車両前方に投光される。このとき、ランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ１３が実行されると、フローは終了する。

なお、投光制御処理１を含む車両制御処理において、セーフティモードがＯＮのときには、運転者等によるヘッドライトスイッチの手動操作に優先して、車外の明るさが基準値未満のときに自動的にヘッドライトが点灯し、該基準値以上のときにはヘッドライトは点灯しない。一方、セーフティモードがＯＦＦのときには、ヘッドライトは、運転者等によるヘッドライトスイッチの手動操作のみによって点灯／消灯される。

以上説明した本実施形態の撮像システムは、車両本体（移動体）に搭載される撮像システムであって、ランダムパターン光（不規則な輝度分布を持つパターン光）を投光する、ヘッドライト装置１０及び投光制御部５１ａを含む投光装置と、該投光装置の投光範囲を撮像する２つの撮像部２０ａ、２０ｂを含むステレオカメラ２０（撮像装置）と、を備えている。

この場合、投光範囲（ランダムパターン光が投光される範囲）をステレオカメラ２０で撮像できるため、暗部に対しての物体情報の検出に有効な画像を得ることができる。

また、投光装置はランダムパターン光を投射する、車両本体に標準装備されるヘッドライト装置１０を光源部として含む。この場合、ランダムパターン光が暗部を照らす照明光になるとともに視差計算に有効な光にもなる。すなわち、ヘッドライト装置１０に加えて光源部を別途設ける必要がない。

また、本実施形態の物体検出装置は、撮像システムと、車両本体に搭載され、撮像システムのステレオカメラ２０で撮像された画像を処理する処理装置３０と、を備えている。

この場合、撮像システムで得られた暗部に対しての物体情報の検出に有効な画像（左右の画像）から、該物体情報を高精度に検出することができる。

この結果、例えば、投光範囲における左右の画像のマッチング精度を向上でき、投光範囲にある物体の視差を精度良く算出できる。

すなわち、もともとコントラストの低い暗部にある物体にもテクスチャが付くため、ステレオカメラ２０の左右の撮像部で取得した画像にはコントラストが現れ、左右のマッチング精度が確保でき、暗部にある物体の視差算出精度を向上できる。

結果として、本実施形態の物体検出装置によれば、暗部に対しての物体情報の検出精度を向上させることができる。

また、投光装置は、車両本体の外部の明るさが予め設定された基準値（所定値）未満のときにランダムパターン光を投光するため、視差計算の精度が落ちる暗部に対してのみランダムパターン光を投光することができ、不要な投光を抑制でき省エネ化を図ることができる。なお、もともと明部にある物体のコントラストはすでに高いため、車両外部が明るい場合には、ランダムパターン光を投光する必要性は低い。

また、投光装置は、ステレオカメラ２０で撮像された画像の輝度情報から明るさ情報を取得するため、明るさ情報を検出するための専用の検出手段を別途設ける場合に比べて、部品点数の増加及びコストアップを抑制できる。

また、処理装置３０は、２つの撮像部２０ａ、２０ｂで個別に撮像された複数の画像から視差画像を生成する画像処理部３３を更に含むため、高精度の視差画像を生成することができる。

また、処理装置３０は、画像処理部３３で生成された視差画像を用いて画像認識を行う画像認識処理部３４を更に含むため、高精度の画像認識結果を得ることができる。

また、移動体制御システム１００は、物体検出装置と、車両本体に搭載され、物体検出装置の処理装置３０での画像認識結果に基づいて車両本体を制御するＥＣＵ５０とを備えるため、走行中の車両本体が物体に衝突するのを未然に防止することができる。

また、車両１（移動体装置）は、移動体制御システム１００と、該移動体制御システム１００が搭載される車両本体（移動体）とを備えるため、安全性に優れる。

また、本実施形態の投光装置は、車両本体に搭載される、２つの撮像部２０ａ、２０ｂを含むステレオカメラ２０の撮像範囲にランダムパターン光を投光するため、暗部であっても投光範囲にある物体の視差を精度良く算出可能な画像をステレオカメラ２０に取得させることができる。

なお、以上の説明からも分かるように、本発明の投光装置、撮像システム、物体検出装置は、暗い環境において使用される場合に特に有効な装置であり、必ずしも車両本体等の移動体に搭載されなくても良く、様々な分野で使用されることが期待される。なお、投光装置、撮像システム、物体検出装置が移動体に搭載されない場合には、ヘッドライト装置の代わりの光源部を用いることになる。

また、本実施形態の物体検出装置を用いた物体検出方法は、車両本体上からランダムパターン光を投光する工程と、ランダムパターン光が投光された範囲を移動体上の２つの位置から撮像する工程と、該撮像する工程で撮像された画像を処理する工程とを含む。

この場合、ランダムパターン光が投光された範囲を２つの位置から撮像できるため、暗部に対しての物体情報の検出に有効な画像を得ることができ、該画像から該物体情報を高精度に検出することができる。

結果として、本実施形態の物体検出方法によれば、暗部に対しての物体情報の検出精度を向上させることができる。

また、物体検出方法は、撮像する工程で複数位置から個別に撮像された複数の画像から視差画像を生成する工程を更に含むため、高精度の視差画像を生成することができる。

また、本実施形態の移動体制御システムを用いた移動体制御方法は、車両本体上からランダムパターン光を投光する工程と、ランダムパターン光が投光された範囲を移動体上の複数位置から撮像する工程と、撮像する工程で複数位置から個別に撮像された複数の画像から視差画像を生成する工程と、視差画像を生成する工程で生成された視差画像を用いて画像認識する工程と、画像認識する工程での認識結果に基づいて、車両本体を制御する工程と、を含む。

この場合、走行中の車両本体が物体に衝突するのを防止することができる。

また、本実施形態の物体検出装置の制御に用いられる物体検出プログラムは、上記物体検出方法をコンピュータに実行させる物体検出プログラムであって、車両本体上からランダムパターン光を投光する手順と、ランダムパターン光が投光された範囲を車両本体上の複数位置から撮像する手順と、該撮像する手順で撮像された画像を処理する手順と、を含む。

結果として、本実施形態の物体検出プログラムによれば、暗部に対しての物体情報の検出精度を向上させることができる。

また、物体検出プログラムは、撮像する工程で複数位置から個別に撮像された複数の画像から視差画像を生成する手順を更に含むため、高精度の視差画像を生成することができる。

また、本実施形態の移動体制御システムの制御に用いられる移動体制御プログラムは、車両本体上からランダムパターン光を投光する手順と、ランダムパターン光が投光された範囲を移動体上の複数位置から撮像する手順と、撮像する手順で複数位置から個別に撮像された複数の画像から視差画像を生成する手順と、視差画像を生成する手順で生成された視差画像を用いて画像認識する手順と、画像認識する手順での認識結果に基づいて、車両本体を制御する手順と、を含む。

また、物体検出プログラムは、一部がメモリ２９に、残部がメモリ５２に格納されているため、物体検出装置を、適宜、物体検出プログラムに従って動作させることができる。

また、移動体制御プログラムは、一部がメモリ２９に、残部がメモリ５２に格納されているため、移動体制御システム１００を、適宜、移動体制御プログラムに従って動作させることができる。

以下に、上記実施形態の幾つかの変形例について説明する。

《変形例１》
変形例１の移動体制御システムは、上記実施形態の移動体制御システム１００と同様の構成を有している。変形例１では、投光制御処理が上記実施形態と異なる。

変形例１では、ＥＣＵ５０のメモリ５２に、コントラストが異なる２つの発光パターンデータ（高コントラスト発光パターンデータ、低コントラスト発光パターンデータ）が格納されており、投光制御部５１ａは、ヘッドライトを点灯させるとき、車両外部の明るさに応じて、これら２つの発光パターンデータから一の発光パターンデータを選択し、該一の発光パターンデータを用いて該ヘッドライトのＬＥＤアレイを点灯させる。

以下に、変形例１の投光制御処理２を、図１７のフローチャートを参照して説明する。ここでの制御は、投光制御部５１ａにより、メモリ５２に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置３０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信される。

最初のステップＳ２１では、受信した明るさ情報が第１基準値未満であるか否かを判断する。ステップＳ２１での判断が否定されるとステップＳ２２に移行し、ステップＳ２１での判断が肯定されると、ステップＳ２３に移行する。ここで、明るさ情報が第１基準値以上である場合（ステップＳ２２に移行する場合）は、一般に「明るい」と感じるレベルである。

ステップＳ２２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ２２が実行されると、フローは終了する。

ステップＳ２３では、受信した明るさ情報が、第１基準値よりも小さい第２基準値未満であるか否かを判断する。ステップＳ２３での判断が肯定されるとステップＳ２４に移行し、ステップＳ２３での判断が否定されると、ステップＳ２５に移行する。ここで、明るさ情報が第１基準値未満かつ第２基準値以上の場合（ステップＳ２５に移行する場合）は、一般に「薄暗い」と感じるレベルである。明るさ情報が第２基準値未満の場合（ステップＳ２４に移行する場合）は、一般に「暗い」と感じるレベルである。

ステップＳ２４では、点灯トリガ信号と高コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、高コントラストなランダムパターン光が車両前方に投光される。このとき、高コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ２４が実行されると、フローは終了する。

ステップＳ２５では、点灯トリガ信号と低コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、各ヘッドライトが消灯中のときには該ヘッドライトが点灯され、低コントラストなランダムパターン光が車両前方に投光される。このとき、低コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ２５が実行されると、フローは終了する。

なお、投光制御処理２を含む車両制御処理において、セーフティモードがＯＮのときには、運転者等によるヘッドライトスイッチの手動操作に優先して、車外の明るさ情報が第１基準値未満のときに自動的にヘッドライトが点灯し、第１基準値以上のときにはヘッドライトは点灯されない。一方、セーフティモードがＯＦＦのときには、ヘッドライト装置１０は、運転等によるヘッドライトスイッチの手動操作によってのみ点灯／消灯される。

以上説明した変形例１では、投光制御部５１ａ及びヘッドライト装置１０を含む投光装置は、ランダムパターン光を投光するとき、車両外部の明るさに応じてランダムパターン光のコントラストを調整する（輝度分布を調整する）。

この場合、車両外部の明るさに応じて視差計算に適したコントラストのランダムパターン光を投光することができる。

例えば、運転者の注意力が散漫となる「薄暗い」ときには低めのコントラストのランダムパターン光を投光することで、視差を高精度に算出でき、かつ運転者に対するランラムパターン光による視認性の違和感を低減することができる。結果として、システムによる安全性の向上と視認性を両立することができる。

例えば、視差の算出に不利な「暗い」ときには高めのコントラストのランダムパターン光を投光することで、視差を高精度に算出できる。結果として、システムによる安全性を確保できる。

なお、上記変形例１では、基準値を２つ設定し、明るさ情報が２つの基準値の少なくとも一方を下回ったときにコントラストが異なる２つのランダムパターン光を選択的に投光することとしているが、基準値を３つ以上設定し、各基準値を境にコントラストが異なる３つ以上のランダムパターン光を選択的に投光することとしても良い。この場合も、明るさ情報が小さいほど（暗いほど）コントラストが高いランダムパターン光を投光することが望ましい。

《変形例２》
変形例２では、移動体制御システムの構成、投光制御処理が上記実施形態と異なる。図１８に示される変形例２の移動体制御システム２００の処理装置６０では、上記実施形態の処理装置３０に対して、車両前方テクスチャ情報ＣＰＵＩ／Ｆ３６、テクスチャ情報転送用Ｉ／Ｆ３９が追加されている。また、移動体制御システム２００のＥＣＵ７０では、上記実施形態のＥＣＵ５０に対して、ＣＰＵＩ／Ｆ５４が追加されている。

処理装置６０の画像処理部３３は、ステレオカメラ２０で撮像された左右の画像（輝度画像）から、車両前方テクスチャ情報を算出し、車両前方テクスチャ情報ＣＰＵＩ／Ｆ３６を介してＣＰＵ３１に送信する。ＣＰＵ３１は、受信した車両前方テクスチャ情報を、テクスチャ情報転送用Ｉ／Ｆ３９を介してＥＣＵ５０に送信する。

ＥＣＵ７０のＣＰＵ５１は、ＣＰＵ３１からのテクスチャ情報を、テクスチャ情報転送用Ｉ／Ｆ３９、ＣＰＵＩ／Ｆ５４を介して取得する。

変形例２では、ＥＣＵ７０のメモリ５２に、コントラストが異なる２つの発光パターンデータ（高コントラスト発光パターンデータ、低コントラスト発光パターンデータ）が格納されており、投光制御部５１ａは、ヘッドライト装置１０を点灯させるとき、車両前方の物体の有無に応じて、これら２つの発光パターンデータから一の発光パターンデータを選択し、該一の発光パターンデータを用いて各ヘッドライトのＬＥＤアレイを点灯させる。

以下に、変形例２の投光制御処理３を、図１９のフローチャートを参照して説明する。投光制御処理３は、投光制御部５１ａにより、メモリ５２に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置６０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信される。

最初のステップＳ３１では、車両外部が暗いか否かを判断する。具体的には、処理装置６０からの明るさ情報を予め設定された基準値と比較し、その明るさ情報が該基準値未満であれば「暗い」と判断し、基準値以上であれば「暗くない」と判断する。ステップＳ３１での判断が否定されると（暗くないと判断されると）ステップＳ３２に移行し、ステップＳ３１での判断が肯定されると（暗いと判断されると）、ステップＳ３３に移行する。

ステップＳ３２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ３２が実行されると、フローは終了する。

ステップＳ３３では、車両前方に物体があるか否かを判断する。ここでは、処理装置６０が物体の有無を判定し、その判定結果をＥＣＵ７０に出力する。具体的には、画像処理部３３がステレオカメラ２０からの画像（輝度画像）における車両前方領域のテクスチャ量を判定することにより物体の有無を判定し、その判定結果を投光制御部５１ａに出力する。詳述すると、画像処理部３３は、このテクスチャ量が閾値以上のときに「物体あり」と判定し、閾値未満のときに「物体なし」と判定する。テクスチャ量の判定方法については、後述する。ステップＳ３３での判断が肯定されるとステップＳ３４に移行し、ステップＳ３３での判断が否定されるとステップＳ３５に移行する。なお、車両前方に物体があるか否かの判断は、テクスチャ量による判断のみに限られず、種々の方法を取り得る。例えば、公知のパターンマッチングを用いて車両前方の物体を認識しても良い。ただし、車両前方に物体があるか否かの判断は計算速度も要求されるため、テクスチャ量による物体有無の判断が有効である。

ステップＳ３４では、点灯トリガ信号と高コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、高コントラストなランダムパターン光が車両前方に投光される。このとき、高コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ３４が実行されると、フローは終了する。

ステップＳ３５では、点灯トリガ信号と低コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには該ヘッドライトが点灯され、低コントラストなランダムパターン光が車両前方に投光される。このとき、低コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ３５が実行されると、フローは終了する。

以上説明した変形例２では、投光制御部５１ａ及びヘッドライト装置１０を含む投光装置は、ランダムパターン光を投光するとき、車両前方（投光装置の投光範囲）における物体の有無に応じてランダムパターン光のコントラストを調整する（輝度分布を調整する）。

この場合、車両前方の物体の有無、すなわち衝突危険性に応じて必要十分なコントラストのランダムパターン光を投光することができる。

例えば、衝突危険性が低い「物体なし」のときには低めのコントラストのランダムパターン光を投光することで、視差を高精度に算出でき、かつ運転者に対するランラムパターン光による視認性の違和感を低減することができる。結果として、システムによる安全性と視認性を両立することができる。

例えば、衝突危険性が高い「物体あり」のときには高めのコントラストのランダムパターン光を投光することで、視差をより高精度に算出できる。結果として、システムによる安全性を確保できる。

また、処理装置６０がステレオカメラ２０で撮像された画像から物体の有無を検出するため、物体の有無を検出するための専用の検出手段を別途設ける場合に比べて、部品点数の増加及びコストアップを抑制できる。

《変形例３》
変形例３の移動体制御システムは、変形例２の移動体制御システム２００と同様の構成を有している。変形例３では、投光制御処理が上記実施形態と異なる。

変形例３では、ＥＣＵ７０のメモリ５２に、コントラストが異なる２つの発光パターンデータ（高コントラスト発光パターンデータ、低コントラスト発光パターンデータ）が格納されており、投光制御部５１ａは、ヘッドライト装置１０を点灯させるとき、車両前方及び斜め前方のテクスチャ量の和に応じて、これら２つの発光パターンデータから一の発光パターンデータを選択し、該一の発光パターンデータを用いて各ヘッドライトのＬＥＤアレイを点灯させる。

以下に、変形例２の投光制御処理４を、図２０のフローチャートを参照して説明する。投光制御処理４は、投光制御部５１ａにより、メモリ２９に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置６０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信される。

最初のステップＳ４１では、車両外部が暗いか否かを判断する。具体的には、処理装置６０からの明るさ情報を予め設定された基準値と比較し、その明るさ情報が該基準値未満であれば「暗い」と判断し、基準値以上であれば「暗くない」と判断する。ステップＳ４１での判断が否定されると（暗くないと判断されると）ステップＳ４２に移行し、ステップＳ４１での判断が肯定されると（暗いと判断されると）、ステップＳ４３に移行する。

ステップＳ４２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ４２が実行されると、フローは終了する。

ステップＳ４３では、ステレオカメラ２０で撮像された画像全体のテクスチャ量が多いか否かを判断する。ここでは、処理装置６０がテクスチャ量を判定し、その判定結果をＥＣＵ７０に出力する。具体的には、画像処理部３３がステレオカメラ２０からの画像（輝度画像）における車両前方領域及び斜め前方領域のテクスチャ量の和（以下ではテクスチャ総量とも呼ぶ）が閾値以上であるか否かを判定し、その判定結果を投光制御部５１ａに出力する。詳述すると、画像処理部３３は、このテクスチャ総量が閾値以上のときに「テクスチャ総量が多い」と判定し、閾値未満のときに「テクスチャ総量が多くない」と判定する。このテクスチャ総量の判定方法については、後述する。ステップＳ４３での判断が肯定されるとステップＳ４４に移行し、ステップＳ４３での判断が否定されるとステップＳ４５に移行する。

ステップＳ４４では、点灯トリガ信号と低コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには該ヘッドライトが点灯され、低コントラストなランダムパターン光が車両前方に投光される。このとき、低コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ４４が実行されると、フローは終了する。

ステップＳ４５では、点灯トリガ信号と高コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、高コントラストなランダムパターン光が車両前方に投光される。このとき、高コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ４５が実行されると、フローは終了する。

以上説明した変形例３では、投光制御部５１ａ及びヘッドライト装置１０を含む投光装置は、ランダムパターン光を投光するとき、車両前方及び斜め前方のテクスチャ量の和（ヘッドライト装置１０の投光範囲におけるテクスチャ総量）に基づいてランダムパターン光のコントラストを調整（輝度分布を調整）する。

この場合、車両前方及び斜め前方のテクスチャ量の和（テクスチャ総量）に応じて必要十分なコントラストのランダムパターン光を投光することができる。

例えば、テクスチャ総量が多い場合（繁華街、山林等を走行中の場合）には低めのコントラストのランダムパターン光を投光することで、視差を高精度に算出でき、かつ運転者に対するランラムパターン光による視認性の違和感を低減することができる。結果として、システムによる安全性と視認性を両立することができる。

例えば、テクスチャ総量が少ない場合（海岸、田園、荒野等を走行中の場合）には高めのコントラストのランダムパターン光を投光することで、視差をより高精度に算出できる。結果として、システムによる安全性を確保できる。

また、処理装置６０はステレオカメラ２０で撮像された画像から投光範囲のテクスチャ量を取得するため、テクスチャ量を検出するための専用の検出手段を別途設ける場合に比べて、部品点数の増加及びコストアップを抑制できる。

なお、上記変形例３では、テクスチャ総量の閾値を１つ設定し、該閾値を境にコントラストが異なる２つのランダムパターン光を選択的に投光することとしているが、テクスチャ総量の閾値を２つ以上設定し、各閾値を境にコントラストが異なる３つ以上のランダムパターン光を選択的に投光することとしても良い。この場合も、テクスチャ総量が少ないほどコントラストが高いランダムパターン光を投光することが望ましい。

ここで、上記変形例２におけるテクスチャ量の判定方法、上記変形例３におけるテクスチャ総量の判定方法について図２１（Ａ）及び図２１（Ｂ）を参照して説明する。

先ず、図２１（Ａ）において、ある画素のテクスチャ定義式を、Ｔｘｔ＝｜（Ａ＋Ｂ）−（Ｃ＋Ｄ）｜とする。｜｜は絶対値を意味する。
Ａは、ある画素から２画素左隣の画素の画素値とする。
Ｂは、ある画素から１画素左隣の画素の画素値とする。
Ｃは、ある画素から１画素右隣の画素の画素値とする。
Ｄは、ある画素から２画素右隣の画素の画素値とする。
また、Ｔｈをテクスチャ閾値とする。
Ｔｘｔ＞Ｔｈを満たす場合、その画素にはテクスチャがあると判断し、テクスチャフラグｆｌａｇ＝１を立てる。
Ｔｘｔ＞Ｔｈを満たさない場合、その画素にはテクスチャがないと判断し、テクスチャフラグｆｌａｇ＝０を立てる。
この処理を、画像全体もしくは画像におけるテクスチャ量の判定対象領域の各画素に対して行い、ｆｌａｇ＝１となっている画素の個数をカウントすることにより、画像全体もしくは判定対象領域全体のテクスチャ量を判定することができる（図２１（Ｂ）参照）。
例えば、車両前方領域のみのテクスチャ量を判定したいときは、車両前方領域の範囲（例えば４座標）を予め指定しておき、その範囲内のｆｌａｇ＝１の個数をカウントすれば良い。例えば、車両斜め前方領域のテクスチャ量を判定したいときは、画像の両サイドの領域に対して領域指定（座標指定）しておき、その範囲内のｆｌａｇ＝１の個数をカウントすれば良い。なお、「テクスチャ量」の定義式に関しては、上記は一例に過ぎず、例えば、Ｔｘｔ＝｜Ａ−Ｃ｜や、Ｔｘｔ＝｜Ｂ−Ｄ｜等の種々の対応を取り得る。

《変形例４》
変形例４の移動体制御システムは、上記実施形態の移動体制御システム１００と同様の構成を有している。変形例４では、投光制御処理が上記実施形態と異なる。

変形例４では、ＥＣＵ５０のメモリ５２に、コントラストが異なる２つの発光パターンデータ（高コントラスト発光パターンデータ、低コントラスト発光パターンデータ）が格納されており、投光制御部５１ａは、ヘッドライト装置１０を点灯させるとき、視差画像における無効視差画素数（視差の信頼度情報）に応じて、これら２つの発光パターンデータのいずれかを用いて各ヘッドライトのＬＥＤアレイを点灯させる。

以下に、変形例４の投光制御処理５を、図２２のフローチャートを参照して説明する。投光制御処理５は、投光制御部５１ａにより、メモリ５２に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置３０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信される。

最初のステップＳ５１では、車両外部が暗いか否かを判断する。具体的には、処理装置３０からの明るさ情報を予め設定された基準値と比較し、その明るさ情報が該基準値未満であれば「暗い」と判断し、該基準値以上であれば「暗くない」と判断する。ステップＳ５１での判断が否定されると（暗くないと判断されると）ステップＳ５２に移行し、ステップＳ５１での判断が肯定されると（暗いと判断されると）、ステップＳ５３に移行する。

ステップＳ５２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ５２が実行されると、フローは終了する。

ステップＳ５３では、点灯トリガ信号と低コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには該ヘッドライトが点灯され、低コントラストなランダムパターン光が車両前方に投光される。このとき、低コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ５３が実行されると、ステップＳ５４に移行する。

ステップＳ５４では、視差画像に無効視差画素数が多く存在するか否かを判断する。ここでは、処理装置３０が視差画像における無効視差画素数の多少を判定し、その判定結果をＥＣＵ５０に出力する。具体的には、画像処理部３３がステレオカメラ２０で撮像された画像（輝度画像）に対して、ガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、視差計算によって得られた視差画像を画像認識処理部３４に送る。そして、画像認識処理部３４は、受信した視差画像における無効視差画素数が閾値以上であるか否かを判定し、その判定結果を投光制御部５１ａに出力する。ステップＳ５４での判断が肯定されるとステップＳ５５に移行し、ステップＳ５４での判断が否定されると、フローは終了する。

ステップＳ５５では、点灯トリガ信号と高コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、高コントラストなランダムパターン光が車両前方に投光される。このとき、高コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ５５が実行されると、フローは終了する。

以上説明した変形例４では、投光制御部５１ａ及びヘッドライト装置１０を含む投光装置は、ランダムパターン光を投光するとき、視差画像における無効視差画素数、すなわち視差の信頼度情報に基づいてランダムパターン光のコントラストを調整（輝度分布を調整）する。

この場合、視差の信頼度情報に応じて適切なコントラストのランダムパターン光を投光することができる。

例えば、無効視差画素数が少ない場合（視差の信頼度が高い場合）には低めのコントラストのランダムパターン光を投光することで、視差を高精度に算出でき、かつ運転者に対するランラムパターン光による視認性の違和感を低減することができる。結果として、システムによる安全性と視認性を両立することができる。

例えば、無効視差画素数が多い場合（視差の信頼度が低い場合）には高めのコントラストのランダムパターン光を投光することで、視差を高精度に算出できる。結果として、システムによる安全性を確保できる。

また、処理装置３０は、ステレオカメラ２０で撮像された画像から無効視差画素数（視差の信頼度情報）を取得するため、他の手段により無効視差画素数を取得する場合に比べて、構成を簡素化でき、コストアップを抑制できる。

なお、上記変形例４では、無効視差画素数の閾値を１つ設定し、該閾値を境にコントラストが異なる２つのランダムパターン光を選択的に投光することとしているが、無効視差画素数の閾値を２つ以上設定し、各閾値を境にコントラストが異なる３つ以上のランダムパターン光を選択的に投光することとしても良い。この場合も、無効視差画素数が多いほどコントラストが高いランダムパターン光を投光することが望ましい。

《変形例５》
変形例５の移動体制御システムは、上記実施形態の移動体制御システム１００と同様の構成を有している。変形例５では、投光制御処理が上記実施形態と異なる。

変形例５では、ＥＣＵ５０のメモリ５２に、コントラストが異なる２つの発光パターンデータ（高コントラスト発光パターンデータ、低コントラスト発光パターンデータ）が格納されており、投光制御部５１ａは、ヘッドライト装置１０を点灯させるとき、車両前方の物体の有無に応じて、これら２つの発光パターンデータのいずれかを用いて各ヘッドライトのＬＥＤアレイを点灯させる。

以下に、変形例５の投光制御処理６を、図２３のフローチャートを参照して説明する。投光制御処理６は、投光制御部５１ａにより、メモリ５２に格納されたサブプログラムに従って実行される。ここでは、ステレオカメラ２０でリアルタイムに撮像された車両前方の画像（輝度画像）から処理装置３０で明るさ情報がリアルタイムに算出され、該明るさ情報が投光制御部５１ａにリアルタイムで送信される。

最初のステップＳ６１では、車両外部が暗いか否かを判断する。具体的には、処理装置６０からの明るさ情報を予め設定された基準値と比較し、その明るさ情報が該基準値未満であれば「暗い」と判断し、該基準値以上であれば「暗くない」と判断する。ステップＳ６１での判断が否定されると（暗くないと判断されると）ステップＳ６２に移行し、ステップＳ６１での判断が肯定されると（暗いと判断されると）、ステップＳ６３に移行する。

ステップＳ６２では、消灯トリガ信号をヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには消灯され、ヘッドライトが消灯中のときには消灯状態が維持される。ステップＳ６２が実行されると、フローは終了する。

ステップＳ６３では、点灯トリガ信号と低コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには該ヘッドライトが点灯され、低コントラストなランダムパターン光が車両前方に投光される。このとき、低コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ６３が実行されると、ステップＳ６４に移行する。

ステップＳ６４では、車両前方に物体があるか否かを判断する。具体的には、処理装置３０が視差画像を生成し、該視差画像を用いて画像認識を行って物体の有無を判定し、その判定結果をＥＣＵ５０に出力する。詳述すると、画像処理部３３がステレオカメラ２０で撮像された画像（輝度画像）に対してガンマ補正や歪み補正などの前処理を実施した後、視差計算を行い、前処理された輝度画像、視差計算によって得られた視差画像を画像認識処理部３４に送る。画像認識処理部３４は、輝度画像、視差画像を用いて画像認識を行って物体の有無を判定し、その判定結果を投光制御部５１ａに出力する。ステップＳ６４での判断が肯定されるとステップＳ６５に移行し、ステップＳ６４での判断が否定されるとフローは終了する。

ステップＳ６５では、点灯トリガ信号と高コントラスト発光パターンデータをヘッドライト装置１０へ送信する。この結果、ヘッドライトが点灯中のときには点灯状態が維持され、ヘッドライトが消灯中のときには点灯され、高コントラストなランダムパターン光が車両前方に投光される。このとき、高コントラストなランダムパターン光が投光された範囲がステレオカメラ２０の両眼で撮像され、撮像された左右の画像が画像処理部３３にフレーム毎に送られる。ステップＳ６５が実行されると、フローは終了する。

以上説明した変形例５では、車両外部が暗い場合に低コントラストなランダムパターン光を投光し、撮像された画像から視差画像を生成し、該視差画像を用いた画像認識を行うため、車両前方の物体の有無を精度良く検出することができる。そして、車両前方の有無に基づいてランダムパターン光のコントラストを調整（輝度分布を調整）する。すなわち、車両前方に「物体なし」と検出された場合には低コントラストなランダムパターン光の投光が続行され、車両前方に「物体あり」と検出された場合には高コントラストなランダムパターン光の投光に切り替えられる。

この場合、車両前方の物体の有無に応じて適切なコントラストのランダムパターン光を投光することができる。

この結果、車両前方の物体の有無、すなわち衝突危険性に応じて適切なコントラストのランダムパターン光を投光することができる。

また、処理装置３０がステレオカメラ２０で撮像された画像から物体の有無を検出するため、物体の有無を検出するための専用の検出手段を別途設ける場合に比べて、部品点数の増加及びコストアップを抑制できる。

なお、図２４に示される変形例６の投光制御処理７（ステップＳ７１〜ステップＳ７５）のように、図２３のフローチャートにおけるステップＳ６３とステップ６５を実質的に入れ替えたような制御を行っても良い。変形例６でも、変形例５と同様な効果得ることができる。

以下に、本発明の実施例１〜５（用いた視差計算方法：ＳＧＭアルゴリズム）を示す（表１参照）。

〈実施例１〉（上記実施形態に対応）
走行中、運転手が暗いことを判断して手動でヘッドライトを点灯させた。ヘッドライトの照射光には、不均一なコントラストを付けた。その結果、車両前方の無効視差画素数が減少した。

〈実施例２〉（上記実施形態に対応）
明るさ情報検出手段を用いた。走行中、自動的に暗いことを判断して自動でヘッドライトを点灯させた。ヘッドライトの照射光には、不均一なコントラストを付けた。その結果、車両前方の無効視差画素数が減少した。

〈実施例３〉（上記変形例２、５に対応）
明るさ情報検出手段と物体有無検出手段を用いた。走行中、自動的に暗いことを判断して自動でヘッドライトを点灯させた。また、走行中、車両前方の４０ｍ先に他車両の存在を検知したため、ヘッドライトの照射光には、不均一なコントラストを付けた。その結果、車両前方の無効視差画素数が減少した。特に、車両前方の他車両の無効視差画素数が減少していた。

〈実施例４〉（上記変形例３に対応）
明るさ情報検出手段とテクスチャ検出手段を用いた。走行中、自動的に暗いことを判断して自動でヘッドライトを点灯させた。また、走行中、輝度画像から判断したテクスチャはあまり残っていなかったため、ヘッドライトの照射光には、不均一なコントラストを付けた。その結果、車両前方の無効視差画素数が減少した。

〈実施例５〉（上記変形例４に対応）
明るさ検出手段と視差画像信頼度情報（無効視差画素数）取得手段を用いた。走行中、自動的に暗いことを判断して自動でヘッドライトを点灯させた。また、走行中、視差画像から判断した無効視差画素数は全画素数に対して６５％も存在していたため、ヘッドライトの照射光には、不均一なコントラストを付けた。その結果、車両前方の無効視差画素数が減少した。

なお、実施例１〜５ではステレオカメラを検出系の手段として使用したが、これに限定されない。視差情報を取得する手段以外の手段は、単眼カメラや偏光カメラやレーザレーダ等を使用することもできる。

本発明は、上記実施形態、各変形例、各実施例に限定されず、適宜変更可能である。例えば、複数のランダムパターン光としては、コントラストと模様が異なる複数のランダムパターン光であっても良いし、模様が異なりコントラストが同じ複数のランダムパターン光であっても良い。複数のランダムパターン光間の切り替えは、運転者が手動で切り替える構成としても良い。

また、上記各変形例、各実施例では、低コントラストなランダムパターン光を投光する代わりに、例えばコントラストがない（輝度分布が均一な）模様の光、コントラストに規則性がある光などの規則的な輝度分布を持つパターン光を投光するようにしても良い。

１０…ヘッドライト装置（投光装置の一部）、２０…ステレオカメラ（撮像装置）、３０…処理装置、５０…ＥＣＵ（制御装置）、５１ａ…（投光制御部）、１００、２００…移動体制御システム。

特許５１３８５１７号公報

Claims

移動体に搭載される撮像システムであって、
不規則な輝度分布を持つパターン光を投光する投光装置と、
前記投光装置の投光範囲を撮像する、複数の撮像部を含む撮像装置と、を備え、
前記投光装置は、前記移動体の外部の明るさ情報が所定値未満のときに前記パターン光を投光し、前記パターン光を投光するとき、前記投光範囲におけるテクスチャ量に基づいて前記パターン光の輝度分布を調整する撮像システム。
前記投光装置は、前記移動体に搭載されるヘッドライトを光源部として含むことを特徴とする請求項１に記載の撮像システム。
請求項１又は２に記載の撮像システムと、
前記移動体に搭載され、前記撮像システムの撮像装置で撮像された画像を処理する処理装置と、を備える画像処理システム。
前記処理装置は、前記撮像装置で撮像された画像の輝度に基づいて前記移動体の外部の明るさ情報を算出することを特徴とする請求項３に記載の画像処理システム。
前記処理装置は、前記撮像装置で撮像された画像から前記テクスチャ量を算出することを特徴とする請求項３又は４に記載の画像処理システム。
前記パターン光の輝度分布を調整することは、前記パターン光の模様を調整することを含む請求項３〜５のいずれか一項に記載の画像処理システム。
前記パターン光の輝度分布を調整することは、前記パターン光のコントラストを調整することを含む請求項３〜５のいずれか一項に記載の画像処理システム。
前記処理装置は、前記投光装置から前記パターン光が投光されたときに前記複数の撮像部で個別に撮像された複数の画像から視差画像を生成することを特徴とする請求項３〜７のいずれか一項に記載の画像処理システム。
前記処理装置は、前記視差画像を用いて画像認識を行うことを特徴とする請求項８に記載の画像処理システム。
請求項９に記載の画像処理システムと、
前記移動体に搭載され、前記画像処理システムの処理装置での画像認識結果に基づいて前記移動体を制御する制御装置と、を備える移動体制御システム。
請求項１０に記載の移動体制御システムと、
前記移動体制御システムが搭載される前記移動体と、を備える移動体装置。
移動体に搭載される投光装置において、
前記移動体に搭載される、複数の撮像部を含む撮像装置の撮像範囲に不規則な輝度分布を持つパターン光を、前記移動体の外部の明るさ情報が所定値未満のときに投光し、そのとき、その投光範囲におけるテクスチャ量に基づいて前記パターン光の輝度分布を調整することを特徴とする投光装置。
移動体上から不規則な輝度分布を持つパターン光を、前記移動体の外部の明るさ情報が所定値未満のときに投光し、そのとき、その投光範囲におけるテクスチャ量に基づいて前記パターン光の輝度分布を調整する工程と、
前記パターン光が投光された範囲を前記移動体上の複数位置から撮像する工程と、
前記撮像する工程で撮像された画像を処理する工程と、を含む物体検出方法。
請求項１３に記載の物体検出方法をコンピュータに実行させる物体検出プログラムであって、
移動体上から不規則な輝度分布を持つパターン光を、前記移動体の外部の明るさ情報が所定値未満のときに投光し、そのとき、その投光範囲におけるテクスチャ量に基づいて前記パターン光の輝度分布を調整する手順と、
前記パターン光が投光された範囲を前記移動体上の複数位置から撮像する手順と、
前記撮像する手順で撮像された画像を処理する手順と、を含む物体検出プログラム。