JP6846230B2 - 車載制御装置及び車載環境認識装置 - Google Patents

Description

本発明は、車載環境認識装置に関する。

車両に設置されたカメラにより車両周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、快適かつ便利に移動することができるような便利機能、自律走行を目指した車両制御技術への応用が期待されている。特に車両制御に利用される認識技術は、高い信頼性が必要とされる。

横断歩道のように同じ模様が多数現われる繰返しパターンが存在する複雑な背景下においても歩行者を適切に認識し、誤検出を抑制する車載用物体検知装置が知られている（例えば、特許文献１参照）。

特開2001-351200号公報

特許文献１に開示されるような技術では、横断歩道のような繰り返しパターンにおいて誤抽出された3次元形状を解析し、この繰り返しパターンであることを事前に検知することで、横断歩道上を横断する歩行者の3次元推定結果を改善することができる。

一方、撮像された画像に特徴の偏りがあると、３次元計測精度が低下という問題があった。

本発明の目的は、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる車載環境認識装置を提供することにある。

上記目的を達成するために、本発明の一例は、コントローラを備えた車載制御装置であって、前記コントローラは、１対の第１画像及び第２画像を受け取り、前記第２画像の領域とそれに最も類似する前記第１画像の領域の間の視差に基づいて、前記第２画像の領域の着目画素の奥行きを示す距離を算出する距離算出部と、前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正する補正部と、を備え、前記コントローラは、カメラで取得した三次元情報の所定の領域でテクスチャの特徴の解析を実行し、前記解析の結果に基づいてサスペンションを制御する。

本発明によれば、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第1の実施形態による車載環境認識装置の構成図である。 ウィンドウ内特徴量解析部の構成図である。 凹凸補正部の構成図である。 警報制御部の構成図である。 ステレオマッチングに基づく三角測量の基本原理を示す図である。 マッチング基本原理と特徴量の偏りを説明するための図である。 特徴量の偏りによるマッチングへの影響を説明するための図である。 特徴量の縦偏り解析方法（縦偏りテクスチャの場合）を示す図である。 特徴量の縦偏り解析方法（横偏りテクスチャの場合）を示す図である。 特徴量の横偏り解析方法（縦偏りテクスチャの場合）を示す図である。 特徴量の横偏り解析方法（横偏りテクスチャの場合）を示す図である。 特徴量ヒストグラム上での偏り解析を説明するための図である。 距離算出時の重心補正方法を示す図である。 局所マッチングのウィンドウ設定を示す図である。 路面形状の解析を示す図である。 立体物の検知を示す図である。 処理フローチャートを示す図である。 テクスチャに偏りのある速度抑制用の段差を示す図である。 車載環境認識装置（フルソフトウェア処理）の構造を示す図である。 ウィンドウ内テクスチャ解析（フルソフトウェア処理）を示す図である。 補正（フルソフトウェア処理）を示す図である。 視差距離の計測（フルソフトウェア処理）を示す図である。 3次元解析検知部（フルソフトウェア処理）を示す図である。 フルソフトウェア処理フローチャートを示す図である。

以下、図面を用いて、本発明の第１〜第２の実施形態による車載環境認識装置の構成及び動作について説明する。

車載環境認識装置は、例えば、車両に設置されたカメラを利用して自車両の周囲環境を撮像し、カメラによって得られた3次元情報から自車両が進行しても衝突しないかどうかを判定すると共に、衝突しない場合においても、車両に大きな振動を与えるような段差が存在するかどうかを得られた3次元路面情報から解析し、解析結果に基づいて、車両の振動を抑制するサスペンションやブレーキの制御を実施する。

換言すれば、本発明の実施形態では、ステレオカメラを利用して車両前方の路面上の凹凸の計測を実施し、この実施結果に基づいて、より快適な運転のためにサスペンションの制御を実施する。例えば、段差手前でサスペンションをやわらかくすることで、段差通過時の衝撃を抑制するセミアクティブ制御を実施したり、段差の高さに応じてサスペンションを短くしたりすることで車体に与えられる衝撃を緩和する。

なお、前述した目的と一部重複するが、本実施形態の課題は、路面上に存在する段差要因（例えば、スピードバンプ）が、路面よりもテクスチャの特徴が密（輝度変化が多い）な場合において、3次元計測結果に生じる誤差を低減することにある。

（第１の実施形態）：ハードウェア処理
＜図１ 車載環境認識装置 概要＞
図１に第１の実施形態による車載環境認識装置の構成図を示す。左右に平行に並べられたカメラを、ステレオカメラとして利用し、車載周囲環境を認識する。ステレオカメラ100では、左右のカメラから撮像された左右の画像を取得する。左右の画像を利用して視差画像生成部200にて、ステレオマッチングを実施、視差画像を生成する。ステレオカメラでは、左右画像に映る同一物体の同一箇所を特定することで、三角測量の原理に基づいた3次元計測を実施する。

換言すれば、ステレオカメラ100（撮像部）は、１対の左画像（第１画像）及び右画像（第２画像）を撮像する。視差画像生成部200は、右画像（第２画像）のマッチングウィンドウ（領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）の間の視差を算出し、視差画像を生成する。

図5には、ステレオマッチングに基づく三角測量の基本原理を示してある。図5に示すように、正方体の左下の角が左右カメラの画像上で、左画像上の座標(XL,YL)、右画像上の座標(XR,YR)に、その角が撮像されている。画像上で同一箇所を特定するために、右画像を中心に考えた場合、右画像を画像上の小矩形領域をマッチングウィンドウとして設定する。この右画像をベースに左側の画像上で同一撮像箇所を特定するために、小矩形領域をマッチングウィンドウをずらしながらサーチを実施する。完全に平行に設置された同一のカメラ仕様のカメラで歪み補正を実施してあれば、カメラ前方に撮像される同一点は必ず左右画像上で同一高さに撮像される。このため、左画像上では横方向にマッチングウィンドウをずらしながら、その類似性を比較し、最も類似性の高い箇所を見つける。これにより、左右カメラで撮像された同一箇所を特定する。完全に平行に設置された歪みの無いカメラ、もしくは歪みを補正されたカメラでは、カメラ間の距離をBとして、左右カメラの焦点距離をそれぞれfとする。更に、特定された同一箇所を左画像上の座標(XL,YL)、右画像上の座標(XR,YR)とし、この差分を視差d=(XL-XR)とすると、三角測量の原理から、その奥行きをZ=(B x f)/dとして算出することが可能である。ここで、ｘは乗算演算子である。

図1の視差画像生成部200では、この左右画像を入力として、右画像をベースに考えて、小矩形領域を設定し、この右画像の小矩形領域であるマッチングウィンドウと最も類似度の高い左画像のマッチングウィンドウを探索する。探索結果である左画像と右画像のマッチング位置の差分dを視差画像の1点の結果として保存し、視差画像を生成する。

次に、ウィンドウ内特徴量解析部300（ウィンドウ内テクスチャ解析部）では、上記のマッチングウィンドウ内のテクスチャの解析を実施する。本実施形態は、ＣＰＵ（Central Processing Unit ）以外に、ＦＰＧＡ（Field Programmable Gate Array）により画像処理部分をハードウェア実装しており、処理負荷の高い視差画像生成部200とウィンドウ内特徴量解析部300についてはＦＰＧＡで実装している。カメラ画像の取得、及び凹凸補正部400、警報制御部500はＣＰＵで実装する。ウィンドウ内特徴量解析部300は、視差画像生成で利用した右画像のマッチングウィンドウ内のテクスチャを解析する。ウィンドウ内特徴量解析部300は、テクスチャ量やテクスチャの偏りについて解析し、マッチングに距離誤差が載りやすい状態のマッチングウィンドウを特定する。

凹凸補正部400は、距離誤差が大きいマッチングウィンドウを、ウィンドウ内特徴量解析部300で解析された結果を基に判断する。これにより距離誤差が大きいために、このマッチングウィンドウに対応する視差から算出される距離誤差が大きいことが懸念される。このため、この距離を補正する、もしくは無効な点とすることを凹凸補正部400が実施する。補正された視差画像、もしくは、誤差の多い点を無効視差とされた視差画像を利用して、凹凸補正部400は、路面形状解析や立体物検知及び計測を実施する。

最後に、これらの結果を利用して警報制御部500は、障害物と判定した物体がある場合に初期に警報、これ以上進むと衝突しそうだと判断したタイミングであれば緊急ブレーキを実行する。更に、障害物がタイヤで乗り越えられそうな段差である場合には、より快適な運転とするために、警報制御部500は、サスペンションをやわらかい設定に変更、もしくはサスペンションの長さを調整することで、より振動のすくない快適な運転とする。

＜図２ ウィンドウ内特徴量解析部＞
ウィンドウ内特徴量解析部300は、ステレオマッチングウィンドウ内のテクスチャ量やテクスチャの偏りについて解析する。本実施形態では、ＦＰＧＡのハードウェア処理にてこれらの解析を実施している。このため、ステレオマッチングのタイミングとは別途、右画像に対して、画像の横方向に輝度変化のある横エッジ抽出と、画像上の縦方向に輝度変化のある縦エッジ抽出をエッジ抽出部310が実施する。

画像上の縦方向の輝度変化が横方向につづくような場合、例えば塀の上端や、道路の停止線のようなテクスチャは距離計測用に横方向に探索するステレオマッチングにおいては、テクスチャが存在するもののマッチングにより位置を特定しづらい。反対に、横方向の輝度変化が縦方向につづくような電柱や、立体物の輪郭などは、横方向の探索時にステレオマッチングの位置を正確に決めやすい特徴といえる。これらの情報を活用したステレオマッチングの誤差発生可能性や信頼度を決定する。

ここでは、先に、図６、７に示す例で、実際に3次元距離の計測誤差が発生するシーンの例を述べることで、現在存在する一般的なステレオカメラにおいて、マッチングウィンドウサイズが影響する距離の計測誤差に関して説明する。まず、図６にステレオマッチングの基本原理とマッチングウィンドウ内のテクスチャの関係について述べる。左右画像が、既にカメラ設置条件かつキャリブレーションなどで、完全に平行化されていると仮定し、右画像をベースとした視差画像を生成する。右画像中心に視差画像を生成することを考えると、本実施形態では、着目画素を中心にマッチングウィンドウを設定した場合に、マッチングウィンドウが画像外にいかない範囲で最も左上から、着目画素の設定を実施する。これを1画素ずつずらして設定し、視差画像を生成する。（ここで原画像と視差画像の解像度が異なってもよい、原画像に対して1/2解像度の視差画像を生成したい場合には、原画像に対して着目画素を1画素置きに設定するだけでよい。）ここで着目画素は1画素ずれるのに対し、マッチングウィンドウは大きさを持っている。本実施形態では、縦９ｘ横１５画素の大きさを持っており、基本的には、このマッチングウィンドウの中心の距離を計測する。

しかしながら、実際には、マッチングウィンドウのサイズが縦９ｘ横１５画素とかなりの大きさを持っているために、マッチングウィンドウ内のテクスチャにより、マッチングウィンドウ内のどの部分の距離計測したのか変化する場合がある。このように考えればマッチングウィンドウが小さいほど、距離計測結果が正しい結果が得られるとも思われるが正しい位置でマッチングとれるかどうかを考えるとマッチングウィンドウが大きい方が情報量が多いために、誤マッチングを防ぐことができる可能性が高い。

つまり、マッチングウィンドウの大きさは、誤マッチングの可能性を低くすることと、マッチングの距離精度にのる計測誤差、量子化誤差の大きさが大きくなることと密に関係しており、トレードオフの関係にあることがわかる。このため距離計測の精度向上のためだけを考えても簡単にマッチングウィンドウのサイズを小さくすれば良いことにはならない。得られる視差画像の誤マッチング率や、マッチング場所が不明の無効視差領域との兼ね合いで、マッチングウィンドウのサイズを選定する必要がある。

サイズが縦９ｘ横１５画素のマッチングウィンドウサイズである本実施形態の場合、マッチングウィンドウ内のテクスチャの偏りについて図6に示す。右画像に設定されたある着目画素のマッチングウィンドウについて考慮すると、図6右に示すように、ある立体物のテクスチャがある面がマッチングウィンドウ下部の２割程度に、テクスチャが少ない面がマッチングウィンドウ上部の8割程度を占めている。このような場合には、特徴量が疎であり輝度変化の少ないマッチングウィンドウ上部では、横方向に探索するマッチングの位置決めに、ほとんど寄与しない。反対に下部２割程度に特徴量が密な輝度変化の多いテクスチャが存在する場合には、この下部のテクスチャが一致するかどうかでマッチング位置が決定されてしまう。このため、本来は着目画素の距離を求めるはずであるが、画面下部2割がその距離の計測結果を返すことになり、着目画素の3次元距離を計測しているはずなのに、算出される距離はテクスチャが密な場所の3次元距離が計測される。

図７に、この誤差について詳細を示す。図7上部には、画像上の縦方向に並んだ、マッチングウィンドウが実空間におけるどの位置を参照しているかを示す図が描かれている。この際に、先ほどと同様に立体物の上辺のマッチングウィンドウを例として拡大図が図7中央に示してある。この図でも、同様にマッチングウィンドウ上部は特徴量が疎であり、マッチングウィンドウ下部では特徴量が密である場合を、示している。このような際には、図７下部に示す、断面図が示すとおり、本来は、マッチングウィンドウ中央距離であるため、立体物上面に○で示す位置の3次元距離が計測されるはずであるが、テクスチャの偏りが影響してマッチングウィンドウ中央の3次元距離はテクスチャが密な立体物の側面の距離と同等である×の位置と誤測定してしまう。このようにマッチングウィンドウ内の、どの位置の距離を計測しているかは、テクスチャの偏りによって誤差が生じる場合がある。

次に、図２に示すウィンドウ設定部320においてステレオマッチングした際のマッチングウィンドウのサイズを、エッジ画像に対しても設定する。これにより算出した視差画像の１画素ずつに対して、参照した原画像の範囲におけるエッジがどの範囲にあるかを決定することができる右画像をベースとした場合に、右画像のマッチングウィンドウ内に存在したエッジの解析を、その後の計算で実施することが可能となる。

次に、特徴強度解析部330は、エッジ量が、どの程度存在するかの解析を実施する。ここでは、縦横それぞれの平均エッジ強度を算出する。ただし、縦エッジ、横エッジには正負の値が存在するが、ここではエッジ強度絶対値の平均を利用する。マッチングウィンドウ内においてマッチングの決め手となるエッジがどの程度、存在するかを知りたいので、縦横のエッジの絶対値に関しての平均とする。特徴強度解析部330は、マッチングウィンドウ内の1画素がもつ縦エッジ、横エッジの輝度変化の絶対値平均を算出する。

特徴偏り解析部340（特徴量偏り解析部）は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部340は、エッジ抽出部310で抽出された縦横エッジのエッジ位置の偏りを解析する。図8,9には、エッジ位置の縦偏りを解析する方法を示す。図8の例は、縦方向に偏りがある場合の解析結果であり、図9の例は、横方向に偏りがある場合の解析結果である。

まず、図8の解析結果から説明する。ここでは上部にテクスチャ変化の小さい特徴量が少ない領域が存在し、下部にテクスチャの変化が大きい特徴量が多い領域が存在する場合に、縦偏りの解析結果がどのようになるかを示した例である。特徴偏り解析部340は、縦横エッジ両方について縦偏り解析を実施する。図8上に示す横エッジ、使用したエッジフィルタを左側に示す。マッチングウィンドウ内のある閾値以上の強度をもつエッジの個数を、横方向に投影する形でヒストグラム化した。結果を右側に示す。縦エッジ、横エッジ共に、画面下に特徴量が集約されており、このマッチングウィンドウ内の画像を利用してマッチングを実施するとほぼ、画面下部の特徴量をベースとしたマッチング結果となることがわかる。

次に図9には、左側にテクスチャ変化の小さい特徴量が少ない領域が存在し、右側にテクスチャの変化が大きい特徴量が多い領域が存在する場合に、縦偏りの解析結果がどのようになるかを示した例である。縦横エッジ両方について縦偏り解析を実施する。エッジの偏りは横方向に存在するので、縦方向に偏りがあるかを調べる縦偏り解析では、図9右に示すように、横エッジも縦エッジも縦方向にある強度以上のエッジ量が偏ることはなく、ほぼ一定であることがわかる。ここでは縦偏り解析を実施することで、縦方向にエッジの存在の偏りがあるかどうかを調査することとする。ただし、ここではハードウェア処理を仮定しているため、詳細な解析は後段の凹凸補正部400が実施するものとする。

次に、図10に示すように縦偏りテクスチャに対して、横偏りがあるかどうかを解析した場合の結果を示す。縦偏りのある図10上段の画像に縦横エッジを抽出し、横エッジについて、マッチングウィンドウ内のある閾値以上の強度を持つ横エッジが縦座標ごとに、異なるかヒストグラムでその分布を解析する。当然のことながら、横方向に偏りのあるような模様ではないため、横方向のエッジ量は一定であり、横方向に横エッジの量の偏りが無いことがわかる。同様に縦エッジに関しても同様の解析を実施し、同様に横方向に偏りは無い結果となる。

最後に、同様に横偏りのある図11に示すマッチングウィンドウ内のある閾値以上の強度を持つ横エッジが横座標ごとにことなるかヒストグラムでその分布を解析する。右側にテクスチャが偏った状況であるため、ある閾値以上のエッジ量をヒストグラムで表現すると、横座標で右側にテクスチャ量（エッジ量）が多い状況となる。これを横エッジにも、縦エッジについても実施する。

このように、特徴偏り解析部340は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの量を、右画像の縦方向又は横方向に投影したヒストグラムを用いて、右画像のマッチングウィンドウのエッジの偏りを解析する。すなわち、特徴偏り解析部340は、右画像のマッチングウィンドウのエッジの量を、右画像の縦方向又は横方向に投影したヒストグラムを用いて、右画像のマッチングウィンドウの領域が、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できるか否かを判定する。これにより、エッジの偏りを定量的に解析することができる。

処理負荷軽減のために、縦エッジの解析を省略しても良い。なぜならば横方向に探索することを前提とする、ステレオマッチングの場合には、縦エッジが多いような水平に伸びる棒や塀、建物などの場合には、水平位置にずっとエッジがつらなるため、縦方向の輝度変化が横方向に連続することを意味する。このため、横方向にマッチングの類似度が変化する要因にはならず、輝度変化の特徴量はあるものの、横方向の位置を特定する際の特徴となりうるかはわからないところにある。もちろん、連続しない一点だけ縦エッジがあれば、横方向の位置を特定するための特徴になりうるが、可能性としては縦横のエッジの存在だけでは不明なため省略して考えても良いものとする。

また、処理負荷軽減のために、特徴強度解析部330において最低限の特徴強度があることを、確認、更に後述する信頼度計算部350の計算順序が早ければ、これを利用して、テクスチャに偏りがなければ、もしくはそのテクスチャの量が一箇所に偏っていれば、その部分のステレオマッチングが信頼できる可能性があることを確認する。

逆に言うと、テクスチャに偏りがあろうがあまりにも弱いテクスチャ強度と量の場合には、再計算するほどの価値がないと判断する。これによって黒いアスファルトや白いコンクリートなどの路面での特徴偏り解析自体を実施することを削減し、テクスチャ偏りが発生しそうな箇所のみで特徴偏り解析を実施する。これにより、処理負荷の重い特徴偏り解析や、その後の計測結果の補正処理を、効率よく削減することが可能となる。

換言すれば、特徴偏り解析部340は、エッジの強度の絶対値の平均が第２閾値未満である、又はエッジの量が第３閾値未満である場合、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの偏りを解析しない。すなわち、特徴偏り解析部340は、右画像のマッチングウィンドウのエッジの強度の絶対値の平均が第２閾値以上であり、且つ右画像のマッチングウィンドウのエッジの量が第３閾値以上である場合、右画像の領域が、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できるか否かを判定し、右画像のマッチングウィンドウのエッジの強度の絶対値の平均が第２閾値未満である、又は右画像のマッチングウィンドウのエッジの量が第３閾値未満である場合、右画像のマッチングウィンドウが、第１領域と第２領域に分割できるか否かを判定しない。

従来の一般的なステレオカメラの画像処理においては、図７下部に示すように、計測距離に誤差が発生することを述べた。特徴偏り解析部340の結果を利用して、計測距離に誤差が発生しそうな領域を特定する。本実施形態では、まず、図２に示す信頼度計算部350は、ステレオマッチングが信用に値するだけの特徴量が存在するかどうかを計算する。ここでは特徴偏り解析部340で解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度計算部350は、信頼度を低下させる。

更に、エッジ強度解析部（特徴強度解析部330）で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部350は、信頼度の計算を実施する。無効視差追加部440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。

次に、特徴偏り解析部340にて解析されたエッジ量のヒストグラムを活用して、補正領域抽出部360は、距離計測結果が補正されるべきかどうかを判定する。距離計測結果が補正されるべきかどうかは、マッチングウィンドウ内に距離の異なる領域が入った場合であり、テクスチャの特徴量に大きな偏りがないような場合であれば、マッチングウィンドウ内で面積が多い領域の3次元距離計測結果を返すため、大きな問題にはならない。

しかしながら、図8〜11に示したようなテクスチャの量に大きな偏りが発生する場合には、マッチングウィンドウ内で面積の大半を占めるような特徴量の少ない領域の3次元距離が計測されることを期待しているにも関わらず、面積としてはマッチングウィンドウのほんの一部ではあっても特徴量が多いために、その部分の計測距離を得てしまい、3次元形状を解析する妨げになる。

このように、面積としては一部であるにも関わらず、ある特定箇所に特徴量が偏った場合に距離の計測誤差が発生すると考える。図12に示すように、エッジの量を特徴量として画像横方向のヒストグラムに示す。ある固定区間内におけるエッジ量の積分値を計算し、この結果が、全体のエッジ量の半分よりも多かった場合に、その範囲内にあるエッジをマッチングの主要因として位置合わせされて、マッチング位置が決定すると考える。

図12の例では、最も右側の小区間で特徴量のエッジ量が全体の特徴量全体の60％となり50％を超えているために、距離計測結果の誤差が発生している可能性が高いと判断する。もしくは、ヒストグラムの平均や最頻値が、ヒストグラムの中心から大きく離れている場合に、距離計測補正の必要があると判断してもよい。

＜図３ 凹凸補正部＞
図３の凹凸補正部400について、説明する。

図３の凹凸補正部400は、得られたステレオマッチングの結果である視差を利用して距離を算出し、この距離情報の中で、先に解析されたテクスチャの偏り情報を利用して、テクスチャの偏りがあり距離に誤差がのりそうな領域の距離を補正、もしくは無効とする補正を行う。更に、凹凸補正部400は、これらの視差情報、もしくは距離情報を活用した路面形状の解析や、立体物検知により、従来法と比較して、より精度の高い3次元解析を実施する。

換言すれば、凹凸補正部400（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、距離が算出されることを禁止する、右画像のマッチングウィンドウの大きさを小さくする、又は右画像のマッチングウィンドウの着目画素の位置を補正する。右画像のマッチングウィンドウの大きさを小さくする例として、凹凸補正部400は、右画像のマッチングウィンドウが、エッジの占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、右画像のマッチングウィンドウを第１領域と第２領域に分割して第１領域と第２領域ごとに視差を算出する。なお、詳細については、後述する。

まずは、ハードウェアで実施されたステレオマッチングの結果をそのまま利用して、距離算出を距離算出部410にて実施する。換言すれば、距離算出部410は、右画像（第２画像）のマッチングウィンドウ（領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）の間の視差に基づいて、右画像（第２画像）のマッチングウィンドウの着目画素の奥行きを示す距離を算出する。

次に、距離に誤差がのりそうな領域を特定した後に、距離誤差を是正する手法を3種類示す。この中でどれか1つでも、実施した後に、路面表面の形状解析や立体物検知を実施することで、精度向上を実施する。

図13では、視差重心補正部420が距離誤差を補正する手法について述べる。まず、ウィンドウ内特徴量解析部300の解析結果を利用して、3次元距離を補正すべきとされた領域、すなわち、補正領域抽出部360の結果を利用して、その領域のみに3種類の補正処理のいずれかを適応する。

特徴偏り解析部340で算出した、図12に示すようなマッチングウィンドウのテクスチャの偏りをＹ平均位置とＸ平均位置を利用してマッチングウィンドウ内のテクスチャの重心位置を定める。本来であれば、マッチングウィンドウ中心の視差が帰ってきているという前提で3次元距離を算出するが、ここでは、テクスチャマッチングの際に、特徴量の偏りに基づいたテクスチャの重心位置の距離が出力されると考えて、その結果に基づいた3次元位置の補正を図３に示す視差重心補正部420にて実施する。

換言すれば、凹凸補正部（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの平均位置を算出し、右画像のマッチングウィンドウの着目画素の位置を平均位置に補正する視差重心補正部420を含む。これにより、エッジの偏りによる距離誤差を低減することができる。

結果としては、図13下に示すように、本来はマッチングウィンドウ中心の3次元距離なので、期待値としては○点を想定した算出距離を理想値とするが、単純にステレオマッチングを実施すると、マッチングウィンドウ中心の距離が、マッチングウィンドウ下部と同等である×の位置の距離だと誤推定する。しかし、最終的には、算出された3次元距離を、テクスチャ重心位置の距離とすることで、すなわち、誤差軽減された○の中に×の印の位置の3次元距離であると推定することで、計測点をより正しい位置に補正し、物体の大きさを歪ませるようなことの少ない計測を実施する。

図３に示す局所マッチング部430は、補正すべきとされた領域のマッチング結果自体を一度破棄して、再度ソフトウェア処理にて、その点のステレオマッチングを実施する。この際に、従来（マッチング結果を破棄する前）は、比較的大きな縦12pix横24pixでステレオマッチングしていたとすると、これよりも小さなステレオマッチングウィンドウに分割する。マッチングウィンドウのサイズは、内部のテクスチャの分布を考えずに、縦横半分にして４つのウィンドウで縦6pix,横12pixを使ってステレオマッチングを実施してもよい。

換言すれば、凹凸補正部（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジに偏りがある場合、右画像のマッチングウィンドウの大きさを小さくし、右画像のマッチングウィンドウとそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）をマッチングする局所マッチング部を含む。これにより、距離誤差を低減することができる可能性が高まる。

結局、マッチングウィンドウサイズが原因となる誤差は、ウィンドウが小さいほど、距離の計測誤差も小さくなる。しかしながら、この手法だと、分割されて小さくなったマッチングウィンドウ内の特徴量の偏りまでは検討されていないので、場合によっては、分割された一部のウィンドウ内では、更に距離の計測誤差が、従来より小さくなっても発生していることとなる。距離の計測誤差を抑制する観点では、これにより大きな誤差が発生しないように抑制してもよい。ただし、単純に分割していく手法であっても最小限の面積がなければ、マッチング性能自体がどんどん低下することとなるので、誤マッチングや不マッチングなども出やすくなるので精度とのトレードオフの問題も発生する。

また、もう１つの方式としては、図14に示すように、局所マッチング部430は、テクスチャ特徴量の解析結果を参照し、適応的にマッチングウィンドウサイズを変更しても良い。

換言すれば、凹凸補正部400（補正部）は、特徴量が疎な領域（第１領域）とそれに最も類似する左画像（第１画像）のマッチングウィンドウ（領域）をマッチングし、特徴量が密な領域（第２領域）とそれに最も類似する左画像のマッチングウィンドウをマッチングする局所マッチング部430を含む。これにより、エッジの偏りによる距離誤差を低減することができる。

この場合には、必要以上に小さなマッチングウィンドウにならないので、テクスチャの変わり目が適切に認識できた場合には、こちらの手法の方が誤差が小さい結果となる。

また、上記、視差重心補正部420、局所マッチング部430以外の精度向上手法として、無効視差追加部440は、補正領域抽出部360に相当する視差（補正領域抽出部360によって補正すべきとされた領域の視差）は誤差が乗っている可能性が高いと判断し、無効視差として登録する。無効視差として登録された視差情報は、誤差が多い可能性が高いとしてないものとして扱い、路面形状の解析や立体物の検知に利用される。

換言すれば、凹凸補正部400（補正部）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、視差を無効とする無効視差追加部440を含む。

つまり、特徴偏り解析部340は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの偏りを解析し、無効視差追加部440は、エッジの偏りがある場合、視差を無効とする。

視差を無効とすることにより、距離算出部410は、距離を算出することを禁止される。その結果、エッジの偏りによる距離誤差を低減することができる。

図３に示す路面形状解析部450は、図15に示すように路面形状の解析を実施する。まず、図15上部に示すように、路面を左、中央、右の３領域に分割した領域において、路面形状解析部450は、それぞれ路面形状の解析の前処理を実施する。前処理としては、まずは左処理領域に着目して説明すると、左処理領域内の画像上の高さが同一な横ライン上の視差値をヒストグラム化する。この際に、ヒストグラムの最頻値をとることとする。これにより、画像上の横方向１ラインごとに代表的な視差値を得ることができる。これを左処理領域、中央領域、右処理領域と実施する。

この中から左処理領域及び右処理領域については、路面形状解析部450は、タイヤが通過するであろう領域を予測して設定する。路面形状解析部450は、自車両中心に設置されたカメラから車幅を想定し、タイヤ位置を算出し、そのタイヤが通過するであろう場所を自車挙動から推定し、その推定線を中心に幅90cm程度の領域について、左右別に路面形状の解析を実施する。その処理領域において横方向の路面形状の変化は生じないと考慮して、横方向には起伏の変化がないものとして、奥行き方向の起伏変化を解析する。

画像上の横１ラインごとの視差値を、距離変換して、図15下に示すような路面形状を横から観測したような3次元の断面図上にプロットする。この際に、1フレーム前の路面形状の解析結果などを利用してあまりに大きく離れている点は立体物などのノイズ要因であると考えたノイズ除去処理を実施する。図15下では、左側に、緩やかな路面の起伏があった場合であり、路面が一か所盛り上がっている。このようにステレオカメラの視差値を利用して、自車両が通るであろう路面の形状解析を、左右の領域において実施し、路面形状の起伏を出力とする。

更に、中央領域も路面推定の処理を実施していたのは、これら左右及び中央の路面形状の解析結果を利用して、自車両の前に広がる路面全体の形状解析を簡易的に実施するためである。この際も、立体物が領域中に入っている可能性もあるので、画面上の横方向に解析し、大きく高さが離れている処理領域の結果を省くなど、立体物が路面形状の解析のデータに入らないようなノイズ除去処理を実施する。これも横方向に路面形状の変化がないと考えて路面の傾斜状況などを解析する。解析結果を利用し、次の立体物検知のための足元位置の解析などに利用する。

図３に示す立体物検知部460は、路面形状解析部450の路面推定結果を利用して、この路面の上に垂直に立つ50ｃｍ以上の高さの立体物形状を探索する。図16に、その処理の概要を示す。図16上に示す結果は、路面の高さを示す路面形状を横から眺めた断面図である。このような路面形状とカメラの相対位置関係の結果を利用して、立体物検知部460は、この路面形状の上に立つ立体物を検知する。

まずは、立体物を見つける前に、立体物検知部460は、路面より上に立つ立体物と予想される候補の探索を行う。この処理は、図16の真ん中の図に示すように、画面下から3次元形状の探索を実施し、路面より上に立つ立体物候補の一部の形状を解析する。図16中央の画面下から伸びている矢印１本分の処理を図16下のグラフで説明する。画面下から3次元形状を探索すると、しばらくは路面形状が続くために、図16の上に示す路面形状に沿った3次元形状となるが、探索する場所によっては、歩行者などの立体物が入る可能性がある。路面形状解析においては、立体物の排除処理を実施していたが、ここでは立体物をそのまま解析すると、立体物のために路面平面に対して、垂直に立ち上がるような3次元形状となり、図16下に示すグラフのように、立体物部分の3次元形状が垂直に立ち上がる。これを1つの立体物候補の部分形状であると考えて、更に、図16中央の隣の線の処理を実施する。これを続けることにより、立体物候補が同じ場所で数本集まるので、これを集約して、立体物検知部460は、立体物と判定する。更に、立体物検知部460は、立体物のサイズに応じて、歩行者候補とするか車両候補とするかなどを判定し、識別する。

＜図４ 警報制御部＞
最後に、図4に示す警報制御部500について説明する。警報制御部500は、上記路面形状解析結果と、立体物検知結果に応じて、ドライバーに危険や注意を促す警報、制御、不快な運転を抑制するための速度制御やサスペンションの制御を実施する。路面形状の解析において、速度抑制用のBUMPや、段差などがあり、現状の自車挙動のまま突入すると衝撃が大きいと判断された場合には、速度抑制のための緩いブレーキもしくはサスペンションの硬さの制御、もしくはサスペンションの長さの制御、いずれかを実施することで、自車両に生じる衝撃を軽減することが可能となる。

本実施形態において計測された路面形状であれば、より正確な路面形状を解析することが可能となるので、より適切な制御を実施し、自車両に生じる衝撃をより適切に抑制することが可能となる。また、路面形状の解析において、段差が10cm前後の場合には、滑らかに盛り上がる路面形状で、乗り越えられる高さの物体か、垂直に立ち上がる車止めのように、停止すべき立体物と判定すべきかなどの、より小さな物体の判定も実施する。

同様に、立体物検知部460で検知された立体物に関しても自車挙動を考慮し、警報制御部500は、衝突可能性が高くなると警報、これ以上いくと必ず衝突と予測される一歩手前では緊急ブレーキを実施することで、車両の安全性を確保する。

最後に、実際の路面形状解析においてテクスチャの偏りが生じやすい例について図18に示す。本実施形態における路面形状の解析により、サスペンションの制御を実施する目的で図18の例１，２，３，４、に示すような速度抑制用の段差の計測結果を利用する。このようなスピード抑制用の段差が、路面と同一のテクスチャ、素材でできているような場合には、本実施形態に記載したようなテクスチャの偏りは発生しづらいが、素材が同じような場合にも段差になっている場合には段差部分の陰影などにより段差部分が画像上でエッジと見えるような場合には偏りが生じる場合もある。

しかしながら図18に示すような速度抑制段差の例の場合、アスファルトやコンクリート路面にこれらの物が設置されていれば、周囲のテクスチャと明らかに異質なテクスチャとなり、実施形態に示したようなテクスチャの偏りが起こりやすく、普通にテクスチャマッピングしているだけでは、段差が膨らみどうしても正確な3次元形状を解析することが困難となりやすい。

本実施形態によりテクスチャの偏りを解析し、3次元計測結果の補正、もしくは計測誤差の大きな点を削除すると、より高精度な3次元計測結果を算出することができるため、より正確な段差形状を基に車両の振動を抑制するためのサスペンションの制御や、段差通貨時の衝撃を緩和するための速度抑制などを適切に実行することが可能となる。

＜図１７ 処理フロー概要＞
S01：まず、ステレオカメラ100は、左右画像を撮像する。

S02：視差画像生成部200は、取得した左右画像を利用したステレオマッチングを実施し、視差画像を生成する。

S03：ウィンドウ内特徴量解析部300のエッジ抽出部310は、ステレオマッチングのベース画像として利用した右画像の縦エッジ、横エッジを抽出する。

S04：ウィンドウ内特徴量解析部300のウィンドウ設定部320は、ステレオマッチング時のマッチングウィンドウサイズを、視差画像のピクセルごとに設定し、この内部のテクスチャの解析に利用する。つまり生成された視差に利用されたテクスチャの範囲をここで決定する。

S05：ウィンドウ内特徴量解析部300の特徴強度解析部330は、テクスチャ解析の一種として、テクスチャのエッジ強度の解析を実施する。マッチングウィンドウ内においてマッチングの決め手となるエッジがどの程度、存在するかを知りたいので、縦横のエッジの絶対値に関しての平均を利用する。特徴強度解析部330は、マッチングウィンドウ内の1画素がもつ縦エッジ、横エッジの輝度変化の絶対値平均を算出する。

S06：ウィンドウ内特徴量解析部300の信頼度計算部350は、特徴偏り解析部340で解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度低下させる。更に、エッジ強度解析部（特徴強度解析部330）で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部350は、信頼度の計算を実施する。凹凸補正部400の無効視差追加部440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。例えば、無効視差追加部440は、右画像（第２画像）のマッチングウィンドウ（領域）のエッジの強度の絶対値の平均が第２閾値未満である、又は右画像のマッチングウィンドウのエッジの量が第３閾値未満である場合、前記視差を無効とする。

S07：凹凸補正部400の距離算出部410は、上記、信頼度計算にて信頼度が低く無効とされた視差画像の画素以外の距離計算を実施する。凹凸補正部400の路面形状解析部450は、視差から奥行き、画像上の縦横位置から高さ、横位置の計算を実施する。

S08：ウィンドウ内特徴量解析部300の特徴偏り解析部340は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部340は、エッジ抽出部310で抽出された縦横エッジのエッジ位置の偏りを解析する。特徴偏り解析部340は、エッジに偏りがあるかどうか、すなわち、偏りの有無の結果と、偏りがある場合の平均位置、偏りがある場合の境界位置を算出する。このようなテクスチャ解析結果が１つでもあればS10にて、3次元計測距離の補正に利用することが可能となる。

S09：ウィンドウ内特徴量解析部300の補正領域抽出部360は、エッジの偏り結果の解析結果をまとめて、3次元計測結果の補正を実施する領域を選定し、S10へ情報を渡す。ここでは、偏り有りとされた領域をそのままS10の補正実施に渡しても良いし、補正有とされた中から、視差重心補正もしくは局所マッチングなどの解析結果が出ている領域かつ、エッジ強度が比較的高い、もしくは信頼度が高い、領域に絞っても良い。なぜならば再度局所マッチングするような場合には、そもそもＣＰＵ負荷が高いため、エッジ強度や信頼度が低めの領域を再度計算しても正しい視差が求められるか怪しい場合もある。このような場合には、補正領域抽出時に、それなりの信頼度の結果が得られそうな領域に絞って3次元計測結果の補正処理を実施しても良い。

S10：ここでは補正領域として抽出された領域に対して、視差重心補正部420による視差重心補正、局所マッチング部430による局所マッチング、無効視差追加部440による視差無効化のいずれか１つ以上の処理を実施する。視差重心補正では、奥行きを補正するのではなく、奥行きが示す高さと横位置の補正を実施することで、より誤差の少ない3次元形状の計測を実施する。局所マッチングでは、テクスチャの偏りの解析結果を基にテクスチャの傾向が変化する箇所を境界としてマッチングウィンドウを再分割して、ステレオマッチングする事で、より高精度な3次元計測を実施する。もしくは、指定された領域を、そのまま縦横に2分割ずつ実施し、４つのウィンドウそれぞれで再度ステレオマッチング処理を実施する。もしくは、処理時間に余裕がないような場合には、無効視差として怪しい3次元計測結果を無効としても良い。

S11：凹凸補正部400の路面形状解析部450は、3次元計測結果の補正の後に、路面形状の解析を実施する。

S12：凹凸補正部400の立体物検知部460は、立体物の検知を実施する。

S13：警報制御部500は、路面形状の解析結果と、立体物の検知結果から、警報や制御を実施する。

以上説明したように、本実施形態によれば、撮像された画像に特徴の偏りがあっても、３次元計測精度の低下を抑制することができる。

（第２の実施形態） フルソフトウェア処理
第２の実施形態では、全体処理がフルソフトウェア処理（ＣＰＵによる処理）だった場合について記す。もちろん、この第２の実施形態の一部の機能のみがハードウェア処理になっても良い。ただし、ソフトウェア処理が得意とするように途中の計算結果の値に応じて後処理の手法を変更するなど、ソフトウェア処理の方が効率的と考えるソフトウェア構造となる。

図19に車載環境認識装置（フルソフトウェア処理）の構造を示す。ステレオカメラ1100で撮像された画像を利用して、ソフト視差画像生成部1200にてステレオマッチングを利用した視差画像を生成する。ステレオマッチングする前に、ステレオマッチングウィンドウ内のテクスチャ解析をウィンドウ内特徴量解析部1300にて実施し、テクスチャに偏りがない場合には、そのまま視差距離計測部1500でステレオマッチングし、偏りがある場合には、補正処理（視差重心補正、局所マッチング、視差無効化）のいずれかを補正部1400にて実施する。その後に、算出された視差から3次元計測を、視差距離計測部1500が実施する。更に、これらの結果を用いて3次元解析検知部1600は、路面形状の解析と、立体物の検知を実施する。最後に、路面形状の解析結果と、立体物の検知結果に基づいて車両の警報、制御を警報制御部1700が実施する。

図20は、ソフトウェア処理のウィンドウ内テクスチャ解析について示す。ステレオマッチングなどがＣＰＵ処理となったことで、ステレオマッチングを行う前に事前にテクスチャ解析を実施、テクスチャの偏りがあるような場合には先に、補正処理に回すことで、誤差がのることがわかっているステレオマッチングは省略することができる。

まずは、画面全体のエッジ抽出を事前にエッジ抽出部1310が実施する。次に、ウィンドウ設定部1320は、ステレオマッチングを実施するウィンドウを設定し、設定されたウィンドウに対し、特徴偏り解析部1340は、１つずつ特徴偏り解析を実施する。ウィンドウ設定部1320がウィンドウを設定する度に、特徴偏り解析部1340は、特徴偏り解析を実施するように処理し、特徴が偏ってない場合には、通常の視差距離計測部1500へ、特徴が偏っている場合には補正部1400へ処理を振り分ける。

図21は補正部1400について記す。特徴が偏っていると判定された場合には、そのマッチングウィンドウ内の処理は、補正処理へ渡される。補正部1400では、ステレオマッチングのハードウェア処理を想定した場合と同様で、視差重心補正部420、局所マッチング部430、無効視差追加部440と同様の処理内容を実施する。ただし、ハードウェア処理と異なる処理の工程としては、視差１画素ごとに、これらの処理を視差重心補正部1420、局所マッチング部1430、無効視差判定部1440が実施する。補正部はいずれかの処理を実施し、この結果を、視差、距離計測部1500へ渡す。

図22に示す、視差、距離計測部1500では、テクスチャ解析の結果、及び補正処理を実施していればその処理結果を利用して、信頼度計算部1510は、ステレオマッチングのハードウェア処理を想定した場合と同様の処理、すなわち、信頼度計算部350と同様の処理を行う。しかし、ステレオマッチングのソフトウェア処理想定の場合には、信頼度計算部1510は１画素ずつ信頼度を計算し、１画素ずつ視差画像生成を視差画像生成部1520が実施する。ただし、先ほど、テクスチャ偏りがあると解析され補正部1400で処理された結果から無効、もしくは局所マッチングの結果がある場合には、ここでの視差画像生成は省略する。しかし、補正部1400でも、視差重心補正処理のみの結果の場合には、実際の視差が存在しないため、ここでまとめ視差を生成し、重心情報と合わせて、3次元形状計測部1530は3次元形状を計測する。通常の処理では、生成された視差１画素ずつ3次元形状計測部1530は3次元点を計算する。

これら3次元形状計測部1530の結果が全点そろったところで、ステレオマッチングのハードウェア処理を想定した場合の路面形状解析や立体物検知と同様の処理を、路面形状解析部1650と立体物検知部1660が実施する。

図24にフルソフトウェア処理の場合のフローチャートを示す。

S01A：まず、ステレオカメラは、左右画像を撮像する。

S02A：エッジ抽出部1310は、ステレオマッチングのベース画像として利用した右画像の縦エッジ、横エッジを抽出する。

S03A：ウィンドウ設定部1320は、ステレオマッチング時のマッチングウィンドウサイズを、視差画像のピクセルごとに設定する。

S04A：特徴偏り解析部1340は、設定されたマッチングウィンドウ内部のテクスチャを解析する。特徴偏り解析部1340は、マッチングウィンドウ内におけるエッジの存在位置の偏りを解析する。特徴偏り解析部1340は、エッジ抽出部1310で抽出された縦横エッジのエッジ位置の偏りを解析する。特徴偏り解析部1340は、エッジに偏りがあるかどうかの、偏りの有無の結果と、偏りがある場合の平均位置、偏りがある場合の境界位置を算出する。ここでテクスチャに偏りがあると判定された場合には、補正部1400の計算へ、偏りがないと判断された場合には、視差距離計測部1500へ進む。

S05A：補正部1400は、特徴量に偏りがあると解析されたマッチングウィンドウ１つ分に対して、視差重心補正、局所マッチング、視差無効化のいずれか１つ以上の処理を実施する。視差重心補正では、奥行きを補正するのではなく、奥行きが示す高さと横位置の補正を実施することで、より誤差の少ない3次元形状の計測を実施する。局所マッチングでは、テクスチャの偏りの解析結果を基にテクスチャの傾向が変化する箇所を境界としてマッチングウィンドウを再分割して、ステレオマッチングする事で、より高精度な3次元計測を実施する。もしくは、指定された領域を、そのまま縦横に2分割ずつ実施し、４つのウィンドウそれぞれで再度ステレオマッチング処理を実施する。もしくは、処理時間に余裕がないような場合には、無効視差として怪しい3次元計測結果を無効としても良い。

S06A：特徴量偏り解析S04Aで解析されたヒストグラムの合計を利用して、ある閾値以上のエッジ総数に基づいて、あるエッジ数以下の領域においては、そもそもエッジの偏りに関わらず、ステレオマッチング自体が信用できないとのことで、信頼度計算部1510は、信頼度低下させる。更に、エッジ強度解析部で計算されたマッチングウィンドウ内の絶対値エッジ強度も考慮し、エッジが少ないこととエッジ強度が弱いことを考慮して、信頼度計算部1510は、信頼度の計算を実施する。無効視差判定部1440は、最終的に信頼度が極めて低い視差ごとに無効視差としての登録を実施し、距離計算に利用しないようにマスクする。

S07A：視差画像生成部1520は、左右画像を利用したステレオマッチングを実施、視差画像を生成する。補正部1400で既に算出済み、もしくは、偏りがひどく信頼できないとして先に無効とすると判断されている場合には、処理をスキップする。

S08A：S07Aで算出された視差画像を基に、3次元形状計測部1530は、3次元点の計測を実施する。1画素単位で処理がループするのはここまでである。最終的には、全画素に対して、3次元点の計測を実施することで、3次元形状の計測を行うこととなる。

S09A：3次元計測結果の補正の後に、路面形状解析部1650は、路面形状の解析を実施する。

S10A：立体物検知部1660は、立体物の検知を実施する。

S11A：警報制御部1700は、路面形状の解析結果と、立体物の検知結果から、警報や制御を実施する。

換言すれば、ＣＰＵ（プロセッサ）は、右画像（第２画像）のマッチングウィンドウ（領域）が、エッジ（画像特徴）の占有率が第１閾値未満である第１領域とエッジの占有率が第１閾値以上である第２領域に分割できる場合、右画像のマッチングウィンドウを第１領域と第２領域に分割して第１領域と第２領域ごとに視差を算出する、又は右画像のマッチングウィンドウの着目画素の位置を補正する。一方、ＣＰＵは、右画像のマッチングウィンドウが、第１領域と前記第２領域に分割できない場合、右画像のマッチングウィンドウとそれに最も類似する左画像（第１画像）のマッチングウィンドウの間の視差に基づいて、距離を算出する。これにより、特徴量の偏りがない場合のみ、距離が算出される。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記実施形態では、画像特徴は、一例として、エッジであるが、これに限定されない。画像特徴は、ある閾値以上のエッジ強度を持つエッジの占有率をベースに考慮しているが、平均エッジ強度でも良いし、ある頂点の個数が特定エリア内に占める占有率であっても良い。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（ＣＰＵ）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）それぞれ画像を撮影する一対の撮像部と、前記画像の縦方向に並ぶ複数の画像要素(画素)を含む画像領域(マッチングウィンドウ)を一対の画像間で照合して対応付けを行うステレオマッチング部と、対応する画像領域同士の視差を算出して、前記視差に基づいて距離を算出する距離算出部と、を備え、前記画像領域中に、特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記距離算出部が前記画像領域に関する距離算出を禁止するか、又は、前記ステレオマッチング部が前記照合の際に用いる画像領域(マッチングウィンドウ)の大きさを小さく設定する、もしくは、3次元計測結果を補正する、ステレオカメラ。

（２）前記画像領域ごとに前記視差に関する視差情報を関連付ける視差算出部を備え、前記画像領域中に、特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記視差算出部は、前記画像領域に関連付けられた視差情報を無効なものとして扱う、（１）に記載のステレオカメラ。

（３）（１）に記載のステレオカメラにおいて、ステレオマッチングウィンドウ内のエッジ画像の位置的な偏りをＸ軸方向、もしくはＹ軸方向の投影ヒストグラムを利用することで、エッジの偏りを解析することを特徴とする車載環境認識装置。

（４）（１）に記載のステレオカメラにおいて、エッジ強度の変化する箇所を、
特徴強度解析部もしくは信頼度計算の結果を利用して、それらの出力が変化する領域を抽出し、この領域にのみ特徴量の偏り解析を実施することで処理負荷を大幅に軽減することを特徴とする車載環境認識装置。

（５）（１）に記載のステレオカメラにおいて、テクスチャの偏り解析結果より、テクスチャの偏り重心を算出することで、ステレオマッチングにより求められた奥行きの値をそのままに、カメラから見た縦と横の3次元計測結果の補正処理を実施することを特徴とする車載環境認識装置。

（６）（１）に記載のステレオカメラにおいて、マッチングウィンドウ内のテクスチャに偏りがあると判定された場合に、上記マッチングウィンドウを細かく分割して、再度、その領域のステレオマッチングを実施することで、より誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。

（７）（１）に記載のステレオカメラにおいて、テクスチャの偏りを解析し、テクスチャの切り替わり位置を推定し、推定したテクスチャ切り替わり位置を基に、マッチングウィンドウを再分割し、再度、その領域のステレオマッチングを実施することで、より誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。

（８）（１）に記載のステレオカメラにおいて、テクスチャの偏りを解析し、
テクスチャに偏りがあると判定された場合には、誤差の大きな計測点は3次元形状を解析するには悪影響と考えて、測量点を削除してから3次元形状を解析する
ことを特徴とする車載環境認識装置。

（９）それぞれ画像を撮影する一対の撮像部と、ステレオマッチングするための縦方向に並ぶ複数の画像要素(画素)を含む画像領域(マッチングウィンドウ)を設定し、前記、画像領域中に特徴量が多い多特徴領域と、前記多特徴領域よりも特徴量が少ない少特徴領域とが存在する場合であって、且つ前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多い場合には、前記距離算出部が前記画像領域に関する距離算出を禁止するか、又は、前記ステレオマッチング部が前記照合の際に用いる画像領域(マッチングウィンドウ)の大きさを小さく設定する、もしくは、3次元計測結果を補正し、前記多特徴領域の特徴量が前記少特徴領域の特徴量に比べて所定値以上多くない場合には、画像領域(マッチングウィンドウ)を一対の画像間で照合して対応付けを行うステレオマッチングを実施し、3次元形状計測結果を取得することを特徴とする車載画像認識装置
上記（１）〜（９）によれば、車両に設置されたステレオカメラを利用して、ステレオマッチングを実施し、視差画像から路面の3次元形状を計測する際に、ステレオマッチングのために利用するマッチングウィンドウ内のテクスチャの偏りによって生じる3次元計測距離の誤差が発生することをマッチングウィンドウ内のテクスチャ解析により特定し、その計測点を無効、もしくは誤差のある計測点を補正、もしくは高精度化する。これにより物体の高さ情報など大きさ情報を、物体と背景のテクスチャの偏りによる影響を抑制し、高精度に3次元形状を計測することを可能とする。

１００…ステレオカメラ
２００…視差画像生成部
３００…ウィンドウ内特徴量解析部
３１０…エッジ抽出部
３２０…ウィンドウ設定部
３３０…特徴強度解析部
３４０…特徴偏り解析部
３５０…信頼度計算部
３６０…補正領域抽出部
４００…凹凸補正部
４１０…距離算出部
４２０…視差重心補正部
４３０…局所マッチング部
４４０…無効視差追加部
４５０…路面形状解析部
４６０…立体物検知部
５００…警報制御部
５１０…警報部
５２０…速度制御部
５３０…サスペンション制御部
１１００…ステレオカメラ
１２００…ソフト視差画像生成部
１３００…ウィンドウ内特徴量解析部
１３１０…エッジ抽出部
１３２０…ウィンドウ設定部
１３４０…特徴偏り解析部
１４００…補正部
１４２０…視差重心補正部
１４３０…局所マッチング部
１４４０…無効視差判定部
１５００…視差、距離計測部
１５１０…信頼度計算部
１５２０…視差画像生成部
１５３０…３次元形状計測部
１６００…３次元解析検知部
１６５０…路面形状解析部
１６６０…立体物検知部
１７００…警報制御部

Claims (7)

1. コントローラを備えた車載制御装置であって、
   前記コントローラは、
   １対の第１画像及び第２画像を受け取り、前記第２画像の領域とそれに最も類似する前記第１画像の領域の間の視差に基づいて、前記第２画像の領域の着目画素の奥行きを示す距離を算出する距離算出部と、
   前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正する補正部と、を備え、
   前記コントローラは、カメラで取得した三次元情報の所定の領域でテクスチャの特徴の解析を実行し、前記解析の結果に基づいてサスペンションを制御する
   ことを特徴とする車載制御装置。
2. 請求項１に記載の車載制御装置用の車載環境認識装置であって、
   １対の第１画像及び第２画像を撮像する撮像部を備え、
   前記解析は、
   前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、前記第２画像の領域を前記第１領域と前記第２領域に分割して前記第１領域と前記第２領域ごとに視差を算出する、又は前記第２画像の領域の着目画素の位置を補正する処理を含む
   ことを特徴とする車載環境認識装置。
3. 請求項２に記載の車載環境認識装置であって、
   前記画像特徴は、
   エッジである
   ことを特徴とする車載環境認識装置。
4. 請求項２に記載の車載環境認識装置であって、
   前記第２画像の領域が、画像特徴の占有率が第１閾値未満である第１領域と前記画像特徴の占有率が第１閾値以上である第２領域に分割できる場合、
   前記領域の視差を無効とする無効視差追加部を備える
   ことを特徴とする車載環境認識装置。
5. 請求項２に記載の車載環境認識装置であって、
   前記第２画像の領域のエッジの量を、前記第２画像の縦方向又は横方向に投影したヒストグラムを用いて、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定する特徴偏り解析部を備える
   ことを特徴とする車載環境認識装置。
6. 請求項５に記載の車載環境認識装置であって、
   前記特徴偏り解析部は、
   前記第２画像の領域の前記エッジの強度の絶対値の平均が第２閾値以上であり、且つ前記第２画像の領域の前記エッジの量が第３閾値以上である場合、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定し、
   前記第２画像の領域の前記エッジの強度の絶対値の平均が第２閾値未満である、又は前記第２画像の領域の前記エッジの量が第３閾値未満である場合、前記第２画像の領域が、前記第１領域と前記第２領域に分割できるか否かを判定しない
   ことを特徴とする車載環境認識装置。
7. 請求項２に記載の車載環境認識装置であって、
   前記補正部は、
   前記第２画像の領域のエッジの平均位置を算出し、前記第２画像の領域の前記着目画素の位置を前記平均位置に補正する視差重心補正部を含む
   ことを特徴とする車載環境認識装置。

Images