JP2013213792A

JP2013213792A - 路面状態推定装置

Info

Publication number: JP2013213792A
Application number: JP2012085280A
Authority: JP
Inventors: Haruhiko Sugai; 晴彦菅井
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-04-04
Filing date: 2012-04-04
Publication date: 2013-10-17

Abstract

【課題】シンプルな処理により路面状態推定の精度を向上させることができる路面状態推定装置を提供する。
【解決手段】路面状態推定装置は、車両進行方向の路面画像を所定間隔で取得して、取得した路面画像から路面状態を推定するために用いる複数の特徴点３２ａ〜３２ｃを抽出すると共に、車両進行に伴い移動する特徴点３２ａ〜３２ｃに基づいて路面状態を推定する。ただし、取得した複数の路面画像、具体的には、連続する路面画像や所定間隔ごとの路面画像を比較して、抽出した特徴点３２ａ〜３２ｃの中に、車両の進行によって自車に接近する移動態様と異なる移動態様の特徴点がある場合に当該特徴点を動的物体であると判定する。そして、動的物体であると判定した特徴点は路面状態の推定に用いないものとする。
【選択図】図３

Description

本発明は、路面状態推定装置の路面状態の推定精度を向上させる技術に関する。

従来、路面形状を認識して、その認識結果を用いて車両の走行状態を安定化させたり、乗り心地を向上させたりする技術の開発が進められている。例えば、車両前方の状況をカメラ等の撮影装置で撮影し、その撮影した画像を画像処理することによって路面勾配等を推定する装置がある。例えば、特許文献１に開示された路面勾配推定装置は、車両前方の複数のカメラ画像を取得して、共通する静止物を特徴点として抽出する。そして、抽出された特徴点が複数のカメラ画像にわたって移動する移動量を検出して、その移動量に基づいて自車のピッチ角を算出する。さらに、自車の上下方向の加速度を検出し、加速度とピッチ角とに基づいて勾配角度を演算している。

特開２０１０−２３３４号公報

特許文献１の装置の場合、路面に関連して存在する標識や建設物等を抽出して路面形状を推定しているが、路面状態に応じてサスペンション等を制御して車両運動制御を行おうとする場合、路面上の物体を特徴点として、路面の凹凸状態等を推定することが望ましい。しかし、カメラ画像で抽出できる路面上の物体を特徴点とする場合、カメラ画像から得られる情報からその特徴点が路面の凹凸等に基づく静的物体（路面と一体化した凹物体または凸物体）であるか、ゴミなど風等で容易に移動する動的物体であるかの判定は複雑な画像処理が必要になりシステムの煩雑化を招きやすい。また、動的物体を静的物体と認識した場合、実際には路面に車両運動制御を変更する要因がない場合でも、路面が盛り上がっていると誤認識して、その結果を車両運動制御に反映させてしまう場合がある。その場合、本来必要のない車両運動制御が実行されることになり車両の乗り心地を損なうおそれがあった。

本発明はこうした状況に鑑みてなされたものであり、その目的とするところは、シンプルな処理により路面状態推定の精度を向上させることができる路面状態推定装置を提供することにある。

上記課題を解決するために、本発明のある態様の路面状態推定装置は、車両進行方向の路面画像を所定間隔で取得する撮影手段と、取得した前記路面画像から路面状態を推定するために用いる複数の特徴点を抽出すると共に、車両進行に伴い移動する前記特徴点に基づいて路面状態を推定する路面状態推定手段と、取得した複数の前記路面画像を比較して、抽出した前記特徴点の中に、車両の進行によって自車に接近する移動態様と異なる移動態様の特徴点がある場合に当該特徴点を動的物体であると判定する判定手段と、を含む。前記路面状態推定手段は、前記判定手段が前記動的物体であると判定した前記特徴点を路面状態の推定に非採用とする。

路面上で抽出した特徴点が、路面と一体化した物体（静的物体）、例えば路面の凹部分や凸部分である場合、自車の前進走行に伴いは、自車に一定方向から接近してくると表現できる。一方、路面上で抽出した特徴点が、路面と一体化していない動的物体、例えば風で容易に移動するゴミ等である場合、路面と一体化した静的物体とは、異なる方向に移動したり、異なる速度で自車に接近したり遠ざかったりする可能性が高い。つまり、特徴点の移動形態によって、静的物体であるか動的物体であるか判別できる。そこで、路面状態推定手段が動的物体と見なせる特徴点を推定に用いないことで、路面推定の精度を向上させることができる。

前記判定手段は、移動する前記特徴点のベクトル方向が車両の進行方向によって定まる移動方向に対して所定角度以上逸れている場合と、移動する前記特徴点のベクトル量が車両の進行量によって定まる移動量範囲から所定量以上逸脱した場合の少なくとも一方の場合に、前記特徴点を前記動的物体である判定してもよい。特徴点の移動方向が同じ場合でも移動する特徴点のベクトル量が周囲の特徴点と異なる場合は動的物体である可能性が高い。また、移動する特徴点のベクトル量が同じでも周囲の特徴点と移動方向が異なる場合は動的物体である可能性が高い。したがって、移動する特徴点のベクトル方向とベクトル量を考慮した判定を行うことで動的物体であるか否かの判定精度が向上できる。なお、自車の移動速度や旋回状態等によって、特徴点のベクトル方向やベクトル量は変化する。したがって、自車の移動速度や旋回状態等に応じてベクトル方向やベクトル量に閾値を設けて判定することにより、動的物体であるか否かの判定精度が向上できる。また、車両の振動等に基づく特徴点のベクトル方向やベクトル量の変動を考慮することも可能で判定精度が向上できる。

本発明によれば、シンプルな処理により路面状態推定の精度を向上させることができる路面状態推定装置が提供できる。

実施の形態に係る路面状態推定装置を搭載する車両の概念図である。実施の形態に係る路面状態推定装置を説明する機能ブロック図である。実施の形態に係る路面状態推定装置において動的物体の検出を説明する説明図である。実施の形態に係る路面状態推定装置の路面推定処理を説明するフローチャートである。

以下、図面を参照しながら、本発明を実施するための最良の形態（以下、実施形態という）について詳細に説明する。
本実施形態の路面状態推定装置は、車両進行方向の路面画像を所定間隔で取得して、取得した路面画像から路面状態を推定するために用いる複数の特徴点を抽出すると共に、車両進行に伴い移動する特徴点に基づいて路面状態を推定する。ただし、取得した複数の路面画像、具体的には、連続する路面画像や所定間隔ごとの路面画像を比較して、抽出した特徴点の中に、車両の進行によって自車に接近する移動態様と異なる移動態様の特徴点がある場合に当該特徴点を動的物体であると判定する。そして、動的物体であると判定した特徴点は路面状態の推定に用いないものとする。

図１は、本発明の実施形態にかかる路面状態推定装置を搭載する車両１０の概念図である。車両１０は、路面状態の推定に用いる車両前方の路面画像を取得するための撮影手段としてのカメラ１２を備える。カメラ１２は、例えばＣＣＤあるいはＣＭＯＳ等の半導体素子を用いたカメラが利用可能であるが、カメラの種類はこれに限定されず、適宜選択可能である。カメラ１２は、少なくとも車両１０の前方路面Ｇを含む範囲を広角撮像できるものが好ましい。カメラ１２は、例えば、車室内のバックミラー１４の背面（車両前方側）に配置することができる。別の実施例では、前照灯やフロントバンパ、ボンネット等に配置してもよい。

図２は、本実施形態に係る路面状態推定装置を説明する機能ブロック図である。
路面状態推定装置全体を制御する制御部１６は、ＣＰＵを含むマイクロプロセッサとして構成されている。制御部１６は、カメラ制御部１８、画像取得部２０、判定部２２、記憶部２４、路面状態推定部２６、結果出力部２８等を含んでいる。

カメラ制御部１８は、カメラ１２の画像取得制御の全般を行い、路面画像を撮影／非撮影を制御したり、撮影感度の調整や撮影領域の調整を行う。カメラ１２は路面画像を所定周期で取得し、順次カメラ制御部１８を介して画像取得部２０に提供する。なお、カメラ１２は、基本的には、車両１０が走行状態であると確認できるとき、例えばシフト位置が「走行レンジ」のとき等に常時撮影を行う。別の例では、路面状態推定を実行するか否かをドライバが選択できる場合は、路面状態推定モードが選択された場合のみ、カメラ制御部１８等を動作させてカメラ１２による撮影を行うようにしてもよい。

画像取得部２０は、カメラ制御部１８を介して提供されたカメラ１２が撮影した路面画像を一時的に保存し、適宜判定部２２に路面画像を提供する。判定部２２は、画像取得部２０から提供される路面画像から路面状態の推定に利用できる特徴点を抽出する。例えば、二値化処理等を行って、路面上の突起や窪みと見なせる部分を抽出する。例えば、路面上に存在する路面凹凸や路面設置物、落下物等は光の反射状態が平坦な路面とは異なり抽出できる。ところで、路面上に存在する路面凹凸や路面設置物、落下物等を特徴点とする場合、それが静的物体である場合、つまり、路面と一体化またはそれと見なせる移動しない状態の物体である場合は、その静的物体は、車両１０の前進走行に伴い、カメラ１２の路面画像上では一様に接近してくるように撮影される。一方、特徴点が風等により容易に移動できるゴミや動物等の動的物体であった場合、静的物体と同様の方向性と速度を持って自車（車両１０）に接近してくる可能性は低く、静的物体とは異なる移動態様で移動する可能性が高い。したがって、車両１０の進行方向とは逆向きである方向に接近してくる静的物体とは異なる方向に移動する特徴点がある場合は、その特徴点は動的物体であると判定（推定）することができる。また、移動方向が静的物体を示す特徴点と同じでもその移動量（移動速度）が異なる特徴点も同様に、動的物体であると判定できる。

この場合、判定部２２は、まず、前回処理で供給された路面画像上で抽出された特徴点を呼びだし、今回提供された最新の路面画像上で共通する特徴点を少なくとも抽出する。この２画面に対し、画像処理方法の一つであるオプティカルフローを適用することにより共通する特徴点の移動態様としてベクトル方向とベクトル量を得ることができる。図３は、動的物体の検出を説明する説明図である。この場合、判定部２２は、同一の路面画像３０上に複数の特徴点、好ましくは３点以上の特徴点を抽出して、個々のベクトル方向とベクトル量を取得する。そして、判定部２２は、車両１０の前進移動によって自車に接近する移動態様と異なる移動態様の特徴点がある場合に当該特徴点を動的物体であると判定する。図３（ａ）に示す特徴点３２ａ〜３２ｃは、車両１０の前進移動に伴い、各特徴点３２ａ〜３２ｃは一様に車両１０に接近してくる。つまり、各特徴点３２ａ〜３２ｃのベクトル量は実質的に同じであり、そのベクトル方向も遠近法における消失点（不図示）に向かうそれぞれの補助線３４に沿う方向となり、実質的に同じ向きを向いているものと見なせる。このように、２画面間の特徴点のベクトル量が同じであり、補助線３４に沿うベクトル方向であれば、その特徴点は静止物体であると判定できる。つまり、図３（ａ）における特徴点３２ａ〜３２ｃは全て静的物体であると判定できる。

一方、図３（ｂ）で示すように、特徴点３２ａ、特徴点３２ｃが同じベクトル量でベクトル方向が補助線３４に沿っているのに対し、特徴点３２ｂのベクトル方向が補助線３４の方向とは異なる方向である場合、特徴点３２ｂは、他の特徴点３２ａ、特徴点３２ｃと異なる移動形態で移動していることになる。したがって、この特徴点３２ｂは静的物体ではなく、動的物体であると判定できる。また、図３（ｃ）で示すように、特徴点３２ａ、特徴点３２ｃが同じベクトル量でベクトル方向が補助線３４に沿っているのに対し、特徴点３２ｂのようにベクトル方向は補助線３４の方向に沿うが、ベクトル量が他の特徴点３２ａ，３２ｂのベクトル量より大きい場合がある。この場合、特徴点３２ｂ自らが車両１０に向かって移動してきていることになる。したがって、特徴点３２ｂは静的物体ではなく、動的物体であると判定できる。同様に、図３（ｄ）で示すように、特徴点３２ａ、特徴点３２ｂが同じベクトル量でベクトル方向が補助線３４に沿っているのに対し、特徴点３２ｃのようにベクトル方向は補助線３４の方向に沿うが、ベクトル量が他の特徴点のベクトル量より小さい場合がある。この場合、特徴点３２ｃ自らが車両１０から遠ざかる移動をしていることになる。したがって、特徴点３２ｃは静的物体ではなく、動的物体であると判定できる。なお、特徴点が補助線３４に沿って、自車から遠ざかる方向に移動する場合もある。この場合は特徴点が車両１０の速度以上の速度で遠ざかっていることになり、この場合もその特徴点は動的物体であると判定できる。

上述したように、判定部２２は、移動する特徴点のベクトル方向が車両の進行方向によって定まる移動方向に対して所定角度以上逸れている場合と、移動する特徴点のベクトル量が車両１０の進行量によって定まる移動量範囲から所定量以上逸脱した場合の少なくとも一方の場合に、その特徴点を動的物体であると判定する。この判定に用いる許容範囲を超える逸脱角度の閾値や移動量範囲の閾値は、記憶部２４に記憶されている。逸脱角度や移動量範囲の閾値は、車両１０の判定実行時の速度によって変化する。したがって、記憶部２４は、閾値を車両１０の速度範囲ごとに記憶していることが望ましい。例えば、５ｋｍ／ｈごとや１０ｋｍ／ｈごとに各閾値を準備してもよい。また、車両１０が旋回している場合、特徴点の示すベクトル方向やベクトル量が変化する。したがって、車両１０の旋回状態に応じた閾値を設けてもよい。また、舵角センサや車輪速センサ等の検出結果に基づいて車両１０が旋回していると判定した場合には、特徴点の抽出を一時的に休止してもよい。このように、判定部２２は車両状態に応じて閾値を記憶部２４から選択して、特徴点の判定に用いる。なお、閾値は、車種ごとに例えば、設計段階の試験により決めることができる。

図２に戻り、路面状態推定部２６は、判定部２２が抽出した特徴点に基づいて、既知の技術を用いて路面状態の推定を行う。例えば、特徴点のベクトル量に基づいて、車両前後方向のピッチ角を算出して路面勾配を推定したり、特徴点に基づき路面の凹凸の有無を推定したりする。なお、特徴点がゴミなどのように風（走行風）等で容易に移動する動的物体の場合、その動的物体を含めて路面状態を推定してしまうと、路面状態の推定精度を低下させてしまう。そこで、本実施形態の路面状態推定部２６は、判定部２２が特徴点に動的物体があると判定した場合、その特徴点は路面の推定に用いない。つまり、静的物体であると判定された特徴点のみを用いて路面状態の推定を行う。そして、路面状態推定部２６は、路面状態の推定結果を結果出力部２８に提供する。結果出力部２８は、判定部２２が算出した路面状態、例えば路面勾配値や、路面凹凸の情報を外部の機器の制御部に対し出力する。外部機器としては、例えば、スタビライザ３６、サスペンション３８、ブレーキ制御部４０、エンジン制御部４２等があり、路面状態が車両の乗り心地を向上させるための機器や、車両の安定化走行を実現するための機器に提供される。例えば、スタビライザ３６をモータ等によって強制的に制御できる場合、路面の勾配状態（凹凸状態）に応じてスタビライザの状態を変化させれば乗り心地の向上に寄与できる。また、サスペンション３８の設定を変化させることができる場合、路面の勾配状態（凹凸状態）に応じてサスペンションの硬さを変化させれば乗り心地の向上に寄与できる。ブレーキ制御部４０やエンジン制御部４２を路面の勾配状態（凹凸状態）に応じて制御すれば、制動状態や加減速状態を路面状態に対応させ、乗り心地を向上すると共に走行安定性の向上にも寄与できる。なお、図２に示す機器は一例であり、車両１０に搭載された種々の機器に路面状態を提供し制御に利用することができる。

図４は、本実施形態に係る路面状態推定装置の路面推定処理を説明するフローチャートである。この処理は、例えば、車両１０の走行が確認できる場合、例えば、シフト位置が「走行レンジ」にある場合や、車輪速センサ等からの信号に基づき、車両１０が現実に走行している場合に、所定の周期で実行される。制御部１６は、カメラ制御部１８を制御してカメラ１２により車両１０の前方の路面画像を撮影する（Ｓ１００）。続いて、判定部２２は、撮影した路面画像から特徴点を抽出する（Ｓ１０２）。このとき、特徴点が路面画像の中に複数個、例えば３個以上抽出できなかった場合（Ｓ１０４のＮ）、今回提供された路面画像を用いた路面状態の推定を行うことなく、本フローを終了する。なお、この場合、特徴点が少ない路面、すなわち変化の少ない路面であるとも推定できるので、車両運動制御を標準制御状態に戻すようにしてもよいし、前回の制御状態を維持するようにしてもよい。

Ｓ１０４において、特徴点が３個以上抽出できた場合（Ｓ１０４のＹ）、前回取得した路面画像の特徴点との比較を行う（Ｓ１０６）。そして、２つの路面画像間で共通する特徴点全てについてベクトル量およびベクトル方向を比較する（Ｓ１０８）。なお、この場合、前回の路面画像に存在せず今回の路面画像に存在する特徴点、逆に前回の路面画像に存在するが今回の路面画像に存在しない特徴点は、動的物体であると判定できるので、特徴点の判定対象から除外して、動的物体であることを確定してもよい。そして、判定部２２は、今回の判別対象の特徴点のベクトル方向について角度差比較を行う（Ｓ１１０）。具体的には、車両１０の走行に伴い移動する特徴点のベクトル方向が車両の進行方向によって定まる移動方向（補助線３４の方向）に対して成す移動角度Ａと、記憶部２４に保持された所定角度である閾値角度ａとを比較する。比較の結果ａ＞Ａである場合（Ｓ１１０のＹ）、ベクトル方向は静的物体の特徴を示すと判定する。続いて、判定部２２は、今回の判別対象の特徴点のベクトル量について移動量比較を行う（Ｓ１１２）。具体的には、車両１０の走行に伴い移動する特徴点のベクトル量Ｂと車両１０の進行量によって定まる移動量範囲、例えば許容最小値であるｂ１および許容最大値であるｂ２と比較し、許容範囲に含まれているか否かを確認する。確認の結果、ｂ１＜Ｂ＜ｂ２の場合（Ｓ１１２のＹ）、ベクトル方向は静的物体の特徴を示すと判定する。

一方、Ｓ１１０における比較の結果ａ＞Ａでない場合（Ｓ１１０のＮ）、つまり、特徴点のベクトル方向が図３（ｂ）に示すように補助線３４から閾値を超えて逸れている場合は、判定対象の特徴点は動的物体の特徴点であると判定し、路面状態の推定に利用する特徴点としては非採用とする（Ｓ１１４）。また、Ｓ１１２における確認の結果ｂ１＜Ｂ＜ｂ２でない場合（Ｓ１１２のＮ）、つまり、特徴点のベクトル量が図３（ｃ）や図３（ｄ）に示すように閾値の範囲を逸脱している場合は、判定対象の特徴点は動的物体の特徴点であると判定し、路面状態の推定に利用する特徴点としては非採用とする（Ｓ１１４）。なお、Ｓ１１０とＳ１１２は便宜上の処理順であり、逆順序の処理であってもよいし、同時に処理してもよい。

そして、判定部２２は、路面画像上の特徴点から動的物体の特徴点を除いた残りの特徴点を静的物体の特徴点として確定する確定処理を行い（Ｓ１１６）、路面状態推定部２６に確定した特徴点の情報を提供する。路面状態推定部２６は、取得した静的物体の特徴点に基づいて路面状態の推定を行い（Ｓ１１８）、結果出力部２８に推定結果を提供する。結果出力部２８は、推定結果を取得すると、推定した路面状態を各種機器に出力して（Ｓ１２０）、車両の乗り心地向上処理や車両の走行安定化処理に利用する。

なお、上述した実施形態では、路面画像上で複数の特徴点を抽出して、それぞれの特徴点のベクトル方向およびベクトル量を他の特徴点のベクトル方向およびベクトル量と比較することによって、動的物体と静的物体の判別を行う例を示した。別の実施例では、記憶部２４に基準となるベクトル方向およびベクトル量を予め準備しておき、抽出した特徴点のベクトル方向およびベクトル量を基準ベクトル方向および基準ベクトル量と比較することによって動的物体と静的物体の判別をしてもよい。この場合、路面画像上で特徴点が１つしか抽出できない場合でも路面状態推定処理に利用できる静的物体を示す特徴点であるか否か判別できる。なお、１つしか特徴点が抽出できない場合で、抽出した特徴点が動的物体を示す特徴点の場合は、路面状態推定処理はスキップして、次回取得した路面画像を用いて再度特徴点抽出処理を再開することになる。

また、上述した実施形態では、動的物体の特徴点であると判別した場合、その動的物体を非採用として、残りの静的物体の特徴点を用いて路面状態推定処理を実行する例を示した。別の実施例では、動的物体の特徴点であると判別した場合、その動的物体を非採用として、路面状態推定処理自体を非実行としてもよい。この場合、各種機器（スタビライザ３６、サスペンション３８等）は、前回推定した路面状態に基づき制御を維持するようにしてもよい。

また、上述した実施形態では、路面画像の全体から特徴点を抽出する例を示したが、例えば、乗り心地制御等のために路面状態を推定する場合は、車輪の通過する領域のみの路面状態が推定できればよい場合がある。この場合は、特徴点の抽出範囲を車輪の通過が予測される領域または、それより所定範囲広い限定された領域に抽出範囲を設定してもよい。この場合、路面画像全体の画像処理を行う場合に比べ、画像処理時間や判定処理時間の短縮が可能になるというメリットがある。また、車両進行方向の抽出範囲は、路面状態に応じて制御する機器（アクチュエータ）の応答時間、特徴点判定時間、路面状態推定時間等を考慮して、アクチュエータの制御が十分できる余裕時間を少なくとも確保できる前方位置に設定することが望ましい。この場合も不必要な領域でも画像処理が抑制され、画像処理時間や判定処理時間の短縮に寄与できる。

以上、本発明を上述の実施形態を参照して説明したが、本発明は上述の実施形態に限定されるものではなく、実施形態や変形例の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて各種の設計変更等の変形を実施形態に対して加えることも可能であり、そのような変形が加えられた実施形態も本発明の範囲に含まれうる。

１０車両、１２カメラ、１６制御部、２２判定部、２６路面状態推定部、３０路面画像、３２特徴点、３６スタビライザ、３８サスペンション。

Claims

車両進行方向の路面画像を所定間隔で取得する撮影手段と、
取得した前記路面画像から路面状態を推定するために用いる複数の特徴点を抽出すると共に、車両進行に伴い移動する前記特徴点に基づいて路面状態を推定する路面状態推定手段と、
取得した複数の前記路面画像を比較して、抽出した前記特徴点の中に、車両の進行によって自車に接近する移動態様と異なる移動態様の特徴点がある場合に当該特徴点を動的物体であると判定する判定手段と、
を含み、
前記路面状態推定手段は、前記判定手段が前記動的物体であると判定した前記特徴点を路面状態の推定に非採用とすることを特徴とする路面状態推定装置。
前記判定手段は、移動する前記特徴点のベクトル方向が車両の進行方向によって定まる移動方向に対して所定角度以上逸れている場合と、移動する前記特徴点のベクトル量が車両の進行量によって定まる移動量範囲から所定量以上逸脱した場合の少なくとも一方の場合に、前記特徴点を前記動的物体である判定することを特徴とする請求項１記載の路面状態推定装置。