JP2019158662A - 物標認識装置及び車両走行制御システム - Google Patents

Abstract

【課題】車両の周囲の物標を認識する物標認識処理において、水しぶきが物標として誤認識されることを抑制する。【解決手段】物標認識処理にライダーとカメラの両方が用いられる。第１物標は、ライダー計測結果に基づいて検出され、第２物標は、カメラ撮像画像に基づいて検出される。第１物標と第２物標がフュージョン可能な場合、統合物標が水しぶきか否か判定される。物標枠は、カメラ撮像画像上に投影された第１物標の枠である。仮に統合物標が水しぶきである場合、物標枠内の画像は、水しぶきに特有の特徴を有しているはずである。そこで、物標枠に関連する特徴量が、カメラ撮像結果に基づいて演算される。特徴量が閾値以上である場合、統合物標は水しぶきであると判定され、物標から除外される。【選択図】図２

Description

本発明は、車両に搭載される物標認識装置及び車両走行制御システムに関する。

特許文献１は、レーザレーダを用いた車両用の障害物検知装置を開示している。その障害物検知装置は、車両のタイヤによる水分の巻き上げを検出する巻き上げ検出手段を備えている。その巻き上げ検出手段は、レーザ光強度、ワイパー作動速度、雨量の増加等に基づいて、タイヤによる水分の巻き上げを検出する。そして、障害物検知装置は、巻き上げ検出手段の出力信号に基づいて、レーザレーダの出力を制御する。

特開平７−１９８８５１号公報

車両の周囲の物標を認識する「物標認識処理」について考える。物標認識処理の結果は、自動運転制御等の車両走行制御に利用され得る。従って、物標認識処理の精度を高めることが望まれている。

物標認識精度を低下させる１つの要因として、車両走行に伴って発生する水しぶきが考えられる。例えば、雨が降っている時や路面に水が溜まっている時に車両が走行すると、タイヤによって水分が巻き上げられ、水しぶきが発生する。そのような水しぶきは、車両の周囲の物標として誤認識されるおそれがある。

上記の特許文献１に開示された技術によれば、例えばレーザ光強度に基づいて水しぶきが判定される。しかしながら、その場合、リフレクタを有さない後方車両と水しぶきとを区別することができない。他の例として、ワイパー作動速度や雨量の増加に基づいて水しぶきが判定される。しかしながら、雨が降っていなくても、路面に水が溜まっていれば、水しぶきは発生する。従って、ワイパー作動速度や雨量の増加を参照しても、水しぶきを正しく判定できるとは限らない。

本発明の１つの目的は、車両の周囲の物標を認識する物標認識処理において、水しぶきが物標として誤認識されることを抑制することができる技術を提供することにある。

本発明の１つの観点において、車両に搭載される物標認識装置が提供される。
前記物標認識装置は、
ライダーと、
前記ライダーと視野が重なるカメラと、
物標認識処理を行う制御装置と
を備える。
前記物標認識処理は、
前記ライダーによる計測結果に基づいて第１物標を検出する第１物標検出処理と、
前記カメラによって撮像された画像に基づいて第２物標を検出する第２物標検出処理と、
前記第１物標と前記第２物標を統合物標として統合するフュージョン処理と、
前記統合物標が前記車両の走行に伴って発生した水しぶきか否かを判定する水しぶき判定処理と、
前記統合物標が前記水しぶきと判定された場合、前記統合物標を前記車両の周囲の物標から除外する除外処理と
を含む。
物標枠は、前記画像上に投影された前記第１物標を表す枠である。
物標面積は、前記物標枠の面積である。
フロー量は、前記物標枠内の前記画像の特徴点のオプティカルフローの大きさである。
第１特徴量は、前記物標枠の外の前記画像の平均輝度に対する前記物標枠の中の前記画像の平均輝度の比率である。
第２特徴量は、前記車両の速度の増加に対する前記物標面積の増加の度合いである。
第３特徴量は、前記車両の速度の増加に対する前記フロー量の増加の度合いである。
前記水しぶき判定処理において前記統合物標を前記水しぶきと判定する条件は、前記第１特徴量が第１閾値以上であること、前記第２特徴量が第２閾値以上であること、及び前記第３特徴量が第３閾値以上であること、のうち少なくとも１つを含む。

本発明によれば、物標認識処理にライダーとカメラの両方が用いられる。第１物標は、ライダーによる計測結果に基づいて検出され、第２物標は、カメラによって撮像された画像に基づいて検出される。第１物標と第２物標がフュージョン可能な場合、統合物標が水しぶきか否かを精度良く判定することができる。

具体的には、水しぶき判定処理において、物標枠と特徴量が考慮される。物標枠は、カメラによって撮像された画像上に投影された第１物標の枠である。仮に統合物標が水しぶきである場合、物標枠内の画像は、水しぶきに特有の特徴を有しているはずである。そこで、物標枠に関連する特徴量が、カメラによる撮像結果に基づいて演算される。そして、特徴量が閾値以上である場合、統合物標は水しぶきであると判定される。

このような手法により、車両の走行に伴って発生する水しぶきを精度良く判定することが可能となる。統合物標が水しぶきであると判定された場合、当該統合物標は車両の周囲の物標から除外される。これにより、水しぶきが物標として誤認識されることが抑制される。すなわち、物標認識処理の精度が向上する。

本発明の実施の形態の概要を説明するための概念図である。 本発明の実施の形態に係る物標認識装置の構成例を示すブロック図である。 本発明の実施の形態に係る物標認識処理を示すフローチャートである。 本発明の実施の形態に係る物標認識処理における水しぶき判定処理を説明するための概念図である。 本発明の実施の形態に係る車両走行制御システムの構成例を示すブロック図である。

添付図面を参照して、本発明の実施の形態を説明する。

１．概要
図１は、本実施の形態の概要を説明するための概念図である。車両１は、周囲の物標を認識する物標認識機能を搭載している。車両１の周囲の物標の典型例は、周辺車両２である。図１には、先行車両２Ａ、後続車両２Ｂ、及び並走車両２Ｃが例示されている。

雨が降っている時や路面に水が溜まっている時に車両１が走行すると、タイヤによって水分が巻き上げられ、水しぶきが発生する。そのような水しぶきは、車両１の周囲の物標として誤認識されるおそれがある。例えば、水しぶきが後続車両２Ｂあるいは並走車両２Ｃと誤認識されるおそれがある。

このように車両１の走行に伴って発生する水しぶきは、物標認識精度を低下させる要因となる。そこで、本実施の形態は、水しぶきの判定精度を向上させ、水しぶきが物標として誤認識されることを抑制することができる技術を提供する。

２．物標認識装置
図２は、本実施の形態に係る物標認識装置１０の構成例を示すブロック図である。物標認識装置１０は、車両１に搭載されており、車両１の周囲の物標を認識する物標認識処理を行う。この物標認識装置１０は、ライダー（LIDAR: Laser Imaging Detection and Ranging）２０、カメラ３０、車両状態センサ４０、及び制御装置５０を備えている。

ライダー２０は、レーザパルスを用いて反射点の位置（距離及び方向）を計測する。より詳細には、ライダー２０は、複数の方向に向けてレーザパルスを順次出力（走査）する。レーザパルスが反射点で反射すると、レーザパルスの反射光がライダー２０に戻ってくる。ライダー２０は、レーザパルスの反射光を受け取る。反射光の受光状態から、反射点の距離及び方向を算出することができる。ライダー２０による計測結果は、制御装置５０に送られる。

カメラ３０は、車両１の周囲を撮像する。このカメラ３０の視野は、ライダー２０の視野（計測レンジ）と少なくとも部分的に重なっている。カメラ３０によって撮像された画像情報は、制御装置５０に送られる。

尚、ライダー２０及びカメラ３０の設置位置及び個数は、特に限定されない。例えば、ライダー２０及びカメラ３０は、車両１の前面、側面、及び後面に設置される。

車両状態センサ４０は、車両１の状態を検出する。例えば、車両状態センサ４０は、車輪速センサ、車速センサ等を含んでいる。車輪速センサは、車両１の各車輪の回転速度を検出する。車速センサは、車両１の速度を検出する。車両状態センサ４０によって検出された車両状態情報は、制御装置５０に送られる。

制御装置５０は、プロセッサ及び記憶装置を備えるマイクロコンピュータである。制御装置５０は、ＥＣＵ（Electronic Control Unit）とも呼ばれる。プロセッサが記憶装置に格納された制御プログラムを実行することにより、制御装置５０による処理が実現される。制御装置５０による処理は、車両１の周囲の物標を認識する物標認識処理を含む。以下、制御装置５０による物標認識処理について説明する。

３．物標認識処理
図３は、本実施の形態に係る物標認識処理を示すフローチャートである。図３に示されるフローは、一定サイクル毎に繰り返し実行される。

３−１．ステップＳ１００（物標検出処理）
制御装置５０は、車両１の周囲の物標を検出する。具体的には、制御装置５０は、ライダー２０による計測結果に基づいて物標を検出する（ステップＳ１１０）。ライダー２０による計測結果に基づいて検出される物標は、以下「第１物標Ｔ１」と呼ばれる。制御装置５０は、第１物標Ｔ１の検出情報（距離、方向、サイズ等）を取得する。更に、制御装置５０は、第１物標Ｔ１の相対速度を算出してもよい。

また、制御装置５０は、カメラ３０によって撮像された画像を解析することによって、車両１の周囲の物標を検出する（ステップＳ１２０）。カメラ３０によって撮像された画像に基づいて検出される物標は、以下「第２物標Ｔ２」と呼ばれる。制御装置５０は、第２物標Ｔ２の検出情報（距離、方向、サイズ等）を取得する。更に、制御装置５０は、第２物標Ｔ２の相対速度を算出してもよい。

３−２．ステップＳ２００（フュージョン処理）
第１物標Ｔ１と第２物標Ｔ２が所定の条件の満たす場合、それら２つの物標は同一の物標であると認識することができる。そのような処理は、「フュージョン（fusion）」と呼ばれる。所定の条件は、例えば、第１物標Ｔ１と第２物標Ｔ２との間の位置の差が誤差範囲内であることを含む。所定の条件は、更に、第１物標Ｔ１と第２物標Ｔ２との間の相対速度の差が誤差範囲内であることを含んでいてもよい。

制御装置５０は、所定の条件が成立するか否か、すなわち、フュージョンが可能か否かを判定する（ステップＳ２１０）。フュージョンが可能な場合（ステップＳ２１０；Ｙｅｓ）、制御装置５０は、第１物標Ｔ１と第２物標Ｔ２を統合物標ＴＦとして統合する（ステップＳ２２０）。その後、処理はステップＳ３００に進む。

一方、フュージョンが不可能な場合（ステップＳ２１０；Ｎｏ）、制御装置５０は、第１物標Ｔ１と第２物標Ｔ２のそれぞれを単独物標として認識する（ステップＳ２３０）。その後、処理はステップＳ５００に進む。

３−３．ステップＳ３００（水しぶき判定処理）
制御装置５０は、統合物標ＴＦが車両１の走行に伴って発生した水しぶきか否かを判定する。統合物標ＴＦが水しぶきであると判定された場合（ステップＳ３００；Ｙｅｓ）、処理はステップＳ４００に進む。それ以外の場合（ステップＳ３００；Ｎｏ）、処理はステップＳ５００に進む。図３に示される例では、ステップＳ３００は、次のステップＳ３１０〜Ｓ３３０を含んでいる。

３−３−１．ステップＳ３１０
図４は、ステップＳ３１０を説明するための概念図である。図４には、カメラ３０によって撮像された画像が示されている。図４に示される例では、車両１の走行に伴って水しぶきが発生しており、画像には水しぶきも含まれている。尚、上記のステップＳ１００（物標検出処理）において、水しぶき（水滴の集合）は、公知のクラスタリング処理によって１つの物標として検出される。

ステップＳ３１０において、制御装置５０は、第１物標Ｔ１を、カメラ３０によって撮像された画像上に投影する。ライダー２０とカメラ３０の設置位置及びカメラ３０のカメラパラメータは既知である。そのような既知パラメータに基づいて、第１物標Ｔ１をカメラ３０によって撮像された画像上に投影することができる。図４中の「物標枠ＦＲ」は、画像上に投影された第１物標Ｔ１を表す枠である。

３−３−２．ステップＳ３２０
仮に統合物標ＴＦが水しぶきである場合、物標枠ＦＲ内の画像は、水しぶきに特有の特徴を有しているはずである。そこで、制御装置５０は、物標枠ＦＲに関連する「特徴量Ｃ」を、カメラ３０による撮像結果に基づいて演算する。以下、特徴量Ｃのいくつかの例を説明する。

＜第１特徴量Ｃ１＞
仮に統合物標ＴＦが水しぶきである場合、物標枠ＦＲ内の領域は、物標枠ＦＲ外の領域よりも明るいと考えられる。このような観点から、第１特徴量Ｃ１では、「画像の平均輝度」が用いられる。例えば、第１特徴量Ｃ１は、次のように定義される。

第１特徴量Ｃ１＝（物標枠ＦＲの中の画像の平均輝度）／（物標枠ＦＲの外の画像の平均輝度）

第１特徴量Ｃ１が大きいほど、統合物標ＴＦが水しぶきである確率は高くなると言える。

＜第２特徴量Ｃ２＞
車速（車両１の速度）が増加するにつれて、水しぶきの量及び勢いが増す。従って、仮に統合物標ＴＦが水しぶきである場合、車速の増加に従って物標枠ＦＲが大きくなると考えられる。一方、仮に統合物標ＴＦが後続車両２Ｂである場合、車速が増加すると、車間距離が拡がるため、物標枠ＦＲは小さくなるはずである。このような観点から、第２特徴量Ｃ２では、物標枠ＦＲの面積である「物標面積」が用いられる。例えば、第２特徴量Ｃ２は、次のように定義される。

第２特徴量Ｃ２＝（物標面積＠Ｖｍａｘ−物標面積＠Ｖｍｉｎ）／（Ｖｍａｘ−Ｖｍｉｎ）

ここで、Ｖｍａｘ及びＶｍｉｎは、それぞれ、一定期間における車速の最大値及び最小値であり、車両状態センサ４０によって検出される。第２特徴量Ｃ２は、車速の増加に対する物標面積の増加の度合いであると言うこともできる。第２特徴量Ｃ２が大きいほど、統合物標ＴＦが水しぶきである確率は高くなる。

＜第３特徴量Ｃ３＞
物標面積の代わりに、物標枠ＦＲ内の画像の特徴点のオプティカルフロー（optical flow）に着目してもよい。物標枠ＦＲ内の画像の特徴点のオプティカルフローの大きさは、以下「フロー量」と呼ばれる。仮に統合物標ＴＦが水しぶきである場合、車速の増加に従ってフロー量は大きくなると考えられる。このような観点から、第３特徴量Ｃ３は、例えば次のように定義される。

第３特徴量Ｃ３＝（フロー量＠Ｖｍａｘ−フロー量＠Ｖｍｉｎ）／（Ｖｍａｘ−Ｖｍｉｎ）

ここで、Ｖｍａｘ及びＶｍｉｎは、それぞれ、一定期間における車速の最大値及び最小値であり、車両状態センサ４０によって検出される。第３特徴量Ｃ３は、車速の増加に対するフロー量の増加の度合いであると言うこともできる。第３特徴量Ｃ３が大きいほど、統合物標ＴＦが水しぶきである確率は高くなる。

３−３−３．ステップＳ３３０
制御装置５０は、判定条件が成立するか否かを判定する。判定条件は、次の第１〜第３条件のうち少なくとも１つを含む。
＜第１条件＞第１特徴量Ｃ１が第１閾値以上であること。
＜第２条件＞第２特徴量Ｃ２が第２閾値以上であること。
＜第３条件＞第３特徴量Ｃ３が第３閾値以上であること。
判定条件は、第１〜第３条件の全てが成立することであってもよい。あるいは、判定条件は、第１〜第３条件のいくつかが成立することであってもよい。

判定条件が成立する場合（ステップＳ３３０；Ｙｅｓ）、制御装置５０は、統合物標ＴＦが水しぶきであると判定する（ステップＳ３００；Ｙｅｓ）。この場合、処理はステップＳ４００に進む。一方、判定条件が成立しない場合（ステップＳ３３０；Ｎｏ）、制御装置５０は、統合物標ＴＦは水しぶきではないと判定する（ステップＳ３００；Ｎｏ）。この場合、処理はステップＳ５００に進む。

３−４．ステップＳ４００（除外処理）
制御装置５０は、統合物標ＴＦを車両１の周囲の物標から除外する。

３−５．ステップＳ５００（物標情報出力処理）
制御装置５０は、認識した物標に関する情報（位置、方向、サイズ等）を出力する。認識物標は、単独物標（第１物標Ｔ１、第２物標Ｔ２）及び統合物標ＴＦである。統合物標ＴＦの場合、前後位置として第１物標Ｔ１の前後位置を用い、横位置として第２物標Ｔ２の横位置を用いてもよい。

４．効果
以上に説明されたように、本実施の形態によれば、物標認識処理にライダー２０とカメラ３０の両方が用いられる。第１物標Ｔ１は、ライダー２０による計測結果に基づいて検出され、第２物標Ｔ２は、カメラ３０によって撮像された画像に基づいて検出される。第１物標Ｔ１と第２物標Ｔ２がフュージョン可能な場合、統合物標ＴＦが水しぶきか否かを精度良く判定することができる。

具体的には、水しぶき判定処理において、物標枠ＦＲと特徴量Ｃが考慮される。物標枠ＦＲは、カメラ３０によって撮像された画像上に投影された第１物標Ｔ１の枠である。仮に統合物標ＴＦが水しぶきである場合、物標枠ＦＲ内の画像は、水しぶきに特有の特徴を有しているはずである。そこで、物標枠ＦＲに関連する特徴量Ｃが、カメラ３０による撮像結果に基づいて演算される。そして、特徴量Ｃが閾値以上である場合、統合物標ＴＦは水しぶきであると判定される。

このような手法により、車両１の走行に伴って発生する水しぶきを精度良く判定することが可能となる。統合物標ＴＦが水しぶきであると判定された場合、統合物標ＴＦは車両１の周囲の物標から除外される。これにより、水しぶきが物標として誤認識されることが抑制される。すなわち、物標認識処理の精度が向上する。

５．車両走行制御システム
物標認識処理の結果は、車両走行制御に利用される。例えば、物標認識処理の結果は、自動運転制御に利用される。自動運転制御では、例えば、周辺車両２（図１参照）の認識結果に基づいて車線変更の実施可否が決定される。従って、物標認識処理の精度を高めることは、自動運転制御において重要である。他の例として、物標認識処理の結果は、ＡＣＣ（Adaptive Cruise Control）やＬＴＡ（Lane Tracing Assist）等の運転支援制御に利用されてもよい。

図５は、本実施の形態に係る車両走行制御システム１００の構成例を示すブロック図である。車両走行制御システム１００は、車両１に搭載されており、車両１の走行を制御する車両走行制御を行う。

より詳細には、車両走行制御システム１００は、上述の物標認識装置１０に加えて、走行装置６０を備えている。走行装置６０は、操舵装置、駆動装置、制動装置を含んでいる。操舵装置は、車輪を転舵する。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、電動機やエンジンが例示される。制動装置は、制動力を発生させる。

制御装置５０は、物標認識装置１０による物標認識処理の結果に基づいて車両走行制御を行う。車両走行制御は、操舵制御及び加減速制御を含む。制御装置５０は、操舵装置を適宜作動させて操舵制御を行う。また、制御装置５０は、駆動装置及び制動装置を適宜作動させて加減速制御を行う。制御装置５０と走行装置６０は、車両走行制御を行う「車両走行制御装置７０」を構成していると言える。

本実施の形態によれば、物標認識装置１０による物標認識処理の精度が向上する。従って、物標認識処理の結果を利用する自動運転制御や運転支援制御の精度も向上する。このことは、自動運転制御や運転支援制御に対するドライバの信頼の向上に寄与する。

１ 車両
２ 周辺車両
１０ 物標認識装置
２０ ライダー
３０ カメラ
４０ 車両状態センサ
５０ 制御装置
６０ 走行装置
７０ 車両走行制御装置
１００ 車両走行制御システム

Claims (1)

1. 車両に搭載される物標認識装置であって、
   ライダーと、
   前記ライダーと視野が重なるカメラと、
   物標認識処理を行う制御装置と
   を備え、
   前記物標認識処理は、
   前記ライダーによる計測結果に基づいて第１物標を検出する第１物標検出処理と、
   前記カメラによって撮像された画像に基づいて第２物標を検出する第２物標検出処理と、
   前記第１物標と前記第２物標を統合物標として統合するフュージョン処理と、
   前記統合物標が前記車両の走行に伴って発生した水しぶきか否かを判定する水しぶき判定処理と、
   前記統合物標が前記水しぶきと判定された場合、前記統合物標を前記車両の周囲の物標から除外する除外処理と
   を含み、
   物標枠は、前記画像上に投影された前記第１物標を表す枠であり、
   物標面積は、前記物標枠の面積であり、
   フロー量は、前記物標枠内の前記画像の特徴点のオプティカルフローの大きさであり、
   第１特徴量は、前記物標枠の外の前記画像の平均輝度に対する前記物標枠の中の前記画像の平均輝度の比率であり、
   第２特徴量は、前記車両の速度の増加に対する前記物標面積の増加の度合いであり、
   第３特徴量は、前記車両の速度の増加に対する前記フロー量の増加の度合いであり、
   前記水しぶき判定処理において前記統合物標を前記水しぶきと判定する条件は、前記第１特徴量が第１閾値以上であること、前記第２特徴量が第２閾値以上であること、及び前記第３特徴量が第３閾値以上であること、のうち少なくとも１つを含む
   物標認識装置。

Images