JP5034087B2 - 車両走行支援装置、車両、車両走行支援プログラム - Google Patents

Description

本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。

車両に搭載されているＣＣＤカメラ等の撮像装置が、フロントウィンドウ越しに車両の前方領域を撮像するように配置されている場合、ダッシュボードに照射された太陽光等がフロントウィンドウにより反射されて撮像装置の撮像素子により感知される、いわゆる「映り込み」が生じる。そこで、たとえば、撮像装置に偏光フィルタを装着し、偏光フィルタの偏光軸をフロントウィンドウの曲率に応じたオフセット角をもたせることにより映り込みを防止する技術が提案されている（特許文献１参照）。
特開２００１−０９４８４２号公報

しかし、フロントガラスの曲率が設計曲率から微小ながらずれている等の原因により、撮像装置に偏光フィルタが装着されているにもかかわらず映り込みを防止することができない場合がある。このため、撮像装置による撮像範囲の状況が正確に認識されえない可能性がある。

そこで、本発明は、車両に搭載されている撮像装置への映り込みの影響を確実に排除して、この車両の周辺状況を正確に認識することができる装置等を提供することを解決課題とする。

第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じてウィンドウ越しに得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像における輝度の度数分布を表わすヒストグラムを生成し、前記ヒストグラムにおいて輝度が低いほうから度数を累計し、前記度数の累計値が閾値に達したときの輝度を指定輝度として設定する第１処理要素と、前記画像の輝度を前記第１処理要素により設定された前記指定輝度に基づいて補正し、輝度が補正された前記画像に基づいて前記車両の進行方向の状況を認識する第２処理要素とを備え、
前記第２処理要素が、前記ヒストグラムにおける最高輝度を基準として、前記最高輝度と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正し、または、輝度定義域の上限輝度を基準として、前記上限輝度と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正し、または、前記アイリス制御値を基準として、前記アイリス制御値と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正することを特徴とする。

第１発明の車両走行支援装置によれば、撮像装置を通じて得られた画像の輝度の度数分布を表わすヒストグラムにおいて、低輝度側からの度数の累計値が閾値に達したときの輝度が指定輝度として設定される。指定輝度は、撮像装置への映り込みにより画像の輝度が全体的に高くなっているほど指定輝度が高くなる等、映り込みによる画像の輝度の上昇度合を表わしている。したがって、画像の輝度が指定輝度に基づいて補正されることにより、映り込みの影響が排除された補正画像が得られ、この補正画像に基づいて車両の進行方向の状況が正確に認識されうる。すなわち、車両に搭載されている撮像装置への映り込みの影響を確実に排除して、この車両の周辺状況が正確に認識されうる。
また、第１発明の車両走行支援装置によれば、前記のように指定輝度の高低を表わしている画像の輝度の上昇度合が考慮された上で、ヒストグラムにおける最高輝度、輝度定義域の上限輝度またはアイリス制御値を基準として画像の輝度が補正される。これにより、映り込みの影響が排除された補正画像が得られ、この補正画像に基づいて車両の進行方向の状況が正確に認識されうる。

なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。

第２発明の車両は、撮像装置と、第１発明の車両走行支援装置を備えていることを特徴とする。

第２発明の車両によれば、車両走行支援装置により車両に搭載されている撮像装置への映り込みの影響を確実に排除して、この車両の周辺状況が正確に認識されるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。

第３発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。

第３発明の走行支援プログラムによれば、車載のコンピュータを、車両に搭載されている撮像装置への映り込みの影響を確実に排除して、この車両の周辺状況を正確に認識する車両走行支援装置として機能させることができる。

本発明の車両走行支援装置等の実施形態について図面を用いて説明する。

図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウＦＷ越しに撮像するように車内空間に取り付けられている。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。

車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。車両走行支援装置１０は操舵装置１４および制動装置１６のうち一方または両方の動作を制御することにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御を実行する。車両走行支援装置１０は第１処理要素１１０および第２処理要素１２０を備えている。第１処理要素１１０はカメラ１２を通じて得られた画像における輝度の度数分布を表わすヒストグラムを生成し、このヒストグラムにおいて輝度が低いほうから度数を累計し、当該累計値が閾値に達したときの輝度を指定輝度として設定する。第２処理要素１２０は画像の輝度を第１処理要素１１０により設定された指定輝度に基づいて補正し、輝度が補正された画像に基づいて車両１の進行方向の状況、具体的には、レーンマークの位置等を認識する。

前記構成の車両１および車両走行支援装置１０の機能について説明する。

まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わすディジタル画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）に示されているような車両１の前方に延びる道路の画像が取得される。なお、図４（ａ）はダッシュボードに照射された太陽光等がフロントウィンドウＦＷにより反射されてカメラ１２の撮像素子により感知される、いわゆる「映り込み」の影響により全体的に輝度が高い画像である。このため、このままの映像に基づいて輝度が大きく変化するエッジの抽出、および、レーンマークの探索が失敗に終わってしまう可能性が高い。

そこで、第１処理要素１１０により、ディジタル画像の各画素の輝度の度数分布を表わすヒストグラムが生成される（図３／Ｓ００４）。これにより、たとえば図４（ａ）に示されている画像（画像データ）に基づき、図５（ａ）に示されているようなヒストグラムが生成される。

さらに、第１処理要素１１０により次の手順にしたがって指定輝度Ｌ_Cが設定される。すなわち、まず、輝度の高低を表わす指数ｉが「１」に設定される（図３／Ｓ００６）。指数ｉが小さいほど輝度が低いことを表わしている。また、輝度Ｌ_iの度数Ｎ（Ｌ_i）の低輝度側からの累計値Σ_j=1-iＮ（Ｌ_j）（＝Ｎ₁＋Ｎ₂＋‥＋Ｎ_i）が算出される（図３／Ｓ００８）。さらに、累計値Σ_j=1-iＮ（Ｌ_j）が閾値Ｎ_th以上であるか否かが判定される（図３／Ｓ０１０）。累計値Σ_j=1-iＮ（Ｌ_j）が閾値Ｎ_th未満であると判定された場合（図３／Ｓ０１０‥ＮＯ）、指数ｉが１だけ増やされ（図３／Ｓ０１２）、その上であらたに度数Ｎ（Ｌ_i）の累計値Σ_j=1-iＮ（Ｌ_j）が算出され（図３／Ｓ００８）、累計値Σ_j=1-iＮ（Ｌ_j）が閾値Ｎ_th以上であるか否かが判定される（図３／Ｓ０１０）。その一方、累計値Σ_j=1-iＮ（Ｌ_j）が閾値Ｎ_th以上であると判定された場合（図３／Ｓ０１０‥ＹＥＳ）、その時点での指数ｉにより定まる輝度Ｌ_iが指定輝度Ｌ_Cとして設定される（図３／Ｓ０１４）。

また、第２処理要素１２０により、第１処理要素１１０により設定された指定輝度Ｌ_Cに基づいて画像が補正される（図３／Ｓ０１６）。具体的には、画像の各画素の輝度Ｌが、指定輝度Ｌ_Cおよびヒストグラムにおける度数分布範囲の最高輝度Ｌ_maxに基づき、式（１）にしたがって補正される。

Ｌ（補正後）＝（Ｌ（補正前）−Ｌ_C）・｛Ｌ_max／（Ｌ_max−Ｌ_C）｝‥（１）

式（１）右辺において補正前の輝度Ｌから指定輝度Ｌ_Cが差し引かれているが、これは図５（ｂ）に矢印で示されているようにヒストグラムを全体的に低輝度側に指定輝度Ｌ_Cだけずらす操作を意味している。式（１）右辺において補正前の輝度Ｌおよび指定輝度Ｌ_Cの差に因子｛Ｌ_max／（Ｌ_max−Ｌ_C）｝が掛けられているが、これは図５（ｃ）に示されているようにヒストグラムを高輝度側に伸張させる操作を意味している。図５（ｃ）に示されている補正後のヒストグラムは、映り込みがない場合に得られる画像の輝度ヒストグラムに近似するヒストグラムを表わしている。これにより、図４（ｂ）に示されているように輝度の高低差が明確化または強調された補正後の画像が取得される。

なお、最高輝度Ｌ_maxに代えて輝度定義域Ｒ_max（＞Ｌ_max）の上限輝度に基づいて式（２）にしたがって画像の輝度Ｌが補正されてもよい。

Ｌ（補正後）＝（Ｌ（補正前）−Ｌ_C）・｛Ｒ_max／（Ｒ_max−Ｌ_C）｝‥（２）

式（２）右辺において補正前の輝度Ｌから指定輝度Ｌ_Cが差し引かれているが、これはヒストグラムを全体的に低輝度側に指定輝度Ｌ_Cだけずらす操作を意味している（図５（ｂ）参照）。式（２）右辺において補正前の輝度Ｌおよび指定輝度Ｌ_Cの差に因子｛Ｒ_max／（Ｒ_max−Ｌ_C）｝が掛けられているが、これは図６に示されているように補正前のヒストグラム（破線）を高輝度側に伸張させる操作を意味している。図６に示されている補正後のヒストグラム（実線）は、映り込みがない場合に得られる画像の輝度ヒストグラムに近似するヒストグラムを表わしている。

また、アイリス制御値Ａ（＜Ｌ_max）に基づいて式（３）にしたがって画像の輝度Ｌが補正されてもよい。

Ｌ（補正後）＝（Ｌ（補正前）−Ｌ_C）・｛Ａ／（Ａ−Ｌ_C）｝‥（３）

式（３）右辺において補正前の輝度Ｌから指定輝度Ｌ_Cが差し引かれているが、これはヒストグラムを全体的に低輝度側に指定輝度Ｌ_Cだけずらす操作を意味している（図５（ｂ）参照）。式（３）右辺において補正前の輝度Ｌおよび指定輝度Ｌ_Cの差に因子｛Ａ／（Ａ−Ｌ_C）｝が掛けられているが、これは図７に示されているように補正前のヒストグラム（破線）を高輝度側に伸張させる操作を意味している。図７に示されている補正後のヒストグラム（実線）は、映り込みがない場合に得られる画像の輝度ヒストグラムに近似するヒストグラムを表わしている。なお、アイリス制御値Ａを基準として補正前のヒストグラムが高輝度側および低輝度側の両方に同じ比率（たとえば｛Ａ／（Ａ−Ｌ_C）｝）で伸張されることにより輝度が補正されてもよい。

輝度定義域Ｒ_maxの上限輝度に基づいて画像の輝度Ｌが補正された場合も、アイリス制御値Ａに基づいて画像の輝度Ｌが補正された場合も、映り込みがない場合に得られる画像の輝度ヒストグラムに近似するヒストグラムが得られ、輝度の高低差が明確化または強調された補正後の画像が取得される（図４（ｂ）参照）。

そして、補正後の画像に対して画像の走査方向（横方向）に輝度が閾値を超えて変化するエッジを顕在化させるエッジ抽出処理が実行され、車線（白線もしくは黄線など）または道路鋲（ボッツドッツ）等のレーンマークが探索される（図３／Ｓ０１８）。なお、レーンマークの探索方法としては、特開２００６−３０９６０５号公報、特開２００６−３３１１９３号公報、特開２００７−０１８１５４号公報または特開２００７−０２６１０６号公報等に開示されている方法が採用されうる。さらに、当該レーンマークの探索結果に基づき、一対のレーンマークにより左右が画定された走行領域の設定可否が判定される（図３／Ｓ０２０）。走行領域が設定可能であると判定された場合（図３／Ｓ０２０‥ＹＥＳ）、操舵装置１４および制動装置１６のうち一方または両方の動作が制御されることにより、車両１がこの走行領域から逸脱しないように車両１の走行を支援する走行支援制御が実行される（図３／Ｓ０２２）。その一方、レーンマークの探索失敗等のために走行領域が設定不可能であると判定された場合（図３／Ｓ０２０‥ＮＯ）、走行領域の設定および走行支援制御が省略される。

前記機能を発揮する車両走行支援装置１０によれば、カメラ１２を通じて得られた画像の輝度の度数分布を表わすヒストグラムにおいて、低輝度側からの度数の累計値ΣＮ（Ｌ_j）が閾値Ｎ_thに達したときの輝度Ｌ_iが指定輝度Ｌ_Cとして設定される（図３／Ｓ０１０，Ｓ０１４，図５（ａ）参照）。指定輝度Ｌ_Cは、カメラ１２への映り込みにより画像の輝度が全体的に高くなっているほど高くなる等、映り込みによる輝度の上昇度合を表わしている（図５（ａ）参照）。したがって、画像の輝度が指定輝度Ｌ_Cにもとづいて補正されることにより、映り込みの影響が排除された補正画像が得られ、この補正画像に基づいて車両１の進行方向の状況、具体的には、レーンマークの位置が正確に認識されうる（図３／Ｓ０１６，図４（ｂ）および図５（ｂ）（ｃ）参照）。すなわち、車両１に搭載されているカメラ１２への映り込みの影響を確実に排除して、車両１の走行領域の設定可否等、周辺状況が正確に認識されうる（図３／Ｓ０２０参照）。そして、この認識結果に基づき、車両１の安定走行等の観点から、車両１に搭載されている操舵装置１４および制動装置１６のそれぞれの動作が適当に制御されうる。

本発明の車両の構成説明図 本発明の車両走行支援装置の構成説明図 本発明の車両走行支援装置の機能を示すフローチャート （ａ）補正前の撮像画像に関する説明図（ｂ）補正後の撮像画像に関する説明図 （ａ）ヒストグラムの生成方法に関する説明（ｂ）（ｃ）画像の輝度の補正方法に関する説明図 （ａ）ヒストグラムの生成方法に関する説明（ｂ）（ｃ）画像の輝度の補正方法に関する説明図 （ａ）ヒストグラムの生成方法に関する説明（ｂ）（ｃ）画像の輝度の補正方法に関する説明図

符号の説明

１‥車両、１０‥車両走行支援装置、１２‥カメラ（撮像装置）、１１０‥第１処理要素、１２０‥第２処理要素

Claims (3)

1. 車両に搭載されている撮像装置を通じてウィンドウ越しに得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
   前記画像における輝度の度数分布を表わすヒストグラムを生成し、前記ヒストグラムにおいて輝度が低いほうから度数を累計し、前記度数の累計値が閾値に達したときの輝度を指定輝度として設定する第１処理要素と、
   前記画像の輝度を前記第１処理要素により設定された前記指定輝度に基づいて補正し、輝度が補正された前記画像に基づいて前記車両の進行方向の状況を認識する第２処理要素とを備え、
   前記第２処理要素が、前記ヒストグラムにおける最高輝度を基準として、前記最高輝度と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正し、または、輝度定義域の上限輝度を基準として、前記上限輝度と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正し、または、前記アイリス制御値を基準として、前記アイリス制御値と前記指定輝度との差の逆数だけ前記ヒストグラムが拡張されるように前記画像の輝度を補正することを特徴とする車両走行支援装置。
2. 撮像装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
3. 車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。