JP5022609B2

JP5022609B2 - 撮像環境認識装置

Info

Publication number: JP5022609B2
Application number: JP2006049482A
Authority: JP
Inventors: 未来樋口; 聡一郎横田
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2012-09-12
Anticipated expiration: 2026-02-27
Also published as: JP2007228448A; US7983447B2; EP1826648B1; US20070263902A1; EP1826648A3; EP1826648A2

Description

本発明は、車両周辺の道路の状況をカメラのような撮像手段によって撮像し、撮像画像を処理して撮像環境を認識することで、障害物検出システムや駐車支援システムのような車載カメラを用いた車載システムに必要な環境情報を提供する撮像環境認識装置に関する。

近年、車両の自動運転や運転補助のために、車載カメラの撮像画像を処理して歩行者を検出し運転者に歩行者の存在の通知を行う技術や、障害物や信号機及び各種標識等を検出し運転補助を行う技術の研究，開発が行われている。

このような車載カメラの撮像画像を処理する場合、霧が発生している場合や、雨により車室外に取り付けられた車載カメラのレンズに水滴が付いていたり、車室内に取り付けられた車載カメラの前方に存在するウィンドウに水滴が付いていたりすると、撮像画像が不鮮明になるため障害物や標識の検出処理等が適切に行えなくなる。このため、降雨によるカメラ視野内の水滴等の撮像環境を認識し、運転者に警告したり、水滴除去等を行うことによって撮像画像の不鮮明さを改善することが重要になってくる。

従来、このような目的のためにウィンドウガラスの汚れや降雨を検出する技術として、特開平１１−３２６５４１号公報に記載された技術が知られている。この従来の技術は、車載カメラ前方のウィンドウガラスの汚れや降雨を検出するために車線を検出し、車線のボケ度合いを求め、求めたボケ度合いと視界良好時のボケ度合いとを比較することにより、ウィンドウガラスの汚れや降雨を判定するものである。また、カメラ前方のウィンドウガラスの汚れ等を検出する技術の他に、車両の室外に取り付けられたカメラのレンズについた水滴の検出手法として、特開２０００−３５５２６０号公報に記載された技術が知られている。この従来技術は、車載カメラにより撮像した画像のオプティカルフローを算出し、算出したオプティカルフローがカメラに近い領域で急に現れた場合は含水物が付着したと判定するものである。

特開平１１−３２６５４１号公報特開２０００−３５５２６０号公報

しかしながら、先述の特開平１１−３２６５４１号公報に記載された従来技術は、レンズに直接水滴が付いた環境で撮像された画像のように画像が歪んだ場合、車線はボケずに形状が歪んで撮像される。そのため、ボケ度合いでは、レンズに付いた水滴を検出することができない。更に撮像画像が大きく歪んだ場合、あるいはボケが激しい場合には車線の検出自体が困難になる。更に、車線の種別やペイントの掠れ等の状態が分からないと、ボケ度合いの算出及びボケ度合いの比較が正しく行えないといった問題がある。また、先述の特開２０００−３５５２６０号公報に記載された従来技術では、透明な水滴がレンズに付いた場合、算出したオプティカルフローはレンズに水滴が付いていないときと同様に撮像画像全体で現れるため、レンズに付いた透明な水滴が検出できないといった問題点がある。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車載カメラにより車両周囲を撮像するあらゆるシステムにおいて、霧や雨、レンズの汚れや水滴及び車載カメラ前方のウィンドウガラスの汚れや水滴等を的確に検出することができる車両用画像認識装置を提供することを目的としている。

本発明に係る撮像環境認識装置は、車両の周囲を撮像する撮像手段と、該撮像手段で取得した画像を処理して撮像手段の視野内に存在する対象物及びテクスチャを認識する画像認識部とを備えた撮像環境認識装置において、認識対象物の形状情報を格納した記憶手段と、認識対象物及びテクスチャの撮像画像上での形状から算出した認識対象物の幅と、記憶手段に格納された認識対象物の形状情報から推定した認識対象物の幅と、の比を認識対象物の複数個所について算出し、算出した複数の比の平均値と分散を、それぞれ該撮像画像における認識対象物及びテクスチャの歪み度合い及びボケ度合いとして算出する歪み・ボケ度合い算出部と、算出した歪み度合い及びボケ度合いに基づき撮像環境を認識する撮像環境認識部とを備える構成とする。

以上のように本発明によれば、降雨状態や霧の有無及びレンズについた水滴や汚れといった撮像環境を撮像画像の歪みとボケ度合いにより精度良く認識することができ、また画像認識処理を実行するに先立って、カメラ視野内に存在する物体あるいはテクスチャを取得することにより精度の高い撮像環境の認識が可能となる。

本発明の実施の形態を図面を参照して詳細に説明する。

図１に、本発明に係る撮像環境認識装置を用いた車載システムの実施例を示す。本発明に係る撮像環境認識装置は、この車載システムが備える車載カメラ３により車両周囲の環境を認識する機能を実現する。図１に示す車載システムは、搭載されている車両（以下、自車両という）位置の検出と走行経路の案内，自車両前方の障害物に関する各種情報を提示する。この車載システムは、車室外に設置された、自車両前方の画像を撮像する車載カメラ３と、車室内に設置されて、各種画像及び各種情報を表示するためのディスプレイ
１３，車載カメラ３のレンズに汚れや水滴が付いた際に警告音声を発生するスピーカー
１４、そしてディスプレイ１３の表示制御及びこの車載システム全体の動作を制御するコントロールユニット２を備えている。

車載カメラ３は、例えば車室外の自車両先端部に取り付けられ、所定の俯角，取付け位置で地面を見下ろした自車両前方の画像を撮像するようになっている。この車載カメラ３により撮像された自車両前方の画像（以下、前方画像という）はコントロールユニット２に供給されてＲＡＭ５に格納される。コントロールユニット２は、ＲＡＭ５に格納された画像について画像処理を行い、車両前方の障害物を認識して衝突の危険があると判断した場合にはディスプレイ１３及びスピーカー１４により運転者に報知する。

ディスプレイ１３は、例えばＬＣＤ(Liquid Crystal Display)等の表示機器で構成される。ディスプレイ１３は、コントロールユニット２により表示制御され、例えばナビゲーションによる走行経路案内の画像やフロントビューモニタ画像等の各種画像を表示する。コントロールユニット２は、霧や車載カメラ３のレンズに付いた水滴等の撮像環境を認識したときに、撮像環境が良好でない旨を報知するメッセージをディスプレイ１３に表示する。またコントロールユニット２は、障害物検出システムが正常に動作していない可能性がある場合、その旨のメッセージをディスプレイ１３に表示する。更にこの車載システムのコントロールユニット２は、撮像環境が良好でないことを認識した場合にスピーカー
１４を駆動して、警告音による報知を行う機能も有している。

コントロールユニット２は、ＣＰＵ６，ＲＡＭ５，データＲＯＭ７やプログラムＲＯＭ４等がバスを介して接続された構成になっている。ＣＰＵ６がプログラムＲＯＭ４に格納された各種制御プログラムを実行することで、車載システム全体の動作を制御するようになっている。ＲＡＭ５は、車載カメラ３により撮像されＡ／Ｄ変換された前方画像のデータを保持し、画像メモリとして機能する。更に、プログラムＲＯＭ４には、自車両前方の先行車両等を認識する障害物検出プログラム、霧やレンズに付いた水滴，汚れ等を認識する撮像環境認識プログラム、ナビゲーションプログラムがそれぞれ格納されている。CPU6がこれらのプログラムをプログラムＲＯＭ４から読み出して、それぞれのプログラムを一定時間毎にタイムシェアリングで実行することにより、ナビゲーション機能、カメラの撮像環境認識機能、障害物検出機能がそれぞれ実現される。

また、コントロールユニット２には、車速センサ９，ジャイロセンサ１０，ＧＰＳ
(Global Positioning System) 受信機１２が接続されている。また、地図データベース
１１に格納されている各種情報が、ＤＶＤ(Digital Versatile Disc)ドライブ等のデータ再生装置により読み出されて、コントロールユニット２に供給される。車載システムの通常動作時には、ＣＰＵ６がナビゲーションプログラムを実行し、地図データベース１１から供給された地図画像上に、自車両の現在位置や、乗員の操作入力に応じて探索された経路等を重ね合わせた走行経路案内画像をディスプレイ１３に表示する。

コントロールユニット２には、自車両のエンジンを始動する際にオンとされるイグニッションスイッチ８からのイグニッション信号が供給される。イグニッション信号がオンになると、ＣＰＵ６は撮像環境認識プログラムと障害物検出プログラムとを実行し、コントロールユニット２は図２の機能ブロック図に示すように撮像対象推定部１６，画像認識部１７，歪み・ボケ度合い算出部１８，撮像環境認識部１９及び障害物検出部２０として機能するようになる。

撮像対象推定部１６は、ＧＰＳ受信機１２からのＧＰＳ信号により自車両の位置を特定し、更に車速センサ９やジャイロセンサ１０からの信号を元に自車の速度及び移動方向を求める。そして自車両の位置と速度，移動方向に基づき地図データベース１１から、自車両前方に存在する横断歩道等の路面表示（以下、地物という）の情報を取得する。地図データベース１１には、地物に関して、種別、その地物が存在する位置あるいは道路リンクの情報が対応付けられて記憶されている。またこの地物の種別からは、データＲＯＭ７内に格納されている地物の規格情報を参照することにより、地物の大きさや形状の情報が得られる。地物に関する情報としては、掠れの程度の様な状態情報を含んでいても良い。

画像認識部１７は、撮像対象推定部１６で取得した車載カメラ３の視野内に存在する地物を対象にして、前方画像を画像認識を行う。画像認識処理を実行する前に、撮像対象推定部１６によりカメラ視野内に存在し得る地物を抽出し、抽出した地物について地物の種別、掠れ等の状態、大きさ等の情報を取得することで、画像処理により認識すべき対象に関する情報が事前に得られるため、レンズに水滴が付いている撮像環境下等でも地物を精度良く認識することができる。

歪み・ボケ度合い算出部１８は、画像認識部１７で認識された地物について、画像上での形状やテクスチャの歪み、輪郭やテクスチャのボケ度合いを地物に対応した画像から算出する。

撮像環境認識部１９は、撮像対象推定部１６で取得した車載カメラ３の視野内に存在する各地物の種別、状態、大きさ等の情報に基づいて、歪み・ボケ度合い算出部１８により求めた歪み、ボケ度合いから撮像環境を認識する。

以上のように構成される車載システムは、通常時は、コントロールユニット２のＣＰＵ６によって実行されるナビゲーションプログラムによりディスプレイ１３に走行経路案内画像を表示している。そして、コントロールユニット２のＣＰＵ６によって並行して実行される障害物検出プログラムにより障害物を検出したり、撮像環境認識プログラムによりレンズに付いた水滴等を検出すると、その旨を報知するメッセージがディスプレイ１３に重畳表示される。

車載カメラ３のレンズに水滴が付いたり霧等が発生して撮像環境が悪化することによって、撮像画像の鮮明さが変化する。そして、撮像画像の鮮明さの変化に起因して、画像認識処理により認識対象を認識できなくなる、あるいは画像認識処理が誤認識を起こしてしまうといった問題が生じる。そこで、本発明を適用した車載システムでは、イグニッションスイッチ８から入力されるイグニッション信号がオンになると、コントロールユニット２のＣＰＵ６が撮像環境認識プログラムと障害物検出プログラムを実行する。撮像環境認識プログラムでは、霧の発生や車載カメラ３のレンズに対する水滴や汚れの付着を検出して、車載カメラ３がどのような環境で画像を撮像しているかを、撮像環境認識プログラムに定期的に割り当てられる実行時間の中で判定を行う。そして、霧の発生やレンズへの水滴の付着を検出した場合には、認識した撮像環境の下で障害物が検出できるように障害物検出プログラムのパラメータを変更する。また撮像環境が更に悪化し、障害物検出が不可能と判断した場合には誤動作を未然に防止するためにシステムを停止する。そしてその旨をメッセージとしてディスプレイ１３に表示させると共に、スピーカー１４から警告音を発生させて、車両の乗員に報知する。

以上のような車載システムにおいて、車載カメラ３の撮像環境を認識するコントロールユニット２における一連の処理の流れを、図３のフローチャートを参照しながら説明する。図３に示す一連の処理は、イグニッションスイッチ８がオンとなったときにスタートし、イグニッションスイッチ８がオフとなるまで繰り返し起動される撮像環境認識プログラムにより実行される。自車両が走行中であるか停止中であるか、また、ディスプレイに表示されている画像が走行経路案内画像か障害物検出システムの画像であるかに拘わらず、この処理が実行される。

まず、イグニッションスイッチ８から入力されるイグニッション信号がオンとなると、コントロールユニット２により撮像環境認識プログラムとナビゲーションプログラムとが実行され、図３に示す撮像環境認識プログラムのフローチャートの処理が開始される。まず、並行して動作するナビゲーションプログラムでは、地図データベース１１から自車前方に存在する地物の情報を取得する。この自車前方の地物の情報を基に予め定められた撮像環境認識タイミングか否かを判定する（ステップ１０１）。そして、撮像環境認識タイミングとなったときは、車載カメラ３により自車両前方の実画像を撮像し、ＲＡＭ５に取り込んで保持する（ステップ１０２）。

次に、撮像対象推定部１６はナビゲーションプログラムが取得した自車前方の地物の情報とデータＲＯＭ７内に格納されている地物の規格情報とからどのような地物が車載カメラ３の視野内に存在するかを推定する（ステップ１０３）。具体的には、ナビゲーションプログラムでは、ＧＰＳ受信機１２から得た自車の現在位置と車速センサ９及びジャイロセンサ１０とから自車の進行方向を算出し、自車の前方の所定範囲内に存在する地物の情報を地図データベース１１から取得し、ＲＡＭ５に格納する。そのデータを撮像対象推定部１６が読み出し、読み出したデータから地物の種別を判定し、データＲＯＭ７からその地物の種別の規格情報を取得することで、自車の何メートル先付近にどのような地物が存在するかを推定する。

画像認識部１７は、車載カメラ３により撮影された実画像を構成する各画素の中で、隣り合う画素との画素値の差分が所定の値を超える画素を抽出する。実画像が白黒画像の場合、この実画像の中で明るさが大きく変化する画素を特定する。そして、特定された画素からなる形状パターンが、撮像対象推定部１６で推定した地物の特徴に適合するかどうかを判定することにより、推定された地物の認識を行う（ステップ１０４）。具体的には、推定された地物が横断歩道である場合、ナビゲーションプログラムが地図データベース
１１から取得した認識対象とする横断歩道のペイントの掠れ等に関する情報と、データ
ＲＯＭ７から取得した横断歩道の白線幅等の規格に関する情報から推定した、自車前方に存在する横断歩道の白線幅と、画像上から検出した白線の開始位置と白線の終了位置との差の絶対値を除算し、その値がある閾値以内であればスコアを加算していき、横断歩道の認識を行う。

ただしこのとき、地図データベース１１やデータＲＯＭ７に登録されているデータ形式は路面に描かれる２次元パターンであるのに対し、車載カメラ３から得られる撮像画像は斜めから見下ろした画像であるため、両者を単純には比較できない。そこで、撮像画像から求めた地物の形状パターンに対して座標変換を行い、地図データベース１１やデータ
ＲＯＭ７に登録されているような真上から見た形状パターンに変換した上で比較する。この変換は車載カメラ３の路面からの高さと俯角情報を用いて透視変換により、図４のように路面の真上から対象物を見た場合の座標系に変換することで行う。ステップ１０４により求めたスコアが閾値以上であれば横断歩道を認識したものとし、位置情報により横断歩道を通り過ぎたと判定されるまでにスコアが閾値以上にならなければ認識できなかったものとする（ステップ１０５）。

次に、地物が認識できた場合は歪み・ボケ算出部１８により、画像認識部１７により検出した白線幅と撮像対象推定部１６により推定した白線幅とから、歪み・ボケ度合いを算出する（ステップ１０６）。ここで、画像のボケとは、霧等により画像の隣接画素の差が本来観測される値よりも小さくなることであり、歪みとは、レンズに付いた水滴等によりレンズへの入射光が屈折し、撮像画像が本来撮像される画像と異なることである。歪み・ボケ度合いの算出のフローチャートを図８に示す。

まず、図５（ａ）に示すように撮像対象推定部１６により取得した地物の種別、大きさや状態等の情報を基に推定した横断歩道の理想的な撮像画像の場合の白線幅Ｗａを算出する（ステップ２０１）。更に、図５（ｂ）のように撮像撮像画像から検出した白線の開始点，終了点の座標により白線のエッジ幅Ｗｂを取得する（ステップ２０２）。そして、撮像対象推定部１６により推定した理想的な白線幅Ｗａ，撮像画像から算出した白線幅Ｗｂから、認識対象地物の白線幅比Ｗｂ／Ｗａを算出する（ステップ２０３）。この値を、全ての白線検出領域で算出する（ステップ２０４）。本来ほぼ一定幅であることが期待される白線幅の比が大きければ、これは撮像画像から認識した白線境界がボケていることになるため、これらの値の平均値をボケ度合いとする。また、これら複数算出した白線幅比の分散が大きい場合には、撮像画像から認識した白線幅が至るところで変化していることになるため、白線幅比の変化の分散を歪み度合いとして算出する（ステップ２０５）。

全体的に水滴や汚れがレンズに付いた場合の画像図６（ａ）の一部を拡大した図を図６（ｂ）に示す。図６（ｂ）に示すように、輝度の立ち上がりを白線の始点のエッジ、輝度の立ち上がりを白線の終点のエッジとし、それら白線の開始点と終了点のエッジの座標から中点の座標を求める。全白線検出エリアについてエッジの中点の座標を算出し（ステップ２０６）、それらの中点の座標を統計処理することにより各白線の傾きを直線で近似する。この近似した直線と中点とのズレ量の和を算出し２つ目の歪み度合いとする（ステップ２０７）。そして、白線の中点近傍における画素の輝度の平均値とアスファルト領域の中点近傍における画素の輝度の平均値との差（以下、コントラストと呼ぶ）を２つ目のボケ度合いとして求める（ステップ２０８）。

以上により求めたボケ・歪み度合いを用いて、霧，レンズに対する水滴や汚れの付着を識別する（ステップ１０７）。例えば、図５（ｃ）のように霧であれば画像の下部ほどコントラストが大きく、かつ上に行くほどコントラストが小さくなり、コントラストの変化量が大きくなる。図でｄはカメラから撮像物体までの距離を表す。カメラからの距離ｄが大きいほど霧の影響でコントラストが小さくなる。つまり、画像の下部ほどコントラストが大きく、上部ほどコントラストが小さくなる。レンズに全体的に付いた水滴や汚れであれば、白線幅比の分散と白線の中点のズレ量が大きくなる。撮像環境による各ボケ・歪み度合いの値の取り方を図７に示す。

視界良好時は画像全体でボケ・歪みがないため全ての値が小さくなる。また、全体的に水滴や汚れが付いた場合は、歪みにより白線幅が太くなったり細くなったりするためボケ度合いの平均値は様々な値を取り、白線幅比の分散は大きくなると共に歪みの影響で白線の中点のズレ量も大きくなる。そして部分的に水滴や汚れが付いた場合は、白線幅比の分散と白線の中点のズレ量が、視界良好時と全体的に水滴や汚れが付いた場合の中間程度の値となる。更に霧の場合は、カメラから遠い撮像対象程ボケ度合いが大きくなる共に白線とアスファルトとの輝度値のコントラストが低くなる。つまり画像の下部から上部に行くほどボケ度合いは大きくなり、コントラストが低くなる。

上記ステップ１０７により撮像環境を認識した結果が所定回数以上同じであった場合のみ撮像環境を認識できたと判定してステップ１０９へ進み、そうでなければ再び処理の先頭に戻る（ステップ１０８）。

また、上記ステップ１０５において画像認識部１７で撮像対象推定部１６により推定した地物が認識できない場合、地物の認識が所定回数連続して出来なかったか否かを調べ、所定回数連続して地物が認識出来なかった場合は、画像認識が困難な撮像環境と撮像環境認識部１９は判定してステップ１１２へ移り、そうでなければ再び処理の先頭に戻る（ステップ１１３）。

上記ステップ１０７により撮像環境を認識した結果が視界良好であった場合、撮像環境に問題がないため撮像環境良好と判断し、視界良好でなかった場合は次の処理に進む（ステップ１０９）。

そして、撮像環境認識部１９により、例えば車載カメラのレンズに水滴が付いている等と判定されると、歪み・ボケ度合いが所定値以内か否かで画像認識の継続が可能かどうかを判定する（ステップ１１０）。歪み・ボケ度合いが所定の閾値よりも小さく画像認識が継続可能と判定されると、上記ステップ１０７による撮像環境認識結果を障害物検出部
２０に送信し障害物検出プログラムの各種パラメータをレンズに水滴が付着した場合の値に切り替える等撮像環境認識結果に応じた値に設定すると共に、コントロールユニット２はその旨をメッセージとしてディスプレイ１３に表示する（ステップ１１１）。

また、歪み・ボケ度合いが所定の閾値以上となり画像認識の継続が不可能と判定されると、コントロールユニット２によりスピーカー１４が駆動されて警告音声が発生され、車載カメラ３による撮像環境が良好ではなく、障害物検出システムが正常に動作しない可能性がある旨が車両の乗員に報知され、障害物検出プログラムの動作を一旦サスペンドして撮像環境が改善されるまで待つ状態とする（ステップ１１２）。車両の乗員は、この報知によって障害物検出システムが正常に動作しない可能性があることを認識することができ、例えば自分で障害物検出システムをオフにするといった適切な対応を図ることが可能となる。

本発明を適用した車載システムでは、イグニッションスイッチ８がオフとなるまで、コントロールユニット２によって以上のような一連の処理が繰り返し行われる。そして車載カメラ３の撮像環境が良好かどうかについて、定期的に起動される撮像環境認識プログラムにより周期的に判定される。

以上説明したように、本発明を適用した車載システムでは、車載カメラ３の撮像環境を定期的に認識し、認識結果を車載カメラ３を利用した各種システムに送信する。更に車両の乗員に報知することで、車載カメラ３を利用した各種システムが撮像環境を認識した結果によりシステムの処理等を切り替えたり、乗員は車載カメラ３のレンズに付いた水滴や汚れを除去して撮像環境を改善することで、適切にシステムを動作させることができる。また、車載カメラ３を用いたシステムがシステムの動作を継続することが困難と判断した場合はシステムを停止する、あるいは車両の乗員が、コントロールユニット２が報知した情報に基づきシステムを停止することで車載カメラ３を用いたシステムの誤動作を防止することができる。

次に、第２の実施例について説明する。なお、第２の実施例に関わる車載システムの構成について、上述した車載システムと同様の構成に対して同一の符号を付し、重複した説明は省略する。

本発明を用いた第２の実施例に係わる車載システムを図９に示す。この車載システムにおいて車両周囲の環境を認識する機能を実現する車載カメラ３は、上述した第１の実施形態の車載システムにおける車載カメラ３が自車両先端部の車室外に設置されていたのに対し、車両の一部が視野内にはいるように設置される。車両の一部としてリアバンパを用いる場合、自車両後方の様子を所定の俯角，取付け位置で地面を見下ろし、リアバンパが視野内に入るよう自車両後方の車室外のリアバンパ上方に設置され、リアバンパを含む画像を撮像する。このように予め定められた車両の一部を画像認識の対象とすることで、不特定の地物を用いる場合に比べて高い認識精度が得られることから、撮像環境の認識をより正確に行うことが出来る。

またこの車載システムは、上述した第１の実施例に係わる車載システムに加え、リバーススイッチ２２を更に備える。このリバーススイッチ２２から車両の後退時に出力されるリバースオン信号がコントロールユニット２に供給されると、コントロールユニット２のＣＰＵ６によって駐車支援プログラムが実行される。そして、駐車支援プログラムにより、車載カメラ３で撮像された自車両後方の実画像に距離目盛りと障害物の検出結果と検出した駐車スペースとを重ね合わせたバックビューモニタ画像がディスプレイ１３に表示される。

コントロールユニット２は、この車載カメラ３により撮像された自車両後方の撮像画像（以下、後方画像という）に基づき障害物等に衝突の危険があると判断した場合、ディスプレイ１３及びスピーカー１４により運転者に警告を報知する。コントロールユニット２は、ディスプレイ１３の表示制御を行い、ナビゲーションによる走行経路案内の画像やバックビューモニタ画像等の各種画像を表示する。またコントロールユニット２は、霧の発生や車載カメラのレンズに水滴や汚れが付着する等の撮像環境を認識した場合における撮像環境が良好でない旨を報知するメッセージや、駐車支援システムが正常に動作していない可能性がある場合における警告メッセージをディスプレイ１３へ表示する。またコントロールユニット２は、撮像環境が良好ではないことを認識した場合には、スピーカー１４を駆動して、警告音声による報知も行う。

プログラムＲＯＭ４には、車両の駐車を支援する駐車支援プログラムと、霧の発生や水滴，汚れ等のレンズへの付着を認識する撮像環境認識プログラムと、ナビゲーションプログラムとがそれぞれ格納されている。ＣＰＵ６は、これらのプログラムをプログラムROM4から読み出して実行することで、それぞれ、駐車支援機能、カメラの撮像環境認識機能、ナビゲーション機能を実現する。

また、このコントロールユニット２には、自車両のエンジンを始動する際にオンとされるイグニッションスイッチ８からのイグニッション信号が供給される。このイグニッションスイッチ８からのイグニッション信号がオンになると、コントロールユニット２のCPU6によって撮像環境認識プログラムが実行され、コントロールユニット２が図１０に示すブロック図のように撮像対象推定部１６，画像認識部１７，歪み・ボケ度合い算出部１８，撮像環境認識部１９として機能する。そして、リバーススイッチ２２からのリバースオン信号によって駐車支援プログラムが実行され、駐車支援部２３が機能する。

撮像対象推定部１６は、工場出荷時にデータＲＯＭ７に予め格納しておいた自車のリアバンパが撮像される位置を読み出すことにより、車載カメラ３の視野内に存在するバンパと路面の、画像上での境界を取得する。画像認識部１７は、車載カメラ３の画像から、車載カメラ３の視野におけるバンパ領域を認識する。歪み・ボケ度合い算出部１８は、撮像対象推定部１６で取得したバンパと路面との境界から求まるリアバンパが本来撮像されるべき領域と画像認識部１７により認識したバンパ領域とから、路面との境界線のボケ度合いを算出する。撮像環境認識部１９は、歪み・ボケ度合い算出部１８により求めた歪み，ボケ度合いから撮像環境を認識する。

以上のように構成される車載システムでは、通常時には上述したように、コントロールユニット２のＣＰＵ６によって実行されるナビゲーションプログラムにより走行経路案内画像をディスプレイ１３に表示している。そして、コントロールユニット２のＣＰＵ６よって並行して実行される撮像環境認識プログラムによりレンズに付いた水滴等を検出した場合に、その旨を報知するメッセージがディスプレイ１３に重畳表示される。また、リバーススイッチ２２から自車の後退時に出力されるリバースオン信号がコントロールユニット２に供給されると、ＣＰＵ６により駐車支援プログラムが実行され、ディスプレイ１３に後方画像と駐車支援プログラムの画像が重畳表示される。

本発明を適用した車載システムでは、イグニッションスイッチ８がオンとされると、コントロールユニット２のＣＰＵ６が撮像環境認識プログラムを実行して、どのような環境で画像を撮像しているかを定期的に判定する。霧の発生やレンズに水滴や汚れが付いているなどの撮像環境を認識した場合には、認識した撮像環境下で駐車枠や自車両後方の障害物が検出できるように駐車支援プログラムのパラメータを変更したり、駐車支援が不可能と判断した場合には誤動作を未然に防止するためにシステムを停止し、更にその旨をメッセージとしてディスプレイ１３に表示させると共にスピーカー１４から警告音を発生させて、車両の乗員に報知する。

以上のような車載システムにおいて、車載カメラ３の撮像環境を認識するコントロールユニット２における一連の処理の流れを図１１のフローチャートを参照しながら説明する。この図１１に示す一連の処理は、イグニッションスイッチ８がオンとなったときにスタートし、イグニッションスイッチ８がオフとなるまで繰り返し起動される撮像環境認識プログラムにより実行される。自車両が走行中であるか停止中であるか、また、ディスプレイ１３に表示されている画像が走行経路案内画像か駐車支援システムの画像であるかに拘わらず、この処理が実行される。

まず、イグニッション信号がオンとなると、コントロールユニット２により撮像環境認識プログラムが実行され、所定間隔に定められた撮像環境認識タイミングか否かを判定する（ステップ３０１）。あるいは、自車両後方に地物の存在を認識し、リアバンパとこの地物が重なったときを撮像環境認識タイミングとする。そして、撮像環境認識タイミングとなったときは、車載カメラ３により撮像された自車両後方の実画像がＲＡＭ５に取り込まれて保持される（ステップ３０２）。

次に、撮像対象推定部１６はデータＲＯＭ７内に格納されている画像上のリアバンパの領域の情報を取得する（ステップ３０３）。このデータＲＯＭ７には、工場出荷時の車載カメラによる画像に占めるリアバンパ位置を予め検出しておいたバンパ領域の情報が格納されている。画像認識部１７は、ＲＡＭ５に保持されている実画像について、画像を構成する各画素の中で隣り合う画素との画素値の差分が所定の値を超える画素、即ち、この実画像の中で明るさが大きく変化する位置を特定し、その位置をバンパと路面の境界部としてリアバンパ領域を検出する（ステップ３０４）。

リアバンパ領域が認識できたか否かを判定し（ステップ３０５）、認識できた場合には、次に、歪み・ボケ算出部１８により、画像認識部１７により検出したリアバンパ幅と撮像対象推定部１６により推定したリアバンパ幅とから、歪み・ボケ度合いを算出する。具体的には、図１２のように撮像対象推定部１６により推定したリアバンパの幅と、撮像画像から算出したリアバンパの幅を比較する。図１２に示すように、撮像対象推定部１６により推定したリアバンパの幅をＷａ、撮像画像から検出したリアバンパの幅をＷｂとし、Ｗｂ／Ｗａを算出する。この値を、処理領域を変えて複数算出し、これらの値の平均値をボケ度合いとし、分散を歪み度合いとする（ステップ３０６）。

更に、撮像対象認識部１９は前記ボケ度合いと歪み度合いとから、霧，雨，レンズに付いた水滴，レンズのくもりを識別する（ステップ３０７）。例えば図１３に示すように、レンズに全体的に付いた水滴であれば画像の全領域でリアバンパ幅比の平均値は大きく、リアバンパ幅比の分散も大きい。レンズに部分的に付いた水滴であれば、リアバンパ幅比の平均値、分散が共に、撮像環境良好時と全体的にレンズに付いた時に得られる値の中間程度の値となる。

上記ステップ３０７により撮像環境を認識した結果が所定回数以上同じであった場合のみ撮像環境を認識できたと判定してステップ３０９へ進み、そうでなければ再び処理の先頭に戻る（ステップ３０８）。

また、ステップ３０５において、画像認識部１７で撮像対象推定部１６により推定したバンパ領域が認識できない場合、所定回数連続して認識できなかったか否かを判定し（ステップ３１３）、所定回数連続して認識できなかった場合は、撮像環境認識部１９は画像認識が困難な撮像環境と判定してステップ３１２に進み、そうでなければ再び処理の先頭に戻る。

上記ステップ３０７により撮像環境を認識した結果が視界良好であった場合、撮像環境に問題がないため撮像環境良好と判断し、視界良好でなかった場合は次の処理に進む（ステップ３０９）。

そして、ステップ３０７において、撮像環境認識部１９により、例えば車載カメラ３のレンズに水滴が付いている等と判定されると、歪み・ボケ度合いが所定値以内か否かで画像認識の継続が可能かどうかを判定する（ステップ１１０）。歪み・ボケ度合いが所定の閾値よりも小さく画像認識が継続可能と判定されると、上記ステップ１０７による撮像環境認識結果を駐車支援部２３に送信し、駐車支援プログラムの各種パラメータをレンズに水滴が付着した場合の値に切り替えると共に、コントロールユニット２はその旨をメッセージとしてディスプレイ１３に表示する（ステップ３１１）。また、歪み・ボケ度合いが所定の閾値以上となり画像認識の継続が不可能と判定されると、コントロールユニット２によりスピーカー１４が駆動されて警告音が発生され、車載カメラ３による撮像環境が良好でなく、駐車支援システムが正常に動作しない可能性がある旨が車両の乗員に報知され、駐車支援プログラムを一旦停する（ステップ３１２）。車両の乗員は、この報知によって駐車支援システムが正常に動作しない可能性があることを認識することができ、例えば自分で駐車支援システムをオフにするといった適切な対応を図ることが可能となる。

本発明を適用した車載システムでは、イグニッションスイッチ８がオフとなるまで、コントロールユニット２によって以上のような一連の処理が繰り返し行われ、車載カメラ３の撮像環境が良好かどうかを定期的に判定されるようになっている。

以上説明したように、本発明を適用した車載システムでは、車載カメラ３の撮像環境を定期的に認識し、認識結果を車載カメラ３を利用した各種システムに送信し、更に車両の乗員に報知することで、車載カメラを利用した各種システムが撮像環境を認識した結果によりシステムの処理等を切り替えたり、乗員は車載カメラ３のレンズに付いた水滴や汚れを除去して撮像環境を改善することで、適切にシステムを動作させることができる。また、車載カメラ３を用いたシステムの動作を継続することが困難と判断した場合はシステムを停止する、あるいは車両の乗員が、コントロールユニットが報知した情報に基づきシステムを停止することで車載カメラを用いたシステムの誤動作を防止することができる。

本発明を適用した第１の実施例に係る車載システムを示すブロック図である。第１の実施例に係る車載システムにおける、撮像環境認識プログラムと障害物検出プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。第１の実施例に係る車載システムにおける、撮像環境認識部の処理を示すフローチャートである。第１の実施例に係る車載システムにおけるて、車載カメラ３の撮像画像に対する、画像上の座標系から路面の真上からみた座標系への変換例である。ボケ・歪み度合い算出部により算出する、ボケ度合いの平均，ボケ度合いの分散、コントラストの変化量を説明する図である。ボケ・歪み度合い算出部により白線の歪み度合いを算出する処理の概要を示す図である。ボケ・歪み度合い算出部により算出した値と撮像環境の関係を示す図である。ボケ・歪み度合い算出部における処理を示すフローチャートである。本発明を適用した第２の発明の最良の形態に係る車載システムを示すブロック図である。第２の実施例に係る車載システムにおいて、撮像環境認識プログラムと駐車支援プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。第２の実施例に係る車載システムにおける、撮像環境認識部の処理を示すフローチャートである。第２の実施例に係る車載システムにおける、ボケ・歪み度合い算出部による、バンパ領域と路面領域との境界の検出例である。第２の実施例に係る車載システムにおける、ボケ・歪み度合い算出部により算出した値と撮像環境の関係を示す図である。

符号の説明

２…コントロールユニット、３…車載カメラ、１６…撮像対象推定部、１７…画像認識部、１８…歪み・ボケ度合い算出部、１９…撮像環境認識部、２０…障害物検出部、２３…駐車支援部。

Claims

車両の周囲を撮像する撮像手段と、該撮像手段で取得した画像を処理して撮像手段の視野内に存在する対象物及びテクスチャを認識する画像認識部とを備えた撮像環境認識装置において、
認識対象物の形状情報を格納した記憶手段と、
認識対象物及びテクスチャの撮像画像上での形状から算出した認識対象物の幅と、前記記憶手段に格納された認識対象物の形状情報から推定した認識対象物の幅と、の比を認識対象物の複数個所について算出し、算出した複数の比の平均値と分散を、それぞれ該撮像画像における認識対象物及びテクスチャの歪み度合い及びボケ度合いとして算出する歪み・ボケ度合い算出部と、
算出した歪み度合い及びボケ度合いに基づき撮像環境を認識する撮像環境認識部とを備えることを特徴とする撮像環境認識装置。
請求項１の撮像環境認識装置において、
前記撮像手段の視野内に存在する対象物及びテクスチャを求める撮像対象推定部を備え、
前記画像認識部により前記撮像手段の視野内に存在する対象物及びテクスチャを認識する際は、当該撮像対象推定部により推定された物体及びテクスチャを認識対象とすることを特徴とする撮像環境認識装置。
請求項２の撮像環境認識装置において、
前記車両の現在位置と移動方向を求める測位手段と、
少なくとも路面表示の種別と位置を記憶した地図データベースとを備え、
前記形状情報は、路面表示の種別に対応した少なくとも寸法情報を含む特徴情報であり、
前記撮像対象推定部は、前記測位手段により求めた現在位置と移動方向に基づき、前記地図データベースから前記撮像手段の視野内に存在する路面標示を、前記撮像手段の視野内に存在する対象物及びテクスチャとして求めることを特徴とした撮像環境認識装置。
請求項２の撮像環境認識装置において、
前記撮像手段は、前記車両の車体の一部が視野内に入る位置に設置され、
前記記憶手段は、前記車体の一部が観測されるべき位置に関する情報を予め格納し、
前記撮像対象推定部は、前記車体の一部を前記撮像手段の視野内に存在する対象物及びテクスチャとして求め、
前記画像認識部は、前記記憶手段に格納された車体の一部が観測されるべき位置に関する情報に基づき、当該車体の一部を認識することを特徴とした撮像環境認識装置。
請求項４の撮像環境認識装置において、
前記車両の一部としてリアバンパを用いることを特徴とした撮像環境認識装置。
請求項２の撮像環境認識装置において、
前記撮像環境認識部は、前記撮像対象推定部により推定した前記撮像手段の視野内に存在する対象物及びテクスチャを前記画像認識部が所定回数以上連続で認識できなかった場合、前記撮像装置による画像を用いる処理を停止する
ことを特徴とした撮像環境認識装置。
請求項１の撮像環境認識装置において、
前記歪み・ボケ度合い算出部により算出した歪み度合い及びボケ度合いが所定の値以上の場合は、前記撮像装置による画像を用いるシステムを停止することを特徴とした撮像環境認識装置。
カメラにより車両周囲の画像を撮像し、カメラの視野内に存在する対象物及びテクスチャを認識する撮像環境認識方法において、
前記カメラで撮像した画像における認識対象物及びテクスチャの形状から算出した認識対象物の幅と、予め記憶されている認識対象物の形状情報から推定した認識対象物の幅と、の比を認識対象物の複数個所について算出し、
算出した複数の比の平均値と分散を、それぞれ該撮像画像における認識対象物及びテクスチャの歪み度合い及びボケ度合いとして算出し、
算出した歪み度合い及びボケ度合いに基づき撮像環境を認識することを特徴とする撮像環境認識方法。
請求項８の撮像環境認識方法において、
前記カメラの視野内に存在する対象物及びテクスチャを推定し、
前記カメラの視野内に存在する対象物及びテクスチャを認識する際は、当該推定された物体及びテクスチャを認識対象とすることを特徴とする撮像環境認識方法。
請求項９の撮像環境認識方法において、
前記車両の現在位置と移動方向を求め、
前記形状情報は、路面表示の種別に対応した少なくとも寸法情報を含む特徴情報であり、
求められた該現在位置と該移動方向に基づき、少なくとも路面表示の種別と位置を記憶した地図データベースから前記カメラの視野内に存在する路面表示を、前記カメラの視野内に存在する対象物及びテクスチャとして推定することを特徴とした撮像環境認識方法。