JP5338762B2 - ホワイトバランス係数算出装置及びプログラム - Google Patents

Description

本発明は、ホワイトバランス係数算出装置及びプログラムに係り、特に、撮像手段のホワイトバランス係数を算出するホワイトバランス係数算出装置及びプログラムに関する。

従来より、電子カラーカメラに備えた、４方向のフォトダイオードの大きさから、順光・逆光・曇りを判定し、また現在の日付・時刻で夕焼け・朝焼けが発生するかどうかを判定し、判定結果より、「朝焼け順光または夕焼け順光」の時には、赤味除去フィルタを電子カラーカメラの入射端面に装着し、「曇りまたは日中逆光」の時には青味除去フィルタを電子カラーカメラの入射端面に装着するホワイトバランス調整装置が知られている（特許文献１）。

また、撮像手段を介して道路のカラー画像を取得し、取得された道路のカラー画像から、色の特徴量が近似する領域を抽出し、抽出された各領域に対して、該抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、該カラー成分間のレベルの乖離度合を縮小させるように、該抽出された領域内の各画素データを補正するホワイトバランス処理を施す路面標示認識装置が知られている（特許文献２）。

また、白に近いブロックの色評価値に基づいて、ホワイトバランスゲインを算出するホワイトバランス制御装置が知られている（特許文献３）。

特開２００７−３２９５２２号公報 特開２００６−３３８５５５号公報 特開２００９−１６４８３７号公報

しかしながら、上記の特許文献１に記載の技術では、ホワイトバランスの補正パターンが順光・逆光・曇りなどの数パターンに限定されているため、環境光のスペクトル強度を正しく推定することは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。

また、上記の特許文献２に記載の技術では、色の特徴量が近似する領域を抽出して環境光のホワイトバランスを補正しており、色の特徴量が近似しているという条件だけでは、どのような物体を撮像したか正確には分からないため、環境光のスペクトル強度を正しく推定することは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。

また、上記の特許文献３に記載の技術では、色信号で白色領域を抽出しているが、環境光によって影響を受ける白色領域を精度良く抽出するのは困難であり、適切なホワイトバランス係数を算出することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、適切なホワイトバランス係数を算出することができるホワイトバランス係数算出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係るホワイトバランス係数算出装置は、カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、を含んで構成されている。

本発明に係るプログラムは、コンピュータを、カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段として機能させるためのプログラムである。

本発明によれば、撮像手段によってカラー画像を撮像し、基準物体検出手段によって、撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、基準物体を表わす領域を検出する。

そして、評価手段によって、基準物体検出手段によって検出された基準物体を表わす領域のカラー成分の強度分布に基づいて、基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する。算出手段によって、評価手段によって基準物体を表わす領域が参照する領域として適していると評価された場合、基準物体について予め求められた光の反射特性と、基準物体を表わす領域のカラー成分の強度分布とに基づいて、撮像手段のホワイトバランス係数を算出する。

このように、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像手段のホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる。

本発明に係る評価手段は、基準物体検出手段によって検出された基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価する。

また、上記の評価手段は、基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。

また、上記の評価手段は、基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布と基準物体を表わす領域のカラー成分の強度分布との間の距離に基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。

本発明に係る評価手段は、検出された基準物体を表わす領域の少なくとも一部分と基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された強度分布間の距離に基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。

また、上記の評価手段は、分類された強度分布間の距離、及び分類された強度分布の各々のばらつきの大きさに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。

また、上記の評価手段は、分類された強度分布間の距離、及び分類された強度分布の数が予め定められた数であるか否かに基づいて、基準物体を表わす領域が参照する領域として適しているか否かを評価するようにすることができる。

本発明に係るホワイトバランス係数算出装置は、カラー画像について、輝度に応じて領域分割する領域分割手段を更に含み、基準物体検出手段は、基準物体を表わす領域を複数検出し、算出手段は、領域分割手段によって分割された領域の各々について、該領域内で検出され、かつ、参照する領域として適していると評価された基準物体を表わす領域のカラー成分の強度分布を用いて、ホワイトバランス係数を算出するようにすることができる。

上記の撮像手段は、走路を含む領域を撮像するようにすることができる。

上記の基準物体を、無彩色の物体とすることができる。

上記のホワイトバランス係数算出装置は、撮像手段によって撮像されたカラー画像に含まれる特定の物体を示す画像を認識する認識手段を更に含むようにすることができる。

以上説明したように、本発明のホワイトバランス係数算出装置及びプログラムによれば、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像手段のホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる、という効果が得られる。

本発明の第１の実施の形態に係る対象物認識装置の構成を示す概略図である。 撮像画像から白線を検出した結果を示す図である。 基準物体の評価領域、及び背景物体の評価領域の例を示す図である。 基準物体の評価領域及び背景物体の評価領域の各々のカラー成分の強度分布を示すグラフである。 本発明の第１の実施の形態に係る対象物認識装置のコンピュータにおけるホワイトバランス補正処理ルーチンの内容を示すフローチャートである。 評価領域の例を示す図である。 評価領域のカラー成分の強度分布を示すグラフである。 基準物体としての速度標識を撮像した画像における評価領域の例を示す図である。 評価領域のカラー成分の強度分布を示すグラフである。 本発明の第２の実施の形態に係る対象物認識装置の構成を示す概略図である。 （Ａ）カラー画像の例を示す図、（Ｂ）矩形領域を説明するための図、及び（Ｃ）領域分割された結果を示す図である。 （Ａ）複数の基準物体が検出された様子を示す図、（Ｂ）領域分割された結果を示す図、及び（Ｃ）局所的なホワイトバランスを示すイメージ図である。 本発明の第３の実施の形態に係る対象物認識装置のコンピュータにおけるホワイトバランス補正処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像から、認識対象物としての歩行者を示す画像を認識する対象物認識装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る対象物認識装置１０は、車両（図示省略）に取り付けられ、かつ、走路を含む車両の前方を撮像してカラー画像（マルチスペクトル画像）を生成する撮像装置１２と、撮像装置１２から得られるカラー画像から歩行者を示す画像を認識するコンピュータ１４と、コンピュータ１４の認識結果を表示する表示装置１６とを備えている。

撮像装置１２は、車両の前方を撮像し、カラー画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

また、撮像装置１２の撮像部に設定されているホワイトバランス係数は、コンピュータ１４からの制御により更新される。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述するホワイトバランス補正処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により撮像されたカラー画像を取得する画像取得部２０と、画像取得部２０により取得したカラー画像から、光の反射特性が既知の基準物体を表わす領域を検出する基準物体検出部２２と、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かの評価を示す評価値を算出する基準物体評価部２４と、基準物体の光の反射特性を予め記憶した反射特性記憶部２６と、反射特性記憶部２６に記憶された反射特性、及び評価値の高い基準物体を表わす領域のカラー成分の強度分布に基づいて、ホワイトバランス係数を算出するホワイトバランス算出部２８と、撮像装置１２に設定されたホワイトバランス係数を、算出されたホワイトバランス係数に更新するホワイトバランス設定部３０とを備えている。

基準物体検出部２２は、スペクトル反射特性を手がかりとした物体認識は行わず、物体の形状やパターンなどに基づいて、予め決められた基準物体を表わす領域を検出する。基準物体として白色の路面標示の走路境界線（以下、白線とも称する）を用いる場合を例に、以下の処理手順で基準物体を表わす領域を検出する。

まず、カラー画像からグレースケール画像を生成する。例えば、カラー画像の各カラー成分（ＲＧＢ）の平均値をとることでグレースケール画像を生成する。なお、生成されたグレースケール画像は、形状やパターンを用いた物体識別に利用するため、入力となるカラー画像のホワイトバランス係数が正確に補正されている必要は無い。

次に、エッジ検出、及びハフ変換による直線あてはめによって、走路の左右に存在する、白色又は黄色の実線、破線、又は複合線を検出する。

次に、走路の幅や、検出された線の形状、線の構造から、白色の実線・破線の位置を特定する。さらに、「道路の中央にある複合線は白線・黄線・白線が複合している」等の構造に関する事前知識により、複合線の個別の線も判別する。そして、以上の処理結果に基づいて、図２に示すように、白色の実線・破線を表わす領域を検出する。

なお、カメラのホワイトバランスがある程度正確に補正できている場合には、色情報を更に用いて、白線を検出するようにしてもよい。これは、スペクトル反射特性からの物体識別では厳密なホワイトバランス補正が必要なのに対して、検出された走路境界線が白線か黄線かを判別することは容易であり、厳密なホワイトバランス補正が必要とならないためである。

なお、基準物体が白色の走路境界線である場合を例に説明したが、これに限定されるものではなく、基準物体が、横断歩道など白色の路面標示や、標識の白色部分などあってもよい。

基準物体評価部２４は、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを、以下に説明するように評価する。基準物体評価部２４による処理は、汚れやかすれが生じていない基準物体を表わす領域を用いてホワイトバランス補正を精度良く行うために、行われる。

まず、図３（Ａ）に示すように、検出された白線などの基準物体を表わす領域の位置を元に、基準物体の評価領域（図３（Ａ）、（Ｂ）中に実線で表示された矩形）を設定すると共に、検出された基準物体を表わす領域の周辺に、背景物体の評価領域（図３（Ａ）、（Ｂ）中に破線で表示された矩形）を設定する。

そして、図４（Ａ）、（Ｂ）に示すように、基準物体の評価領域のカラー成分の強度分布（スペクトル強度分布）を求めると共に、背景物体の評価領域のカラー成分の強度分布を求める。上記図４（Ａ）、（Ｂ）において、○と□の点はそれぞれ基準物体と背景物体の評価領域内の画素のカラー成分の強度である。なお、カラー成分の強度は、通常１画素あたり数次元のデータであるが、ここでは説明のため２次元で表現できるとする。

そして、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び背景物体の評価領域のカラー成分の強度分布のばらつきの大きさを算出する。また、基準物体の評価領域のカラー成分の強度分布と、背景物体の評価領域のカラー成分の強度分布との間の距離を算出する。

ここで、基準物体に内接する領域のカラー成分の強度分布のばらつきを考えた場合、図３（Ａ）、図４（Ａ）に示すように、基準物体に汚れやかすれが生じていない場合にはばらつきが小さい。一方、図３（Ｂ）、図４（Ｂ）に示すように、基準物体に汚れやかすれが生じていない場合にはばらつきが大きい。

更に、基準物体の近傍（背景）の周辺領域に対しても、汚れやかすれが生じていない場合にはばらつきが小さく、一方、汚れやかすれが生じていない場合にはばらつきが大きい。

また、上記図３（Ａ）に示すような良好な状態の白線の場合では、上記図４（Ａ）に示すように、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離（分離度）が大きくなっている。一方、上記図３（Ｂ）に示すような、かすれが生じた白線では、上記図４（Ｂ）に示すように、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が小さくなっている。

なお、カラー成分の強度分布のばらつきの大きさとして、正規分布を当てはめた場合の標準偏差などを算出すればよく、また、カラー成分の強度分布間の距離（分離度）として、クラス間分散などを算出すればよい。

そこで、基準物体評価部２４は、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて、評価値を算出する。基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、かつ、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であれば、高い評価値が算出される。

反射特性記憶部２６には、白線などの基準物体について予め求められた光の反射特性（スペクトル反射特性）が記憶されている。

ホワイトバランス算出部２８は、反射特性記憶部２６に記憶されている基準物体の光の反射特性と、カラー画像から検出された基準物体を表わす領域のカラー成分の強度分布とに基づいて、新たなホワイトバランス係数を算出する。なお、ホワイトバランス係数の算出方法としては、従来既知の手法を用いればよいため、詳細な説明を省略する。

ホワイトバランス設定部３０は、撮像装置１２に設定されているホワイトバランス係数を、算出された新たなホワイトバランス係数に更新するように設定する。

また、コンピュータ１４は、更に、画像取得部２０によって取得された、認識対象のカラー画像に含まれる特定の物体（例えば、歩行者）を示す画像を認識する特定物体認識部３２を備える。

特定物体認識部３２は、認識対象のカラー画像から、所定領域のウインドウ画像を抽出し、抽出されたウインドウ画像の画像特徴量（例えば、カラー成分の強度分布におけるカラー成分毎の強度の差又は比）と予め記憶された識別モデルとを比較することにより、ウインドウ画像が特定の物体か否かを認識し、認識結果をカラー画像に重畳して表示するように表示装置１６を制御する。

ウインドウ画像を抽出する際には、カラー画像から予め定められたサイズのウインドウを１ステップにつき、予め定められた移動量だけ移動させながら画像を切り取る。ウインドウサイズは様々なサイズの物体を認識するために複数種設定されている。

ウインドウ画像が特定の物体を示す画像であるか否かを認識する際には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）等の手法を用いればよい。

識別モデルとしては、認識の手法に応じて予め学習により生成されたモデルが記憶されている。

なお、上記では、識別モデルを用いた認識手法によって、画像認識を行う場合を例に説明したが、これに限定されるものではなく、例えば、認識対象のカラー画像の画素毎に、色成分毎の強度の差や比を算出し、算出された結果に対して閾値判定を行い、画素がどのような物体か認識するようにしてもよい。

次に、本実施の形態に係る対象物認識装置１０の作用について説明する。

対象物認識装置１０を搭載した車両の走行中に、所定時間毎に、撮像装置１２によって車両の前方の所定領域が撮像され、コンピュータ１４において、図５に示すホワイトバランス補正処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２からカラー画像を取得し、ステップ１０２において、上記ステップ１００で取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を検出する。

そして、ステップ１０４では、上記ステップ１０２で検出された基準物体を表わす領域内から基準物体の評価領域を設定すると共に、基準物体を表わす領域の周辺から、背景物体の評価領域を設定する。

次のステップ１０６において、上記ステップ１０４で設定された基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との距離に基づいて、上記ステップ１０２で検出された基準物体を表わす領域について、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。

そして、ステップ１０８において、上記ステップ１０６で算出された評価値が閾値以上であるか否かを判定し、評価値が閾値未満である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していないと判断し、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。

一方、上記ステップ１０８で、評価値が閾値以上である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していると判断し、ステップ１１０で、反射特性記憶部２６から、基準物体の光の反射特性を読み込む。そして、ステップ１１２において、上記ステップ１０２で検出された基準物体を表わす領域から、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、上記ステップ１１０で読み込んだ基準物体の光の反射特性とに基づいて、ホワイトバランス係数を算出する。

そして、ステップ１１４において、撮像装置１２に設定されているホワイトバランス係数を、上記ステップ１１２で算出したホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。

また、対象物認識装置１０を搭載した車両の走行中に、上述したようにホワイトバランス係数が更新された撮像装置１２によって、カラー画像が撮像されると、コンピュータ１４によって、カラー画像から、予め求められた識別モデル及びＳＶＭ識別器を用いて、歩行者を示す画像を認識する。そして、認識結果が表示装置１６に表示される。

以上説明したように、第１の実施の形態に係る対象物認識装置によれば、基準物体の形状又は構造に基づいて検出された基準物体を表わす領域であって、ホワイトバランス係数を算出する際に参照する領域として適していると評価された基準物体を表わす領域を用いて、撮像装置に設定する新たなホワイトバランス係数を算出することにより、適切なホワイトバランス係数を算出することができる。

カラー画像のカラー成分のスペクトル特性に基づいた物体認識において、物体を照明する環境光のスペクトル強度は重要な情報である。しかし、環境光は、太陽や光源からの直接光のみならず、周囲の物体で反射された間接光が混合された状態になっているため、環境光のスペクトル強度を知ることは困難である。一般的に、環境光のスペクトル強度はスペクトル反射特性が既知な参照物体を撮影することで推定される。そこで、走行環境に多く存在し、画像から検出しやすい路面標示などを基準物体として、環境光のスペクトル強度を推定する。撮影されたスペクトル強度とあらかじめ既知な基準物体のスペクトル反射特性から、環境光のスペクトル強度を推定することができ、ホワイトバランス補正が可能となる。このとき、本実施の形態では、基準物体の汚れやかすれ具合を評価することで、汚れなどがある基準物体による誤ったホワイトバランス補正を抑制することができる。

また、カラー画像からの物体認識において、環境光のスペクトル強度が未知の場合には安定した物体認識を実現することができない。本実施の形態では、環境中に存在する物体のうち光の反射特性が既知で、かつ汚れやかすれなどが軽微な基準物体を表わす領域を用いて、ホワイトバランス補正を行うことで、様々な環境光の下でも安定した物体認識が実現できる。

なお、上記の実施の形態では、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて、ホワイトバランス補正の参照領域として適しているか否かを評価する場合を例に説明したが、これに限定されるものではない。例えば、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否かに基づいて評価してもよく、また、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否かに基づいて評価してもよい。また、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値以上であるか否か、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上であるか否かに基づいて評価してもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物認識装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。

第２の実施の形態では、基準物体を表わす領域と周辺の領域とを含む領域を、評価領域として設定し、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを評価している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る対象物認識装置では、基準物体評価部２４によって、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適しているか否かを、以下に説明するように評価する。

まず、図６（Ａ）、（Ｂ）に示すように、検出された基準物体としての白線を表わす領域の位置を元に、基準物体を表わす領域の少なくとも一部分と、検出された基準物体を表わす領域の周辺の背景物体の領域と含む領域を、評価領域（図６（Ａ）、（Ｂ）中に実線で表示された矩形）として設定する。

そして、図７（Ａ）、（Ｂ）に示すように、評価領域のカラー成分の強度分布（スペクトル強度分布）を求める。

そして、評価領域のカラー成分の強度分布に対してクラスタリング処理を行い、カラー成分の強度分布を分類する。次に、分類されたカラー成分の強度分布の各々について、ばらつきの大きさを算出すると共に、分類されたカラー成分の強度分布間の距離を算出する。

ここで、上記図６（Ａ）に示すように、基準物体としての白線に汚れやかすれが生じていない場合には、上記図７（Ａ）に示すように、カラー成分の強度分布は、クラスタリングを行った際にクラス数が２となり、かつクラス内分散が小さく、クラス間分散（クラス間の距離）が大きくなる。

一方、上記図６（Ｂ）に示すような、かすれが生じた白線（基準物体）では、上記図７（Ｂ）に示すように、２クラスの分離が困難であり、仮に分離できた場合であってもクラス内分散が大きく、クラス間分散（クラス間の距離）が小さくなる。これは、かすれなどが生じた物体を撮影した場合には、基準物体と背景物体の中間のスペクトル強度が得られてしまうためである。

そこで、基準物体評価部２４では、評価領域について分類されたカラー成分の強度分布の数が２つであるか、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価値を算出する。分類されたカラー成分の強度分布の数が２つであり、分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値未満であり、かつ、分類されたカラー成分の強度分布間の距離が閾値以上であれば、高い評価値が算出される。

第２の実施の形態に係るホワイトバランス補正処理ルーチンでは、まず、撮像装置１２からカラー画像を取得し、取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を検出する。

そして、検出された基準物体を表わす領域の一部分と、周辺の領域とを含む評価領域を設定する。次に、設定された評価領域のカラー成分の強度分布についてクラスタリング処理を行い、分類されたクラス数、各クラスのばらつきの大きさ、及びクラス間の距離に基づいて、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。

そして、算出された評価値が閾値以上であるか否かを判定し、評価値が閾値未満である場合には、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。一方、評価値が閾値以上である場合には、反射特性記憶部２６から、基準物体の光の反射特性を読み込む。そして、検出された基準物体を表わす領域から、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、読み込んだ基準物体の光の反射特性とに基づいて、ホワイトバランス係数を算出する。

そして、撮像装置１２に設定されているホワイトバランス係数を、算出したホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。

このように、評価領域のカラー成分の強度分布についてクラスタリングを行い、クラス数、クラス内分散、及びクラス間分散に基づいて、基準物体の汚れやかすれ具合を評価することで、汚れなどがある基準物体による誤ったホワイトバランス補正を抑制することができる。

なお、上記の実施の形態では、基準物体を表わす領域が、ホワイトバランス補正に適している場合、評価領域のカラー成分の強度分布に対してクラスタリングを行った結果、クラスタ数が２つになる場合を例に説明したが、これに限定されるものではなく、評価領域内の物体の種類が既知であれば、クラスタリングする際のクラスタ数は３つ以上であってもよい。例えば、図８に示すように、基準物体として速度標識を選んだ場合には、速度標識が、赤色の外周円、青色の文字、白色の地の３つの領域から構成されているため、図９に示すように、クラスタリングを行った際のクラスタ数は３つ以上となり、かつクラス内分散が小さく、クラス間分散が大きくなっていれば、ホワイトバランス補正に適していると評価される。さらに、基準物体が標識である場合には、青色、白色、赤色部分の面積比がおよそ決まっているため、領域の面積比を用いて、算出されたクラス内分散を正規化するようにしてもよい。

また、評価領域について分類されたカラー成分の強度分布の数が所定数であるか、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、ホワイトバランス補正の参照領域として適しているか否かを評価する場合を例に説明したが、これに限定されるものではない。例えば、分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよく、又は、評価領域について分類されたカラー成分の強度分布の各々のばらつきの大きさが閾値以上であるか否か、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよい。あるいは、評価領域について分類されたカラー成分の強度分布の数が所定数であるか、及び分類されたカラー成分の強度分布間の距離が閾値以上であるか否かに基づいて、評価してもよい。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、撮像された画像を領域分割し、分割された領域毎に、ホワイトバランス係数を算出している点が、第１の実施の形態と異なっている。

図１０に示すように、第３の実施の形態に係る対象物認識装置３１０の撮像装置１２は、撮像する画像の局所領域毎に、異なるホワイトバランス係数を設定できるように構成されている。

コンピュータ３１４は、画像取得部２０と、画像取得部２０により取得したカラー画像から、基準物体を表わす領域を１つ又は複数検出する基準物体検出部３２２と、検出された基準物体を表わす領域の各々が、ホワイトバランス補正の参照領域として適しているか否かの評価を示す評価値を各々算出する基準物体評価部３２４と、画像取得部２０により取得したカラー画像を、輝度に応じて領域分割する領域分割部３２５と、反射特性記憶部２６と、反射特性記憶部２６に記憶された反射特性、及び評価値の高い基準物体を表わす領域に基づいて、分割された領域毎に、ホワイトバランス係数を算出するホワイトバランス算出部３２８と、撮像装置１２に設定されたホワイトバランス係数を、分割された領域毎に算出されたホワイトバランス係数に更新するホワイトバランス設定部３３０と、特定物体認識部３２とを備えている。

基準物体検出部３２２は、画像取得部２０により取得したカラー画像が、複数の基準物体を表している場合には、上記の第１の実施の形態と同様の方法により、基準物体を表わす領域を複数検出する。

基準物体評価部３２４は、基準物体検出部３２２によって基準物体を表わす領域が複数検出された場合、基準物体を表わす領域の各々について、上記の第１の実施の形態と同様の方法により、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する。

領域分割部３２５は、カラー画像を複数の領域に分割する。領域分割は、シーン中で照明条件が似ている部分を決定するために行う。図１１（Ａ）〜（Ｃ）に領域分割の結果例を示す。例えば、図１１（Ａ）に示すようなカラー画像を、図１１（Ｂ）に示すように、複数の矩形領域に分割し、それぞれの矩形領域内の画素の平均輝度を求め、平均輝度が閾値以上となる矩形領域と閾値未満となる矩形領域とに分ける。分割する矩形領域の大きさを小さくしながら、上記の処理を繰り返し行うことで、領域が分割され、図１１（Ｃ）に示すような領域分割結果を得ることができる。図１１（Ｃ）において、白色で示された部分は日向の領域であり、黒色で示された部分は日陰の領域である。なお、領域分割は、局所領域の平均明るさやテクスチャの具合などを更に考慮して行うようにしてもよい。

また、領域分割部３２５は、図１２（Ｂ）に示すように、カラー画像を複数の領域に分割することができ、かつ基準物体評価部２４によって、図１２（Ａ）に示すように、複数の基準物体の領域が、ホワイトバランス補正の参照領域として適していると評価された場合には、評価された基準物体の領域と、分割された領域との対応関係を決定する。対応関係は、分割された領域内に含まれる、高い評価値を持つ基準物体の領域を、当該分割された領域に対応付けるように決定される。また、分割された領域内に、高い評価値を持つ複数の基準物体の領域が含まれる場合には、何れか１つの基準物体の領域を、当該分割された領域に対応付ければよい。

ホワイトバランス算出部２８は、図１２（Ｃ）に示すように、分割された領域毎に、対応付けられた、高い評価値を持つ基準物体の領域を用いて、上記の第１の実施の形態と同様の方法により、局所的なホワイトバランス係数を算出する。

なお、算出された局所的なホワイトバランス係数を、ぼかし処理などによって、ホワイトバランス係数が不連続となる部分が発生しないように補正してもよい。

ホワイトバランス設定部３０は、撮像装置１２に設定されているホワイトバランス係数を、算出された局所領域毎のホワイトバランス係数に更新するように設定する。

次に、第３の実施の形態に係るホワイトバランス補正処理ルーチンについて図１３を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、撮像装置１２からカラー画像を取得し、ステップ３５０において、上記ステップ１００で取得したカラー画像から、グレースケール画像を生成し、グレースケール画像から、基準物体を表わす領域を１つ又は複数検出する。

そして、ステップ３５２では、上記ステップ３５０で検出された基準物体を表わす領域の各々について、基準物体の評価領域を設定すると共に、背景物体の評価領域を設定する。

次のステップ３５４において、検出された基準物体を表わす領域の各々について、上記ステップ３５２で設定された基準物体の評価領域のカラー成分の強度分布のばらつきの大きさ、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさ、及び基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との距離に基づいて、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を各々算出する。

そして、ステップ３５６において、上記ステップ１００で取得したカラー画像を、輝度に応じて領域分割する。また、分割された領域毎に、評価値が閾値以上となる基準物体の領域を対応付ける。

次のステップ３５８では、上記ステップ３５６における対応付けの結果に基づいて、複数の領域に分割され、かつ、各分割領域内に、閾値以上の評価値を持つ基準物体が存在するか否かを判定する。複数の領域に分割され、各分割領域内に、閾値以上の評価値を持つ基準物体が存在する場合には、ステップ１１０で、反射特性記憶部２６から、基準物体の光の反射特性を読み込む。そして、ステップ３６０において、上記ステップ３５０で検出され、かつ、閾値以上の評価値を持つ基準物体を表わす領域の各々について、カラー成分の強度分布を算出し、分割された領域毎に、対応付けられた基準物体を表わす領域のカラー成分の強度分布と、上記ステップ１１０で読み込んだ基準物体の光の反射特性とに基づいて、局所的なホワイトバランス係数を各々算出して、ステップ３６６へ移行する。

一方、上記ステップ３５８において、複数の領域に分割されなかった場合、または、何れかの分割領域内に、閾値以上の評価値を持つ基準物体が存在しなかった場合には、ステップ３６２へ移行し、検出された少なくとも１つの基準物体の評価値が閾値以上であるか否かを判定する。検出された何れの基準物体についても、評価値が閾値未満である場合には、検出された基準物体を表わす領域が、ホワイトバランス補正の参照領域として適していないと判断し、ホワイトバランス補正を行わずに、ホワイトバランス補正処理ルーチンを終了する。

一方、上記ステップ３６２において、少なくとも１つの基準物体の評価値が閾値以上である場合には、ステップ１１０で、反射特性記憶部２６から、基準物体の光の反射特性を読み込む。そして、ステップ３６４において、検出された基準物体を表わす領域のうち、最も評価値の高い基準物体を表わす領域について、カラー成分の強度分布を算出し、算出された基準物体を表わす領域のカラー成分の強度分布と、上記ステップ１１０で読み込んだ基準物体の光の反射特性とに基づいて、画像全体に対するホワイトバランス係数を算出する。

そして、ステップ３６６において、撮像装置１２に設定されているホワイトバランス係数を、上記ステップ３６０で算出した局所領域毎のホワイトバランス係数、又は上記ステップ３６４で算出した画像全体に対するホワイトバランス係数に更新するように設定して、ホワイトバランス補正処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る対象物認識装置によれば、撮像画像から複数の基準物体を検出可能な場合には、撮像画像を複数の領域に分割して、それぞれの領域で、環境光のスペクトル強度を推定することで、環境光が不均一である場合でも、それぞれの局所領域に応じてホワイトバランスを補正できる。また、局所領域毎にホワイトバランスを適切に補正することで、カラー画像からの物体認識性能を向上させることができる。

また、認識しようとする物体に空間的に近い位置に存在する基準物体が、基準物体が存在する位置近傍の環境光のスペクトル強度を代表していると見なして、輝度に応じて分割された領域に含まれる基準物体を用いて算出された局所的なホワイトバランス係数を設定しているため、不均一な環境光の下など、複雑な照明環境においても、安定した物体認識が可能である。

なお、上記の実施の形態では、画像の局所領域毎に異なるホワイトバランス係数を設定する場合を例に説明したが、これに限定されるものではなく、画像全体で１つのホワイトバランス係数を設定しておき、撮像装置で取得されたカラー画像に対してカラー成分毎の強度を、ソフトウェアなどを用いて局所的に変更する後処理を加えることで、局所領域毎のホワイトバランス補正を実現するようにしてもよい。

また、上記の第１の実施の形態〜第３の実施の形態では、ホワイトバランス補正の参照領域として適しているか否かを示す評価値を算出する場合を例に説明したが、これに限定されるものではなく、評価値を算出せずに、ホワイトバランス補正の参照領域として適しているか否かを判定するようにしてもよい。例えば、基準物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、背景物体の評価領域のカラー成分の強度分布のばらつきの大きさが閾値未満であり、かつ、基準物体の評価領域のカラー成分の強度分布と背景物体の評価領域のカラー成分の強度分布との間の距離が閾値以上である、という条件を満たした場合に、ホワイトバランス補正の参照領域として適していると判定するようにしてもよい。

また、基準物体として、白色の走路境界線や、横断歩道など白色の路面標示、標識の白色部分を用いた場合を例に説明したが、これに限定されるものではなく、無彩色の他の特定物体を、基準物体として用いてもよい。

また、認識対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を認識対象物としてもよい。

なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。

１０、３１０ 対象物認識装置
１２ 撮像装置
１４、３１４ コンピュータ
２２、３２２ 基準物体検出部
２４、３２４ 基準物体評価部
２６ 反射特性記憶部
２８、３２８ ホワイトバランス算出部
３０、３３０ ホワイトバランス設定部
３２ 特定物体認識部
３２５ 領域分割部

Claims (12)

1. カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、
   前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、
   前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、
   を含むホワイトバランス係数算出装置。
2. 前記評価手段は、前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び前記基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布のばらつきの大きさに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項１記載のホワイトバランス係数算出装置。
3. 前記評価手段は、前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさ、及び前記基準物体を表わす領域の周辺に設定された周辺領域のカラー成分の強度分布と前記基準物体を表わす領域のカラー成分の強度分布との間の距離に基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項１又は２記載のホワイトバランス係数算出装置。
4. カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段と、
   前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布に基づいて、前記検出された前記基準物体を表わす領域の少なくとも一部分と前記基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、前記設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された前記強度分布間の距離に基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段と、
   前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段と、
   を含むホワイトバランス係数算出装置。
5. 前記評価手段は、分類された前記強度分布間の距離、及び前記分類された前記強度分布の各々のばらつきの大きさに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項４記載のホワイトバランス係数算出装置。
6. 前記評価手段は、分類された前記強度分布間の距離、及び前記分類された前記強度分布の数が予め定められた数であるか否かに基づいて、前記基準物体を表わす領域が前記参照する領域として適しているか否かを評価する請求項４又は５記載のホワイトバランス係数算出装置。
7. 前記カラー画像について、輝度に応じて領域分割する領域分割手段を更に含み、
   前記基準物体検出手段は、前記基準物体を表わす領域を複数検出し、
   前記算出手段は、前記領域分割手段によって分割された領域の各々について、該領域内で検出され、かつ、前記参照する領域として適していると評価された前記基準物体を表わす領域のカラー成分の強度分布を用いて、前記ホワイトバランス係数を算出する請求項１〜請求項６の何れか１項記載のホワイトバランス係数算出装置。
8. 前記撮像手段は、走路を含む領域を撮像する請求項１〜請求項７の何れか１項記載のホワイトバランス係数算出装置。
9. 前記基準物体を、無彩色の物体とした請求項１〜請求項８の何れか１項記載のホワイトバランス係数算出装置。
10. 前記撮像手段によって撮像されたカラー画像に含まれる特定の物体を示す画像を認識する認識手段を更に含む請求項１〜請求項９の何れか１項記載のホワイトバランス係数算出装置。
11. コンピュータを、
    カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布のばらつきの大きさが、閾値以上であるか否かに基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段
    として機能させるためのプログラム。
12. コンピュータを、
    カラー画像を撮像する撮像手段によって撮像されたカラー画像から、光の反射特性が予め求められた基準物体の形状又は構造に基づいて、前記基準物体を表わす領域を検出する基準物体検出手段、
    前記基準物体検出手段によって検出された前記基準物体を表わす領域のカラー成分の強度分布に基づいて、前記検出された前記基準物体を表わす領域の少なくとも一部分と前記基準物体を表わす領域の周辺の領域とを含んで設定された設定領域について、前記設定領域のカラー成分の強度分布に対するクラスタリング処理を行って分類し、分類された前記強度分布間の距離に基づいて、前記基準物体を表わす領域が、ホワイトバランス係数を算出する際に参照する領域として適しているか否かを評価する評価手段、及び
    前記評価手段によって前記基準物体を表わす領域が前記参照する領域として適していると評価された場合、前記基準物体について予め求められた光の反射特性と、前記基準物体を表わす領域のカラー成分の強度分布とに基づいて、前記撮像手段のホワイトバランス係数を算出する算出手段
    として機能させるためのプログラム。