JP2007251258A - 画像認識装置 - Google Patents

Abstract

【課題】逆光状態に対処し、自車両周辺の物体の検知精度や状況判断の精度を向上すること。
【解決手段】特定光源検知部２１は、カメラ３１が撮影した画像内において所定値以上の輝度を有する像の大きさ、形状、周辺との輝度差などからその像が特定光源（ヘッドライトや街灯など）であるか否かを推定し、露光時間補正部２２は、特定光源の像を除外した画像に対して最適な露光時間を用いるようにカメラ３１における露光制御を補正する。
【選択図】 図１

Description

この発明は、カメラが撮影した画像に対する画像認識を行なう画像認識装置に関し、特に対向車のヘッドライト等が存在する場合にも高精度に画像認識を実行可能な画像認識装置に関する。

近年、自車両の周囲を撮影し、画像認識によって歩行者や車両の存在を認識することで運転者による運転操作を支援する技術が考案されてきた。例えば、特許文献１は、赤外線画像から歩行者の像を認識する技術を開示している。

また、画像認識用に撮影した画像が逆光状態であると、露光時間が過度に小さくなり、見たい部分の露光が十分に得られず、まわりにある物体まで暗くなってしまう。そこで特許文献２では、画像内を所定エリア毎に分割し、注目したいエリアについて、露光制御することで、注目エリア外での逆光に影響されずに、露光制御するようにしている。

特開２００５−１５９３９２号公報 特開２００４−８８５４５号公報

しかしながら、画像内に特定物体が存在するか否かを認識する場合、画像内のどこに対象となる物体（たとえば歩行者）が位置するかが分からないので、エリアを特定しても、そのエリア外に歩行者が居ると、結局逆光の影響を受けてしまう。

そこで、対向車のヘッドライトや街灯が存在するなど車載カメラに特定光源の光が入射する状態であっても逆光の影響を受けず、画像内で特定の物体がどこに位置していても精度良く認識することが重要な課題となっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、自車両周辺の物体の検知精度や状況判断の精度を向上する画像認識装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明に係る画像認識装置は、カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、前記画像から特定光源の像を検出する特定光源検出手段と、前記特定光源検出手段による検出結果に基づいて、前記特定光源の像を除外した画像に対して最適な露光時間を用いるように前記カメラの撮影設定を制御する撮影設定制御手段と、を備えたことを特徴とする。

この請求項１の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源の像を除外した画像に対して最適な露光時間を用いるように制御する。

また、請求項２の発明に係る画像認識装置は、請求項１に記載の発明において、前記特定光源は特定の周期で点灯と消灯とを繰り返す光源であって、前記撮影設定制御手段は、前記撮影の間隔が前記特定の周期に比して短くなるように前記カメラの撮影設定を変更することを特徴とする。

この請求項２の発明によれば画像認識装置は、カメラが撮影した画像内にパルス光源の像が存在する場合に、撮影の間隔をパルス光源の点灯周期に比して短くなるように制御する。

また、請求項３の発明に係る画像認識装置は、請求項１に記載の発明において、前記特定光源は、特定の周期で点灯と消灯とを繰り返す光源であって、前記撮影設定制御手段は、前記特定光源が消灯しているタイミングで撮影を行なうよう撮影設定を制御することを特徴とする。

この請求項３の発明によれば画像認識装置は、カメラが撮影した画像内にパルス光源の像が存在する場合に、パルス光源の消灯中に撮影を行なうように撮影タイミングの位相を制御する。

また、請求項４の発明に係る画像認識装置は、カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、前記画像から特定光源の像を検出する特定光源検出手段と、前記特定光源検出手段による検出結果に基づいて、前記カメラに対する入射光を部分的に遮断する部分遮断手段を制御し、前記特定光源からの入射光を選択的に遮断する遮断制御手段と、を備えたことを特徴とする。

この請求項４の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源からの入射光を選択的に遮断する。

また、請求項５の発明に係る画像認識装置は、請求項４に記載の発明において、前記遮断制御手段は、次回撮影時における前記特定光源の像の位置を予測し、当該予測位置に対する入射光を選択的に遮断することを特徴とする。

この請求項５の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、次フレームにおける特定光源の像の位置を予測し、予測位置に対する入射光を選択的に遮断する。

また、請求項６の発明に係る画像認識装置は、カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、前記画像認識結果と他の検知手段による検知結果と用いて周辺状況を判断する状況判断手段と、前記画像から特定光源の像を検出する特定光源検出手段と、を備え、前記状況判断手段は、前記特定光源検出手段による検出手段に基づき、前記特定光源の近傍に対する状況判断において前記他の検知手段による検知結果を優先して使用することを特徴とする。

この請求項６の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源の近傍に対する状況判断において他の検知手段による検知結果を優先して使用する。

また、請求項７の発明に係る画像認識装置は、請求項１〜６のいずれか一つに記載の発明において、前記特定光源検出手段は、所定値以上の輝度を有する像の大きさ、形状、周辺との輝度差のうち少なくともいずれかを用いて当該像が特定光源の像であるか否かを推定することを特徴とする。

この請求項７の発明によれば画像認識装置は、カメラが撮影した画像内において所定値以上の輝度を有する像の大きさや形状、周辺との輝度差を用いて特定光源の像であるか否かを推定する。

また、請求項８の発明に係る画像認識装置は、請求項７に記載の発明において、前記特定光源は他車両の前照灯であって、前記特定光源検出手段は、前記所定値以上の輝度を有する像の画像上の位置をさらに用いて当該像が前記前照灯であるか否かを推定することを特徴とする。

この請求項８の発明によれば画像認識装置は、カメラが撮影した画像内において所定値以上の輝度を有する像の大きさや形状、周辺との輝度差、画像上の位置を用いて他車両の前照灯の像であるか否かを推定する。

請求項１の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源の像を除外した画像に対して最適な露光時間を用いるように制御するので、自車両周辺の物体の検知精度や状況判断の精度を向上する画像認識装置を得ることができるという効果を奏する。

また、請求項２の発明によれば画像認識装置は、カメラが撮影した画像内にパルス光源の像が存在する場合に、撮影の間隔をパルス光源の点灯周期に比して短くなるように制御するので、逆光状態を避けて撮影し、画像認識精度を向上する画像認識装置を得ることができるという効果を奏する。

また、請求項３の発明によれば画像認識装置は、カメラが撮影した画像内にパルス光源の像が存在する場合に、パルス光源の消灯中に撮影を行なうように撮影タイミングの位相を制御するので、逆光状態を避けて撮影し、画像認識精度を向上する画像認識装置を得ることができるという効果を奏する。

また、請求項４の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源からの入射光を選択的に遮断するので、画像内における高輝度領域の発生を回避し、認識すべき領域に最適な露光量を確保する画像認識装置を得ることができるという効果を奏する。

また、請求項５の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、次フレームにおける特定光源の像の位置を予測し、予測位置に対する入射光を選択的に遮断するので、画像内における高輝度領域の発生を確実に回避し、認識すべき領域に最適な露光量を確保する画像認識装置を得ることができるという効果を奏する。

また、請求項６の発明によれば画像認識装置は、カメラが撮影した画像内に特定光源の像が存在する場合に、特定光源の近傍に対する状況判断において他の検知手段による検知結果を優先して使用するので、自車両周辺の物体の検知精度や状況判断の精度を向上する画像認識装置を得ることができるという効果を奏する。

また、請求項７の発明によれば画像認識装置は、カメラが撮影した画像内において所定値以上の輝度を有する像の大きさや形状、周辺との輝度差を用いて特定光源の像であるか否かを推定するので、逆光状態を精度良く検知し、自車両周辺の物体の検知精度や状況判断の精度を向上する画像認識装置を得ることができるという効果を奏する。

また、請求項８の発明によれば画像認識装置は、カメラが撮影した画像内において所定値以上の輝度を有する像の大きさや形状、周辺との輝度差、画像上の位置を用いて他車両の前照灯の像であるか否かを推定するので、他車両の前照灯による逆光状態を回避し、自車両周辺の物体の検知精度や状況判断の精度を向上する画像認識装置を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像認識装置の好適な実施例について詳細に説明する。

図１は、本発明の実施例である車載用の画像認識装置１０の概要構成を示す概要構成図である。同図に示すように、車両は以下のような構成を有している。画像認識装置１０は、ナビゲーション装置３０、カメラ３１、プリクラッシュＥＣＵ４０、ディスプレイ４３およびスピーカ４４と接続している。

ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。

カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する撮影手段である。また、カメラ３１はその内部に露光制御部３１ａおよび撮影タイミング制御部３１ｂを有する。露光制御部３１ａは、撮影した画像の輝度分布に基づいて撮影時における露光時間を制御する処理を行なう。そして、撮影タイミング制御部３１ｂは、撮影を実行するタイミングやその間隔（フレームレート）を制御する処理を行なう。

プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御をうけ、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御、またディスプレイ４３やスピーカ４４による通知制御を実行する電子制御装置である。

ディスプレイ４３はユーザすなわち自車両乗員に対して表示による通知を行なう出力手段であり、スピーカ４４は音声による通知を行なう出力手段である。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０からの制御を受けて出力を行なう他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。

画像認識装置１０は、その内部に前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８、衝突判定部１９および特定光源対処処理部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８、衝突判定部１９および特定光源対処処理部２０はマイコン１０ａによって実現される機能部である。

前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８に出力する。

車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部１９に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部１９に出力する。

歩行者認識部１８は、前処理部１１が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、さらに歩行者候補領域に対してパターンマッチングなどを施して歩行者を認識し、衝突判定部１９に出力する。

衝突判定部１９は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。なお、衝突危険度の判定にはレーダなど図示しない他のセンサ出力をさらに用いることもできる。

具体的には衝突判定部１９は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいてプリクラッシュＥＣＵ４０に対してブレーキ制御指示やＥＦＩ制御指示、ディスプレイ４３による情報表示指示、スピーカ４４による警告音声出力指示、などを出力する。

特定光源対処処理部２０は、カメラ３１が撮影した画像にヘッドライトや街灯など特定光源の像が含まれている場合に、特定光源への対処を行なう処理部であり、その内部に特定光源検知部２１および露光時間補正部２２を有する。

特定光源検知部２１は、カメラ３１が撮影した画像に対して画像処理を行ない、特定光源の像を検知する処理を行なう。具体的には、特定光源検知部２１は、画像内において所定値以上の輝度を有する像の大きさ、形状、周辺との輝度差などからその像が特定の光源、例えばヘッドライトや街灯の像であるか否かを推定する。

さらに、特に撮影画像に対して影響の大きい対向車両のヘッドライトについては、その画像上の位置をさらに用いてその像がヘッドライトであるか否かを推定する。

露光時間補正部２２は、特定光源検知部２１の検知結果に基づいてカメラ３１の露光時間を補正する処理を行なう。具体的には、特定光源検知部２１が検知した特定光源の像を除外した画像に対して最適な露光時間を用いるように露光制御部３１ａの露光時間制御動作を補正する。

この露光時間の制御と補正について図２および図３を参照してさらに説明する。まず、図２は、カメラ３１が撮影した画像の一例であり、説明を簡明にするため各画素についても明確に表示している。

露光制御部３１ａによる露光時間の制御では、この画像に対し縦方向の輝度値合計を列毎に算出し（例えば左端の列から順に右端の列まで）、一列の輝度値合計が所定の閾値以上となる列の個数を記録する。そして、この列の個数が閾値以上であれば露光時間を短くする。

例えば、図２において輝度値合計の閾値を５０００、列数の閾値５とすると、対向車両の右ヘッドライトの像を含む４本の列、さらに対向車両の左ヘッドライトの像を含む４本の列の輝度値合計が閾値を超える。そのため、閾値を超えた列の個数は８となり、列数の閾値を超えるので露光時間が短くなる。

このようにヘッドライトなどの特定光源を露光制御対象に含めると、特定光源の輝度値によって露光時間が短くなり、画像認識の対象とすべき周辺領域で露光量が不足し、画像認識精度、ひいては状況判断の精度が低下する。

そこで、図３に示すように、横方向の輝度値合計を行毎に算出し（例えば上端の行から順に下端の行まで）、一行の輝度値合計が所定の閾値以上となる列の個数を記録する。この行の輝度値合計の算出結果と列の輝度値合計の算出結果から、輝度値の大きい特定光源の像の領域を抽出することができる。

そして、この特定光源の像を除外した画像に対して最適な露光制御を行なうことで、画像認識の対象とすべき周辺領域に対して十分な露光時間を確保し、画像認識精度、ひいては状況判断の精度を向上することができる。

つづいて、特定光源対処処理部２０の処理動作について説明する。図４は、特定光源対処処理部２０の処理動作を説明するフローチャートであり、カメラ３１から画像を取得した場合に開始される処理である。

カメラ３１から画像を取得すると、まず特定光源検知部２１が画像内から所定値以上の輝度を示す領域を検出し（ステップＳ１０１）、検出した領域の大きさ、形状、周囲との濃度差から特定光源であるか否かを判定する（ステップＳ１０２）。

その結果、画像内に特定光源が存在しなければ（ステップＳ１０３，Ｎｏ）そのまま処理を終了し、特定光源が存在する場合には（ステップＳ１０３，Ｙｅｓ）、特定光源に対応した領域を除外し、残りの領域に対して最適な露光時間となるよう露光時間を補正して（ステップＳ１０４）、処理を終了する。

一方、画像認識は図５に示す処理によって行なわれる。同図に示すフローチャートは、カメラ３１から画像を取得した場合に開始される処理である。まず、前処理部１１が出力した画像に対し、車両認識部１６による車両認識、白線認識部１７による白線認識、歩行者認識部１８による歩行者認識を行なう（ステップＳ１００１）。衝突判定部１９は、車両、白線、歩行者の認識結果と、ナビゲーション装置３０から取得した（ステップＳ１００２）位置情報とを用いて、衝突危険度を判定する（ステップＳ１００３）。

その結果、衝突する可能性がないならば（ステップＳ１００４，Ｎｏ）そのまま処理を終了し、衝突する可能性があるならば（ステップＳ１００４，Ｙｅｓ）、危険度に応じてユーザへの通知や車両制御を実行して（ステップＳ１００５）、処理を終了する。

このように、画像内に特定光源が存在する場合には、特定光源の像を除外して露光時間を制御して画像認識を行なうことで、特定光源の影響による露光量不足を防ぎ、認識精度を向上することができる。

なお、図４に示した特定光源対処処理と、図５に示した画像認識処理とは、独立に実行してもよいし、連続して実行するように構成してもよい。また、マイコン１０ａの内部でメインルーチンによって呼び出される異なるサブルーチンとしても良い。

ところで、特定光源に対する対処方法は、露光時間の制御に限らず、他の方法を用いることもできる。

図６は、特定光源が存在する場合に、その光源からの入射光を選択的に遮断する場合の構成を示す概要構成図である。

同図では、カメラ３１と液晶パネル３２とがカメラユニット４５を構成している。この液晶パネル３２は、カメラ３２に対する入射光を部分的に遮断する部分遮断手段である。また特定光源対処処理部２０ａは、特定光源検知部２１の検知結果に基づいて液晶パネル３２を制御することで、特定光源からの入射光を選択的に遮断する。

ここで、画像内における特定光源の像の位置は、自車両の走行や特定光源自体の移動によって変化する。そこで、液晶パネル制御部２３は、次の撮影タイミングにおける特定光源の像の位置を予測し、予測位置に対する入射光を選択的に遮断するように液晶パネル３２を制御する。

その他の構成および動作は図１に示した構成と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

つづいて、図６に示した特定光源対処処理部２０ａの処理動作について説明する。図７は、特定光源対処処理部２０ａの処理動作を説明するフローチャートであり、カメラ３１から画像を取得した場合に開始される処理である。

カメラ３１から画像を取得すると、まず特定光源検知部２１が画像内から所定値以上の輝度を示す領域を検出し（ステップＳ２０１）、検出した領域の大きさ、形状、周囲との濃度差から特定光源であるか否かを判定する（ステップＳ２０２）。

その結果、画像内に特定光源が存在しなければ（ステップＳ２０３，Ｎｏ）そのまま処理を終了し、特定光源が存在する場合には（ステップＳ２０３，Ｙｅｓ）、特定光源の次フレームにおける位置を予測する（ステップＳ２０４）。そして、特定光源が次フレームに位置する領域を液晶パネルによってマスクし（ステップＳ２０５）、処理を終了する。

このように、画像内に特定光源が存在する場合には、特定光源からの入射光を選択的に遮断することで、画像から過度に輝度の高い像を排除し、特定光源の影響による露光量不足を防ぐことができる。

つぎに、特定光源がパルス光源である場合に、撮影タイミングを制御することで露光量の不足を回避する構成について図８を参照して説明する。

街灯やヘッドライトをＬＥＤで構成した場合、特定の周期で点灯と消灯とを繰り返すパルス光源となる場合がある。この場合、特定光源が消灯している間に撮影を行なうことで、特定光源による露光量不足を回避することができる。

具体的には、図８において特定光源対処処理部２０ｂは、光センサユニット３４による検知結果を取得し、また内部に特定光源検知部２１、フレームレート設定部２４および位相制御部２５を有する。その他の構成および動作は図１に示した構成と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

光センサユニット３４は、フォトダイオードなどによって構成され、自車両周辺の光量を測定する。ここで、光センサユニット３４はカメラ３１の撮影範囲全体の光量を測定するものであってもよいし、カメラ３１の撮影範囲内の方向ごとに、すなわち画像内の位置ごとに光量を測定するものであっても良い。

特定光源がパルス光源である場合、光センサユニット３４が測定する光量の変化から、そのパルス周期を取得することができる。そこで、特定光源検知部２１が特定光源を検知した場合に、フレームレート設定部２４は特定光源のパルス周期に基づいてカメラ３１の撮影間隔、すなわちフレームレートを設定し、位相制御部２５は、撮影の位相を制御する。

この撮影タイミングの制御について図９を参照して説明する。同図に示すように、対向車のヘッドライトの点滅が周期ｆ１である場合、フレームレート設定部２４によってフレームレートをｆ１に比して短い周期ｆ２とすることで、対向車のヘッドライトがオフになったタイミングで撮影を行なうことができる。

また、フレームレートの周期がヘッドライトの点灯周期と同じｆ１であっても、撮影のタイミングをヘッドライト点灯の逆位相となるように位相制御することで、ヘッドライトがオフになったタイミングで撮影を行なうことができる。

つづいて、図８に示した特定光源対処処理部２０ｂの処理動作について説明する。図１０は、特定光源対処処理部２０ｂの処理動作を説明するフローチャートであり、カメラ３１から画像を取得した場合に開始される処理である。

カメラ３１から画像を取得すると、まず特定光源検知部２１が画像内から所定値以上の輝度を示す領域を検出し（ステップＳ３０１）、検出した領域の大きさ、形状、周囲との濃度差から特定光源であるか否かを判定する（ステップＳ３０２）。

その結果、画像内に特定光源が存在しなければ（ステップＳ３０３，Ｎｏ）そのまま処理を終了し、特定光源が存在する場合には（ステップＳ３０３，Ｙｅｓ）、光センサユニット３４から特定光源のパルス周期を取得する（ステップＳ３０４）。そして、パルス周期に基づいて撮影タイミングを制御し（ステップＳ３０５）、処理を終了する。

このように、画像内にパルス光源が存在する場合には、パルス光源の周期を取得して光源がオフでるタイミングで撮影を行なうことで、画像から過度に輝度の高い像を排除し、特定光源の影響による露光量不足を防ぐことができる。

なお、図８においては光センサユニット３４によって光量を測定する構成を例に説明を行なったが、構成を簡略化する場合には、カメラ３１が撮影した画像に対する画像処理によって光量の変化を算出することで光センサユニット３４を省略することができる。

つぎに、特定光源が存在する場合に、特定光源の近傍に対する状況判断において他の検知手段による検知結果を優先する構成について図１１を参照して説明する。

同図に示す構成では、衝突判定部１９は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果、ナビゲーション装置３０が出力する位置情報に加え、レーダ３３による検知結果を用いて歩行者や他車両と自車両との衝突危険度を判定する。

ここで、レーダ３３は、電波の反射を利用して自車両の周辺の物体検知、および物体までの距離測定を行なう検知手段である。なお、ここでは一例としてレーダを利用する場合について説明するが、他の任意の検知手段を用いることができる。

特定光源対処処理部２０ｃは、その内部に特定光源検知部２１と判定優先度設定部２６を有する。判定優先度設定部２６は、特定光源検知部２１が特定光源を検知した場合に、その周辺における状況判断においてレーダ３３の検知結果を優先的に使用するように衝突判定部１９ａに指示する。

つづいて、図１１に示した特定光源対処処理部２０ｃの処理動作について説明する。図１２は、特定光源対処処理部２０ｃの処理動作を説明するフローチャートであり、カメラ３１から画像を取得した場合に開始される処理である。

カメラ３１から画像を取得すると、まず特定光源検知部２１が画像内から所定値以上の輝度を示す領域を検出し（ステップＳ４０１）、検出した領域の大きさ、形状、周囲との濃度差から特定光源であるか否かを判定する（ステップＳ４０２）。

その結果、画像内に特定光源が存在しなければ（ステップＳ４０３，Ｎｏ）そのまま処理を終了し、特定光源が存在する場合には（ステップＳ４０３，Ｙｅｓ）、特定光源が存在する領域について、他のセンサ出力を優先するように衝突判定部１９ａに指示し（ステップＳ４０４）、処理を終了する。

このように、画像内に特定光源が存在する場合には、その周辺の状況判断において他の検知手段による検知結果を優先することで、状況判断の精度を向上することができる。

上述してきたように、本実施例にかかる画像認識装置１０は、カメラ３１が撮影した画像からヘッドライトや街灯などの特定の光源を検知し、特定光源が存在する場合には露光時間の補正、入射光の選択的な遮断、撮影タイミングの制御、状況判断における他の検知手段の優先などの対処を行なうことで、高い輝度の光源が画像内に存在する場合であっても自車両周辺の物体を精度良く検知して状況判断を行なうことができる。

なお、本発明は実施例から明らかなように、対向車両がヘッドライトを点灯している状態、すなわち夜間における画像認識に特に有効であり、さらに好適には自車両から近赤外線を前方照射し、その反射光である赤外線画像から画像認識をする際に高い効果を発揮するが、例えば可視光領域の画像認識や日中の画像認識に適用することもできる。

また、本実施例においては車載用画像認識として説明を行なったが、本発明はこれに限定されるものではなく、たとえは交通流監視装置やセキュリティ用途の監視装置などに適用することもできる。

以上のように、本発明にかかる画像認識装置は、車両における画像認識に有用であり、特に逆光状態での状況判断に適している。

本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。 露光時間の制御について説明する説明図である。 露光時間の補正について説明する説明図である。 図１に示した特定光源対処処理部２０の処理動作を説明するフローチャートである。 画像認識処理について説明するフローチャートである。 入射光を選択的に遮断する場合の構成を示す概要構成図である。 図６に示した特定光源対処処理部２０ａの処理動作を説明するフローチャートである。 撮影タイミングを制御する場合の構成を示す概要構成図である。 特定光源の点灯周期と撮影タイミング制御について説明する説明図である。 図８に示した特定光源対処処理部２０ｂの処理動作を説明するフローチャートである。 他の検知手段による検知結果を優先する場合の構成を示す概要構成図である。 図１１に示した特定光源対処処理部２０ｃの処理動作を説明するフローチャートである。

符号の説明

１０ 画像認識装置
１０ａ マイコン
１６ 車両認識部
１７ 白線認識部
１８ 歩行者認識部
１９，１９ａ 衝突判定部
２０，２０ａ，２０ｂ，２０ｃ 特定光源対処処理部
２１ 特定光源検知部
２２ 露光時間補正部
２３ 液晶パネル制御部
２４ フレームレート設定部
２５ 位相制御部
２６ 判定優先度設定部
３０ ナビゲーション装置
３０ａ 地図データ
３１ カメラ
３１ａ 露光制御部
３１ｂ 撮影タイミング制御部
３２ 液晶パネル
３３ レーダ
３４ 光センサユニット
４０ プリクラッシュＥＣＵ
４１ ブレーキ
４２ ＥＦＩ
４３ ディスプレイ
４４ スピーカ
４５ カメラユニット

Claims (8)

1. カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、
   前記画像から特定光源の像を検出する特定光源検出手段と、
   前記特定光源検出手段による検出結果に基づいて、前記特定光源の像を除外した画像に対して最適な露光時間を用いるように前記カメラの撮影設定を制御する撮影設定制御手段と、
   を備えたことを特徴とする画像認識装置。
2. 前記特定光源は特定の周期で点灯と消灯とを繰り返す光源であって、前記撮影設定制御手段は、前記撮影の間隔が前記特定の周期に比して短くなるように前記カメラの撮影設定を変更することを特徴とする請求項１に記載の画像認識装置。
3. 前記特定光源は、特定の周期で点灯と消灯とを繰り返す光源であって、前記撮影設定制御手段は、前記特定光源が消灯しているタイミングで撮影を行なうよう撮影設定を制御することを特徴とする請求項１に記載の画像認識装置。
4. カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、
   前記画像から特定光源の像を検出する特定光源検出手段と、
   前記特定光源検出手段による検出結果に基づいて、前記カメラに対する入射光を部分的に遮断する部分遮断手段を制御し、前記特定光源からの入射光を選択的に遮断する遮断制御手段と、
   を備えたことを特徴とする画像認識装置。
5. 前記遮断制御手段は、次回撮影時における前記特定光源の像の位置を予測し、当該予測位置に対する入射光を選択的に遮断することを特徴とする請求項４に記載の画像認識装置。
6. カメラが撮影した画像に対し、特定の物体の画像認識を行なう画像認識装置であって、
   前記画像認識結果と他の検知手段による検知結果と用いて周辺状況を判断する状況判断手段と、
   前記画像から特定光源の像を検出する特定光源検出手段と、
   を備え、前記状況判断手段は、前記特定光源検出手段による検出手段に基づき、前記特定光源の近傍に対する状況判断において前記他の検知手段による検知結果を優先して使用することを特徴とする画像認識装置。
7. 前記特定光源検出手段は、所定値以上の輝度を有する像の大きさ、形状、周辺との輝度差のうち少なくともいずれかを用いて当該像が特定光源の像であるか否かを推定することを特徴とする請求項１〜６のいずれか一つに記載の画像認識装置。
8. 前記特定光源は他車両の前照灯であって、前記特定光源検出手段は、前記所定値以上の輝度を有する像の画像上の位置をさらに用いて当該像が前記前照灯であるか否かを推定することを特徴とする請求項７に記載の画像認識装置。

Images