JP2014013452A - 画像処理装置 - Google Patents

Abstract

【課題】撮影画像に太陽等の光源が写り込んだ場合にも、画像認識処理を高精度に行うことが可能な車載用画像処理装置を提供する。
【解決手段】遮光部材により遮光された遮光領域を撮影領域の一部に含む撮像装置が車外を撮像して出力した画像情報を取得する画像取得部と、画像情報から、遮光領域に所定の高輝度パターンが含まれることを検知する高輝度パターン検知部と、高輝度パターン検知部にて高輝度パターンが検知された場合、高輝度パターンに基づいて、直射光か否かを判定し、判定した結果に基づいて、画像情報から所定の画像認識を行う画像認識部と、を備える画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置に関する。

従来，車載用の撮像装置により車両周辺を撮影し，撮影画像から太陽や他車ヘッドライトなどの光源位置を推定する技術が知られている。例えば，特許文献１には，輝度変化推定手段によって，太陽またはヘッドライトの輝度変化を推定できる車両用画像処理装置が開示されている。

特開２０１０−０８６２６６号公報

従来技術には、太陽等の光源が撮影画像に写り込んだ場合に、区画線の検出等の画像認識処理の精度が低下するという問題があった。

請求項１に記載の画像処理装置は、遮光部材により遮光された遮光領域を撮影領域の一部に含む撮像装置が車両外を撮像して出力した画像情報を取得する画像取得部と、画像情報から、遮光領域に所定の高輝度パターンが含まれることを検知する高輝度パターン検知部と、高輝度パターン検知部にて高輝度パターンが検知された場合、高輝度パターンに基づいて、直射光か否かを判定し、判定した結果に基づいて、画像情報から所定の画像認識を行う画像認識部と、を備えることを特徴とする。

本発明によれば、撮影画像に太陽等の光源が写り込んだ場合にも、画像認識処理を高精度に行うことができる。

本発明の一実施形態による車載用車両認識装置の構成を示すブロック図である。 カメラの撮影領域と遮光領域を示す図である。 カメラの取り付け位置の例を示す図である。 制御部２が光源検知機能を実現するために備える各機能部のブロック図である。 撮影画像の一例を示す図である 制御部２による光源検知処理のフローチャートである。 高輝度パターン検知部１１により作成されたヒストグラムの一例を示す図である。 光源の中心位置を通る直線上の各画素の輝度値の一例を示す図である。 撮影画像の他の例を示す図である。

図１は、本発明の一実施形態による車載用車両認識装置１００の構成を示すブロック図である。図１に示す車載用車両認識装置１００は、車両に搭載されて使用されるものであり、遮光板１ａが取り付けられたカメラ１と、制御部２と、警報出力部３と、動作状態報知部４と、外部装置制御部５と，を備える。

カメラ１は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には、たとえばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は、カメラ１から制御部２へ出力される。

遮光板１ａは、カメラ１への入射光のうち一部を遮光するためにカメラ１に取り付けられている。図２は、カメラ１の撮影領域と遮光領域を示す図であり、カメラ１を横方向から見た様子を示している。図２に示すように、カメラ１の撮影領域のうち上側の一部分が遮光板１ａでマスクされることにより、遮光領域が形成されている。カメラ１は、この遮光領域以外の撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ１の撮影領域（画角）は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されており、そのままでは路面以外、たとえば空や背景等からの不要な光もカメラ１に入射されてしまう。そこで、こうしたカメラ１への不要な入射光を遮るため、遮光板１ａにより遮光領域が設けられている。

図３は、カメラ１の取り付け位置の例を示す図である。自車両の後方部分において、車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に、斜め下に向けてカメラ１が取り付けられており、その上に遮光板１ａが設置されている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ１を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り、カメラ１の取り付け位置をどのように定めてもよい。

制御部２は、カメラ１からの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部２が行う制御により、車載用車両認識装置１００において、たとえば、ＬＤＷ（Lane Departure Warning）、ＰＥＤ（Pedestrian Detection），ＲＳＲ（Road Sign Recognition）、ＩＭＤ（Image Diagnosis）と呼ばれる様々な機能が実現される。ＬＤＷは、撮影画像から路面の白線（車線境界線）を検出することにより、自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。ＰＥＤは，撮影画像から人物形状を検出することにより，自車進路上にいる歩行者の存在を運転者に知らせる機能である。ＲＳＲは，撮影画像から道路上の交通標識を認識し，例えば速度制限標識の速度を超えている場合には，運転者に警告を行う機能である。ＩＭＤは、カメラ１により撮影画像が正しく撮影されているかを診断する機能である。

警報出力部３は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部３の動作は、制御部２によって制御される。たとえば、前述のＬＤＷにおいて自車両が走行中の車線から逸脱しそうと判断された場合や、ＢＳＷにおいて自車両と衝突する可能性のある車両が検出された場合に、制御部２の制御に応じて警報出力部３から警報が出力される。

動作状態報知部４は、車載用車両認識装置１００の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載用車両認識装置１００が非動作状態にある場合、制御部２の制御により、動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより、車載用車両認識装置１００が非動作状態であることを運転者に報知する。

外部装置制御部５は、制御部２からの制御に応じて、外部装置を制御する。

次に、車載用車両認識装置１００による光源検知機能について説明する。光源検知機能は、カメラ１の撮影領域に映り込んだ太陽等の光源の存在およびその位置を検知する機能である。

太陽のような強い光源（直射光）が映り込んだ場合、撮影領域全体の光量がその光源により大きくなるため、カメラ１の露出設定がアンダー気味に設定される。その結果、光源以外の領域は通常より暗く撮影されてしまい、撮影画像に基づく種々の制御に悪影響を及ぼす。また、太陽等の強い光源からの光は路面に反射し、路面に存在する車両境界線等の誤検出を誘発する。更に、当該光源の近傍ではコントラストが低下するため、他車両等の検出精度が悪化する。本実施形態の車載用車両認識装置１００は、光源検知機能により太陽等の光源の存在およびその位置を検知することで、上記のような問題を回避する。

図４は、制御部２が光源検知機能を実現するために備える各機能部のブロック図である。これらの各機能部は、制御部２が所定の制御プログラムを読み込んで実行することにより実現されている。

本発明は、遮光部材により遮光された遮光領域を撮影領域の一部に含む撮像装置が車両外を撮像して出力した画像情報を取得する画像取得部と、取得した画像情報から、遮光領域に所定の高輝度パターンが含まれることを検知する高輝度パターン検知部１１と、高輝度パターン検知部１１にて高輝度パターンが検知された場合、その高輝度パターンに基づいて、太陽光などの直射光を含むか否かを判定し、判定した結果に基づいて、画像情報から所定の画像認識を行う画像認識部と、を有するものであります。

処理領域設定部１０は、撮影領域全体のうち、遮光板１ａによりマスクされる遮光領域を、高輝度パターン検知部１１による輝度分布の分析対象となる処理領域に設定する。

高輝度パターン検知部１１は、処理領域設定部１０により設定された処理領域（遮光領域）に所定の高輝度パターンが含まれることを検知する。又は、撮影領域に対して処理領域である遮光領域と、それ以外の領域（背景領域）と、の両方に跨って、所定の高輝度パターンが含まれることを検知する。

光源位置検出部１２は、高輝度パターン検知部１１により遮光領域、又は遮光領域及び背景領域の両方から高輝度パターンが検知された場合に、高輝度パターンに対応する光源の位置を検出する。

図５は、撮影画像の一例を示す図である。図５（ａ）に示すように、カメラ１は、遮光板１ａにより遮光された遮光領域３１を撮影画像３０の一部に含む。また、撮影領域のうち遮光領域３１以外の領域には、路面領域３３と背景領域３２が含まれる。路面領域３３には、例えば区画線等の白線や道路標示が写り込む。また、背景領域３２には、例えば空や建造物等が写り込む。

遮光領域３１は遮光板１ａによりマスクされているため、通常はほぼ黒一色になる。しかしながら、太陽等の強い光源が背景領域３２に写り込んでいた場合、回折等の影響により、図５（ｂ）に示すように遮光領域３１まで光源３５からの光が漏れ出る。車載用車両認識装置１００は、遮光領域３１に漏洩した光３６から、太陽等の光源３５の存在を検知する。

なお，この光源検知は，漏洩した光の量，すなわち所定の輝度値以上となる画素について，その画素数（面積）を数え，それが所定の面積以上である場合に，光源があるものと判断する。ここで，遮光領域に漏洩した光の量は，レンズ材質および構造，カメラの取付状態に依存するため，車種毎に，輝度値の閾値，および面積の閾値を設定できるようにしてもよい。

また，この光源検知は，レンズ表面の状態に応じて，漏洩する光の量が変化する。例えば，降雨や水分をタイヤ等で跳ね上げることで，水滴や泥水がレンズに付着すると，付着量が増加するに伴って，漏洩する光の量も増加する。これは，透明および半透明の物体がレンズ表面に付着すると，その表面のレンズ効果によって環境照明光が屈折し，太陽等の強い光源がない場合には本来は直接入光しないはずの遮光領域３１に光が漏洩するようになり，光源検知において誤検知が発生する可能性が高まる。そこで，水滴や泥水がレンズに付着していることを検知して，そのような場合には，上記の輝度値の閾値および面積の閾値を高めに設定してもよい。水滴や泥水の付着に関しては，公知技術（例えば，特開２０１１−２３２１９３）などがあるため，ここでは詳細を割愛する。

図６は、制御部２による光源検知処理のフローチャートである。以下、図６のフローチャートに基づいて、光源検知処理の具体的な内容を説明する。

まずステップＳ９０では、制御部２がカメラ１から画像データ（画像情報）を取得する。ステップＳ１００では、処理領域設定部１０が遮光領域３１を処理領域に設定する。遮光領域３１の位置および範囲は、車両にカメラ１および遮光板１ａを設置する際に定められ、予め制御部２に入力されている。次のステップＳ１１０において、高輝度パターン検知部１１が処理領域における輝度値を集計し、輝度値ごとの画素数のヒストグラムを作成する。そして、ステップＳ１２０において、高輝度パターン検知部１１がステップＳ１１０で集計したヒストグラムに基づいて、処理領域における所定の高輝度パターンを検知する。

図７は、高輝度パターン検知部１１により作成されたヒストグラムの一例を示す図である。図６のステップＳ１２０において、高輝度パターン検知部１１は、所定の閾値ｔｈ１以上である特定の輝度値を有する画素が、所定の閾値ｔｈ２以上存在する高輝度パターンを検知する。

例えば図７のヒストグラムでは、ｔｈ１以上の輝度値ｂｒ１を有する画素がｔｈ２個以上存在している。高輝度パターン検知部１１は、この輝度値ｂｒ１を前述した高輝度パターンとして検知する。

ステップＳ１３０では光源位置検出部１２が、高輝度パターン検知部１１により高輝度パターンが検知されたか否かを判定する。高輝度パターンが検知されていない場合にはステップＳ１７０に進み、光源位置検出部１２は「光源なし（光源非検出）」という出力を行う。他方、高輝度パターンが検知されていた場合には、太陽等の強い光源が存在する可能性があるため、ステップＳ１４０に進んで光源座標の探索を行う。

以下、光源位置検出部１２による光源位置（光源座標）の探索方法について説明する。光源位置検出部１２はまず、遮光領域３１と背景領域３２を合わせた領域から、最大の輝度値を有する画素を探索する。光源位置検出部１２は、ここで発見された最大の輝度値を有する画素の位置が光源の中心であると仮定する。

光源からの光は、光源の中心位置から同心円状に広がっていると考えられる。そこで光源位置検出部１２は、上記の中心位置から同心円状に輝度値が低下する画素パターンを、撮影画像から探索する。具体的には、まず、光源の中心位置を通る所定角度の直線（例えば撮影画面に対して水平な直線）を考え、その直線上の各画素の輝度が所定のパターンを持っているか否かを判定する。

図８は、光源の中心位置を通る直線上の各画素の輝度値の一例を示す図である。ここで、Ａ〜Ｆの６つの点を定める。Ｃ点は、中心位置より左側において、輝度値の傾きが所定値（正数）以上である地点のうち、中心位置に最も近い地点である。Ａ点は、Ｃ点より左側において、輝度値の傾きが所定値（正数）以下になる地点のうち、中心位置に最も近い地点である。Ｂ点は、Ａ点とＣ点の中間地点である。Ｄ点は、中心位置より右側において、輝度値の傾きが所定値（負数）以下になる地点のうち、中心位置に最も近い地点である。Ｆ点は、Ｄ点より右側において、輝度値の傾きが所定値（負数）以上になる地点のうち、中心位置に最も近い地点である。Ｅ点は、Ｄ点とＦ点の中間地点である。

光源位置検出部１２は、図６のフローチャートのステップＳ１４０において、Ａ−Ｃ間の傾きとＢ−Ｃ間の傾きが略同一であり、且つ、Ｄ−Ｅ間の傾きとＤ−Ｆ間の傾きが略同一である、というパターンが見られるか否かを判定する。そして、そのようなパターンが見られなかった場合にはステップＳ１７０に進み、「光源なし（光源非検出）」という出力を行う。

他方、上記のパターンが見つかった場合には、引き続き同心円の検出を行う。Ａ点からＦ点の間に同心円状の輝度分布が見られれば、光源の中心が上述した中心位置に確かに存在するものと見なす。例えば、Ｃ点の輝度値からＡ点の輝度値までの範囲に数点の輝度値を定め、上記の中心位置を中心とする当該輝度値の円が存在することを、撮影画像を走査することにより確かめる。定めた数点の輝度値のそれぞれについて、上記のような円が存在すれば、図６のフローチャートにおいてステップＳ１６０に進み、光源位置検出部１２は「光源あり」という結果を出力する。また、更に上記の中心位置を光源の中心座標として出力する。

光源位置検出部１２から上述のようにして出力された検出結果は、以下のように用いられる。

例えば、制御部２がＬＤＷを実現する際、カメラ１からの撮影画像に対して所定の画像認識を行い、路面の白線を検出する。このとき、光源位置に近い路面では、当該光源からの光が反射していると考えられる。従って、そのような路面で通常の白線検知を行えば、白線を誤検出してしまう可能性が高い。そこで制御部２は、光源位置検出部１２から光源が存在する旨の出力がなされた場合、路面全体のうち当該光源に近い位置において、白線検出のパラメータを変更する。あるいは、そのような位置では白線の検知を行わない。

また、制御部２がＰＥＤを実現する際、カメラ１からの撮影画像に対して所定の画像認識を行い、人物を検出する。このとき、光源から近い位置ではコントラストが低下していると考えられる。従って、前述の白線検知と同様に、通常の人物検出を行うと、誤検出等が発生する可能性が高い。そこで制御部２は、光源位置検出部１２から光源が存在する旨の出力がなされた場合、光源からの位置に応じて人物検出のパラメータを変更する。例えば、光源に近い位置ほどコントラストの低下が激しいと考えられるので、光源に近い位置ほどコントラストを引き延ばすようなＬＵＴ(Lookup Table)を用いて画質改善を行った上で人物検出を行い，上記のコントラスト低下を補償する。

また、制御部２がＲＳＲを実現する際、カメラ１からの撮影画像に対して所定の画像認識を行い、楕円形状を検出する。このとき、光源から近い位置では逆光のため，外形の楕円形状は観測しやすいが，その内部の画像パターンはコントラストが低下していると考えられる。そこで，内部が相対的に暗い楕円形状を検知し，その内部領域に対して輝度ヒストグラム正規化を行い，コントラストを改善した後で，内部のパターン認識を行うようにし，検知処理および認識処理の各段階に適したコントラスト低下補償を行う。

上述した第１の実施の形態による車載用車両認識装置によれば、次の作用効果が得られる。
（１）制御部２は、遮光板１ａにより遮光された遮光領域３１を撮影領域３０の一部に含むカメラ１が車外を撮像して出力した画像情報を取得する。高輝度パターン検知部１１は、画像情報から、遮光領域３１に所定の高輝度パターンが含まれることを検知する。光源位置検出部１２は、高輝度パターン検知部１１により遮光領域３１から高輝度パターンが検知された場合に、高輝度パターンに対応する光源３５の位置を検出する。制御部２は、光源位置検出部１２により検出された光源３５の位置に基づいて、画像情報から所定の画像認識を行う。このようにしたので、撮影画像に太陽等の光源が写り込んだ場合にも、画像認識処理を高精度に行うことができる。

（２）高輝度パターン検知部１１は、遮光領域３１に所定のしきい値ｔｈ１以上である特定の輝度値を有する画素が所定個数ｔｈ２以上存在することを検知する。このようにしたので、太陽等、一定以上の強度の光源を適切に検知することができる。

（３）光源位置検出部１２は、遮光領域３１と背景領域３２とを合わせた領域から、中心から同心円状に輝度値が低下する画素パターンを探索することにより光源３５の位置を検出する。このようにしたので、光源の位置を正しく検出することができる。

（４）制御部２は、画像認識により車両の周囲の路面の白線を検出する際のパラメータを、光源３５の位置に応じて変化させる。このようにしたので、撮影画像に太陽等の光源が写り込んだ場合にも、車線認識を高精度に行うことができる。

（５）制御部２は、画像認識により車両の周辺車両を検出する際のパラメータを、光源３５の位置に応じて変化させる。このようにしたので、撮影画像に太陽等の光源が写り込んだ場合にも、車両認識を高精度に行うことができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
遮光板１ａや遮光領域３１の形状および位置は、図５に示したものに限定されない。太陽等の光源による回折光が現れるように設置されていれば、どのような位置にどのような形状であってもよい。

（変形例２）
光源位置検出部１２により検出された光源の位置に基づく画像認識は、上述した白線や車線、車両の認識に限定されず、どのようなものであってもよい。

（変形例３）
カメラおよび遮光板は，車室外に設置されているため，降雨や自車のタイヤによる跳ね上げによって，遮光板に雨滴や泥水が付着する場合がある。そのような場合，遮光領域３１の下端近傍に雨滴や泥水がぶらさがり，太陽等の強い光源がなくても遮光領域３１の輝度値が変化する。

この場合、図９に示した通り、前述した光源検知は，遮光領域３１に対して，所定の距離だけ上方にずらした遮光板上部領域３７を定義し，この遮光板上部領域３７にかかる漏洩した光３６を用いて，太陽等の光源３５の存在を検知しても良い。

この構成を採用することで，降雨や跳ね上げによる水滴付着に対して誤検知することなく，環境変動に頑健な光源検知をおこなえるようになる効果が生じる。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…カメラ、１ａ…遮光板、２…制御部、３…警報出力部、４…動作状態報知部、５…外部装置制御部１０…処理領域設定部、１１…高輝度パターン検知部、１２…光源位置検出部、１００…車載用車両認識装置

Claims (8)

1. 遮光部材により遮光された遮光領域を撮影領域の一部に含む撮像装置が車両外を撮像して出力した画像情報を取得する画像取得部と、
   前記画像情報から、前記遮光領域に所定の高輝度パターンが含まれることを検知する高輝度パターン検知部と、
   前記高輝度パターン検知部にて前記高輝度パターンが検知された場合、前記高輝度パターンに基づいて、直射光か否かを判定し、判定した結果に基づいて、前記画像情報から所定の画像認識を行う画像認識部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記高輝度パターン検知部により前記遮光領域から前記高輝度パターンが検知された場合に、前記高輝度パターンに対応する光源の位置を検出する光源位置検出部を有し、
   前記画像認識部は、前記光源位置検出部により検出された前記光源の位置に基づいて、前記画像情報から所定の画像認識を行うことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記高輝度パターン検知部は、前記高輝度パターンとして、前記遮光領域に所定のしきい値以上である特定の輝度値を有する画素が所定個数以上存在することを検知することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記光源位置検出部は、前記遮光領域および前記撮影領域内の他の領域から、中心から同心円状に輝度値が低下する画素パターンを探索することにより前記光源の位置を検出することを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記画像認識部は、前記画像認識により前記車両の周囲の路面の白線を検出する際の条件を、前記光源の位置に応じて変化させることを特徴とする画像処理装置。
6. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記画像認識部は、前記画像認識により前記車両の周辺車両を検出する際の条件を、前記光源の位置に応じて変化させることを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記遮光領域とは異なる背景領域を有し、
   前記高輝度パターン検知部は、前記遮光領域と前記背景領域に跨って前記高輝度パターンが含まれるか否か検知し、
   前記画像認識部は、前記遮光領域と前記背景領域に跨って前記高輝度パターンが含まれることを検知した場合、直射光と判定し、判定した結果に基づいて、前記画像情報から所定の画像認識を行うことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記画像認識部は、判定した結果に基づいて、輝度の閾値を設定し、設定された前記輝度の閾値に基づいて、画像認識処理を行うことを特徴とする画像処理装置。
   

Images