JP5746116B2 - 車両用監視装置 - Google Patents

Description

本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子により撮像するカメラを用いて、車両周辺の対象物を検知する車両用監視装置に関する。

従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。

特表２００８−５０７９０８号公報

特許文献１に記載された方法によれば、透明受光画素を配置することによってカラー画像の撮像感度を高めることができるが、その一方でカラー受光画素の密度が低下するために色の解像度が低下する。

そのため、カラー受光画素と透明受光画像とを配置した撮像素子を用いて車両の周辺を撮像した場合、撮像画像から低輝度の対象物を検知することは容易になるが、特定色の対象物（例えば、有彩色のレーンマーク、信号機等）の検知が難しくなるという不都合がある。

本発明はかかる背景に鑑みてなされたものであり、低輝度の対象物の検知と色による対象物の検知の双方に対応可能な車両用監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第１密度とした感度重視エリアと、該透明受光画素の配置密度を該第１密度よりも低い第２密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部とを備えたことを特徴とする（第１発明）。

第１発明において、前記撮像素子の前記透明受光画素の配置密度を高くすると、前記高感度画像生成部により生成される前記高感度画像の解像度が高くなり、また、前記透明受光画素の配置密度を低くすると、前記カラー画像生成部により生成される前記カラー画像の色解像度が高くなる。そこで、前記撮像素子における前記カラー受光画素と前記透明受光画素との配置を、前記対象物検知部による検知対象に応じて、前記透明受光画素の配置密度が高い前記感度重視エリアと前記透明受光画素の配置密度が低い前記色解像度重視エリアとに区画する。そして、これにより、前記高感度画像生成部により生成される前記高感度画像について、前記感度重視エリアによる撮像範囲の解像度を特に高くすることができ、また、前記カラー画像生成部により生成される前記カラー画像について、前記色解像度重視エリアによる撮像範囲の色解像度を特に高くすることができる。

そのため、前記対象物検知部は、前記カラー画像を用いて色に基づく対象物の検知を行うことにより、前記色解像度重視エリアによる撮像範囲において有彩色の対象物（黄線、交通標識、信号機等）を精度良く検知することができると共に、前記高感度画像を用いて輝度に基づく対象物の検知を行うことにより、前記感度重視エリアによる撮像範囲において低輝度の対象物（車道脇の歩行者等）を精度良く検知することができる。

また、第１発明において、
前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする（第２発明）。

第２発明によれば、前記車両の前方（車両の前進方向）に存在して、前記撮像素子の中央部で撮像される対象物（レーンマーク、交通標識、他車両等）を色により識別して精度良く検知することができると共に、前記車両の前方に存在して、前記撮像素子の周辺部で撮像される低輝度の対象物（歩行者、人工構造物等）を輝度により精度良く検知することができる。

また、第２発明において、
前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする（第３発明）。

第３発明によれば、前記車両の前進方向に存在して、前記撮像素子の中央部で撮像される対象物のうち、前記カラー画像では斜線として表される黄線、赤線、ボッツドッツ等の直線状に連続する特定色のレーンマークを、より精度良く検知することができる。

また、第２発明又は第３発明において、前記感度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、縦線及び横線の検出が容易な配置とされ、
前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする（第４発明）。

第４発明によれば、車両の前進方向に存在して、前記撮像素子の周辺部で撮像される対象物のうち、前記高感度画像では縦エッジ及び横エッジが多い画像部分となる歩行者や道路構造物等を、より精度良く検知することができる。

車両用監視装置の構成図。 撮像素子のフィルタ及びカメラによる撮像画像の説明図。 撮像素子における感度重視エリアと色解像度重視エリアの区画の説明図、及び対応する撮像画像の説明図。 感度重視エリアと色解像度重視エリアのＲＧＢＷ受光画素の配列の説明図。 感度重視エリアと色解像度重視エリアとの境界エリアにおけるＲＧＢＷ受光画素の配列の説明図。 車両用監視装置の作動フローチャート。 カラー画像及び高感度画像の説明図。 広ダイナミックレンジ画像の説明図。 感度重視エリアにおけるＲＧＢＷ受光画素の他の配列例の説明図。 色解像度重視エリアにおけるＲＧＢＷ受光画素の他の配列例の説明図。

本発明の車両用監視装置の実施形態について、図１〜図１０を参照して説明する。図１を参照して、本実施形態の車両用監視装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。

カメラ２は、車両１の前方を撮像範囲として車両１に搭載されている。カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の前方を撮像し、撮像データを画像コントローラ３に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配列して構成されている。

図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。

そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ₁₁，Ｒ₁₅，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ₂₂，Ｇ₂₄，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ₁₃，Ｂ₃₁，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ₂₁，Ｗ₂₃，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。

画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。

制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３２と高感度画像生成部３３と広ダイナミックレンジ画像生成部３４とを有する画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。

原画像取得部３１は、カメラ２に制御信号を出力して車両１の前方の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。

原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配列位置の画素（配列位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。

ここで、ｒは図２（ａ）のＲ受光画素に対応した配列位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配列位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配列位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配列位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。

また、図３（ａ）を参照して、フィルタ２１は、Ｗ受光画素の配置密度が異なる色解像度重視エリア２６（図の参点部分）とその周囲の感度重視エリア２５（図の斜線部分）とに区画して、構成されている。色解像度重視エリア２６のＷ受光画素の配置密度（本発明の第２密度に相当する）は、感度重視エリア２５のＷ受光画素の配置密度（本発明の第１密度に相当とする）よりも低くなっている。

この構成により、図３（ｂ）に示したカメラ２による撮像画像９０において、色解像度重視エリア２６による撮像範囲２６ａの色解像度を、感度重視エリア２５による撮像範囲２５ａよりも高くし、また感度重視エリア２５による撮像範囲２５ａの感度を、色解像度重視エリア２６よりも高くしている。

そして、色解像度重視エリア２６による撮像範囲２６ａについては、他車両９１のテールライト、他車両９２のヘッドライト、信号機９３、黄色の車線区分線９４等の、特定色の対象物の画像部分を、高解像度の色識別により精度良く検知できるようにしている。また、感度重視エリア２５による撮像範囲２５ａについては、自車両のヘッドライトの照射範囲外に存在する歩行者の画像部分９５等を精度良く検知できるようにしている。

ここで、感度重視エリア２５は、図４（ａ）に示したようにＲ受光画素，Ｇ受光画素，Ｂ受光画素、及びＷ受光画素が配列され、この場合のＷ受光画素の配置密度は５０％である。また、色解像度重視エリア２６は、図４（ｂ）に示したようにＲ受光画素，Ｇ受光画素，Ｂ受光画素，及びＷ受光画素が配列され、この場合のＷ受光画素の配置密度は２５％である。

また、図３（ａ）の色解像度重視エリア２６と感度重視エリア２５との境界エリア２７は、図５に示したように、Ｒ受光画素，Ｇ受光画素，Ｂ受光画素、及びＷ受光画素が配列されている。

次に、画像生成部３５のカラー画像生成部３２は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３３は、原画像４１から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。広ダイナミックレンジ画像生成部３４は、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の各生成処理の詳細については、後述する。

対象物検知部３６は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。

車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。

次に、図６に示したフローチャートに従って、制御回路３０による各種画像の生成と、各種画像からの対象物検知の処理について説明する。

図６のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。

『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３２による処理である。カラー画像生成部３２は、原画像４１の各画素の階調値に基づいて、図７（ａ）に示したカラー画像４２を生成する。図７（ａ）のカラー画像では、各画素の階調値をＣ_i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。

Ｃ_i,jは、以下のように、Ｒ値（Ｃ_i,jr、Ｒの階調値）、Ｇ値（Ｃ_i,jg、Ｇの階調値）、及びＢ値（Ｃ_i,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃ_i,j＝｛Ｃ_i,jr、Ｃ_i,jg、Ｃ_i,jb｝

［感度重視エリアについて］
［１-1．Ｃ_i,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、図３（ａ），図４（ａ）に示した感度重視エリア２５による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＧ値（Ｃ_i,jg）を算出する。

原画像４１のＧ画素（階調値がＳg_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。

また、原画像４１のＲ画素（階調値がＳr_i,jである画素）、及びＢ画素（階調値がＳb_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓg_i+1,j+1，Ｓg_i-1,j-1，Ｓg_i-1,j+1，Ｓg_i+1,j-1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下又は左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下又は左右に隣接するＧ画素の階調値（Ｓg_i-1,j，Ｓg_i+1,j，Ｓg_i,j-1，Ｓg_i,j+1）について、以下の式（５）〜式（６）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

［１-2．Ｃ_i,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr）を算出する。原画像４１のＲ画素（階調値がＳr_i,jである画素）については、自身の階調値をカラー画像４２のＲ値とする。

また、原画像４１のＢ画素（階調値がＳb_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓr_i+2,j，Ｓr_i-2,j，Ｓr_i,j+2，Ｓr_i,j-2）について、以下の式（７）〜式（１０）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３２は、原画像４１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓr_i+1,j+1，Ｓr_i-1,j-1，Ｓr_i-1,j+1，Ｓr_i+1,j-1）について、以下の式（１１）〜式（１２）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右のいずれかに隣接する一つの画素がＲ画素になっている。そこで、カラー画像生成部３２は、以下の式（１３）〜式（１６）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

［１-3．Ｃ_i,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃ_i,jb）を算出する。原画像４１のＢ画素（階調値がＳb_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＢ値とする。

また、原画像４１のＲ画素（階調値がＳr_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓb_i+2,j，Ｓb_i-2,j，Ｓb_i,j+2，Ｓb_i,j-2）について、以下の式（１７）〜式（２０）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３２は、原画像４１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓb_i+1,j+1，Ｓb_i-1,j-1，Ｓb_i-1,j+1，Ｓb_i+1,j-1）について、以下の式（２１）〜式（２２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右のいずれかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（２３）〜式（２６）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

以上の処理により、カラー画像生成部３２は、感度重視エリア２５による原画像４１の撮像範囲から、カラー画像４２の対応する各画素に割り当てるＲ値（Ｃ_i,jr），Ｇ値（Ｃ_i,jg），Ｂ値（Ｃ_i,jb）を算出する。

［色解像度重視エリアについて］
［１-4．Ｃ_i,jに対するＧ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＧ値（Ｃ_i,jg）を算出する。

原画像４１のＧ画素（階調値がＳg_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。

また、原画像４１のＲ画素（階調値がＳr_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ画素の左右に隣接するＧ画素の階調値（Ｓg_i,j+1，Ｓg_i,j-1）について、以下の式（２７）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

また、原画像４１のＢ画素（階調値がＳb_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下に隣接するＧ画素の階調値（Ｓg_i+1,j，Ｓg_i-1,j）について、以下の式（２８）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

また、Ｗ画素においては、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の斜め上下に隣接するＧ画素の階調値（Ｓg_i+1,j+1，Ｓg_i-1,j-1，Ｓg_i-1,j+1，Ｓg_i+1,j-1）について、以下の式（２９）〜式（３２）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。

［１−5．Ｃ_i,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃ_i,j）に割り当てるＲ値（Ｃ_i,jr）を算出する。

原画像４１のＲ画素（階調値がＳr_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値とする。

また、原画像４１のＢ画素（階調値がＳb_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の斜め上下に隣接するＲ画素の階調値（Ｓr_i+1,j+1，Ｓr_i-1,j-1，Ｓr_i-1,j+1，Ｓr_i+1,j-1）について、以下の式（３３）〜式（３６）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＧ画素の左右に隣接するＲ画素の階調値（Ｓr_i,j+1，Ｓr_i,j-1)について、以下の式（３７）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下に隣接するＲ画素の階調値（Ｓr_i+1,j，Ｓr_i-1,j）について、以下の式（３８）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。

以上の処理を行うことにより、色解像度重視エリア２６に対応する原画像４１の全ての画素にＲ値を割り当てることができる。

［１−6．Ｃ_i,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃ_i,j)に割り当てるＢ値（Ｃ_i,jb）を算出する。

原画像４１のＢ画素（階調値がＳb_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画像（配置位置が同じ画素）のＢ値とする。

また、原画像４１のＲ画素（階調値がＳr_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ画素の斜め上下に隣接するＢ画素の階調値（Ｓb_i+1,j+1，Ｓb_i-1,j-1，Ｓb_i-1,j+1，Ｓb_i+1,j-1）について、以下の式（３９）〜式（４２）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＧ画素の上下に隣接するＢ画素の階調値（Ｓb_i+1,j，Ｓb_i-1,j）について、以下の式（４３）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

また、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の左右に隣接するＢ画素の階調値（Ｓb_i,j+1，Ｓb_i,j-1）について、以下の式（４４）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。

以上の１-4〜１-6の処理により、カラー画像生成部３２は、色解像度重視エリア２６による原画像４１の撮像範囲から、カラー画像４２の対応する各画素に割り当てるＲ値（Ｃ_i,jr），Ｇ値（Ｃ_i,jg），Ｂ値（Ｃ_i,jb）を算出する。

［境界エリアについて］
感度重視エリア２５と色解像度重視エリア２６の境界エリアにおいては、例えば図５に示したように、図４（ａ）及び図４（ｂ）に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図５に示した配列パターンの受光画素Ｇ_2,2，Ｇ_2,4，Ｒ_3,3，Ｒ_3,5を例に、カラー画像４２の対応する画素に割り当てるＲ値，Ｇ値，Ｂ値を算出する手順について説明する。

［１-7．Ｇ_2,2に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｇ値については、Ｇ_2,2に対応する原画像４１の画素の階調値Ｓg_2,2をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値（Ｃ_2,2g）とする。

また、Ｒ値については、図５に示した境界エリア２７の配列パターンから、Ｇ_2,2に対応する原画像４１のＧ画素の左上と右下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の左上と右下に隣接するＲ画素の階調値（Ｓr_1,1，Ｓr_3,3）について、以下の式（４５）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_2,2r）を算出する。

また、Ｂ値に関しては、図５に示した境界エリア２７の配列パターンから、Ｇ_2,2に対応する原画像４１のＧ画素の右上と左下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の右上と左下に隣接するＢ画素の階調値（Ｓb_1,3，Ｓb_3,1）について、以下の式（４６）により、カラー画像４２の対応する配置位置の画素Ｃ_2,2に割り当てるＢ値を算出する。

［１-8．Ｇ_2,4に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｇ値については、Ｇ_2,4に対応する原画像４１の画素の階調値Ｓg_2,4をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値（Ｃ_2,4g）とする。

また、Ｒ値については、図５に示した境界エリア２７の配列パターンから、Ｇ_2,4に対応する原画像４１のＧ画素の右上、右下、左下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の右上と右下と左下に隣接するＲ画素の階調値（Ｓr_1,5，Ｓr_3,5，Ｓr_3,3）について、以下の式（４７）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値を算出する。

また、Ｂ値に関しては、図５に示した境界エリア２７の配列パターンから、Ｇ_2,4に対応する原画像４１のＧ画素の左上に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の左上に隣接するＢ画素の階調値（Ｓb_1,3）を、以下の式（４８）により、カラー画像４２の対応する配列位置の画素に割り当てる。

［１-9．Ｒ_3,3に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｒ値については、Ｒ_3,3に対応する原画像４１の画素の階調値Ｓr_3,3をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値（Ｃ_3,3r）とする。

また、Ｇ値については、図５に示した境界エリア２７の配列パターンから、Ｒ_3,3に対応する原画像４１のＲ画素の右上、右、左上、左下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右上と右と左上と左下に隣接するＧ画素の階調値（Ｓg_4,2，Ｓg_3,4，Ｓg_2,4，Ｓg_2,2）について、以下の式（４９）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値を算出する。

また、Ｂ値については、図５に示した境界エリア２７の配列パターンから、Ｒ_3,3に対応する原画像４１のＲ画素の右下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右下に隣接するＢ画素の階調値（Ｓb_4,4）を、以下の式（５０）により、カラー画像４２の対応する配置位置の画素に割り当てる。

［１-10．Ｒ_3,5に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｒ値については、Ｒ_3,5に対応する原画像４１の画素の階調値Ｓr_3,5をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値（Ｃ_3,5r）とする。

また、Ｇ値については、図５に示した境界エリア２７の配列パターンから、Ｒ_3,5に対応する原画像４１のＲ画素の右、左、右上、左上に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右、左、右上、左上に隣接するＧ画素の階調値（Ｓg_3,6，Ｓg_3,4，Ｓg_2,6，Ｓg_2,4）について、以下の式（５１）により、カラー画像４２の対応する配置位置の画像に割り当てるＧ値（Ｃ_3,5g）を算出する。

また、Ｂ値については、図５に示した境界エリア２７の配列パターンから、Ｒ_3,5に対応する原画像４１のＲ画素の右下と左下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右下と左下に隣接するＢ画素の階調値（Ｓb_4,6，Ｓb_4,4）について、以下の式（５２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_3,5b）を算出する。

１-7〜１-10で説明したＧ_2,2，Ｇ_2,4，Ｒ_3,3，Ｒ_3,5に対応するカラー画像４２の画素へのＲ値，Ｇ値，Ｂ値の割り当てと同様に、境界エリア２７による撮像範囲の他の画素についても、Ｒ値，Ｇ値，Ｂ値を割り当てることにより、カラー画像生成部３２は、境界エリア２７によるカラー画像４２の撮像範囲の全ての画素についてＲ値，Ｇ値，Ｂ値を割り当てる。

以上の１-1〜１-10の処理により、カラー画像生成部３２は、カラー画像４２の全ての画素について、Ｒ値，Ｇ値，Ｂ値を割り当てて、カラー画像４２を生成する。

『２．高感度画像の生成処理』
「感度重視エリアについて」
高感度画像生成部３３は、先ず、図３（ａ），図４（ａ）に示した感度重視エリア２５による原画像４１の撮像範囲について、図７（ｂ）に示した高感度画像４３の各画素に割り当てる階調値（Ｈ_i,j）（グレーの階調値）を算出する。

［２-1．Ｗ画素に対する階調値Ｈ_i,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓw_i,j）を、高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｈ_i,j）に割り当てる。

［２-2．Ｇ，Ｒ，Ｂ画素に対する階調値Ｈ_i,jの割り当て］
図４（ａ）に示した感度重視エリア２５の配列パターンから、原画像４１の感度重視エリア２５による撮像範囲において、Ｒ画素、Ｇ画素、及びＢ画素の上下左右には、いずれもＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（５３）〜式（５６）により、原画像４１の感度重視エリア２５による撮像範囲のＧ画素、Ｒ画素、及びＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。

「色解像度重視エリアについて」
次に、高感度画像生成部３３は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、図７（ｂ）に示した高感度画像４３の各画素に割り当てる階調値（Ｈ_i,j）を算出する。

［２-3．Ｗ画素に対する階調値Ｈ_i,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓw_i,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈ_i,j）に割り当てる。

［２-4．Ｇ画素に対する階調値Ｈ_i,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｇ画素の斜め上下にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（５７）〜式（６０）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。

［２-5．Ｂ画素に対する階調値Ｈ_i,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｂ画素の左右にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、Ｂ画素の左右に隣接するＷ画素の階調値（Ｓw_i,j+1，Ｓw_i,j-1）について、以下の式（６１）により、原画像４１の色解像度重視エリア２６のＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。

［２-6．Ｒ画素に対する階調値Ｈ_i,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｒ画素の上下にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、Ｒ画素の上下に隣接するＷ画素の階調値（Ｓw_i+1,j，Ｓw_i-1,j）について、以下の式（６２）により、原画像４１のＲ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈ_i,j）を算出する。

「境界エリアについて」
感度重視エリア２５と色解像度重視エリア２６との境界エリアにおいては、例えば図５に示したように、図４（ａ）及び図４（ｂ）に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図５に示した配列パターンの受光画素Ｇ_2,2、Ｇ_2,4、Ｒ_3,3、Ｒ_3,5を例に、高感度画像４３の対応する画素に割り当てる階調値（Ｈ_i,j）の算出手順について説明する。

［２-7．Ｇ_2,2に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＧ受光画素Ｇ_2,2に対応するＧ画素の上下左右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＧ画素の上下左右に隣接するＷ画素の階調値（Ｓw_1,2，Ｓw_2,3，Ｓw_3,2，Ｓw_2,1）について、以下の式（６３）〜式（６６）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_2,2）を算出する。

［２-8．Ｇ_2,4に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＧ受光画素Ｇ_2,4に対応するＧ画素の上、左、右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＧ画素の上と左右に隣接するＷ画素の階調値（Ｓw_2,5，Ｓw_2,3，Ｓw_1,4）について、以下の式（６７）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_2,4）を算出する。

［２-9．Ｒ_3,3に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＲ受光画素Ｒ_3,3に対応するＲ画素の上、下、左に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＲ画素の上下と左に隣接するＷ画素の階調値（Ｓw_4,3，Ｓw_3,2，Ｓw_2,3）について、以下の式（６８）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_3,3）を算出する。

［２-10．Ｒ_3,5に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＲ受光画素Ｒ_3,5に対応するＲ画素の上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＲ画素の上下に隣接するＷ画素の階調値（Ｓw_4,5，Ｓw_2,5）について、以下の式（６９）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_3,5）を算出する。

２-7〜２-10で説明したＧ_2,2、Ｇ_2,4、Ｒ_3,3、Ｒ_3,5についての高感度画像の画素の階調値の割り当てと同様に、原画像４１の境界エリア２７による撮像範囲の他の画素についても、高感度画像４３の対応する画素に割り当てる階調値を算出することにより、高感度画像生成部３３は、高感度画像４３の全ての画素に階調値（グレーの階調値）を割り当てる。

以上の２-1〜２-10の処理により、高感度画像生成部３３は、高感度画像４３の全ての画素に階調値を割り当てて、図７（ｂ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｈ_i,j）を割り当てた高感度画像４３を生成する。

『３．広ダイナミックレンジ画像の生成処理』
図６のＳＴＥＰ４は、広ダイナミックレンジ画像生成部３４による処理である。広ダイナミックレンジ画像生成部３４は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（７０）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄ_i,j）を算出する。

但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（７０）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。

また、広ダイナミックレンジ画像生成部３４は、以下の式（７１）により、カラー画像の各画素の階調値（参照階調値）Ｙ_i,jを算出する。

但し、Ｙ_i,j：参照階調値、Ｃ_i,jr：カラー画像４２の各画素Ｃ_i,jのＲ値、Ｃ_i,jg：カラー画像４２の各画素Ｃ_i,jのＧ値、Ｃ_i,jb：カラー画像４２の各画素Ｃ_i,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。

また、広ダイナミックレンジ画像生成部３４は、以下の式（７２）により、原画像４１の各Ｗ画素の階調値Ｓw_i,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙ_i,jとの比ａ_i,jを、感度差補正係数として算出する。

広ダイナミックレンジ画像生成部３４は、高感度画像４３の階調値（Ｈ_i,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈ_i,j）と、カラー画像４２から上記式（７１）により算出した参照階調値（Ｙ_i,j）を、最大階調値で規格化した規格化階調値（ｙ_i,j）から、以下の式（７３）により、規格化合成階調値（ｈdr_i,j）を算出する。

なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈ_i,j＝２００，Ｙ_i,j＝６５で、最大階調値が２５５であるときには、ｈ_i,j＝２００／２５５，ｙ_i,j＝６５／２５５となる。

但し、ｈ_i,j，ｙ_i,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（７２）により算出した当該画素の感度差補正係数ａ_i,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａ_i,j。

さらに、広ダイナミックレンジ画像生成部３４は、低階調のコントラスを保つために、以下の式（７４）により規格化合成階調値（ｈdr_i,j）にγ変換処理を行う。

但し、Ｄ_i,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。

以上の処理により、広ダイナミックレンジ画像生成部３４は、図８に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄ_i,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。

『４．対象物検知処理』
図６のＳＴＥＰ５〜ＳＴＥＰ７、及びＳＴＥＰ２０は、対象物検知部３６による処理である。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４４から対象物を検知する処理とを切替える。

［４-1．高感度画像による対象物検知］
対象物検知部３６は、ＳＴＥＰ５で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。

ここで、図３（ａ）に示したように、フィルタ２１により、撮像素子２２の中央部が色解像度重視エリア２６に設定されると共に、色解像度重視エリア２６の周囲が感度重視エリア２５に設定されている。そのため、図３（ｂ）に示したカメラ２の撮像画像９０においては、感度重視エリア２５による撮像範囲２５ａの感度が高くなっている。

その結果、感度重視エリア２５による撮像範囲２５ａとなる歩道に存在する歩行者の画像部分９５を識別して、歩行者を精度良く検知することができる。また、レンズの特性上、レンズの中央部に比べて暗くなるレンズ周辺部について、撮像画像の感度を高める効果が得られる。

対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。

この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。

続くＳＴＥＰ６で、対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。

［４-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。

ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。

そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。この場合、図３（ａ），図３（ｂ）に示したように、車両１のヘッドライトの照射範囲と重なる色解像度重視エリア２６については、高い色解像度が得られる広ダイナミックレンジ画像４４の画像範囲から、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトにより照射されている歩行者等を検知することができる。

また、車両１のヘッドライトの照射範囲から外れる感度重視エリア２５については、高感度が得られる広ダイナミックレンジ画像４４の画像範囲から、遠方の他車両や道路脇の歩行者等を検知することができる。

［４-3．カラー画像による対象物検知］
ＳＴＥＰ６で夜間でなかったときにはＳＴＥＰ７に進み、対象物検知部３６は、カラー画像４２から、道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。

そこで、対象物検知部３６は、図３（ａ），図３（ｂ）に示したように、フィルタ２１により、撮像素子２２の中央部の色解像度重視エリア２６によるカラー画像４２の画像範囲から、レーンマーク、他車両、及び信号機を、高い色解像度により識別して精度良く検知することができる。

その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。

そして、対象物検知部３６は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。

また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。

『５．ＲＧＢＷの他の配列パターンの例』
次に、図９（ａ），図９（ｂ）は、感度重視エリア用のＲＧＢＷの他の配列パターンを示したものである。図９（ａ）の配列パターンは、図４（ａ）に示したＲＧＢＷの配列パターンに対して、赤の解像度を高めたものである。図９（ａ）の配列パターンを採用することにより、高感度であって赤の解像度が高い撮像画像を得ることができるため、遠方の他車両のテールランプや信号機等の検知に有利である。

また、図９（ｂ）の配列パターンは、図４（ａ）に示したＲＧＢＷの配列パターンに対して、斜めの解像度を高めたものである。図９（ｂ）の配列パターンを採用することにより、高感度であって斜めの解像度が高い撮像画像を得ることができるため、遠方の白線やボッツドッツ等の直線状に連続した対象物の検知に有利である。

また、図１０は、色解像度重視エリア用のＲＧＢＷの他の配列パターンを示したものである。図１０の配列パターンは、図４（ｂ）に示したＲＧＢＷの配列パターンに対して、斜めの解像度を高めたものである。

図４（ｂ）の配列パターンは縦横の解像度が高いため、遠方の標識や道路構造物等の画像部分を、縦横エッジを抽出して検知する際に有利である。一方、図１０の配列パターンは斜めの解像度が高いため、遠方の黄線やボッツドッツ等の直線状に連続した対象物の検知に有利である。

なお、本実施形態では、図３（ａ）に示したように、色解像度重視エリア２６を撮像素子２２の中央部に配置して、感度重視エリア２５を色解像度重視エリア２６の周囲に配置したが、他の配置態様により色解像度重視エリアと感度重視エリアを配置した場合であっても、本発明の効果を得ることができる。

また、本実施形態では、図４（ｂ）に示したように、色解像度重視エリアについてＷ画素を含む配列パターンとしたが、Ｗ画素を含まない配列パターン（Ｗ画素の配置密度がゼロ）としてもよい。

１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、２５…感度重視エリア、２６…色解像度重視エリア、２７…感度重視エリアと色解像度重視エリアの境界エリア、３０…制御回路、３１…原画像取得部、３２…カラー画像生成部、３３…高感度画像生成部、３４…広ダイナミックレンジ画像生成部、３５…画像生成部、３６…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。

Claims (4)

1. 車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第１密度とした感度重視エリアと、該透明受光画素の配置密度を該第１密度よりも低い第２密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
   前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
   前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
   前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
   前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部と
   を備えたことを特徴とする車両用監視装置。
2. 請求項１に記載の車両用監視装置において、
   前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
   前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする車両用監視装置。
3. 請求項２に記載の車両用監視装置において、
   前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
   前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする車両用監視装置。
4. 請求項２又は請求項３に記載の車両用監視装置において、
   前記感度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、縦線及び横線の検出が容易な配置とされ、
   前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする車両用監視装置。