JP2012222533A - 画像処理装置 - Google Patents

Abstract

【課題】ベイヤー配列をした単板式の撮像素子を用いても、偽色を低減し、対象物の誤検知を抑止可能な画像処理装置を提供することである。
【解決手段】複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から各画素が単色の色情報しか持たない複数の画素からなる画像（ＲＡＷ画像）を取得する画像取得手段と、取得した画像から全画素の輝度を算出し、算出した輝度が予め定めた輝度以上となる光点領域を検出する光点領域検出手段と、光点領域内の同色画素毎に輝度の平均値を算出する平均値算出手段と、を有する。
【選択図】 図６

Description

移動体に搭載された撮像装置で撮影されたカラー画像を用いて画像処理を行う画像処理装置に関する。

従来から、夜間、車載カメラの映像から光点を解析することで、対向車や先行車の有無を判断し、ヘッドライトのハイビーム，ロービームを自動的に切り替える配光制御技術の研究開発が行われている。

特許文献１では、カラーカメラの映像から、先行車のテールライトや対向車のヘッドライトを検出して先行車や対向車のドライバーを眩惑しないようにヘッドライトをハイビームからロービームに切り替える技術が記載されている。ドライバーは先行車や対向車に注意しながらハイビームやロービームの切り替えをする必要が無くなり、運転に集中することができる。

しかしながら、その制御のタイミングが適切でないと、ドライバーに違和感を与える恐れがある。制御が不適切になる一番の要因は、カメラによる先行車のテールライトや対向車のヘッドライトの検知漏れやその他光源の誤検知である。例えば、暗いテールライトを検知漏れしたり、路上のデリニエータや信号機，街灯などの外乱光を車両灯と誤検知したりすることがあり、この検知不具合によって誤動作が生じる。この検知不具合をいかにして減らすかが技術課題となるが、特に、テールライトの赤色を安定して検出するための工夫が重要である。

現在カラーカメラに用いられているほとんどのカラー撮像素子は単板式のＣＭＯＳあるいはＣＣＤで、特許文献２で記載されているベイヤー配列と呼ばれる構造を採用している。これは、１つのセンサ（画素）で光の三原色である赤（Ｒ）・緑（Ｇ）・青（Ｂ）を同時にサンプリングするのではなく、カラーフィルタを用いてどれか１色だけをサンプリングするもので、ＲＧＢそれぞれのセンサを規則正しく並べて配置する事で、全体としてカラー画像を得る。このベイヤー配列は、その性質上、エッジ部や、微細な構造の部分に実際には存在しない色、すなわち偽色（色モアレ）と呼ばれる現象が発生する。

原理的に偽色を防止できる方式としては３層式や３板式などがある。３層式ＣＭＯＳは、光の三原色であるＲＧＢがそれぞれシリコンを透過する特性が異なることを利用して、素子の厚み方向（光が入射する方向）に３層にセンサを配置しており、同一位置の異なる色の情報を分離できる。３層式では、３原色それぞれのセンサが同じ位置に配置されているため、原理的に偽色は発生しない。

３板式ＣＭＯＳは、レンズからの光を分光プリズム内のダイクロイック膜の反射によってＲＧＢの光の３原色に分光し、分光された光を異なる位置に配置された３枚のＣＭＯＳ基板にそれぞれ受光させる。ダイクロイック膜とは、ＲＧＢそれぞれの光を波長によって透過，反射させる膜である。これら３層式，３板式は構成が複雑であるため、通常の単板式に比べてコストが大きくなる。

特公平６−５５５８１号公報 米国特許第３,９７１,０６５号公報

従って、廉価に配光制御システムを構成するためには、ベイヤー配列をした単板式の撮像素子を用いることが望ましい。

本発明の目的は、ベイヤー配列をした単板式の撮像素子を用いても、偽色を低減し、対象物の誤検知を抑止可能な画像処理装置を提供することである。

上記課題を達成するために、本発明の画像処理装置は、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から各画素が単色の色情報しか持たない複数の画素からなる画像を取得する画像取得手段と、取得した画像から全画素の輝度を算出し、算出した輝度が予め定めた輝度以上となる光点領域を検出する光点領域検出手段と、光点領域内の同色画素毎に輝度の平均値を算出する平均値算出手段と、を有する構成とする。

また、複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から各画素が単色の色情報しか持たない複数の画素からなる画像を取得する画像取得手段と、取得した画像から全画素の輝度を算出し、算出した輝度から光点のピークを検出する光点ピーク検出手段と、検出されたピークを中心とした予め定めた複数の画素領域内の同色画素毎に輝度の平均値を算出する平均値算出手段と、を有する構成とする。

ベイヤー配列をした単板式の撮像素子を用いても、偽色を低減し、対象物の誤検知を抑止可能な画像処理装置を提供できる。

本発明に係る画像処理装置を含むヘッドライトユニットの構成を示す図である。 本発明に係る画像処理装置を含むカメラと画像信号処理ユニットの一構成例を示す図である。 本発明のカメラとヘッドライトの光軸の関係を説明する図である。 本発明で用いるカラーフィルタのベイヤー配列を説明する図である。 従来のカラーＣＭＯＳで行われる色再生を説明する図である。 本発明に係る画像処理装置の光点検出ＤＳＰの処理の流れを示す図である。 本発明に係る画像処理装置の光点検出ＤＳＰにおける２値画像とラベル画像の関係を示す図である。 本発明に係る画像処理装置の光点検出ＤＳＰの光点検出を説明する図である。 本発明に係る画像処理装置のＵＶ空間の一例を示す図である。 本発明に係る画像処理装置の光点検出ＤＳＰの処理の効果を説明する図である。

図１は、本発明に係る画像処理装置を含むヘッドライトユニットの実施例を示す図であり、ヘッドライト配光制御方法を実現するための全体の構成を示す概略図である。

撮像装置であるカメラ１０１は車両の前方の視界を捕らえられるように、ヘッドライト１０４は車両の前方を照らすように、それぞれヘッドライトユニット１０５内に設置される。カメラ１０１で撮像された車両前方画像は画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトの個数や位置を計算する。計算された情報は、ヘッドライト制御ユニット１０３に送られる。車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトが存在しない場合は、画像信号処理ユニット１０２は、存在しないという情報をヘッドライト制御ユニット１０３に送る。ヘッドライト制御ユニット１０３では、受け取った情報からヘッドライト１０４をハイビームにするかロービームにするかを判断して、ヘッドライト１０４を制御する。

各ユニットの配置に関しては、カメラ１０１とヘッドライト１０４をできるだけ近くに設置することが望ましい。そうすることで、光軸調整などのキャリブレーションの簡便化に繋がる。

しかし、ヘッドライトユニット１０５のスペースに余裕がなくカメラ１０１が収まらない場合は、カメラ１０１を車室内、たとえばルームミラーの奥等に設置して車両前方が写る位置に設置しても良い。

さらに、図３に示すように、カメラ１０１の光軸３０１とヘッドライト１０４の光軸３０２は平行にしておく。光軸を平行にしなければ、カメラ１０１で撮像された空間位置とヘッドライト１０４で投光する空間位置にずれが生じてしまうためである。

また、カメラの画角３０３はヘッドライト１０４の照射角３０４と同等、もしくはそれ以上に合わせておく。

次に、カメラで対向車のヘッドライトと先行車のテールライトを検出する方法について説明する。

図２は、本発明の画像処理装置を有する撮像装置であるカメラ１０１と画像信号処理ユニット１０２の内部構成を示した図である。

撮像素子であるＣＭＯＳ２０１（Complementary Metal Oxide Semiconductor）は光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子であり、各画素の表面には赤（Ｒ）・緑（Ｇ）・青（Ｂ）のカラーフィルタが図４のようにベイヤー配列で配置されている。そのため、画素４０１には赤色の光だけ、画素４０２は緑色の光だけ、画素４０３は青色の光だけが入射する。

ここで、ＣＭＯＳ２０１に用いるカラーフィルタは原色系の赤（Ｒ）・緑（Ｇ）・青（Ｂ）でなく、補色系の水色（シアン）（Ｃ）・赤紫（マゼンタ）（Ｍ）・黄（イエロー）（Ｙ）、又は水色（Ｃ）・赤紫（Ｍ）・黄（Ｙ）・緑（Ｇ）としてもよい。水色は緑と青、赤紫は赤と青、黄は赤と緑、各々の３原色が含まれているため、補色系カラーフィルタでもＲＧＢの色再現は可能である。ただし色再現の式が煩雑となるため、本実施例では原色系の赤（Ｒ）・緑（Ｇ）・青（Ｂ）の例で説明する。

このベイヤー配列のＣＭＯＳ２０１で得られたＲＡＷ画像（各画素が単色の色情報しか持たない画像）は、画像処理装置である光点検出ＤＳＰ（Digital Signal Processing）２０２に転送される。

画像処理装置である光点検出ＤＳＰ２０２では、ＣＰＵ２０３から指定された輝度，色相，彩度をもつ光点のみを白、それ以外の部分を黒とした２値画像に変換して画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。画像信号は連続的に送信されるがその先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができる。画像入力Ｉ／Ｆ２０５で取り込まれた画像はメモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。この処理の詳細は後述する。

一連の処理はFlash ＲＯＭなどのＲＯＭ２０７に書き込まれたプログラムに従って行われる。画像入力Ｉ／Ｆ２０５で画像を取り込んだり、画像処理ユニット２０４で画像処理を行わせたりするための制御および必要な計算はＣＰＵ２０３が行っている。

ＣＭＯＳ２０１は、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタを内蔵しており、ＣＭＯＳ２０１はレジスタに設定された露光時間で撮像する。レジスタはＣＰＵ２０３から書き換え可能であり、書き換えられた露光時間は次フレームあるいは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能で、ＣＭＯＳ２０１に当たる光の量が制限される。露光時間制御は前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。

ここで、ベイヤー配列をもつ一般的なカラーＣＭＯＳで行われる色再生（デモザイク）の仕組みを説明する。各画素は赤（Ｒ）か、緑（Ｇ）か、青（Ｂ）かのいずれか１色の強度しか測定できないため、それ以外の色は周囲の色を参照して推定する。たとえば、図５（ａ）の中央のＧ２２の画素のＲＧＢはそれぞれ次式（１）のようにして求められる。

同様に、図５（ｂ）の中央のＲ２２の画素のＲＧＢはそれぞれ次式（２）のようにして求められる。

その他の画素も同様にして求められる。

このように求めていくと、すべての画素でＲＧＢの３原色を計算することができ、カラー画像を得ることができる。ただし、その画素の色が正しく再現できるのは、再現する注目画素とその８近傍の画素が等しい輝度、一様でフラットな光の場合に限られる。輝度勾配がある場合、エッジ部分では色の再現が不正確になる。

例えば白い光であったとしても、非常に小さな光点で図５（ａ）のＧ２２の画素にしか光が当たらなかった場合、その光は緑色として計算されてしまう。これが偽色である。なるべく注目画素とその８近傍の画素に入射する光量を均一にするために、光学ローパスフィルタを入れたり、レンズのピントをぼかしたりといった工夫をすることで偽色は低減するが、完全に無くすことは不可能である。特に夜間の遠方のヘッドライトやテールライト、信号機や看板，デリニエータなどの光点は小さく、画素間での輝度差が発生しやすいため、偽色が発生しやすい状態にある。

図６は、本実施例に係る画像処理装置である光点検出ＤＳＰ２０２での処理の流れを表したフローチャートである。

光点検出ＤＳＰ２０２は、従来のように画素ごとにＲＧＢの３色を計算したものをそのまま使用するのではなく、光点一つに対して一つの色を計算することで、局所的に発生する偽色の影響を低減させることを目的としている。また、光点検出ＤＳＰ２０２は、特定色の光点を抽出できるように、ＣＰＵ２０３から指定できるレジスタを保有する。

まず、ステップＳ１では、ＣＭＯＳ２０１から８bitのＲＡＷ画像を取得する。つまり、画像取得手段にて、各画素が単色の色情報しか持たない複数の画素からなる画像（ＲＡＷ画像）を取得する。

ステップＳ２では、ＲＡＷ画像から式（１）（２）のように各画素での色再生の計算を行い、全画素での明度Ｙを、次式（３）から求めてＹ画像を作成する。

Ｙ画像は各画素が０から２５５の８bitのデータになっていて、２５５に近いほど明るいことを意味している。このＹ画像を、レジスタで設定された明度しきい値RegMinＹで２値化する。RegMinＹ以上であれば１、RegMinＹ未満であれば０とすることで図７（ａ）のような２値画像が出来上がる。

次にこの２値画像をラベリングして、光点領域を抽出する。ラベリングとは、つながっている画素に同じラベルを付ける画像処理である。ラベル画像は図７（ｂ）のようになる。光点領域ごとに異なるラベルが付けられるため、領域の解析が行いやすい。

つまり、ステップＳ２では、光点領域検出手段にて取得した画像から全画素の輝度Ｙを算出し、算出した輝度が予め定めた輝度以上となる光点領域を検出する。

ステップＳ３では、光点領域に含まれるすべての画素のＲＧＢの平均値をとって光点１つに対して１つのＲＧＢの値を求める。つまり、平均値算出手段にて光点領域内の同色画素毎に輝度の平均値を算出する。具体的には、光点領域内のＲ画素の輝度の平均値，Ｇ画素の輝度の平均値，Ｂ画素の輝度の平均値、をそれぞれ算出する。なお、原色系の赤（Ｒ）・緑（Ｇ）・青（Ｂ）でなく、補色系の水色（シアン）（Ｃ）・赤紫（マゼンタ）（Ｍ）・黄（イエロー）（Ｙ）でもよい。

この処理は光点数分、つまりラベル数分行われる。ＲＧＢの平均値の取り方は２通りあり、どちらを用いてもよい。１つ目は、ＲＡＷ画像のＲＧＢ各対応色の画素の値を足し合わせてから足し合わせた画素数で割る方法である。例えば図１０の光点領域１００１の場合（図１０の太枠内）、Ｒの画素は８つ含まれるため８画素分の平均となり、Ｇは１６画素の平均、Ｂは７画素の平均となる。２つ目は、式（１）（２）などを用いて全画素でＲＧＢの値を求めておいてから、光点領域の画素のＲＧＢそれぞれ別々に足し合わせて光点領域の画素数で割る方法である。Ｒ，Ｇ，Ｂそれぞれ光点領域の全画素である３１画素分の平均をとることになる。

ここで、ステップＳ２とステップＳ３の処理は、以下のような代替処理に置き換えてもよい。

まず、Ｙ画像を作成して、ラスタスキャンをしながら明度のピークを検出する。つまり、光点ピーク検出手段にて、取得した画像から全画素の輝度Ｙを算出し、算出した輝度から光点のピークを検出する。ピークが検出されたらその周辺７×７の固定領域でＲＧＢの平均値をとってメモリに格納しておく。つまり、平均値算出手段にて、検出されたピークを中心とした予め定めた複数の画素領域内の同色画素毎に輝度の平均値を算出する。具体的には、複数の画素領域内のＲ画素の輝度の平均値、Ｇ画素の輝度の平均値、Ｂ画素の輝度の平均値、をそれぞれ算出する。なお、原色系の赤（Ｒ）・緑（Ｇ）・青（Ｂ）でなく、補色系の水色（シアン）（Ｃ）・赤紫（マゼンタ）（Ｍ）・黄（イエロー）（Ｙ）でもよい。ピーク自体も光点数分現れるため、その回数行う。こちらの代替処理は、固定領域でＲＧＢを計算するため精度は劣るが、ラベリング処理等を行わなくても済むためハードの回路規模を抑えることができるメリットがある。

ステップＳ４では、ステップＳ３迄に計算された光点毎のＲＧＢの平均値から、式（３）を用いてＵとＶを求める。ＵとＶは光点数分計算される。ＵＶ空間は図９のようになっており、原点を無彩色として周辺に行くほど彩度が上がり、原点からの方向によって色が変わる。彩度ρと色相θは次式（４）のように計算できる。つまり、彩度色相算出手段にて、算出された同色画素毎の輝度の平均値に基づいてＵとＶを算出し、そのＵとＶに基づいて彩度と色相を算出する。

ステップＳ５では、この彩度ρと色相θについても、明度Ｙ同様にレジスタで範囲を設定することで、任意の光点を選択的に検出する。つまり、光点領域抽出手段にて、輝度Ｙと彩度ρと色相θのそれぞれの予め定めた閾値に基づいて、取得した画像から光点領域を抽出する。

例えば、ヘッドライトを検出したい場合、明度しきい値RegMinＹ＝２２０，彩度しきい値RegMinRho＝０，RegMaxRho＝５０色相しきい値RegMinTheta＝０，RegMaxTheta＝３６０のように設定すれば、比較的明るい光点で色の付いていない光点を検知できる。

また、テールライトを検出したい場合、明度しきい値RegMinＹ＝３０，彩度しきい値RegMinRho＝３０，RegMinRho＝１８１色相しきい値RegMinTheta＝８０，RegMaxTheta＝１２０のように設定すれば、図９の赤色領域９０１の範囲の色をもつ、赤い色の光点が検知できる。

図８（ａ）は、夜間に対向車８０１と先行車８０２が存在する例であり、レジスタでの設定値によって図８（ｂ）のように対向車のヘッドライト領域を抽出したり、図８（ｃ）のように先行車のテールライト領域を抽出したりすることができる。

ステップＳ６では、レジスタで設定されたしきい値の条件に合った光点領域のみが１となった２値画像を生成して、画像信号処理ユニット１０２に転送する。つまり、画像出力手段にて、抽出された光点領域のみを白、光点領域以外を黒とした２値画像を生成し、出力する。ここで、転送する情報は画像でなくてもよく、光点領域の特徴量を計算してから、光点情報を出力するようにしてもよい。つまり、画像出力手段にて、抽出された光点領域のみから算出された光点情報を出力する。ここでいう光点情報とは、少なくとも中心座標、面積を含み、色相，彩度を含めても良く、他に画像中の光点の中心座標，左右上下端の座標，面積，平均明度等も含めても良い。これにより画像よりも少ない情報転送量で済み、さらに画像解析ユニット１０２で行う処理負荷を減らすことができる。また、予めレジスタで必要な光点の条件を設定しなくても、明度や彩度，色相を付加して全光点を出力する構成にすることもできる。

本実施例では、各画素で局所的にＲＧＢの計算をしてその値をそのまま使用するのではなく、光点が単色であるという前提のもと、図１０のように複数の画素にまたがる光点領域１００１に含まれるすべての画素の平均をとって１つだけＲＧＢを計算するため、偽色を最小限に抑えつつ色を安定して出力することができる。

このような画像処理装置である光点検出ＤＳＰ２０２を用いることで、ベイヤー配列をした単板式の撮像素子で構成されるカラーカメラから得られた情報をもとに、夜間のテールライトのような光点の赤色を安定して検知しつつ、赤色以外の光点を排除でき、且つ廉価なカメラでも光点付近で発生する偽色を低減でき、配光制御の信頼性が増し、ドライバーにとってより安全な視界を提供することができる。

１０１ カメラ
１０２ 画像信号処理ユニット
１０３ ヘッドライト制御ユニット
１０４ ヘッドライト
２０１ ＣＭＯＳ
２０２ 光点検出ＤＳＰ
２０３ ＣＰＵ
２０４ 画像処理ユニット
２０５ 画像入力Ｉ／Ｆ
２０６ メモリ
２０７ ＲＯＭ
２０８ ＣＡＮ Ｉ／Ｆ
３０１ カメラの光軸
３０２ ヘッドライトの光軸
３０３ カメラの画角
３０４ ヘッドライトの照射角
８０１ 対向車
８０２ 先行車
９０１ 赤色領域
１００１ 光点領域

Claims (18)

1. 複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から各画素が単色の色情報しか持たない複数の画素からなる画像を取得する画像取得手段と、
   取得した前記画像から全画素の輝度を算出し、算出した前記輝度が予め定めた輝度以上となる光点領域を検出する光点領域検出手段と、
   前記光点領域内の同色画素毎に輝度の平均値を算出する平均値算出手段と、を有する画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記平均値算手段は、前記光点領域内のＲ画素の輝度の平均値，Ｇ画素の輝度の平均値，Ｂ画素の輝度の平均値、をそれぞれ算出する画像処理装置。
3. 請求項１記載の画像処理装置において、
   前記平均値算手段は、前記光点領域内のＹ画素の輝度の平均値，Ｍ画素の輝度の平均値，Ｃ画素の輝度の平均値、をそれぞれ算出する画像処理装置。
4. 請求項２記載の画像処理装置において、
   前記平均値に基づいてＵとＶを算出し、前記Ｕと前記Ｖに基づいて彩度と色相を算出する彩度色相算出手段と、を有する画像処理装置。
5. 請求項４記載の画像処理装置において、
   前記輝度と前記彩度と前記色相のそれぞれの予め定めた閾値に基づいて、取得した前記画像から光点領域を抽出する光点領域抽出手段を有する画像処理装置。
6. 請求項５記載の画像処理装置において、
   抽出された前記光点領域のみを白、前記光点領域以外を黒とした２値画像を生成し、出力する画像出力手段を有する画像処理装置。
7. 請求項５記載の画像処理装置において、
   抽出された前記光点領域のみから算出された光点情報を出力する画像出力手段を有する画像処理装置。
8. 請求項７記載の画像処理装置において、
   前記光点情報は、中心座標，面積を含む画像処理装置。
9. 請求項７記載の画像処理装置において、
   前記光点情報は、中心座標，面積，色相，彩度を含む画像処理装置。
10. 複数の色のカラーフィルタが所定の配列となるように画素に対して設けられた撮像素子から各画素が単色の色情報しか持たない複数の画素からなる画像を取得する画像取得手段と、
    取得した前記画像から全画素の輝度を算出し、算出した前記輝度から光点のピークを検出する光点ピーク検出手段と、
    検出された前記ピークを中心とした予め定めた複数の画素領域内の同色画素毎に輝度の平均値を算出する平均値算出手段と、を有する画像処理装置。
11. 請求項１０記載の画像処理装置において、
    前記平均値算手段は、前記複数の画素領域内のＲ画素の輝度の平均値，Ｇ画素の輝度の平均値，Ｂ画素の輝度の平均値、をそれぞれ算出する画像処理装置。
12. 請求項１０記載の画像処理装置において、
    前記平均値算手段は、前記複数の画素領域内のＹ画素の輝度の平均値，Ｍ画素の輝度の平均値，Ｃ画素の輝度の平均値、をそれぞれ算出する画像処理装置。
13. 請求項１１記載の画像処理装置において、
    前記平均値に基づいてＵとＶを算出し、前記Ｕと前記Ｖに基づいて彩度と色相を算出する彩度色相算出手段と、を有する画像処理装置。
14. 請求項１３記載の画像処理装置において、
    前記輝度と前記彩度と前記色相のそれぞれの予め定めた閾値に基づいて、取得した前記画像から光点領域を抽出する光点領域抽出手段を有する画像処理装置。
15. 請求項１４記載の画像処理装置において、
    抽出された前記光点領域のみを白、前記光点領域以外を黒とした２値画像を生成し、出力する画像出力手段を有する画像処理装置。
16. 請求項１４記載の画像処理装置において、
    抽出された前記光点領域のみから算出された光点情報を出力する画像出力手段を有する画像処理装置。
17. 請求項１６記載の画像処理装置において、
    前記光点情報は、中心座標，面積を含む画像処理装置。
18. 請求項１６記載の画像処理装置において、
    前記光点情報は、中心座標，面積，色相，彩度を含む画像処理装置。

Images