JP7116001B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮像装置、及び画像処理方法に関し、特に撮像した画像の色相を判別する撮像装置、及び画像処理方法に関する。

運転支援や自動運転のために車両に搭載される車載カメラは、車両の横方向から飛び出す歩行者や自転車を検出する精度を向上するため、広画角化が求められる。その一方で、車載カメラは、ＡＣＣ機能（Adaptive Cruise Control、定速走行、車間距離制御）などのために、より遠方の対象物までの距離を正確に検出する必要があり、高い空間解像度が求められる。しかし、広画角化は一般にカメラの対物レンズの焦点距離を小さくすることで実現されるが、これに伴い空間解像度が低下する。このため、対物レンズの改善のみでは広画角化と空間解像度向上とを両立させることは難しい。

これに対して、異なる方式のイメージセンサの採用により空間解像度を向上させる技術も知られている。車載カメラでは、運転支援のために、交通信号機、標識、並びに路上の白色線及び橙色線等を認識するためにＲＧＧＢ（Red-Green-Green-Blue）画素配列（又はベイヤー配列）のカラーイメージセンサを採用することが多い。近年、このＲＧＧＢ配列のイメージセンサをＲＣＣＣ（Red-Clear-Clear-Clear）画素配列などのカラーイメージセンサに置き換える技術が提案されている。これによれば、イメージセンサの空間解像度を改善され、広画角化と空間解像度向上を両立させることができる。

ＲＣＣＣ画素配列は、例えば、赤色光を検出する画素（Ｒ画素）を１個と、青色光と緑色光と赤色光を共に検出するクリア画素（Ｃ画素）を３個、計４個の画素を２行２列（２×２）に並べて一単位（ユニットセル）とし、そのユニットセルを繰り返し配列することで構成される。Ｃ画素の間隔は１画素であり、この点、同色の画素の間隔が２画素であるＲＧＧＢ配列等とは異なっている。このＲＣＣＣ配列では、測距で参照するグレースケール画像に対して、画素全体の３／４をなすＣ画素の検出値をそのまま用いることができ、且つ空間解像度を低下させる周囲の画素からの補間処理の適用を画素全体の１／４の割合のＲ画素の位置のみに留めることができる。このため、ＲＧＧＢ画素配列と比較して高い空間解像度を得られると期待される。

しかし、Ｒ（Red）とＣ（Clear）の２種類の画素からなるＲＣＣＣ画素配列では、Ｒ赤(Red)、緑(Green)、青(Blue)の３原色を区分して光量を検出するＲＧＧＢ画素配列と比較して、色彩に関する情報量は限定され、色彩に関する処理方法を改める必要がある。
ＲＣＣＣ画素配列のイメージセンサの車載カメラへの適用に関しては、特許文献１に記載されている。しかし、撮像した画像に対する処理についての具体的な記載は無い。

また、特許文献２も、Ｒ及びＣの２種類からなる画素配列のイメージセンサの車載カメラへの適用に関して開示している。特許文献２では、自動車の赤色のテールランプと、ヘッドライト、街灯などの灯火の弁別に、イメージセンサの画像と、イメージセンサの画素種別Ｒｅｄ／Ｃｌｅａｒに従うチェッカーボードパターンとの相関の大小を用いる。この手法においては、統計量である相関を用いるため、ある程度のまとまった画素数を有する画像領域に対して色相を判別することになる。このため、この領域内に異なる色相を有する物体が共存する場合には正確な判別結果が得られない。また、色相を判別する領域内に異なる色相のパターンが混在しないように領域を設定することは、形状の想定が可能である程度の大きさを有するパターンでないと困難である。このように、従来技術では、ＲＣＣＣ画素配列による色相の正確な判別は困難である。ＲＣＣＣ画素配列以外でも、２種類の画素からなる画素配列を有するイメージセンサにおいては、同様の問題が生じ得る。

特開２０１７－０４６０５１号公報 米国特許出願公開第２００７／０２２１８２２号明細書

本発明は、２種類の画素を配列したイメージセンサを用いた場合において、所定の色相の弁別を正確に行うことができ、広画角化と空間解像度向上を両立させることが可能な撮像装置及び画像処理方法を提供することを目的とする。

本発明の第１の態様に係る撮像装置は、可視域の第１の波長範囲の光を検出する第１の画素と、前記第１の波長範囲の光に加えて前記第１の波長範囲とは異なる可視光の波長の光を検出する第２の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、前記第１の画素の検出光量に基づき、前記第２の画素の位置を補間して得た第１の補間画像と、前記第２の画素の検出光量に基づき、前記第１の画素の位置を補間して得た第２の補間画像とを生成可能に構成された補間処理部と、前記第１の補間画像と前記第２の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定する色情報生成処理部とを備えたことを特徴とする。

本発明の第２の態様に係る撮像装置は、可視域の第１の波長範囲の光を検出する第１の画素と、前記第１の波長範囲の光に加えて前記第１の波長範囲とは異なる可視光の波長の光を検出する第２の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、前記第１の画素の検出光量に基づき、前記第２の画素の位置を補間して得た第１の補間画像と、前記第２の画素の検出光量に基づき、前記第１の画素の位置を補間して得た第２の補間画像とを生成可能に構成された補間処理部と、前記第１の補間画像及び前記第２の補間画像に基づきカラー画像を生成するカラー画像生成処理部とを備える。前記カラー画像生成処理部は、前記第１の補間画像に基づき、前記第１の波長範囲の第１の波長成分を有する第１成分画像を生成し、前記第１の補間画像と前記第２の補間画像の差である差画像を生成し、前記差画像に第１の配分比を乗算し、前記第１の波長範囲とは異なる第２の波長範囲の成分を有する第２成分画像を生成し、前記差画像に第２の配分比を乗算し、前記第１の波長範囲及び前記第２の波長範囲とは異なる第３の波長範囲の成分を有する第３成分画像を生成するよう構成される。

本発明に係る画像処理方法は、可視域の第１の波長範囲の光を検出する第１の画素と、前記第１の波長範囲の光に加えて前記第１の波長範囲とは異なる可視光の波長の光を検出する第２の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサから画像を取得するステップと、前記第１の画素の検出光量に基づき、前記第２の画素の位置を補間して第１の補間画像を取得するステップと、前記第２の画素の検出光量に基づき、前記第１の画素の位置を補間して第２の補間画像を取得するステップと、前記第１の補間画像と前記第２の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定するステップとを備える。

本発明によれば、２種類の画素を配列したイメージセンサを用いた場合において、所定の色相の弁別を正確に行うことができる撮像装置及び画像処理方法を提供することができ、広画角化と空間解像度向上を両立させることができる。

第１の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。 ＲＣＣＣ画素配列のイメージセンサの画素配置を示した概略図である。 ＲＣＣＣ画素配列のイメージセンサの、Ｒ画素、Ｃ画素の感度特性を示すグラフである。 補間処理部１０２での演算処理の一例を示した概略図である。 道路標識で用いられる色を撮影したＲＣＣＣ画像のＣ画素値とＲ画素値の実測特性例を示すグラフである。 交通信号機で用いられる色を撮影したＲＣＣＣ画像のＣ画素値とＲ画素値の実測特性例を示すグラフである。 イメージセンサ１０１で撮影した画像から色相情報を得るまでの手順を説明するフローチャートである。 図７のステップ７０４において、画素値の比（Ｒ／Ｃ比）に基づき色相を判別する手順の詳細を示したフローチャートである。 第１の実施の形態において、イメージセンサ１０１で撮影したグレースケールの画像から、カラー画像生成処理部１１０においてカラー化した画像を生成する手順を示すフローチャートである。 Ｇ成分画像とＢ成分画像との配分比αの第１の例を説明する図（グラフ）である。 Ｇ成分画像とＢ成分画像との配分比αの第２の例を説明する図（グラフ）である。 第２の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。 図１２の色情報生成テーブル１２０２の構成例を説明する概略図である。 第３の実施の形態に係る撮像装置の基本構成の一例を説明する全体構成図である。 第３の実施の形態において、イメージセンサ１０１で撮影した画像から、カラー画像生成処理部１１０においてカラー化した画像を生成する手順を示すフローチャートである。 第４の実施の形態のイメージセンサ１０１における画素配列（ＣｙＣＣＣ配列）を説明する概略図である。 ＣｙＣＣＣ画素配列のイメージセンサの、Ｃｙ画素、Ｃ画素の感度特性を示すグラフである。

以下、添付図面を参照して本発明の実施の形態を説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

［第１の実施の形態］
図１の全体構成図を参照して、第１の実施の形態に係る撮像装置の基本構成の一例を説明する。この撮像装置１は、イメージセンサ１０１、補間処理部１０２、色情報生成処理部１０３、認識処理部１０４、カラー画像生成処理部１１０、及び画像記録部１１２を有する。

イメージセンサ１０１は、光画像を取得するためのＣＭＯＳセンサやＣＣＤセンサなどのイメージセンサである。これらのイメージセンサは、平面上にアレイ状に配置されたフォトダイオードを有し、これらのフォトダイオードにより提供される複数画素により、平面上の光量分布を検出するよう構成されている。図示しないレンズやミラーなどの集光部材により合焦した光をイメージセンサ１０１で検出することにより、撮像対象の画像を得ることができる。

この第１の実施の形態の撮像装置１は、イメージセンサ１０１として、図２に示すＲＣＣＣ画素配列のイメージセンサを利用する。ＲＣＣＣ画素配列は、可視域の光のうち赤色光を透過するカラーフィルタの光を受光し赤色光を検出可能とされたＲ（Ｒｅｄ）画素２０１と、透明なカラーフィルタの光を受光し可視光全体の光量を検出可能とされたＣ（Ｃｌｅａｒ）画素２０２の二種類の画素を有する。ひとつのＲ画素２０１と３つのＣ画素２０２からなる２×２画素のフィルタユニット２０３が複数行複数列に亘り繰り返し配置される。

図３のグラフに示すように、Ｒ画素２０１は赤色光の波長域の光を受光可能とされており、一方、Ｃ画素２０３は青色光、緑色光、赤色光を含む可視光の波長域の全域の光を受光可能とされている。イメージセンサ１０１が出力する画像は、Ｒ画素２０１が検出した赤色光の光量に基づく画素値と、Ｃ画素２０２が検出した可視光全体の光量に基づく画素値が混在するグレースケール画像である。

補間処理部１０２では、イメージセンサ１０１が出力したグレースケール画像に基づき、Ｃ画素２０２の位置の赤色光成分光量を、周囲のＲ画素２０１の検出光量から補間して求める。加えて、補間処理部１０２は、イメージセンサ１０１が出力したグレースケール画像に基づき、Ｒ画素２０１の位置の可視光全体の光量を周囲のＣ画素２０２の検出光量から補間して求める。

補間処理部１０２の処理は、例えば図４に示す演算により実現することができる。図４に示す演算処理では、補間対象とする画素を中心とした３×３画素を処理単位としている。図２に示すＲＣＣＣ画素配列を有するイメージセンサ１０１において補間処理を実行する場合、パターン１～パターン４の４通りの画素パターンに基づき補間処理を実行することができる。パターン１は、図２の右下の９つの画素が処理単位とされる場合であり、パターン２は、図２の左下の９つの画素が処理単位とされる場合であり、パターン３は、図２の右上の９つの画素が処理単位とされる場合であり、パターン４は、図２の左上の９つの画素が処理単位とされる場合を示している。

パターン１～パターン４はいずれも、３×３画素の中心にある画素を補間処理の対象としている。例えば、パターン２～４では、中心にある画素がＣ画素２０２であるので、中心のＣ画素２０２におけるＲ成分の補間演算が行われる。一方、パターン１では、中心にある画素がＲ画素２０１であるので、中心のＲ画素２０１におけるＣ成分の補間演算が行われる。補間処理の対象の画素（３×３の中心）の補間演算は、その補間対象の画素の周囲にある画素の画素値に基づいて実行される。

パターン１では、３×３画素の中心のＲ画素２０１（Ｒ２２）を補間処理の対象とし、そのＣ成分（Ｃ２２）が、上下左右４つのＣ画素２０２の画素値に基づいて演算される（Ｃ２２＝（Ｃ１２＋Ｃ３２＋Ｃ１２＋Ｃ３２）／４）。
パターン２では、Ｃ画素２０２（Ｃ２２）が３×３画素の中心にあるので、そのＲ成分（Ｒ２２）が、その左右２つのＲ画素２０１の画素値に基づいて演算される（Ｒ２２＝（Ｒ２１２＋Ｒ２３）／２）。
パターン３では、Ｃ画素２０２（Ｃ２２）が３×３画素の中心にあり、そのＲ成分（Ｒ２２）が、その上下２つのＲ画素２０１の画素値に基づいて演算される（Ｒ２２＝（Ｒ１２＋Ｒ３２）／２）。
パターン４では、Ｃ画素２０２（Ｃ２２）が３×３画素の中心にあり、そのＲ成分（Ｒ２２）が、その上下左右４つのＲ画素２０１の画素値に基づいて演算される（Ｒ２２＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）／４）。

この演算は、図２の画素配列の場合に適合するものであり、異なる画素配列に対しては、上記と同趣旨の異なる演算が採用可能であることは言うまでもない。また、上記の補間演算は、周囲の画素値の平均値として実行されたが、撮像装置の要求性能や環境の状態等に応じて、異なる演算手法（例えば、加重平均）が採用可能であることは言うまでもない。

この処理を繰り返し行うことにより、赤色光の光量の空間分布を表す画像（Ｒ画像）と、これと同じ画素数を有する可視光全体の光量の空間分布を表す画像（Ｃ画像）を生成することができる。また、図４に示した処理に続いて、画像の歪を補正するための補間処理をＲ画像とＣ画像にさらに施してもよい。

色情報生成処理部１０３は、補間処理部１０２で生成されたＣ画像とＲ画像とに基づいて、撮像画像の明度情報及び色相情報を認識処理部１０４へ出力する。認識処理部１０４は、この明度成分と色相成分とを参照して、交通信号機、道路標識、前方車両の灯火、路上の白色線、橙色線などを認識する。交通信号機等は色相が規定されている。例えば交通信号機の灯火は青緑色（シアン）、橙色、赤色の３色であり、道路標識は赤色、青色、白色、橙色が使われる割合が特に多い。また、車両の灯火については、テールランプとブレーキランプは赤色であり、ウィンカは橙色である。このため、認識処理部１０４は、これらの色を互いに弁別可能に構成される。

色情報生成処理部１０３は、撮像画像の明度情報を、例えば補間処理部１０２で生成されたＣ画像に基づいて演算することができる。

色情報生成処理部１０３は、内部にＲ／Ｃ値比較処理部１０５を有している。Ｒ／Ｃ値比較処理部１０５は、補間処理部１０２からＣ画像とＲ画像を受信し、当該Ｃ画像とＲ画像の同一位置に配置された画素に関し、Ｒ成分の検出光量とＣ成分の検出光量との比（Ｒ／Ｃ比）を演算する。そして、Ｒ／Ｃ値比較処理部１０５は、このＲ／Ｃ比を弁別対象の色の基準値をそれぞれ比較して色相を判別し、その判別結果を色相情報として出力する。

本実施の形態では、上記の交通信号機、道路標識、前方走行車、及び路面の線を認識することを想定し、赤色判定基準値記憶部１０６、橙色判定基準値記憶部１０７、無彩色判定基準値記憶部１０８、青・緑判定基準値記憶部１０９の４つが備えられている。これら記憶部に記憶されている４つの基準値が、前記のＲ／Ｃ比と比較される。なお、交通信号機の青緑色（シアン）と道路標識の青色の色相は異なるが、明るさや存在する位置で区別可能であり、これらの色相を一括して青・緑として扱う。

カラー画像生成処理部１１０は、補間処理部１０２で生成したＣ画像とＲ画像を用いて画像をカラー化し、三原色に対応したＲ（Ｒｅｄ）成分画像とＧ（Ｇｒｅｅｎ）成分画像とＢ（Ｂｌｕｅ）成分画像とを生成して出力する。画像記録部１１２は、カラー画像生成処理部１１０で生成したＲ（Ｒｅｄ）成分画像とＧ（Ｇｒｅｅｎ）成分画像とＢ（Ｂｌｕｅ）成分画像とを蓄積する部位であり、フラッシュメモリやハードディスク、ＤＲＡＭなどで構成される。この第１の実施の形態のカラー画像生成処理部１１０は、入力されたＲ画像をＲ成分画像として画像記録部１１２へ出力すると共に、内部にＣ－Ｒ画像生成処理部１１１を有する。Ｇ成分画像、Ｂ成分画像としては、Ｃ－Ｒ画像生成処理部１１１でＣ画像とＲ画像の各画素の差分値を求めて生成したＣ－Ｒ画像に基づく画像を出力する。

図５は、道路標識で用いられる色を撮影したＲＣＣＣ画像のＣ画素値とＲ画素値の実測特性例である。より具体的には、カラーチャート（X-Rite社 Colorchecker SG（登録商標））を、５通りの明るさの白色光下で、ＲＣＣＣ画素配列のイメージセンサを搭載したカメラで撮影した結果としての実測特性例である。Ｃ画像とＲ画像とは、前述の補間処理の結果として得られたものである。図５のグラフは、道路標識で用いるJIS Z9103で規定された安全色の基準色に近い部位を、上記カラーチャート中から抜き出して（例えば、赤［行３列Ｌ］・橙［行６列Ｌ］・黄［行４列Ｈ］・白（無彩色）［行６列Ｊ］・青［行３列Ｆ］）、Ｃ画素２０２の検出光量とＲ画素２０１の検出光量の関係をプロットしたものである。

図５において、符号５０１及び５０２は、赤色の部位の画素に基づくプロットと、最小二乗法で求めた赤色光に対するＣ対Ｒ特性をそれぞれ表す。また、符号５０３及び５０４は、橙色の部位に基づくプロットと最小二乗法で求めた橙色光に対するＣ対Ｒ特性をそれぞれ表す。符号５０５及び５０６は、黄色の部位に基づくプロットと最小二乗法で求めた黄色光に対するＣ対Ｒ特性をそれぞれ表す。符号５０７及び５０８は、白色（無彩色）の部位に基づくプロットと最小二乗法で求めた無彩色光に対するＣ対Ｒ特性をそれぞれ表す。５０９と５１０は青色の部位に基づくプロットを表す。これらのデータから、各色に対するＲ画素の検出光量とＣ画素の検出光量の比（Ｒ／Ｃ）は明るさによらず一定であると共に、車載カメラでの運転支援のために道路標識などの認識対象で参照する赤・橙・黄・白（無彩色）・青の各色については異なる比となることから、Ｒ／Ｃに基づきこれらの色相を区分可能であることが理解される。

図６は、交通信号機で用いられる色を撮影したＲＣＣＣ画像のＣ画素値とＲ画素値の実測特性例である。この図６も、上述のカラーチャートを５通りの明るさの白色光下でＲＣＣＣ画素配列のイメージセンサを搭載したカメラで撮影した結果としての実測特性例である。図６は、交通信号機で用いる色に近い部位（赤［行３列Ｌ］・橙［行６列Ｌ］・シアン［行８列Ｂ］）を抜き出して、Ｃ画素の検出光量とＲ画素の検出光量の関係をプロットしたものである。符号５０１及び５０２、符号５０３及び５０４は、図５と同様であるので重複する説明を省略する。図６において、符号６０１と６０２はシアン色の部位に基づくプロットと最小二乗法で求めた黄色光に対するＣ対Ｒ特性をそれぞれ表す。これらのデータから、信号の色も、図５と同様に色相の弁別が可能である。

図７はイメージセンサ１０１で撮影した画像から色相情報を得るまでの手順を説明するフローチャートであり、図１のイメージセンサ１０１、補間処理部１０２、及び色情報生成処理部１０３で実行される処理である。

まずステップ７０１でイメージセンサ１０１により画像が撮像・取得される。この取得された画像は、図２に示したＲＣＣＣ画素配列のイメージセンサ１０１のＲ画素２０１が検出した赤色光の光量に基づく画素値と、Ｃ画素２０２が検出した可視光全体の光量に基づく画素値とが混在したグレースケール画像である。

続くステップ７０２では、ステップ７０１で得たグレースケールの画像の各画素位置に対して前述の補間処理が実行され、Ｒ画像及びＣ画像が生成される。そして、ステップ７０３では、同一画素位置のＲ画像の画素値とＣ画像の画素値の比（Ｒ／Ｃ比）を求められ、ステップ７０４において、Ｒ／Ｃ比の値に基づき色相が判別される。

図８は、ステップ７０４において、画素値の比（Ｒ／Ｃ比）に基づき色相を判別する手順の詳細を示したフローチャートである。図８において、Ｔｒは、赤色と判別するためのＲ／Ｃ比の下限値、Ｔｏは橙色と判別するためのＲ／Ｃ比の下限値、Ｔｙは黄色と判別するためのＲ／Ｃ比の下限値、Ｔｇは無彩色（白色、灰色、黒色）と判別するためのＲ／Ｃ比の下限値をそれぞれ示す。

ステップ８０１では、Ｒ／Ｃ比の値と下限値Ｔｒとが比較される。Ｒ／Ｃ＞Ｔｒであれば（Ｙｅｓ）、当該画素の色相が赤色と判断される。Ｒ／Ｃ≦Ｔｒであれば（Ｎｏ）、ステップ８０２に進む。

ステップ８０２では、Ｒ／Ｃ比の値と下限値Ｔｏとが比較される。Ｒ／Ｃ＞Ｔｏであれば（Ｙｅｓ）、当該画素の色相が橙色と判断される。Ｒ／Ｃ≦Ｔｏであれば（Ｎｏ）、ステップ８０３に進む。

ステップ８０３では、Ｒ／Ｃ比の値と下限値Ｔｙとが比較される。Ｒ／Ｃ＞Ｔｙであれば（Ｙｅｓ）、当該画素の色相が黄色と判断される。Ｒ／Ｃ≦Ｔｙであれば（Ｎｏ）、ステップ８０４に進む。

ステップ８０４では、Ｒ／Ｃ比の値と下限値Ｔｇが比較される。Ｒ／Ｃ＞Ｔｇであれば（Ｙｅｓ）、当該画素の色相が無彩色（白色、灰色、黒色）と判断される。

ステップＳ８０１～８０４でいずれも「Ｎｏ」の判断がなされると、当該画素の色相は青又は緑色と判断される。以上により、ステップＳ７０４の判別手順が終了する。

図９は、イメージセンサ１０１で撮影したグレースケールの画像から、カラー画像生成処理部１１０においてカラー化した画像を生成する手順を示すフローチャートである。

図７と同様にして、ステップ７０１と７０２において、イメージセンサ１０１によりグレースケールの画像を撮像・取得した後、グレースケールの画像の各画素位置に対して前述の補間処理が実行され、Ｒ画像及びＣ画像が生成される。

続くステップ９０１では、生成されたＣ画像の画素値とＲ画像の画素値の差画像（Ｃ－Ｒ画像）がＣ－Ｒ画像生成処理部１１１において生成される。また、ステップ９０２では、Ｃ－Ｒ画像の画素値に配分比α（０≦α≦１）を乗算して得られる画像（α（Ｃ－Ｒ））がＣ－Ｒ画像生成処理部１１１において生成され、Ｇ成分画像とされる。

更に、ステップ９０３では、Ｃ－Ｒ画像の画素値を（１－α）倍した画像（（１－α）（Ｃ－Ｒ））がＣ－Ｒ画像生成処理部１１１において生成され、Ｂ成分画像とされる。配分比αは、差画像（Ｃ－Ｒ）に含まれるＧ成分画像の割合を示す値である。以下において、αを「第１の配分比」、（１－α）を「第２の配分比」と称することがある。

ステップ９０２でＧ成分画像に与える画素値α（Ｃ－Ｒ）と、ステップ９０３でＢ成分画像に与える画素値（１－α）（Ｃ－Ｒ）の和はＣ－Ｒである。換言すれば、第１の配分比αと、第２の配分比（１－α）の和は１である。図３に示したＲ画素２０１とＣ画素２０２の波長－感度特性の関係において、Ｃ画素２０２が感度を有する波長域が、Ｒ画素２０１と比較してＧ成分とＢ成分の分だけ広く、Ｃ画素２０２とＲ画素２０１の検出光量がＧ成分とＢ成分の和だけ大きいと見積もられるため、上記のような関係が成立する。なお、得られたＲ成分画像、Ｇ成分画像、Ｂ成分画像に、さらに図示しない各成分の明るさを増減する処理を加算することも可能である。

図１０は、Ｇ成分画像とＢ成分画像との配分比αの第１の例を説明する図（グラフ）である。図１０のグラフにおいて、縦軸はＲ／Ｃ比の値（０以上１以下）を示し、横軸はＧ成分画像とＢ成分画像の和（Ｇ＋Ｂ）に対するＧ成分画像の比、すなわち第１の配分比α（０以上１以下）を示している。このグラフは、縦軸と横軸で示される空間内における各色相の概略分布を点線で示している。

図１０に示すように、Ｒ／Ｃ比の値の大小のみをファクターとした場合、当該画素が赤色であるか、シアン又は灰色であるかを判別することはできる。しかし、Ｒ／Ｃ比のみでは、図１０のグラフ中で横方向に並ぶ色相は判別することはできない。例えば、青、シアン、緑を互いに判別することはできない。また、桃色と黄色（又は橙色）も、Ｒ／Ｃ比の大小のみでは判別することはできない。

図１０では、αの値を０．５に固定した場合の色相の判別を説明している。すなわち、図１０において、軌跡１００１はＲ／Ｃ比の変化を示しており、Ｒ／Ｃ比によらずα＝０．５に固定している。Ｒ／Ｃ比が０から１に向けて上昇するにつれて、当該画素の色相は、順にシアン、無彩色、桃色と橙色の中間色、赤色のように変化する。第１の実施の形態の撮像装置を車載カメラに適用した場合、特に晴天の空の色や青信号（シアン）、路面や白線の色（無彩色）、赤信号や車両のテールランプ（赤色）が特に良く再現される。従って、ＲＣＣＣ画素配列のイメージセンサ１０１に基づき、視感上の違和感の小さいカラー化した画像を得ることが可能である。

図１１は、Ｇ成分画像とＢ成分画像との配分比αの第２の例を説明する図（グラフ）である。図１０との相違は、少なくともＲ／Ｃ比が所定の範囲にある場合、Ｒ／Ｃ比の変化に従って、配分比αが変化するよう、配分比αを変動させる点である。撮像装置１が車載カメラとして使用された場合、その撮像画像において桃色よりも橙色が現れる頻度が高いことに鑑みたものである。

図１１の軌跡１１０１は、Ｒ／Ｃ比の変化を示している。この図１１では、Ｒ／Ｃ比が、例えば第１の値より小さい値のとき（例えばＲ／Ｃ＜０．２５）は、配分比αを一定値（例えばα＝０．５）に固定する。一方Ｒ／Ｃ比が第１の値以上第２の値以下である場合には、Ｒ／Ｃ比が大きくなるほど配分比αも大きくされる。そして、Ｒ／Ｃ比が第２の値より大きい場合（例えばＲ／Ｃ＞０．７５）には、配分比αを一定値（例えばα＝１）に固定する。この軌跡１１０１を示す関数は、カラー画像生成処理部１１０内の、図示しない記憶部に記憶させておくことができる。なお、この図１１の軌跡１１０１はあくまでも一例であって、軌跡１１０１の形状は、適宜変更可能であることは言うまでもない。

この軌跡１１０１のように配分比αをＲ／Ｃ比の増加に応じて変化させた場合、Ｒ／Ｃ比が小さい段階（α＝０．５）では、当該画素の色相は、シアン又は灰色と判定することができる。一方、Ｒ／Ｃ比が第１の値以上第２の値以下となった場合には、Ｒ／Ｃ比が増加するにつれて配分比αが増加する。これにより、上記Ｒ／Ｃ比の画素に対し割り当てられる色相はシアン～無彩～橙色～赤色と変化する。撮像装置１を車載カメラとして使用した場合、特に晴天の空の色や青信号（シアン）、路面や白線の色（無彩色）、赤信号やテールランプの（赤色）が特に良く再現される。加えて、図１０の例と比較して路面の橙色線、黄信号、ウィンカなどの色の再現度を改善することができる。

なお、図１１の軌跡１１０１は、Ｒ／Ｃ比が０から１に変化する全体に亘って連続した曲線となるよう設定されるのが好適である。軌跡１１０１が不連続な曲線となると、不連続天付近において色相の変化が大きくなり、雑音が大きくなる問題が発生するためである。

以上説明したように、第１の実施の形態に係る撮像装置１及び画像処理方法によれば、ＲＣＣＣ画素配列のような２種類の画素を有するイメージセンサを適用した場合であっても、所定の色相の弁別を正確に行うことが可能になる。ＲＣＣＣ画素配列の場合、ＲＧＧＢ画素配列に比べ、広画角化と空間解像度向上を両立することが可能になるが、色彩に関し得られる情報は通常、限定される。しかし、この第１の実施の形態では、ＲＧＧＢ配列のイメージセンサを適用した撮像装置と同様に、対象物の色彩を反映した画像を生成できる効果が得られる。

なお、第１の実施の形態ではＲＣＣＣ画素配列の例を示したが、赤色のカラーフィルタを有する画素と透明のカラーフィルタを有する画素の二種類からなる画素配列であれば、画素数の割合は１：３でなくともよい。また、車載カメラ用途として赤色の対象（交通信号機、テールランプ、標識）に対する認識精度に比重をおくため、赤色のカラーフィルタを有する画素と透明のカラーフィルタを有する画素の二種類とする実施の形態を示したが、用途に応じて赤色ではないカラーフィルタを有する画素と透明のカラーフィルタを有する画素との組にしてもよい。

［第２の実施の形態］
次に、図１２及び図１３を参照して、第２の実施の形態に係る撮像装置及び画像処理方法を説明する。図１２は、第２の実施の形態の撮像装置の全体構成を示すブロック図である。図１２において、第１の実施の形態の装置と共通する構成部材については図１と同一の参照符号を付しているので、以下では重複する説明は省略する。

第２の実施の形態は、色情報生成処理部１０３の構成において第１の実施の形態と異なっている。この第２の実施の形態の色情報生成処理部１０３は、アドレス生成部１２０１と、色情報生成テーブル１２０２とを備えている。

アドレス生成部１２０１はＣ画像、Ｒ画像を入力されて、対応するアドレス信号を出力するよう構成されている。具体的にアドレス生成部１２０１は、入力されたＣ画像及びＲ画像の同一画素位置の画素の値の組に対応するアドレス信号を生成し、色情報生成テーブル１２０２に出力する。

色情報生成テーブル１２０２は、アドレス信号と、そのアドレス信号に対応する明度情報と色相情報とをテーブルとして記憶する。そして、色情報生成テーブル１２０２は、アドレス生成部１２０１から入力されたアドレス情報に基づき、対応する明度情報と色相情報を特定して出力する。

色情報生成テーブル１２０２は、例えば図１３に示すデータ構造を適用する。図１３の例において、アドレス生成部１２０１から供給されるアドレス信号は、アドレスを｛Ｒ、Ｃ｝のようにＲ画素値とＣ画素値の値を上位側ビットと下位側ビットに連接することで生成したものを適用するように割当てると共に、対応するデータとして、そのアドレスに相当するＲ画素値、Ｃ画素値によるＲ／Ｃ比に対応した色相情報を格納する。このような構成によれば、複雑な演算を要することなく、簡便に色相情報を生成可能である。

また、この第２の実施の形態では、Ｒ／Ｃ比による色相区分だけでなく、Ｃ画素値のレベルによる明度区分も加えた色彩情報を生成することも容易に行うことができる。さらに、Ｃ画素値のレベルに合わせて、Ｒ／Ｃ比の値の区分の閾値や、区分の数を変えるなど、複雑な色彩情報の判定を行うことが可能になる効果も得られる。

［第３の実施の形態］
次に、図１４及び図１５を参照して、第３の実施の形態に係る撮像装置及び画像処理方法を説明する。図１４は、第３の実施の形態の撮像装置の全体構成を示すブロック図である。図１３おいて、第１の実施の形態の装置と共通する構成部材については図１と同一の参照符号を付しているので、以下では重複する説明は省略する。

この第３の実施の形態の撮像装置は、カラー画像生成処理部１１０の構成が第１の実施の形態とは異なっている。この第３の実施の形態のカラー画像生成処理部１１０は、画素の検出光量が上限値を超過した場合においても視覚上違和感の少ないカラー画像を得ることができるよう構成されている。前述の実施の形態の撮像装置での画像生成処理では、画素の検出光量が上限を超えず飽和していないケースにおいては適切なカラー画像が得られるが、飽和した箇所においては現実よりも赤みがかった色相となる。これは、飽和した箇所においてはＣ画素値とＲ画素値の差が現実よりも小さくなり、Ｇ成分とＢ成分に与える値が相対的に小さくなるためである。第３の実施の形態では、この現象を効果的に抑制することができる。

図１４に示すように、第３の実施の形態のカラー画像生成処理部１１０は、第１の実施の形態と同様のＣ－Ｒ画像生成処理部１１１に加え、明度飽和画素判定処理部１４０１、飽和画素置換処理部１４０２、Ｒ成分明度補正部１４０３、Ｇ成分明度補正部１４０４、及びＢ成分明度補正部１４０５を備える。Ｒ成分明度補正部１４０３、Ｇ成分明度補正部１４０４、及びＢ成分明度補正部１４０５は、全体として明度補正部を構成する。

Ｃ－Ｒ画像生成処理部１１１の機能は第１の実施の形態（図１）と同様である。明度飽和画素判定処理部１４０１は、Ｃ画像中の画素の検出光量が上限値を超過した場合、当該画素は明度が飽和画素であると判定する。なお、検出光量が上限値は超過していないが、上限値の近傍の明度を有する画素を、飽和画素であると判定するような構成とすることも可能である。

飽和画素置換処理部１４０２は、明度飽和画素判定処理部１４０１での判定結果に基づき、明度が飽和したと判定された画素に対して、Ｒ成分、Ｇ成分、又はＢ成分の明度を、対応する上限値に切替えて出力する。つまり、飽和画素置換処理部１４０２は、飽和した画素が白色として扱われるように、各成分値を上限値に差し替える機能を有する。

飽和画素置換処理部１４０２には、Ｒ画像の画素の明度が、Ｒ成分明度補正部１４０３により補正された後に入力される。同様に、飽和画素置換処理部１４０２には、Ｇ画像及びＢ画像の画素の明度が、Ｇ成分明度補正部１４０４及びＢ成分明度補正部１４０５によりそれぞれ補正された後に入力される。

Ｒ成分とＧ成分とＢ成分の各々に、８Ｂｙｔｅ（２５５ｂｉｔ）が割り当てられている場合、明るさを表すＲＧＢの合計値は、白色に対して２５５×３＝７６５ｂｉｔとなる。
一方、Ｃ－Ｒ画像生成処理部１１１に入力されるＣ画像にも同様に２５５ｂｉｔが割り当てられていて、ビット数として３倍の違いがある。

このため、Ｃ－Ｒ画像生成処理部１１１の出力をそのまま飽和画素置換処理部１４０２に入力すると、飽和していない画素の上限の明るさと、飽和して上限値に調整された画素の明るさで３倍程度の明るさの段差が生じ、視感上違和感が大きい画像となる。そこで、この第３の実施の形態のカラー画像生成処理部１１０は、Ｒ成分明度補正部１４０３、Ｇ成分明度補正部１４０４、及びＢ成分明度補正部１４０５を備え、各成分の明度を明度が大となる方向へ補正した上で、飽和画素置換処理部１４０２へ供給する。一例として、Ｒ成分明度補正部１４０３、Ｇ成分明度補正部１４０４、及びＢ成分明度補正部１４０５での補正量βは、１以上の値であり、好適にはβ≒３とすることができる。β倍に調整されたＲ成分画像、Ｇ成分画像、及びＢ成分画像の明度が各上限値を超えた場合は、当該上限値となるように飽和画素置換処理部１４０２において調整すればよい。

図１５はイメージセンサ１０１で撮影した画像から、カラー画像生成処理部１１０においてカラー化した画像を生成する手順を示すフローチャートである。ステップ７０１、７０２、７０３、９０１、９０２、９０３は、図９と同様であるので、重複する説明は省略する。

ステップ９０３の後のステップ１５０１では、明度飽和画素判定処理部１４０１において、Ｃ画像中の飽和画素（上限値以上、又はその近傍の明度を有する画素）の存在と、その位置が判別される。

続くステップ１５０２は、Ｒ成分明度補正部１４０３、Ｇ成分明度補正部１４０４、及びＢ成分明度補正部１４０５において、Ｒ成分画像、Ｇ成分画像、Ｂ成分画像の画素値（明度）をβ倍（β≧１）する。これにより、飽和画素が白色に置き換えられた場合の明るさの段差が軽減される。

そして、ステップ１５０３では、飽和画素の位置のＲ成分画像、Ｇ成分画像、Ｂ成分画像の画素値が、各上限値に置換される。このステップ１５０３により、画素値が飽和して擬似的に赤色成分が強く表示されてしまう箇所が、白色で置き換えられる。以上に示した装置構成ならびに処理方法によれば、第1の実施の形態で示した効果に加えて、さらに画素の検出光量が上限値を超過した場合においても視覚上違和感の少ないカラー画像を得る効果が得られる。

［第４の実施の形態］
次に、図１６及び図１７を参照して、第４の実施の形態に係る撮像装置及び画像処理方法を説明する。図１６に示すように、この第４の実施の形態では、イメージセンサ１０１が、ＲＣＣＣ画素配列とは異なる画素配列を有している。このイメージセンサ１０１では、１つのフィルタユニット２０３は、赤色の補色であるシアン色を検出するＣｙ画素１６０１と、Ｃ画素２０２の二種類の画素を有し、ひとつのＣｙ画素１６０１と３つのＣ画素２０２からなる２×２画素のフィルタユニット２０３を複数行複数列に亘り繰り返す画素配置（ＣｙＣＣＣ画素配置）である。

図１７に示すように、Ｃｙ画素１６０１は、青色光と緑色光に対して感度を有する。Ｃ画像とＣｙ画像の差画像（Ｃ－Ｃｙ）はＲ画像となる。このようにして得られたＣ画像、及びＲ画像に対し、第1の実施の形態と同様の処理を実行することで、第1の実施の形態と同様の効果を得ることができる。Ｃｙ画素１６０１は青色光と緑色光に感度を有しているため、イメージセンサ１０１の緑色光及び青色光に対する感度がＲＣＣＣ画素配列に比べ向上する。白色光がイメージセンサ１０１に入射した場合、Ｒ画素２０１と比較して大きい光量が検出されるので、さまざまな色相の被写体を含む画像全体の傾向として、Ｃｙ画素１６０１はＲ画素２０１よりも高いＳ／Ｎ比を与えることができ、結果として色相の判別の精度が第１の実施の形態に比べ改善することが期待できる。

尚、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０１…イメージセンサ、１０２…補間処理部、１０３…色情報生成処理部、１０４…認識処理部、１１０…カラー画像生成処理部、１１１…Ｃ－Ｒ画像生成処理部、１１２…画像記録部、２０１…Ｒ画素、２０２…Ｃ画素、２０３…フィルタユニット、１２０１…アドレス生成部、１２０２…色情報生成テーブル、１４０１…明度飽和画素判定処理部、１４０２…飽和画素置換処理部、１４０３…Ｒ成分明度補正部、１４０４…Ｇ成分明度補正部、１４０５…Ｂ成分明度補正部、１６０１…Ｃｙ画素。

Claims (10)

1. 可視域の第１の波長範囲の光を検出する第１の画素と、前記第１の波長範囲の光に加えて前記第１の波長範囲とは異なる可視光の波長の光を検出する第２の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサと、
   前記第１の画素の検出光量に基づき、前記第２の画素の位置を補間して得た第１の補間画像と、前記第２の画素の検出光量に基づき、前記第１の画素の位置を補間して得た第２の補間画像とを生成可能に構成された補間処理部と、
   前記第１の補間画像と前記第２の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定する色情報生成処理部と
   を備え、
   前記第１の補間画像及び前記第２の補間画像に基づきカラー画像を生成するカラー画像生成処理部を更に備え、
   前記カラー画像生成処理部は、
   前記第１の補間画像に基づき、前記第１の波長範囲の第１の波長成分を有する第１成分画像を生成し、
   前記第１の補間画像と前記第２の補間画像の差である差画像を生成し、
   前記差画像に第１の配分比を乗算し、前記第１の波長範囲とは異なる第２の波長範囲の成分を有する第２成分画像を生成し、
   前記差画像に第２の配分比を乗算し、前記第１の波長範囲及び前記第２の波長範囲とは異なる第３の波長範囲の成分を有する第３成分画像を生成するよう構成されたことを特徴とする、撮像装置。
2. 前記色情報生成処理部は、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比に基づいて、該位置における色相を判定する、請求項１に記載の撮像装置。
3. 前記第１の配分比又は前記第２の配分比は、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比の変化に拘わらず、一定値とされる、請求項１に記載の撮像装置。
4. 前記第１の配分比又は前記第２の配分比は、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比の変化に従って変化する、請求項１に記載の撮像装置。
5. 前記第１の画素は赤色光を検出可能な画素であり、前記第２の画素は赤色光、緑色光、及び青色光を検出可能な画素である、請求項１又は２に記載の撮像装置。
6. 前記第１の画素は青色光及び緑色光を検出可能な画素であり、
   前記第２の画素は赤色光、緑色光、及び青色光を検出可能な画素である、請求項１又は２に記載の撮像装置。
7. 可視域の第１の波長範囲の光を検出する第１の画素と、前記第１の波長範囲の光に加えて前記第１の波長範囲とは異なる可視光の波長の光を検出する第２の画素とを含むフィルタユニットを繰り返し配列して構成されるイメージセンサから画像を取得するステップと、
   前記第１の画素の検出光量に基づき、前記第２の画素の位置を補間して第１の補間画像を取得するステップと、
   前記第２の画素の検出光量に基づき、前記第１の画素の位置を補間して第２の補間画像を取得するステップと、
   前記第１の補間画像と前記第２の補間画像との同一位置の画素の組の検出光量に基づいて、該位置における色相を判定するステップと
   を含み、
   前記第１の補間画像及び前記第２の補間画像に基づきカラー画像を生成するステップを更に備え、
   前記カラー画像を生成するステップは、
   前記第１の補間画像に基づき、前記第１の波長範囲の第１の波長成分を有する第１成分画像を生成し、
   前記第１の補間画像と前記第２の補間画像の差である差画像を生成し、
   前記差画像に第１の配分比を乗算し、前記第１の波長範囲とは異なる第２の波長範囲の成分を有する第２成分画像を生成し、
   前記差画像に第２の配分比を乗算し、前記第１の波長範囲及び前記第２の波長範囲とは異なる第３の波長範囲の成分を有する第３成分画像を生成する、画像処理方法。
8. 前記色相を判定するステップは、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比に基づいて該位置における色相を判定する、請求項７に記載の画像処理方法。
9. 前記第１の配分比又は前記第２の配分比は、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比の変化に拘わらず、一定値とされる、請求項７に記載の画像処理方法。
10. 前記第１の配分比又は前記第２の配分比は、前記第１の補間画像及び前記第２の補間画像の同一位置の画素の組の検出光量の比の変化に従って変化する、請求項７に記載の画像処理方法。

Images