JP5996970B2

JP5996970B2 - 車載撮像装置

Info

Publication number: JP5996970B2
Application number: JP2012190872A
Authority: JP
Inventors: 勉薄井; 輝樹高橋; 吉田　大輔; 大輔吉田
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2016-09-21
Anticipated expiration: 2032-08-31
Also published as: JP2014049918A; US9872004B2; WO2014034313A1; EP2892232A1; US20150326840A1; EP2892232B1; EP2892232A4

Description

本発明は、車載撮像装置に関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には「車両周辺画像処理装置は、車載撮影ユニットから出力されたホワイトバランス調整信号から光源としての光源種を推定する光源推定部５１と、撮影画像における特定色が光源種によって受ける影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部５２と、入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルをカラープロファイル格納部５２から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部５４とを備えている。」と記載されている。

特開2011-254311号公報

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける一要素として車載監視用の撮像装置の研究開発が盛んに行われている。車載撮像装置の主な機能として、例えば、被写体として道路標示物である車線を認識する機能がある。車線の色の種別を正しく識別するためには、車線の色（例えば白色）を正しく再現することが必要である。車線以外で認識対象となる特定の被写体(例えば標識)の種別を正しく識別する場合にも、被写体の色を正しく再現することが必要である。そこで被写体の色を正しく再現するために、ホワイトバランス処理が施されるが、例えばナトリウム光源などのように、光源そのものが特定の色の波長しか放射しない為に、ホワイトバランス処理による被写体の色再現が正しく再現出来ない場合がある。それらの場合については、光源の種別を正確に認識できていることが望ましい。

前記特許文献１では、「ホワイトバランス調整信号から光源種としてナトリウムランプ光源を推定」するということが記載されている。具体的には、入力データとして代表的なものは、対象となっている撮影画像の光源種を演算（推定）することが記載されているが、例えば、光源がナトリウムランプの場合、夕日でオレンジ掛かっている太陽光と輝度及び、Ｒ（赤）、Ｇ（緑）、Ｂ（青）平均が類似する事があり、ナトリウムランプ光源と夕日のようなオレンジ光源が識別できないので、改善の余地がある。

本発明は、簡単な構成で、正確に光源を推定し、ホワイトバランス処理を実施できる車載撮像装置を提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
（１）車両に搭載する車載撮像装置であって、被写体を撮影する少なくとも、赤色域（以下Ｒと記載）、緑色域（以下Ｇと記載）、青色域（以下Ｂと記載）、全可視光域と赤外域（以下Ｃｉｒと記載）に感度を持つ撮像部と、前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、前記信号処理部により処理された前記映像信号の１つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部とを具備し、前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行うこと、を特徴とする車載撮像装置である。

本発明によれば、簡単な構成で特定の撮影環境下にあっても、より正確に撮影環境を推定し、それに適したホワイトバランス処理を実施できる車載撮像装置の提供が可能になる。

本発明に係る車載撮像装置の一実施形態を示すブロック図である。Ｒ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号分布平面と分布判定領域を示す図である。Ｒ−Ｙ信号、Ｂ−Ｙ信号分布平面を示す図である。車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの一例を示す図である。本発明に係る車載撮像システムの第一の実施形態のブロック図である。本発明に係る車載撮像システムの第一の実施形態の表示部の表示例を示す図である。車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの他の例を示す図である。本発明に係る車載撮像システムの第二の実施形態のブロック図である。本発明に係る車載撮像装置の他の実施形態を示すブロック図である。

以下、本発明の実施の形態に係る撮像装置について図面を用いて説明する。

図１は第１の実施例の車載撮像装置のブロックを説明する図である。
本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び全可視光域と赤外域の４種類のフィルタを用いた撮像部１０１と、赤色域信号、緑色域信号、青色域信号、及び全可視光域と赤外域信号から赤外域、を含む信号から赤色域信号、緑色域信号、青色域信号（以下それぞれをＲ信号、Ｇ信号、Ｂ信号という）の各色信号を生成する信号処理部１０２と、Ｒ信号、Ｂ信号、および、全可視光域と赤外域信号（以下Ｃ−ｉｒ信号という）、から、後述のシステム制御部１０５からの信号分布判定領域情報に基づき、画素信号分布情報を求める画素信号分布処理部１０３と、後述のシステム制御部１０５からの制御情報に基づきＲ信号，Ｇ信号，Ｂ信号が所望の値となるように所定のゲインをかけることで信号処理を行うホワイトバランス処理部１０４と、画素信号分布処理部１０３からの画素信号分布情報に基づきホワイトバランス処理部１０４の制御と、画素信号分布処理部１０３が画素信号分布を判断する為の信号分布判定領域情報の制御を行うシステム制御部１０５と、信号処理部１０２からの信号を所定の映像信号に信号変換する出力部１０６とを適宜用いて構成される。後述の通り、本構成によれば、撮像部１０１で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることで、システム制御部１０５は、簡単な構成でより正確に画素信号分布処理部で抽出されるシーン、すなわち光源ごとに異なる画素信号分布情報を抽出し、ホワイトバランス処理部のゲインを所定の値に設定することが可能となり、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。

ここで、Ｒ信号、Ｂ信号、および、Ｃ−ｉｒ信号を用いた光源の識別並びに適切なホワイトバランス処理の詳細について、図２乃至図４を用いて説明する。図２は車載撮像装置の画素信号分布処理部の処理として、Ｒ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号分布平面による画素信号分布処理を説明する図である。
このＲ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号分布平面は、Ｙ軸をＲ−Ｃｉｒ信号軸とし、Ｘ軸をＢ−Ｃｉｒ信号軸とする。この平面上に対して撮影した信号を画素ごとにプロットすることで、撮影するシーンの光源毎の信号分布が表され、信号分布判定領域と比較することで光源の識別が可能となる。識別処理の詳細は図４を用いて後述する。なおプロットする画素は全画素であっても、撮影映像の一部の画素であってもよい。

一例として、本平面に置けるナトリウムランプ光源と、太陽の夕日の信号分布判定領域の例を示す。例えば、ナトリウムランプ光源の画素信号分布がおおよそ分布する領域に対して、枠１の示す信号分布判定領域を設定し、またナトリウムランプの色相に近似している夕日の画素信号分布がおおよそ分布する領域に対して、枠２で示す信号分布判定領域を設定している。

以上のように、本実施例ではナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源であっても識別可能で、ナトリウム光源と判定した際にホワイトバランス処理を所定の値で処理することで、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事可能となる。

なお、特許文献１で示した処理では、図３に上記ナトリウムランプ光源と太陽の夕日光源を、従来例の色相と彩度で信号分布を表す色差平面に示すと、これらの２つの光源の画素信号分布がおおよそ分布する領域は、枠１に示すように類似した信号分布判定領域となってしまうことからナトリウム光源と、他の光源、特に太陽光の夕日といった色相と輝度が類似した光源の識別が困難である為、本実施例で示したようにナトリウムランプ光源下のシーンを判定による、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが困難となってしまう。

また、ナトリムランプ光源下で、ホワイトバランス処理として例えば、Ｒ信号、Ｇ信号、Ｂ信号の各信号量が同等となるよう信号処理を行う場合には、Ｒ信号、Ｇ信号、Ｂ信号の信号量が偏っている為に、人の見た目と同様な色再現となるようにホワイトバランス処理を実施する事が出来ない。

以上から特許文献１のように赤外域情報を用いない従来の色差平面上では、ナトリウム光源と夕日のような類似した平面上の領域に分布して判別できない光源であっても、本実施例の図２の信号平面では、Ｒ信号と，Ｂ信号と、赤外域情報を含むＣ−ｉｒ信号を用いて分布を表している為、赤外域波長を含まないナトリウム光源と、赤外波長を含む夕日といった光源の違いを２次元平面上における分布領域の違いで容易に判別しできるという利点がある。また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。

図４は車載撮像装置による光源の識別並びに適切なホワイトバランス処理の処理フローの一例を説明する図である。
まず、ステップ４０１は、Ｒ信号及び、Ｂ信号、と赤外を含む全可視光領域のＣｉｒ信号を用いて、Ｒ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号を生成する。ステップ４０２ではＲ信号、Ｂ信号、Ｃｉｒ信号を用いて、所定の信号領域に含まれる画素信号を検出してカウントし、画素信号分布情報を抽出する。このようにして画素信号分布処理部１０３で抽出された領域毎の画素信号分布情報はシステム制御部１０５に出力される。ここで、画素信号分布情報は、信号分布判定領域毎に含まれる画素の数をいう。

次に、ステップ４０３では、システム制御部１０５により所定の信号領域に含まれる画素が所定の値以上あるか判定をする。例えば、図２の場合、枠１の領域に含まれる画素数と枠２の領域に含まれる画素数それぞれについて所定の閾値以上か否かを判定し、枠１の領域に含まれる画素数だけが閾値以上である場合には、光源はナトリウムランプと識別され、ステップ４０４にてホワイトバランス処理は所定のゲイン設定値で制御する。また、その他の場合には、光源は夕日時の太陽又はその他ナトリウムランプ以外のものと判定され、ステップ４０５にてホワイトバランス処理は例えば、Ｒ信号、Ｇ信号、Ｂ信号の信号レベルが同等となるように制御する。

以上のフローにより、所定の光源であるかの判定を信号の分布領域判定情報に基づく領域内の画素数を用いて実施することで、簡単な処理によって、ホワイトバランス処理部のゲインを所定の値に設定することと、ホワイトバランス処理は例えば、Ｒ信号、Ｇ信号、Ｂ信号の信号レベルが同等となるように制御する事の切り替えが可能となる事で、シーンに応じた光源を正確に推定したホワイトバランス処理を実施することができる。なお、ここでは、システム制御部１０５で閾値以上か否かを判定する例を示したが、画素信号分布処理部１０３にて領域毎の判定まで行い、判定結果をシステム制御部１０５に出力するようにしても構わない。

なお撮像装置の電源がＯＮの場合や、ホワイトバランス制御が動作している場合等には、フロー４０４あるいはフロー４０５の終了後、継続してフロー４０１から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。

また、本実施例ではナトリウム光源を例として述べているが、任意の判定領域に画素が分布する光源は、ナトリウムランプ光源に限らず、例えば、信号分布判定領域を水銀灯光源に対応する判定領域とすることで水銀灯光源のシーンを判定する事ができる。水銀灯光源下と判定した際、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、水銀灯光源下での人の目で見た見た目と同等の色相にあわせるといった制御を実施することが可能となる。

また、ナトリウム光源下、あるいは水銀灯光源下でなくとも、特定光源にあわせて判定領域及び、ホワイトバランス処理の信号処理に対して所定の値に設定する事で、ナトリウム光源時の処理と同等、赤外波長を含む夕日といった光源の違いを２次元平面上における分布領域の違いで容易に判別しできるという利点がある。

また光源判別の結果、人の目で見た見た目と同等の色相にあわせるといった制御を実施可能であるという利点がある。

また、本実施例では、Ｒ−Ｃｉｒ信号と、Ｂ−Ｃｉｒ信号により画素信号分布処理を実施しているが、Ｒあるいは、Ｂは、Ｇであってもよい。

また、図１の変形例として、図９に示すように、撮像部からの出力をＲｉｒ，Ｇｉｒ，Ｂｉｒ，Ｃｉｒとし、信号処理部から画素信号分布処理部への信号をR-Cir、B-Cir信号としてもよい。また、出力ＩＦ部でＲ，Ｇ，Ｂ信号からＹ信号及び，Ｕ、Ｖ信号に変換して出力しているが、図９で示すようにＲ、Ｇ、Ｂ信号で出力してもよい。

図５は第１の実施例の車載撮像装置による画像を画像認識装置で認識処理する車載撮像システムの一例を説明する図であり、この車載撮像システムは、車載撮像装置５０１と、画像認識部５０２と、表示部５０３とを適宜用いて構成される。

本実施例ではホワイトバランスが正しく処理できない光源に対し、人の目で見た見た目と同等の色相にあわせたとしても、被写体の正しい色相とは異なるため、例えば画像認識処理を行う場合には正しく認識が出来ない可能性が高いため、画素信号分布処理部で求めた光源による分布情報によりナトリウムランプ光源など特定の光源と判定した際、車載撮像装置から画像認識部５０２などに認識精度が低下する可能性のある色再現が正しくない画像であることを制御情報として通知する。このような制御情報を通知することで、画像認識部５０２が処理した認識結果について、認識結果の正確性を判断する情報として使用することが可能となり、たとえば、路面の白線や黄線の認識結果の正確性が低い場合、図６に示すように、太陽光源下の白線の色再現が正しく白線認識の正確性が高い画像例を示す表示部６０１の車線認識結果６０２と、ナトリウムランプ光源下のトンネル内の白線の色再現が悪く、白線認識の正確性が低い画像例を示す表示部６０３の車線認識結果６０４で示すように、車線認識結果を示す表示方式の一例として色や、線の形状を変えるなどして、認識の正確性を表示する事が可能となり、光源の違いを２次元平面上における分布領域の違いで容易に判別できるというのが利点とともに、画像認識処理結果の信頼性を高くする事ができるという利点がある。

次に、第１の実施例の車載撮像装置と同様の構成で、光源の識別並びに適切なホワイトバランス処理の処理フローが異なるものの一例について図７を用いて説明する。ステップ７０１から７０３と、７０５はステップ４０１から４０３、４０５と同様であり、ステップ７０１では、Ｒ信号及び、Ｂ信号、と赤外を含む全可視光領域のＣｉｒ信号を用い、Ｒ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号を生成し、ステップ７０２では、Ｒ−Ｃｉｒ信号、Ｂ−Ｃｉｒ信号のうち、所定の信号領域に含まれる画素信号を抽出し、ステップ７０３では、所定の信号領域に含まれる画素が一定以上あるか判定をする。

ステップ７０４では、所定の信号領域に含まれる画素が一定以上ある場合、ホワイトバランス処理を本判定以前のゲイン設定値で制御する。ステップ７０５では所定の信号領域に含まれる画素が一定以上ない場合、ホワイトバランス処理は例えば、Ｒ信号、Ｇ信号、Ｂ信号の信号レベルが同等となるように制御する。

以上のフローのように処理することで、ナトリウム光源などを２次元平面上における分布領域の違いで容易に判別できるという利点があるとともに、ナトリウム光源判別の結果、ナトリウム光源判別するより以前のホワイトバランスのゲイン値設定を維持できることから、ナトリウム光源と判定される前後のシーンにおいてホワイトバランスのゲイン値設定がばらつかずに連続性を保つといった利点がある。

なお撮像装置の電源がＯＮの場合や、ホワイトバランス制御が動作している場合等には、ステップ７０４あるいはステップ７０５の終了後、継続してステップ７０１から実施される。また、本フローは毎フレームの実施であっても、フレームを間引いて実施してもよい。

図８は車載撮像装置を車載レコーダとモニタへ映す用途へ適用した車載撮像システムの一例を示す図である。同図において、８０２は車の走行中の車載撮像装置の画像を録画する記録部、８０３は車載撮像装置８０１の撮像した画像を映す表示部である。

本車載撮像システムは、実施例１等で示したように、ナトリウム光源や、太陽光といった光源に応じてホワイトバランス処理を制御する事でナトリウム光源のトンネルシーンなどで撮影記録される画像や、表示部に表示される画像が最適な画像となるといった利点がある。

なお、図５あるいは図８で示した車載撮像システムでは、認識処理部、記録部、表示部に対してＹ信号及び，Ｕ，Ｖ信号（輝度信号及びと色差信号信号）を出力しているが、Ｒ、Ｇ、Ｂ信号でもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１撮像部
１０２信号処理部
１０３画素信号分布処理部
１０４ホワイトバランス処理部
１０５システム制御部
１０６出力ＩＦ部

Claims

車両に搭載する車載撮像装置であって、
被写体を撮影する少なくとも、赤色域（以下Ｒと記載）、緑色域（以下Ｇと記載）、青色域（以下Ｂと記載）、全可視光域と赤外域（以下Ｃｉｒと記載）に感度を持つ撮像部と、
前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、
前記信号処理部により処理された前記映像信号の１つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、
前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、
前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部と
を具備し、
前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行い、
前記画素信号分布処理部は、Ｒ信号、Ｇ信号、Ｂ信号のうち２つ以上の信号と、Ｃｉｒ信号を用いて、一つ以上の判定領域に対する画素信号分布情報を抽出することを特徴とする車載撮像装置。
車両に搭載する車載撮像装置であって、
被写体を撮影する少なくとも、赤色域（以下Ｒと記載）、緑色域（以下Ｇと記載）、青色域（以下Ｂと記載）、全可視光域と赤外域（以下Ｃｉｒと記載）に感度を持つ撮像部と、
前記撮像部が撮影した映像から少なくとも複数の異なる帯域の映像信号に対し信号処理を実施する信号処理部と、
前記信号処理部により処理された前記映像信号の１つ以上の信号による画素信号分布情報を抽出する画素信号分布処理部と、
前記映像信号が所望の値となるように所定のゲインを用いて信号処理を行うホワイトバランス処理部と、
前記ホワイトバランス処理部の制御及び、前記画素信号分布処理部による画素信号分布情報抽出の為の判定領域情報の制御を行うシステム制御部と
を具備し、
前記システム制御部は、前記画素信号分布処理部で抽出される画素信号分布情報に応じて、ホワイトバランス処理部のゲインを所定の値に設定するように制御を行い、
前記画素信号分布処理部は、Ｒ信号とＣｉｒ信号の差分信号、あるいはＧ信号とＣｉｒ信号の差分信号、あるいはＢ信号とＣｉｒ信号の差分信号のうちいずれか２つ以上の信号を用いて一つ以上の判定領域に対する画素信号分布情報を抽出することを特徴とする車載撮像装置。
請求項１又は２記載の車載撮像装置であって、
前記画素信号分布情報の、一つ以上の所定の判定領域に、ある一定以上の画素が分布している場合、前記システム制御部は、特定の光源における被写体のカラーバランスを保持する特性のゲイン値を、前記ホワイトバランス処理部に設定することを特徴とする車載撮像装置。
請求項１又は２記載の車載撮像装置であって、
前記画素信号分布情報の、一つ以上の所定の判定領域に、ある一定以上の画素が分布している場合、前記システム制御部は、判定領域に一定の画素が分布する以前の状態におけるゲイン値を、前記ホワイトバランス処理部に設定することを特徴とする車載撮像装置。