JP4143521B2

JP4143521B2 - 車載用カメラ

Info

Publication number: JP4143521B2
Application number: JP2003382666A
Authority: JP
Inventors: 善行藤井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-11-12
Filing date: 2003-11-12
Publication date: 2008-09-03
Anticipated expiration: 2023-11-12
Also published as: JP2005148224A; US20050099527A1; US7369172B2

Description

この発明は、車両に搭載され、車両の周囲を撮像し、特に得られた映像信号から画像処理などの手段によって所望の対象を検出する用途に用いられる車載用カメラに関するものである。

近年、自動車の安全走行に関するものとして、自動車にＣＣＤカメラ（固体撮像素子を使用したカメラ）を搭載し、走行道路の白線認識や、障害物検知などを行う車載用カメラが開発されている。
従来の車載用カメラとして、特に画像処理を前提としたカメラで、光学フィルタにより高い効果を得るカメラとしては、例えば、特開平９−８３８７９号公報（以下特許文献１と称す。）に示されるカメラがある。

この特許文献１に示されるものは、偏光フィルタと赤外光フィルタを一体化し、これをカメラに内蔵することによって、直射日光による偏光フィルタの劣化や、ゴースト像の発生を伴うことなく、フロントガラスからの映り込みや、路面からの反射光を除去し、走行道路の白線や走行車などが鮮明に撮像できるようにしたものである。
例えば、車両前方をビデオカメラで撮像した場合、逆光や路面が濡れていることに起因して生じる路面の反射光の影響で、車線や先行車が反射光に埋もれてしまい、画像処理による認識が不可能になる場合がある。
特許文献１の車載用カメラによれば、水平偏光した反射光成分のみが除去されるため、前記のような悪条件下においても、白線や先行車を鮮明に撮像でき、後段の画像処理が容易となるものである。

特開平９−８３８７９号公報

ところで、上記車載用カメラのように、画像処理を行うことを前提にしたカメラでは、その画像処理の目的、あるいはアルゴリズムに合致したカメラ性能を得ることが非常に重要である。例えば、車線認識を行う画像処理では、車線の輝度が路面よりも高いことに着目して認識処理を行う手法が一般的で、カメラには、その路面と白線の明るさ関係を忠実にかつ適正なコントラストで再現することが要求される。

アスファルト路に白線が引かれている道路では、白線の方が路面よりも十分に輝度が高いので問題は生じないが、アスファルトに黄色線が引かれている場合や、コンクリートに白線が引かれている場合では、路面と車線との輝度差が少なく、コントラストの低い映像となるため、画像処理における認識性能、例えば、認識率、認識の信頼性、安定性等に悪影響を及ぼす。

さらに、コンクリート路に黄色線が引かれている場合では、路面よりも黄色線の方の輝度が低いため、路面と車線の相対的な明るさ関係を忠実に再現すると、車線が認識できないと言った不具合が生じる。

特許文献１に示されるような従来の車載用カメラで使用されている偏光フィルタでは、偏光している光以外、その相対的な明るさ関係については変化しないため、上記のような課題は解決できないものである。

この発明は、上記のような課題を解決するためになされたものであって、撮像対象とその背景との間に輝度差（光量差）を生じさせる光学フィルタを用いることによって、画像処理的に悪環境下における場合でも、画像処理が容易で、鮮明な画像を検知することのできる車載用カメラを得ることを目的とするものである。
また、分光特性の異なる２種類のフィルタ（光学フィルタと赤外カットフィルタ）を組合せて使用する場合に、これらを一体化した１枚構造の光学フィルタとすることにより、内面反射に起因するゴースト像の発生を防止した車載用カメラを得ることを目的とするものである。

この発明に係わる車載用カメラは、車両の周囲を撮像し、所望の撮像対象を検出することに用いられるものであって、外部からの光をレンズにより撮像素子に結像させ、この撮像素子で光電変換された信号を信号処理部で処理することにより、映像信号を出力するよう構成された車載用カメラにおいて、
検出対象の輝度とその背景の輝度に差を生じさせる光学フィルタであって、ｎ種の検出対象とその背景ｍにおいて、
光の波長をλ、
検出対象の分光特性をF₁(λ)、F₂(λ）、・・・・、F_ｎ（λ）、背景ｍの分光特性をF_ｍ（λ）とした時、

∫F₁（λ）F（λ）dλ ＞ ∫F_ｍ(λ)F（λ）dλ
∫F₂（λ）F（λ）dλ ＞ ∫F_ｍ(λ)F（λ）dλ
・
・
・
・
∫F_n（λ）F（λ）dλ ＞ ∫F_ｍ(λ)F（λ）dλ

が成り立つ分光特性F（λ）を持つ光学フィルタを備えたものである。

また、この発明に係る車載用カメラは、所望の検出対象が道路上の白と黄色の車線境界線を含み、背景がアスファルト、あるいはコンクリートの路面である時、
４７０nm≦λ≦７４０nm
の条件を満たすλの波長を透過する光学フィルタを備えたものである。

また、この発明に係る車載用カメラは、検出対象の輝度とその背景の輝度に差を生じさせるための所定の分光特性を有する光学フィルタと、赤外カットフィルタとを組合せて使用するようにしたものである。

また、この発明に係る車載用カメラは、所定の分光特性を有する光学フィルタと、赤外カットフィルタとを一体化し、１枚のフィルタ構造として使用するようにしたものである。

この発明によれば、複数の撮像対象のそれぞれの波長分布の特徴に着目し、各々の撮像対象が撮像素子面上で有効な光量差を生じる様に選定された光学フィルタによって、撮像対象に画像処理に有効な光量差を生じさせることが出来るため、コントラストが低い、あるいは外乱の影響が著しく大きな検出対象であっても、画像処理が容易で、鮮明な画像を検知することのできる車載用カメラを得ることができるものである。

また、所定の分光特性を有する光学フィルタと、赤外カットフィルタとを組合せて使用する場合に、これらを一体化した１枚構造のフィルタを使用することにより、内面反射に起因するゴースト像の発生を防止した車載用カメラを得ることができるものである。

実施の形態１．
図１はこの発明の実施の形態１である車載用カメラの要部を示す概略構成図である。
同図において、１は光を後述の撮像素子３に結像させるレンズ、２は透過する光の波長の選択が行える光学フィルタである。
この光学フィルタ２は、例えば、一般的にカラーフィルタや色ガラスフィルタと呼ばれるもので、有色イオンやコロイドによるガラスの着色を利用したフィルタである。
これには、長波長領域を透過するフィルタや比較的短波長域をよく透過するものなど、種々のフィルタがあり、図２は種々の光学フィルタの分光透過率を示した一例である。
3は光電変換を行う撮像素子で、例えば個体撮像素子としてCCD撮像素子等が用いられる。4は信号処理部で、３にて光電変換された信号を信号処理し、映像信号を出力するブロックである。

もちろん、光学フィルタ２の位置は、レンズ１と撮像素子3の間である必要は無く、レンズ１の前でも良いし、撮像素子3のカバーガラスが光学フィルタ２の機能を持っていてもよい。

このように構成された車載用カメラにおいて、まず、路面上の車線を認識する用途の場合を例に説明する。

路面上の車線を認識する場合、通常は路面よりも車線、つまり白線や黄色線の方が明るいという特徴に着目して認識処理を行う。
アスファルトに白線が引かれている路面の場合、路面よりも白線の方が明るいので問題は生じないが、コンクリート路に黄色線が引かれている場合には、路面よりも黄色線の方が暗くなり、認識不可能になる。

図３は、白線Wh、黄色線Ye、アスファルトAs、コンクリートCoの4種の分光特性である。
撮像素子３に到達する光量としては、この分光特性の積分値であるから、白線、黄色線、アスファルト、コンクリートの分光特性をそれぞれ、Wh（λ）、Ye（λ）、As（λ）、Co（λ）とすると、撮像素子3への入射光量はそれぞれ∫Wh（λ）dλ、∫Ye（λ）dλ、∫As（λ）dλ、∫Co（λ）dλ、となる。
このとき、図3においては、
∫Wh（λ）dλ＞∫As（λ）dλ
∫Wh（λ）dλ＞∫Co（λ）dλ
で、白線の光量は他の路面に対し大きいが、黄色線においては、
∫Ye（λ）dλ＞∫As（λ）dλ
∫Ye（λ）dλ＜∫Co（λ）dλ
となり、アスファルトに対しては問題なくても、コンクリート路よりはその光量が小さいことがわかる。

ここで、その分光特性のみに着目してみると、白線Wh、アスファルトAs、コンクリートCoは無彩色なので可視光領域でほぼフラットである。
これに対し、黄色線Yeは、約６００nm〜６５０nmにピークが存在し、このピーク周辺ではコンクリートに比べ黄色線の方が輝度が高い。
従って、黄色線の分光特性上のピークを生かすような光学フィルタを適切に設定することで、黄色線の光量がコンクリートよりも大きくなる。すなわち、光学フィルタの分光特性をF（λ）として、

∫Wh（λ）F（λ）dλ＞∫As（λ）F（λ）dλ
∫Wh（λ）F（λ）dλ＞∫Co（λ）F（λ）dλ
∫Ye（λ）F（λ）dλ＞∫As（λ）F（λ）dλ
∫Ye（λ）F（λ）dλ＞∫Co（λ）F(λ) dλ ・・・・・（１）

が成り立つF（λ）を設定することで、検出に有意な輝度差を生じさせる事ができ、上記問題が解決できる。

ここで、例えばF（λ）に５８０nmに遮断波長を持ち、それ以上の波長を透過する光学フィルタを用いた場合の、白線Wh、黄色線Ye、アスファルトAs、コンクリートCoの分光特性を図４に示す。
同図より、黄色線の光量がコンクリートのそれに比べて低い波長領域はカットし、逆に黄色線の光量がコンクリートのそれに比べて高い波長領域が撮像素子3に入射するため、各々の光量は、白線Wh、黄色線Ye、コンクリートCo、アスファルトAsの順に大きくなり、（1）式を満たすことが出来る。

また、図３におけるアスファルトAs、コンクリートCoに対する白線Whの光量比と、F（λ）に580nmに遮断波長を持ち、それ以上の波長を透過する光学フィルタを用いた場合のそれとを比較すると、
∫Wh(λ)dλ／∫As(λ)dλ＜∫Wh(λ)F(λ)dλ／∫As(λ)F(λ)dλ
∫Wh(λ)dλ／∫Co(λ)dλ＜∫Wh(λ)F(λ)dλ／∫Co(λ)F(λ)dλ
となり、その光量比を強調する、すなわちコントラストを向上することができる。

このように、適切な分光特性を有する光学フィルタを用いることによって、検出対象に光量差を生じさせることが出来るため、本映像を用いた画像処理は格段に処理が容易になる。また、その処理の信頼性、安定性にも大きく貢献できる。

実施の形態２．
実施の形態1では、黄色線に対して説明したが、青色線についても同様の考え方で有意な光量差を発生させる事ができる。
青色線に関しても、コンクリート路と比べるとその輝度値は低く、青色線を検出する事は困難である。
青色線の場合は、黄色線とは逆に、４５０nm〜６００nm付近にピークがあるため、この領域の波長を生かすように光学フィルタの遮断周波数を決定すれば、黄色線時と同様に、コンクリート路に対して有意な輝度差を得る事ができる。

図５は、白線Wh、青色線Bl、アスファルトAs、コンクリートCoの4種の分光特性に、６００nm以下の波長を透過させる光学フィルタを用いた場合の結果である。
同図より、青色線の光量がコンクリートのそれに比べて低い波長領域はカットし、逆に青色線の光量がコンクリートのそれに比べて高い波長領域が入射するため、各々の光量は、白線Wh、青色線Bl、コンクリートCo、アスファルトAsの順に大きくなり、実施の形態１と同様に、所望の対象、すなわち青色線を検出することが出来る。

実施の形態３.
実施の形態1、２においては、路面上の境界線を対象に説明したが、この発明は、分光特性に特徴のある撮像対象であれば、路面だけに限定する物では無い。
例えば、車両のリアのテールランプが赤い事に着目し、これを検出することを考えた場合、テールランプの赤色成分を透過する光学フィルタを用いる事によって、その波長領域をほとんど含まない背景との間に輝度差を生じさせることができる。

夜間においては、テールランプを背景との輝度差で検出する場合、その背景の外乱要因である対向車のヘッドライトの輝度が問題になる。
この課題についても、ヘッドライトが比較的広い範囲の分光特性を持つことに対し、テールランプの場合は、赤から近赤外にかけてピークを持つ分光特性であることに着目すると、この特徴に着目した光学フィルタ、すなわち、赤い光のみを透過する光学フィルタを用いる事によって、特にカラー処理を必要とせず、その輝度情報だけで外乱を含む背景とテールランプの分離が可能となり、背景の外乱に惑わされることなく、後段の画像処理での検出が容易となる。

なお、この実施の形態３の発明によれば、上記以外にも、例えば、方向指示器や路面表示(道路上の速度表示や転回禁止マーク、横断歩道等、路面上にペイントされているマークや表示を総称したものを指す。)、その他標識等の検出にも適用が可能である。

すなわち、上述の実施の形態1、２、においては、遮断波長よりも長い波長を透過する光学フィルタ、あるいは遮断波長よりも短い波長を透過する光学フィルタについて説明したが、本光学フィルタは、これらのフィルタ特性に限定する物ではなく、検出対象が背景に対して有効な輝度差を生じる分光特性をもっていれば良い。

したがって、検出対象が方向指示器や標識、あるいは路面表示であれば、それらの特定の色、すなわち分光特性に着目して、有効な波長領域のみを透過する光学バンドパスフィルタで光学フィルタを構成することで、検出目的を達成する事ができる。

逆に、方向指示器等が別の検出対象の外乱になる場合は、その波長領域だけを遮断する光学バンドエリミネーションフィルタによる構成によって、外乱に左右されずに所望の検出対象を画像処理等の手段によって検出する事が可能になる。

実施の形態４.
実施の形態１では光学フィルタ２として、５８０nm以上の波長を透過するフィルタを用いて説明したが、上記（1）式の関係を満たす光学フィルタには幅がある。
図３におけるＡ点付近からＢ点付近までであれば（1）式を満たすことが出来る事は自明であるが、(1)式が成立する限界の波長は、

∫Ye（λ）F（λ）dλ=∫Co（λ）F（λ）dλ ・・・・・(２)

を満たすF（λ）の遮断波長である。
この限界遮断波長をΛbとし、例えば、撮像素子３の赤外側の感度の限界波長Λrまで受光するとすると、(２)式をλ=Λbからλ=Λrまで定積分することで得られる。
すなわち、

λ=Λr λ=Λr
∫Ye（λ）F（λ）dλ = ∫Co（λ）F（λ）dλ ・・・・・（３）
λ=Λb λ=Λb

であるから、これを求めると、Λb＝４７０nmが得られる。

図６は、遮断周波数が４７０nmの場合の白線Wh、黄色線Ye、コンクリートCo、アスファルトAsの分光特性で、黄色線Yeの分光特性とコンクリートCoの分光特性の積分値が等しくなっている事が分かる。
なお、４７０nm以上であっても、黄色線とコンクリートの分光特性がほぼ等しくなる所では、目的の輝度差を生じさせる事ができない。この波長は、７４０nmより長い波長領域で発生するため、この限界遮断波長Λbの上限は、７４０nmであるといえる。
従って、４７０nm以上７４０nm以下の遮断周波数を持つ光学フィルタを用いれば、(1)式を満たす事ができる。

なお、この限界の遮断波長は、黄色線の分光特性Ye（λ）とコンクリートの分光特性Co（λ）の状態によってばらつくものであり、さらには、世界の各国において、その黄色線の分光特性は異なる為、その対象に応じた遮断周波数を(1)式、あるいは(3)式によって求める事が必要である事は言うまでもない。

このように、撮像対象の特徴を損なわない範囲で光学フィルタを選定すれば、実施の形態1と同様の効果を得ることが出来る。

実施の形態５.
上述した実施の形態では、赤外領域について特に対処していないが、通常、カメラのレンズ1は可視光領域において収差が少なくなるよう設計されているため、赤外領域では焦点ズレを生じ、さらに、撮像素子3の分光感度特性が赤外領域にまで達していることから、得られる映像の鮮明度が低下してしまう。
特に夜間においては、各種光源が赤外成分を含むため、非常にぼけた映像になる。
このような問題を解決するためには赤外カットフィルタが有効である。
ただし、光学フィルタを用いることで引き出された撮像対象の特徴、すなわち黄色線の有効な波長領域である５５０nm〜６５０nmに影響しないような赤外カットフィルタを選定することが重要となる。

図7はこの発明の実施の形態５の車載用カメラの要部を示す概略構成図である。
図７において、５は赤外カットフィルタであり、光学フィルタ２と撮像素子3の間に設置されているが、その設置場所は特に問わない。
なお、その他の構成については、図１と同様のものであり、図１との同一符号は、同一または相当部分を示すので説明は省略する。

この赤外カットフィルタ５と５８０nmに遮断波長を持つ光学フィルタ２を取り付けた場合の白線Wh、黄色線Ye、コンクリートCo、アスファルトAsの分光特性を図8に示す。
赤外成分がカットされていると同時に、黄色線の有効な波長領域すなわち、５５０〜６５０nmでのロス分がすくないため、（1）式が満たされていることが分かる。
このように、赤外カットフィルタ５と光学フィルタ２を同時に用いることで、有害な赤外成分に影響されないで、前出の実施の形態１〜４と同様の効果を得ることが出来るものである。

実施の形態６.
実施の形態５では、光学フィルタと赤外カットフィルタの２枚のフィルタを用いるため、どうしても内面反射に起因するゴースト像が生じてしまう。
そこで、この実施の形態６においては、任意の波長領域を透過させる光学フィルタは比較的容易に作成できるため、実施の形態５で示した光学フィルタの特性と、赤外カットフィルタの特性を併せ持つ１枚フィルタを作成し、この一体化された１枚構造の光学フィルタを使用するものである。
このフィルタの特性を図9に示す。このフィルタを単一で用いても、もちろん、図8に示す分光特性結果と同様の結果が得られるものである。

この図9に示すような分光特性を持つ光学フィルタを用いれば、1枚のフィルタ構成、すなわち図1に示す最も簡単な構成で、実施の形態５と同様の効果を得ることができる。
また、フィルタを複数枚重ねた場合、それらの内面反射に起因するゴースト、フレア等の問題が生じるが、本構成であればこれらの問題点を改善でき、さらに、コスト的メリットの効果も期待できるものである。

この発明は、車両に搭載される車載用カメラであって、走行道路の白線認識や、障害物検知などに適用できるものである。

この発明の実施の形態１における車載用カメラの概略構成図である。光学フィルタの分光透過特性の一例示す図である。路面と車線の分光特性を示す図である。この発明の実施の形態１における５８０nm以上の波長を透過する光学フィルタを用いた場合の路面と白線の分光特性を説明するための図である。この発明の実施の形態２における６００nm以下の波長を透過する光学フィルタを用いた場合の路面と白線の分光特性を説明するための図である。この発明の実施の形態４における４７０nm以上の波長を透過する光学フィルタを用いた場合の路面と白線の分光特性を説明するための図である。この発明の実施の形態５における車載用カメラの概略構成図である。この発明の実施の形態５における５８０nm以上の波長を透過する光学フィルタと、赤外カットフィルタを用いた場合の路面と白線の分光特性を説明するための図である。この発明の実施の形態6に用いる光学フィルタの分光透過特性を示す図である。

符号の説明

１レンズ２光学フィルタ
３撮像素子４信号処理部
５赤外カットフィルタ

Claims

車両の周囲を撮像し、所望の撮像対象を検出することに用いられるものであって、外部からの光をレンズにより撮像素子に結像させ、この撮像素子で光電変換された信号を信号処理部で処理する車載用カメラにおいて、
検出対象の輝度とその背景の輝度に差を生じさせる光学フィルタであって、ｎ種の検出対象とその背景ｍにおいて、
光の波長をλ、
検出対象の分光特性をF₁(λ)、F₂(λ）、・・・・、F_n（λ）、背景ｍの分光特性をF_m（λ）とした時、

∫F₁（λ）F（λ）dλ ＞ ∫F_m(λ) F（λ）dλ
∫F₂（λ）F（λ）dλ ＞ ∫F_m(λ) F（λ）dλ
・
・
・
・
∫F_n（λ）F（λ）dλ ＞ ∫F_m(λ) F（λ）dλ

が成り立つ分光特性F（λ）を持つ光学フィルタを備えたことを特徴とする車載用カメラ。
上記光学フィルタは、所定の遮断波長を持ち、この遮断波長以上の波長を透過する分光特性を有することを特徴とする請求項１記載の車載用カメラ。
上記光学フィルタは、所定の遮断波長を持ち、この遮断波長以下の波長を透過する分光特性を有することを特徴とする請求項１記載の車載用カメラ。
上記光学フィルタは、特定色の波長領域のみを透過する分光特性を有することを特徴とする請求項１記載の車載用カメラ。
上記光学フィルタは、特定色の波長領域のみを遮断する分光特性を有することを特徴とする請求項１記載の車載用カメラ。
所望の検出対象が道路上の白と黄色の車線境界線を含み、背景がアスファルト、あるいはコンクリートの路面である時、光学フィルタの分光特性F(λ)が５８０nmに遮断波長を持ち、それ以上の波長を透過するものであることを特徴とする請求項２記載の車載用カメラ。
所望の検出対象が道路上の白と青色の車線境界線を含み、背景がアスファルト、あるいはコンクリートの路面である時、光学フィルタの分光特性F(λ)が６００nm以下の波長を透過し、それ以上の波長を遮断するものであることを特徴とする請求項３記載の車載用カメラ。
車両の周囲を撮像し、所望の撮像対象を検出することに用いられるものであって、外部からの光をレンズにより撮像素子に結像させ、この撮像素子で光電変換された信号を信号処理部で処理することにより、映像信号を出力するよう構成された車載用カメラにおいて、
所望の検出対象が道路上の白と黄色の車線境界線を含み、背景がアスファルト、あるいはコンクリートの路面である時、
４７０nm≦λ≦７４０nm
の条件を満たすλの波長を透過する光学フィルタを備えたことを特徴とする車載用カメラ。
検出対象の輝度とその背景の輝度に差を生じさせるための所定の分光特性を有する光学フィルタと、赤外カットフィルタとを組合せて使用するようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の車載用カメラ。
上記光学フィルタと上記赤外カットフィルタとを一枚のフィルタ構造としたことを特徴とする請求項９記載の車載用カメラ。