JP2014529951A - 補正カラーフィルタのフィルタ特性を適合させるための、および撮像素子を運転するための方法および装置 - Google Patents

Abstract

本発明は、カメラ（１０２）の撮像素子の画素（２２０）の補正カラーフィルタ（２２３）のフィルタ特性を適合させるための方法に関する。この方法は、画素の必要な検出特性を算出するステップ（４４５）と、画素の必要な検出特性を実現するために、前記カラーフィルタの必要なフィルタ特性を決定するステップ（４４７）と、必要なフィルタ特性に応じてカラーフィルタのフィルタ特性を調節するための調節信号を供給するステップ（４４９）とを有している。【選択図】 図４

Description

本発明は、カメラの撮像素子の画素の補正カラーフィルタのフィルタ特性を適合させるための方法、車両のカメラの撮像素子を運転するための方法、相応の装置並びに相応のコンピュータプログラム製品に関する。

カメラによって色情報を算出できるようにするために、カメラの撮像素子の様々なピクセルに様々なカラーフィルタが備えられる。しかしながら、カラー画像を得るためには、個別のピクセル間を補間する必要がある。これは他方では、カメラ画像の評価の測定の不正確さを招く。

特許文献１には、自動車において少なくとも２つの情報源の情報処理を行うための方法について記載されている。

ドイツ連邦共和国特許公告第１０２５４８０６Ｂ４号明細書

このような背景から、本発明によって、独立請求項に記載した、カメラの撮像素子の画素の補正カラーフィルタのフィルタ特性を適合させるための方法、車両のカメラの撮像素子を運転するための方法、さらにこの方法を使用する装置、並びに相応のコンピュータプログラム製品が提案される。好適な実施態様は、従属請求項および以下の説明に記載されている。

補正カラーフィルタによって、カメラの撮像素子の色感度を連続的に適合させることができる。このような形式で、撮像素子は、検出しようとするシーンに最適に適合させられ得る。

好適な形式で、補正カラーフィルタは、画素が飽和状態になることによって場合によっては重要な情報が失われるのを避けるためにも使用され得る。例えばこのような形式で、反射によって誘発される光システムの誤検出が避けられ得る。

撮像素子によって検出された色情報は、カメラに基づく、車両内のすべての測定アルゴリズムにおいて使用され得る。例えば、テールライト検知のための色情報、交通標識検知または黄色の車線情報を検知するための色情報が必要である。

本発明は、カメラの撮像素子の画素の補正カラーフィルタのフィルタ特性を適合させるための方法を提供する。この方法は、
画素の必要な検出特性を算出するステップと、
画素の必要な検出特性を実現するために、前記カラーフィルタの必要なフィルタ特性を決定するステップと、
必要なフィルタ特性に応じてカラーフィルタのフィルタ特性を調節するための調節信号を供給するステップと、
を有している。

カメラは車両のカメラであってよい。カメラは、車両の周辺の領域、例えば車両の前方領域を検出するように、および周辺の領域を表示する１つの画像または互いに連続する複数の画像を生成するように、構成されていてよい。撮像素子またはイメージャは、撮像素子に当たる光を電気信号に変換するように、構成されている。このために、撮像素子は、複数の画素またはピクセルを有している。各画素は、画素に入射する光を検出し、かつ画素に入射する光の光情報を有する画像信号を供給するように、構成されている。例えば画像信号は、画素に入射する光の強度値または輝度値を含んでいてよい。補正カラーフィルタによって、画素に入射する光は、画素のセンサ面に当たる前にフィルタリングされ得る。カラーフィルタは、単数若しくは複数の所定の色または波長の光を通過させるかまたはフィルタアウトするように、構成されている。カラーフィルタは、単数または複数の所定の色に調節され得る。カラーフィルタの調節は、撮像素子の運転中に行われ得る。追加的にまたは選択的に、カラーフィルタの透過性はスケーリング可能であるので、カラーフィルタの透過性は、例えばすべての色のために高くするかまたは低くすることができる。カラーフィルタは、１つの画素または隣接して配置された複数の画素に亘って延在していてよい。補正カラーフィルタは、いわゆるマイクロレンズであってよい。例えば液体マイクロレンズを使用することができる。このような液体マイクロレンズは、実施形態に応じて、撮像素子の焦点距離を温度に基づいておよびひいては制御装置に基づいて調節するために、使用されてもよい。この補正カラーフィルタは、ＣＭＯＳフォトセンサアレイにモノリシックに集積させるためのマイクロレンズおよびカラーフィルタのためのテクノロジーに基づいていてもよい。画素の必要な検出特性は、画素によって検出されるべき所望の色に関係していてよい。必要な検出特性は、例えばカメラの実際の運転、カメラによって検出された実際のシーンまたはカメラの画像を評価する画像評価の要求に基づいていてよい。画素のどの検出特性が実際に要求されているかに応じて、カラーフィルタの適当なフィルタ特性が調節されていてよい。カラーフィルタの適当なフィルタ特性は、例えば計算されるかまたは参考表から読み取ることができる。調節信号は、補正カラーフィルタのインターフェースにアウトプットされる電気信号であってよい。例えば、調節信号は、必要なフィルタ特性を調節するために適している所定の電圧値を有していてよい。

１実施形態によれば、供給するステップにおいて、マイクロレンズとして構成された補正カラーフィルタのフィルタ特性を調節するための調節信号が供給されていてよい。マイクロレンズは、その寸法が小さいことによって補正カラーフィルタとして適している。

算出するステップにおいて、所定の色の光の検出が、画素の必要な検出特性として算出され得る。この場合、決定するステップにおいて、必要なフィルタ特性が、所定の色の光が前記カラーフィルタを通過できるように、決定され得る。このような形式で、例えば白い光または調節されたフィルタ特性に応じて様々な色の光を検出するために、同じ画素が使用され得る。これによって好適な形式で、所定の色に固定的に調節された画素の数は減少され得るか、またはこのような固定的に調節された画素は完全になくすことができる。これによって、各画素が画素の所定の領域のために重要でない画像情報を提供することは避けられ得る。何故ならば、例えば個別の画素によって検出される所定の色は、画像の領域内には含まれていないか、または従属的な画像評価のためには重要でないからである。

このために、この方法は、例えば色に関連した対象物を表示する撮像素子の範囲内に画素が配置されているかどうかを検査するステップを有し得る。この場合、算出するステップにおいて、必要な検出特性として、対象物の色の光の検出が算出され得る。検査するステップにおいて、例えば、前記範囲内で路面標識が表示されることが検知されると、画素のカラーフィルタは、画素が黄色の色を検出できるように、調節され得る。まずは、どの色情報に関心があるかについて検査されることが可能で、次いで画素はこの色情報を検出するために準備され得る。このような形式で、撮像素子の画素は、連続的に実際の要求に適合され得る。対象物は、画像評価によって算出され得る。このために、例えば光対象物の位置または運動が評価され得る。画像評価に基づいて、対象物の推測される色も決定され得る。推測される色は、カラーフィルタのフィルタ特性を調節することによって、正しいことが証明され得る。例えば、インキフィルタは、推測される色がカラーフィルタを通過して、他の色がフィルタアウトされるように調節され得る。

算出するステップにおいて、画素の必要な検出特性として、画素の必要な測定感度が算出され得る。この場合、決定するステップにおいて、必要なフィルタ特性として、必要な測定感度に応じたカラーフィルタの透過率が決定され得る。測定感度を介して、画素がどの程度敏感に、入射する光に反応するかが規定され得る。低い測定感度では、画素は、高い測定感度と比較して、より大きい光の強さにおいてはじめて反応する。このような形式で、画素は、例えば様々な撮像素子によって検出されるシーンにおける様々な全体的または局所的な輝度またはコントラストに適合させられ得る。画素が例えば大きい光の強さを有する反射の影響範囲内に位置していれば、この画素の測定感度は低下させることができる。これに対して、反射の影響範囲内に位置していない、隣接し合う画素の測定感度は、不変であり得る。

この場合、この方法は、画素の差し迫った飽和を検知するステップを有し得る。前記算出するステップにおいて、前記差し迫った飽和が検知されると、必要な測定感度が低下し得る。このような形式で、画像情報が画素の飽和に基づいて失われることは避けることができる。差し迫った飽和は、例えば画素からアウトプットされる画像信号を評価することによって検知され得る。

本発明はさらに、車両のカメラの撮像素子を運転するための方法を提供する。この方法は、
画像の、色分析に関して重要な画像領域を算出するために、前記撮像素子の画像を評価するステップと、
重要な画像領域に配属された、撮像素子の領域内に配置された少なくとも１つの画素の、少なくとも１つの補正カラーフィルタのフィルタ特性を調節するステップと、
を有している。

この方法によれば、撮像素子を、変化するシーンまたは車両のアシストシステムの変化する要求に連続的に適合させることができる。

本発明はさらに、本発明による方法のステップを相応のデバイスにおいて実施するか若しくは実行に移すために構成された装置を提供する。本発明の、このような装置としての変化実施例によっても、本発明の課題を迅速かつ効果的に解決することができる。

装置とはもっぱら、センサ信号を処理し、それに応じて制御信号をアウトプットする電気機器のことであってよい。この装置は、ハードウエアおよび／またはソフトウエアとして構成されるインターフェースを有していてよい。ハードウエア的な構成において、インターフェースは、例えば装置の様々な機能を含有するいわゆるシステムＡＳＩＣの一部であってよい。しかしながらまた、このインターフェースは、固有の集積回路であるかまたは少なくとも部分的に不連続的な素子より成っていてもよい。ソフトウエア的な構成において、インターフェースは例えば別のソフトウエアモジュールの隣のマイクロコントローラに設けられたソフトウエアモジュールであってよい。

またプログラムコードを有するコンピュータプログラム製品も有利である。このプログラムコードは、機械読み取り可能なキャリア例えば半導体メモリー、ハードディスクまたは光学メモリーに記憶することができ、前記プログラムが、コンピュータまたは装置において実行されるときに、前記実施形態の１つに記載された方法を実施するために用いられる。

本発明を以下に、添付の図面を用いて例示的に詳しく説明する。

本発明の１実施例による車両の概略図である。 本発明の１実施例による撮像素子の概略図である。 本発明の１実施例による調節可能なカラーフィルタを調節するための装置のブロック図である。 本発明の１実施例のフローチャートである。

本発明の好適な実施例の以下に説明において、異なる図面に示された、類似の作用を有する要素には同じまたは類似の符号が用いられており、この場合これらの要素の繰り返しの説明は省かれる。

図１は、本発明の１実施例による車両１００を概略的に示す。車両１００は、カメラ１０２と画像評価装置１０４と運転者アシストシステム１０６とを有している。車両１００の前方域には、別の車両１１０が存在している。この別の車両１１０は赤いテールライト１１２を有している。運転者アシストシステム１０６は、別の車両１１０のテールライト１１２の検知に関連したシステムである。テールライト１１２は、任意のカラー対象物を代理しており、このカラー対象物の色が車両１００の任意のシステム１０６に関連している。

別の車両１１０がカメラ１０２の検出領域内に位置すると、カメラ１０２は、テールライト１１２が表示される画像を生成し得る。この実施例によれば、テールライト１１２から放射された光がカメラ１０２によって検出される。画像評価装置１０４は、テールライト１１２が表示される画像領域を決定するために、カメラ１０２の画像を評価するように、構成されている。画像内にそれぞれ異なる輝度段階またはグレーレベルが示されているので、画像評価装置１０４は、場合によっては、テールライト１１２が赤い光を放射するテールライトであるか、または白い光を放射するヘッドライトかの区別はできない。テールライト１１２の色が画像内に表示されると、テールライト１１２は赤色に基づいて画像評価装置１０４によって、明確に赤色として分類され得る。テールライト１１２の赤色を画像内に表示することができるようにするために、カメラは、テールライト１１２を表示する、カメラ１０２の撮像素子の画素の検出特性を、赤色が検出されるように適合させるように、構成できる。

図２は、本発明の１実施例による撮像素子の概略図または撮像素子の断面図を示す。撮像素子は、図１に示したカメラに使用できる。撮像素子は、複数の画素２２０またはピクセルを有している。例えばここでは、互いに隣接し合う３列および３段に配置された９つの画素２２０が示されている。各画素２２０にそれぞれ１つの補正カラーフィルタ２２３が配属されている。カラーフィルタ２２３はそれぞれ、画素２２０に当たる光線の光路内に配置されている。したがって、それぞれの画素２２０に配属されたカラーフィルタ２２３を通ってフィルタリングされた光が、それぞれの画素２２０に当たる。

カラーフィルタ２２３はそれぞれ１つのインターフェースを有しており、このインターフェースを介して、それぞれのカラーフィルタ２２３のフィルタ特性が調節され得る。フィルタ特性の調節によって、配属された画素２２０に当たる光に影響を及ぼすことができる。

例えば第１の時点で、図示の画素２２０の中央を通って車両のテールライトが表示されると、中央の画素２２０に配属されたカラーフィルタ２２３のフィルタ特性は、カラーフィルタ２２３が赤い光を通すように調節され得る。

例えば第２の時点で、図示の画素２２０の中央を通って路面標識の一部が表示されると、中央の画素２２０に配属されたカラーフィルタ２２３のフィルタ特性は、カラーフィルタ２２３が黄色を通すように調節され得るので、例えば画素２２０の画像信号を評価する画像評価によって、路面標識が例えば工事現場の領域内の黄色で記された路面標識であることが、検知され得る。

この実施例によれば、補正カラーフィルタ２２３のそれぞれが液体マイクロレンズとして実現されている。カラーフィルタ２２３は画素２２０毎に、電子湿潤法、いわゆるＥｌｅｃｔｒｏｗｅｔｔｉｎｇ−Ｖｅｒｆａｈｒｅｎ（エレクトロウエッテイング法）によって製造される。

液体レンズによる以外に、カラーフィルタは機械的に実現することもできる。この場合、複数のフィルタが機械的に互いに上下に設置され得る。このようなカラーフィルタは、すべてのまたは複数の画素２２０のために同時に確定され得る。

図３は、本発明の１実施例による、カメラの撮像素子の画素２２０の補正カラーフィルタ２２３のフィルタ特性を適合させるための装置を示す。カメラは、図１に示したカメラであってよい。

この装置は、画素２２０の必要な検出特性に基づいて、カラーフィルタ２２３のフィルタ特性を調節するための調節信号を生成し、インターフェースを介してカラーフィルタ２２３に、またはカラーフィルタ２２３のフィルタ特性を制御するための制御装置にアウトプットするように、構成されている。そのために、この装置は、算出装置３３１、決定装置３３３および供給装置３３５を有している。

算出装置３３１は、画素２２０の必要な検出特性を算出するために、構成されている。必要な算出特性は、例えば時間的に前もって撮像素子によって生ぜしめられた画像の評価に基づいて行われ得る。算出装置３３１は、必要な検出特性に関する情報を決定装置３３３にアウトプットするように、構成されている。決定装置３３３は、必要な検出特性に基づいてカラーフィルタ２２３の必要なフィルタ特性を決定するために、構成されている。必要なフィルタ特性によって、画素２２０は、この画素２２０が必要な検出特性を有するように、駆動され得る。必要なフィルタ特性を決定するために、決定装置３３３は、メモリーにアクセスするように、構成されており、前記メモリー内に、画素２２０の様々な検出特性のために、それぞれ配属されたカラーフィルタ２２３のフィルタ特性がメモリーされている。決定装置３３３は、必要なフィルタ特性に関する情報を供給装置３３５にアウトプットするように、構成されている。供給装置３３５は、カラーフィルタ２２３の必要なフィルタ特性に関する情報に基づいてカラーフィルタ２２３のフィルタ特性を調節するための調節信号を生成し、インターフェースを介してカラーフィルタ２２３にアウトプットするように、構成されている。

カラーフィルタ２２３は、調節信号を受信し、調節信号に応答して、必要なフィルタ特性を実現するために、カラーフィルタのフィルタ特性を変えるように、構成されている。

撮像素子の各カラーフィルタ２２３のために、固有の調節信号が決定され、供給され得る。同じ検出特性を有する画素が配属された、カラーフィルタ２２３のグループのための調節信号も供給され得る。

１実施例によれば、フィルタ特性を適合させるための装置は、プロセッサユニットまたはコンピュータユニットとして実現されている。プロセッサユニットによって、マイクロレンズ２２３の色透過率を変えることができる。従って特に、カラー対象物が推測される領域内で相応のレンズ２２３を作動させることができる。これによって、このような領域内で、より高い色解像度が得られる。

このプロセッサユニットは、入力信号としてフィルタリングされたピクセルおよびフィルタリングされていないピクセルを有する画像を受信するために、構成されている。画像のフィルタリング率は、前もって規定され得る。プロセッサユニットはさらに、画像内の光対象物の運動および位置に基づいて、光対象物が赤色対象物または白色対象物であるかを評価するように、構成されている。このような推測または評価をより確実なものにするために、プロセッサユニットは、色透過率を変えるために、およびひいては光対象物の実際の色に関する情報を得るために、構成されている。色透過率を変えるために、撮影素子のカラーフィルタ２２３は相応に調節され得る。特に、光対象物の色が実際に算出される光対象物が存在する画像の領域に配属されたカラーフィルタ２２３は変えることができる。

相応のレンズ２２３の透過率も制御され得る。それによって、それぞれの画素２２０の飽和の危険性は制御され得る。それによって、飽和を避けるための補正フィルタ２２３を、カメラに基づく光システムに使用することができる。飽和は、プロセッサユニットにおいて検知され得る。このために、プロセッサユニットは、画素２２０の輝度値が所定の大きさに達すると、ゆっくりとカラーフィルタ２２３のフィルタ特性を変化させて、画素２２０の輝度値またはピクセル値の相応の性質を観察するために、構成されている。

図４は、本発明の１実施例による車両のカメラの撮像素子を運転するための方法のフローチャートを示す。カメラは、図１に示したカメラであってよい。ステップ４４１において、カメラの画像は、推測的にまたは確実に画像領域内に存在する色に関連して評価されるべき画像領域を算出するために、評価される。ステップ４４３において、画像領域内に存在する撮像素子の画素が選択される。次いで、ステップ４４３において選択された画素に配属された補正カラーフィルタのフィルタ特性が、選択された画素によって画像領域内で評価しようとする色が検出され得るように、調節される。このために、ステップ４４５において評価しようとする色に基づいて、選択された画素の必要な検出特性が算出され得る。選択された画素の必要な検出特性を実現するために、ステップ４４７において、選択された画素のカラーフィルタの必要なフィルタ特性が決定され得る。ステップ４４９において、選択された画素のカラーフィルタのフィルタ特性を、必要なフィルタ特性に応じて調節するための調節信号がアウトプットされる。カラーフィルタのための異なるフィルタ特性が必要な場合、ステップ４４９において、様々な調節信号が供給され得る。この方法は、画像の単数または複数の画像領域のために実施することができる。

以上記載し、かつ図面に示した実施例は、例として挙げられただけである。様々な実施例を完全にまたは個別の特徴に関連して互いに組み合わせることができる。１つの実施例を別の実施例の特徴によって補ってもよい。また、本発明による方法ステップは、以上記載した連続とは異なる連続で繰り返し実施することができる。

１００ 車両
１０２ カメラ
１０４ 画像評価装置
１０６ 運転者アシストシステム
１１０ 別の車両
１１２ テールライト
２２０ 画素
２２３ 補正カラーフィルタ、マイクロレンズ
３３１ 算出装置
３３３ 決定装置
３３５ 供給装置
４４１，４４３，４４５，４４７，４４９ ステップ

Claims (9)

1. カメラ（１０２）の撮像素子の画素（２２０）の補正カラーフィルタ（２２３）のフィルタ特性を適合させるための方法において、
   画素の必要な検出特性を算出するステップ（４４５）と、
   画素の必要な検出特性を実現するために、前記カラーフィルタの必要なフィルタ特性を決定するステップ（４４７）と、
   必要なフィルタ特性に応じてカラーフィルタのフィルタ特性を調節するための調節信号を供給するステップ（４４９）と、
   を有している、カメラ（１０２）の撮像素子の画素（２２０）の補正カラーフィルタ（２２３）のフィルタ特性を適合させるための方法。
2. 前記供給するステップ（４４９）において、マイクロレンズとして構成された補正カラーフィルタ（２２３）のフィルタ特性を調節するための調節信号を供給する、請求項１記載の方法。
3. 前記算出するステップ（４４５）において、所定の色の光の検出を画素（２２０）の必要な検出特性として算出し、前記決定するステップ（４４７）において、必要なフィルタ特性を、所定の色の光が前記カラーフィルタ（２２３）を通過できるように、決定する、請求項１または２記載の方法。
4. 色に関連した対象物（１１２）を表示する撮像素子の範囲内に画素（２２０）が配置されているかどうかを検査するステップ（４４３）を有しており、前記算出するステップ（４４５）において、必要な検出特性として、対象物の色の光の検出を算出する、請求項３記載の方法。
5. 前記算出するステップ（４４５）において、画素の必要な検出特性として、画素（２２０）の必要な測定感度を算出し、前記決定するステップ（４４７）において、必要なフィルタ特性として、必要な測定感度に応じたカラーフィルタ（２２３）の透過率を決定する、請求項１から４までのいずれか１項記載の方法。
6. 画素（２２０）の差し迫った飽和を検知するステップを有しており、前記算出するステップ（４４５）において、前記差し迫った飽和が検知されると、必要な測定感度を低下させる、請求項５記載の方法。
7. 車両（１００）のカメラ（１０２）の撮像素子を運転するための方法において、
   画像の、色分析に関して重要な画像領域を算出するために、前記撮像素子の画像を評価するステップ（４４１）と、
   請求項１から６までのいずれか１項に従って、前記重要な画像領域に配属された、前記撮像素子の領域内に配置された少なくとも１つの画素（２２０）の、少なくとも１つの補正カラーフィルタ（２２３）のフィルタ特性を調節するステップ（４４５，４４７，４４９）と、
   を有している、車両（１００）のカメラ（１０２）の撮像素子を運転するための方法。
8. 請求項１から７までのいずれか１項記載の方法のステップを実行するために、構成されていることを特徴とする、装置。
9. コンピュータプログラム製品において、プログラムが装置において実施されるときに、請求項１から７までのいずれか１項記載の方法を実行するためのプログラムコードを有していることを特徴とする、コンピュータプログラム製品。

Images