JP6705054B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

フィールド間における黒レベルのオフセットを解消して綺麗な画像を得ることが出来る撮像装置が知られている（例えば、特許文献１参照）。

この公報には、「撮像センサは、撮像エリアと、光電変換素子構造を有する前ＯＢ部と、光電変換素子構造を有さない後ＯＢ部と、水平転送部に形成されたダミー画素部とを有する。黒レベルのクランプは、後ＯＢ部の出力信号に基づいて実行される。そして、これら前ＯＢ部、後ＯＢ部及びダミー画素部からそれぞれ黒レベル信号が取り出され、例えば撮像センサの温度が高温となった場合、後ＯＢ部の出力信号と前ＯＢ部の出力信号との差分を、有効画素出力信号に加算して黒レベル補正を行う。」と記載されている。なお、ＯＢは、オプティカルブラックの略である。

特開２００７−２７８４５号公報

黒レベル調整を行うには、黒レベルを検出する必要がある。黒レベルの検出方法においては、画面領域やフィールドなどの位置情報、あるいはゲインレベルや露光時間などの条件ごとに異なる黒レベルを検出して、個別に補正することが考えられる。

しかしながら、特許文献１には、広いダイナミックレンジの被写体を飽和や黒潰れなしで撮像するために、フィールド（偶数行／奇数行）もしくはフレームごとに個別の露光時間を設定して複数回撮像するＷｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ＷＤＲ）撮像について記載がない。

黒レベルの検出精度を高めるために、複数フィールドもしくはフレームに渡って、オプティカルブラック画素やダミー画素の画素値を積算する場合がある。その場合、ＷＤＲ撮像と組み合わせると、撮像条件の異なるフィールドもしくはフレームの黒レベルが混ざって検出されてしまい、むしろ精度が悪化してしまうことがある。この場合、黒レベルは正常に補正されず、被写体の輝度に対する、画素信号出力値の関係がずれてしまい、黒浮きや黒潰れが発生してしまう、という課題があった。

本発明の目的は、異なる撮像条件を用いる場合に黒レベルに基づく補正精度を向上することができる撮像装置を提供することにある。

上記目的を達成するために、本発明は、撮像条件に応じた第１データを出力する撮像用の第１画素部と、前記撮像条件に応じた第２データを出力する黒レベルの検出用の第２画素部とを有する撮像素子と、前記撮像条件を周期的に切り替える撮像条件制御部と、前記撮像条件ごとに設けられ、前記撮像条件ごとの前記第２データに基づいて前記撮像条件ごとの前記黒レベルを検出する黒レベル検出部から構成される黒レベル検出システムと、前記撮像条件ごとの前記黒レベルに基づいて前記撮像条件ごとの前記第１データを補正する補正部と、を備える。

本発明によれば、異なる撮像条件を用いる場合に黒レベルに基づく補正精度を向上することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

比較例としての撮像装置の構成を示す図である。 実施形態１の撮像装置の構成を示す図である。 実施形態２の撮像装置の構成を示す図である。 変形例の撮像装置の構成を示す図である。

以下、図面を用いて、本発明の実施形態１及び２による撮像装置の構成及び動作について説明する。

（比較例）
図１に比較例としての撮像装置１００の構成図を示す。

撮像装置１００は、センサ部１１０、ＤＳＰ部１２０（DSP: Digital Signal Processor）より構成される。

センサ部１１０は、有効画素部１１１、ＯＢ画素部１１２（OB: Optical Black）、ＡＦＥ部１１３（AFE: Analog Front End）、ＢＬ補正部１１４（BL: Black Level）、ノイズ補正部１１５、ペデスタル部１１６、センサ・シーケンサ部１１７より構成される。

撮像装置１００は、例えば車載カメラ等であり、広いダイナミックレンジの映像を取得するために、多重露光によるＷＤＲ映像を撮像・処理することを特徴とする。また、車載カメラは、広い温度保証範囲が要求されることが特徴である。

センサ部１１０は、Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ（ＣＭＯＳ）やＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）などの構成で画像を撮像するイメージセンサである。

有効画素部１１１は、被写体（たとえば車載センサであれば、道路状況など）方向から来る輝度に光電変換と電圧変換を適用する画素が、マトリクス状や、ハニカム状などの配置で２次元上に配置されたものである。

ＯＢ画素部１１２は、暗電流を検出可能なように遮光された画素、あるいは、暗電流を含まず、読み出し系統の信号の特性を検出するためのダミー画素、を並べたものである。

ＡＦＥ部１１３は、電圧値を、Ａ／Ｄ変換により、デジタル画像データに変換する。

センサＢＬ検出部１１８は、ＯＢ画素部１１２から出力されてＡＦＥ部により変換されたデジタル画像データ内の空間方向、もしくは、複数フレームまたはフィールド期間における時間方向で平均値、中央値、メディアン値等の処理を適用して、「黒レベル」と呼ばれる数値を出力する。この黒レベルは、有効画素部１１１より出力された映像をＡＦＥ部１１３でデジタル変換した、デジタル画像データについて、遮光等により、光が入ってこない場合の画素値のレベルを検出したものである。

ＢＬ補正部１１４は、センサＢＬ検出部１１８より出力された黒レベルを、センサ・シーケンサ部１１７経由で受け取り、黒レベルを、有効画像データより減算補正した画像データを出力する。黒レベルを減算することで、遮光時の画素値のレベルを、ゼロなどの基準値に補正する。

ノイズ補正部１１５は、ＢＬ補正部１１４の出力する画像データについて、空間方向・もしくは時間方向で画像フィルタ処理を実施して、ノイズを補正する。

ペデスタル部１１６は、ノイズ補正部１１５の出力する画像データに、所定の画素値を加算して出力する。

センサ・シーケンサ部１１７は、アナログゲイン・露光時間等の撮像条件を、後述するＤＳＰ・シーケンサ部１２４より受け取り、指定された撮像条件を実現できるように、センサ部内の各部の動作内容と動作タイミングを制御する。また、多重露光によるＷＤＲ撮像を実現するために、フィールドごとあるいはフレームごとに撮像条件を切り替えて撮像することができる。

ＤＳＰ部１２０は、前処理部１２１、ＷＤＲ合成部１２２、後処理部１２３、ＤＳＰ・シーケンサ部１２４より構成される。ＤＳＰ部は、センサ部１１０により撮像された画像データを入力とする。

前処理部１２１は、センサ部１１０の出力する画像データに対して、ノイズ除去・ペデスタルの加算・デジタルゲイン処理などの画像処理を適用する。例えばセンサ部１１０として既製品を用いて、ＤＳＰ部を自社で設計するなど、設計時の事情によって、センサ部１１０内で、同じ目的となるデジタル画像処理が重複している場合もあり得る。

ＷＤＲ合成部１２２は、前処理部１２１の出力する画像データを入力として、個別の撮像条件で撮像された複数の画像を合成して、広いダイナミックレンジとなる１枚の画像を作り出して出力する。

後処理部１２３は、ＷＤＲ合成部１２２の出力する画像データを入力とする。後処理部１２３は、例えば車載カメラにおいては、例えば、車両、歩行者、障害物、標識、標示、白線等を検知して、その検知箇所と内容を出力する。

ＤＳＰ部１２０の別の構成としては、ＷＤＲ合成部１２２における合成をせず、後処理部１２３で、撮像条件ごとに個別に認識処理を実施する場合もある。一般的に、合成する場合には、後処理部１２３の処理量を減らすことができ、合成しない場合には、後処理部１２３の検知精度を向上させることができる。

ＤＳＰ・シーケンサ部１２４は、多重露光の撮像条件の指定を含む、撮像装置全体の動作を制御する。

次に、図１に示した比較例の撮像装置１００の課題を説明する。

有効画素部１１１、及びＯＢ画素部１１２のうち画素に繋がっている領域に関しては、ＣＭＯＳイメージセンサの一般的な特性として温度上昇に応じて、黒レベルが上昇する。
また、一般的に、高い温度、高倍率のアナログゲイン、長い露光時間、の３要素の１つもしくは複数が揃ったときに、黒レベルの上昇量が大きくなる、という特性となっている。

また、一般的に、センサ部１１０のノイズ（特にダークノイズと呼ばれる、遮光状態で検出されるノイズ）が多い場合には、複数フレームに渡って、ＯＢ画素部の出力信号値を平均処理することによって、ノイズの影響を少なくして、精度よく黒レベルを測定することがある。例えば、一般的には、毎フレームの黒レベルを検出して、時間（つまりフレームもしくはフィールド方向）のＦＩＲフィルタ（FIR: Finite Impulse Response）もしくはＩＩＲフィルタ（IIR: Infinite Impulse Response）によって、さらに平均処理を実施することで、１フレームで検出する場合よりもノイズを減らして精度よく黒レベルを検出する手法をとることがある。

しかしながら、撮像装置１００において、多重露光によるＷＤＲ撮像を実現する場合においては、上記のように複数のフレームもしくはフィールドを利用した黒レベルの検出方法をとった場合において、多重露光の露光条件（たとえば、高倍率ゲインと長時間露光の組み合わせによる露光条件１と、低倍率ゲインと短時間露光の組み合わせによる露光条件２と）では、露光条件ごとに本来の黒レベルが異なるため、撮像条件の異なるフィールドもしくはフレームの黒レベルが混ざって検出されてしまい、むしろ精度が悪化してしまう。この場合、黒レベルは正常に補正されず、被写体の輝度に対する、画素信号出力値の関係がずれてしまい、黒浮きや黒潰れが発生してしまう、という課題があった。

（実施形態１）
図２に本実施形態の撮像装置２００の構成図の例を示す。

撮像装置２００は、センサ部１１０と、ＤＳＰ部２２０、とから構成される。

センサ部１１０は、比較例である図１のセンサ部１１０と同じ構成である。すなわち、撮像素子１０は、撮像条件に応じた第１データを出力する撮像用の有効画素部１１１（第１画素部）と、撮像条件に応じた第２データを出力する黒レベルの検出用のＯＢ画素部１１２（第２画素部）とを有する。なお、撮像条件は、露光時間、ゲインのうち少なくとも１つを含むようにしてもよい。これにより、黒レベルと相関のある撮像パラメータを撮像条件として用いることができる。

ＤＳＰ部２２０は、前処理部１２１、ＷＤＲ合成部１２２、後処理部１２３、ＤＳＰ ＢＬ検出部１（２２１）、ＤＳＰ ＢＬ検出部２（２２２）、ＤＳＰ・シーケンサ部２２３、とから構成される。

前処理部１２１、ＷＤＲ合成部１２２、後処理部１２３については、図１の比較例の構成と同じ構成である。

ＤＳＰ ＢＬ 検出部１（２２１）は、センサ部１１０の出力する画像データから、黒レベルを検出する。同様に、ＤＳＰ ＢＬ 検出部２（２２２）は、センサ部１１０の出力する画像データから、黒レベルを検出する。これらの検出部は、撮像条件ごとに個別に用意されることが特徴である。本実施形態においては、撮像条件が２つである場合を例示している。

換言すれば、黒レベル検出システム２３０は、黒レベル検出部としてのＤＳＰ ＢＬ 検出部１（２２１）及びＤＳＰ ＢＬ 検出部２（２２２）から構成される。ＤＳＰ ＢＬ 検出部１（２２１）及びＤＳＰ ＢＬ 検出部２（２２２）はそれぞれ、撮像条件ごとに設けられ、撮像条件ごとにＯＢ画素部１１２（第２画素部）から出力される第２データに基づいて撮像条件ごとの黒レベルを検出する。

ＤＳＰ・シーケンサ部２２３は、比較例の図１のＤＳＰ・シーケンサ部１２４と同じ処理をする他に、撮像条件に応じて、どの検出部を動作させるかを制御する。また、ＤＳＰ・シーケンサ部２２３は、ＤＳＰ ＢＬ検出部１（２２１）もしくは２（２２２）の検出する黒レベルについて、同じ撮像条件のときに撮像された有効画像データを補正するようにセンサ・シーケンサ部１１７に対して、タイミングごとに異なる黒レベルを出力する。

なお、図１のＤＳＰ・シーケンサ部１２４と同様に、ＤＳＰ・シーケンサ部２２３（撮像条件制御部）は、撮像条件を周期的に切り替える。ＢＬ補正部１１４（補正部）は、撮像条件ごとの黒レベルに基づいて、撮像条件ごとに有効画素部１１１から出力される第１データを補正する。ＷＤＲ合成部１２２（合成部）は、撮像条件ごとに補正された第１データを合成する。これにより、合成された第１データが示す画像において黒浮き及び黒潰れが抑制される。

あるいは、別の構成として、黒レベルの補正について、ＢＬ補正部１１４ではなく、前処理部１２１で実施する構成としても良い。例えば、ＢＬ補正部１１４が、撮像条件の切り替わりに応じて補正量を切り替えられないセンサ部１１０の仕様となっている場合などには、前処理部１２１で実施することとなる。

（実施形態１における動作）
次に、本実施形態の構成である撮像装置２００の動作を説明する。多重露光、特に本実施形態では例として、高倍率ゲインと長時間露光の組み合わせによる露光条件１（撮像条件１）と、低倍率ゲインと短時間露光の組み合わせによる露光条件２（撮像条件２）と、の２重露光の構成とする。例えば、露光条件１と２が１フレームごとに交互に切り替える動作タイミングが、ＤＳＰ／シーケンサ部２２３によって指定されるとする。

このとき、ＤＳＰ ＢＬ検出部１（２２１）は、露光条件１の期間にＯＢ画素部１１２より出力された画素値の空間方向の平均処理をして黒レベルを検出し、それをＦＩＲもしくはＩＩＲフィルタによって時間方向に平均して、露光条件１の場合の黒レベルを検出する。

同様に、ＤＳＰ ＢＬ検出部２（２２２）は、露光条件２の期間にＯＢ画素部１１２より出力された画素値の空間方向の平均処理をして黒レベルを検出し、それをＦＩＲもしくはＩＩＲフィルタによって時間方向に平均して、露光条件２の場合の黒レベルを検出する。

換言すれば、それぞれの黒レベル検出部は、撮像条件ごとに黒レベルを平均化する。これにより、撮像条件ごとに検出された黒レベルが平均化において互いに干渉することがない。

露光条件１、２それぞれの場合の黒レベルは、ＤＳＰ・シーケンサ部２２３、センサ・シーケンサ部１１７を通じて、ＢＬ補正部１１４に出力される。ＢＬ補正部１１４は、有効画素部１１１において露光条件１で撮像された画像データがＡＦＥ部１１３より出力されるタイミングでは、露光条件１の場合の黒レベルを減算して補正する。同様に、ＢＬ補正部１１４は、有効画素部１１１において露光条件２で撮像された画像データがＡＦＥ部１１３より出力されるタイミングでは、露光条件２の場合の黒レベルを減算して補正する。

上述のように、本実施形態１によれば、多重露光の露光条件ごとに、適切な黒レベルを検出して、黒レベルの補正を実施することができる。そのため、高温時においても被写体の輝度に対する、画素信号出力値の関係が崩れず、黒浮きや黒潰れが発生することを防ぐことができる、という効果がある。

すなわち、異なる撮像条件を用いる場合に黒レベルに基づく補正精度を向上することができる。

（実施形態２）
図３に本実施形態の撮像装置３００（ステレオカメラ）の構成図の例を示す。

本実施形態では、撮像素子１０が２つ（複数）あり、黒レベル検出システム２３０がそれぞれの撮像素子１０に対して設けられる。

本実施形態によれば、多重露光の露光条件（撮像条件）ごと、かつ撮像素子１０ごとに、適切な黒レベルを検出して、黒レベルの補正を実施することができる。

（変形例）
図４に変形例の撮像装置３００Ａ（ステレオカメラ）の構成図の例を示す。

本変形例では、撮像素子１０が２つあり、黒レベル検出システム２３０は、一方の撮像素子１０（第１撮像素子）に対してのみ設けられる。ＢＬ補正部１１４（補正部）は、黒レベル検出システム２３０によって検出される撮像条件ごとの黒レベルに基づいて、撮像条件ごとに撮像素子１０（第１撮像素子及び第２撮像素子）の第１画素部１１２から出力される第１データを補正する。これにより、それぞれの撮像素子１０から出力される第１データの補正をそろえることができる。

なお、撮像素子１０が３つ以上ある場合、１つの黒レベル検出システム２３０によって検出される撮像条件ごとの黒レベルに基づいて、すべての撮像素子１０の第１画素部１１２から出力される第１データが補正される。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

実施形態１の撮像装置２００は、センサ部（カメラ部）が１つからなる単眼の画像処理カメラを示し、実施形態２の撮像装置３００および変形例の撮像装置３００Ａは、センサ部が２つからなるステレオカメラを示すが、センサ部の数は任意である。

上記実施形態では、センサ部１１０（撮像部）は、撮像素子１０を有し、画像を撮像する。また、ＤＳＰ部２２０（画像処理部）は、画像を処理する。ここで、黒レベル検出システム２３０は、センサ部１１０に設けられてもよい。一方、ＢＬ補正部１１４（補正部）は、ＤＳＰ部２２０に設けられてもよい。例えば、前述したように、前処理部１２１がＢＬ補正部１１４の機能を実施するようにしてもよい。これにより、例えば、設計に応じて、黒レベル検出システム２３０及びＢＬ補正部１１４の配置場所を変更することができる。

撮像条件は、撮像装置の周囲の温度を含むようにしてもよい。撮像装置の周囲の温度は、例えば、温度センサによって測定される。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）撮影に用いられる有効画素と、ブラックレベルを検出するのに用いられるブラックレベル検出用画素と、を有する撮像素子と、前記ブラックレベル検出用画素からの信号に基づいてブラックレベルを検出するブラックレベル検出部と、前記ブラックレベルに基づいて前記有効画素からの信号を補正する補正部と、前記撮像素子の撮像パラメータを制御する撮像パラメータ制御部と、を備え、前記ブラックレベル検出部は、異なる撮像パラメータ毎に設けた複数のブラックレベル検出部を有する、撮像装置。

（２）前記補正部は、前記複数のブラックレベル検出部で検出された複数のブラックレベルに基づいて前記有効画素からの信号を補正する、（１）に記載の撮像装置。

（３）前記撮像パラメータは、少なくとも露光時間、ゲイン、の何れかである、（１）に記載の撮像装置。

（４）前記撮像素子は、複数有し、前記ブラックレベル検出部は、複数の撮像素子毎に設けられた、（１）の撮像装置。

（５）一方の撮像素子のブラックレベル検出部で検出されたブラックレベルを、他方の撮像素子の補正部での補正に用いる、（４）の撮像装置。

（６）前記撮像素子を有する撮像部と、前記撮像部から取得した画像に基づいて画像処理する画像処理部と、を有し、前記ブラックレベル検出部は、前記撮像部又は前記画像処理部に有する、（１）の撮像装置。

上記（１）〜（６）によれば、黒レベルの検出精度を高めるために、複数フィールドもしくはフレームに渡って、オプティカルブラック画素やダミー画素の画素値を積算する場合であっても、撮像条件ごとに個別に黒レベルを検出することができる。各撮像条件ごとに、正しい黒レベルを検出して、補正することができるので、黒浮きや黒潰れが発生せず、被写体の輝度に対する、画素信号出力値の関係がずれないという効果がある。

１０…撮像素子、１００…撮像装置（比較例）、１１０…センサ部（比較例）、１１１…有効画素部、１１２…オプティカルブラック（ＯＢ）画素部、１１３…Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ（ＡＦＥ）部、１１４…ブラックレベル（ＢＬ）補正部、１１５…ノイズ補正部、１１６…ペデスタル部、１１７…センサ・シーケンサ部、１１８…センサＢＬ検出部、１２０…Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）部（比較例）、１２１…前処理部、１２２…Ｗｉｄｅ Ｄｉｎａｍｉｃ Ｒａｎｇｅ（ＷＤＲ）合成部、１２３…後処理部、１２４…ＤＳＰ・シーケンサ部、２００…撮像装置（実施形態１）、２２０…ＤＳＰ部、２２１…ＤＳＰ ＢＬ検出部、１２２２…ＤＳＰ ＢＬ検出部、２２２３…ＤＳＰ・シーケンサ部、２３０…黒レベル検出システム、３００…撮像装置（実施形態２）、３００Ａ…撮像装置（変形例）。

Claims (8)

1. 撮像条件に応じた第１データを出力する撮像用の第１画素部と、前記撮像条件に応じた第２データを出力する黒レベルの検出用の第２画素部とを有する撮像素子と、
   前記撮像条件を周期的に切り替える撮像条件制御部と、
   前記撮像条件ごとに設けられ、前記撮像条件ごとの前記第２データに基づいて前記撮像条件ごとの前記黒レベルを検出する黒レベル検出部から構成される黒レベル検出システムと、
   前記撮像条件ごとの前記黒レベルに基づいて前記撮像条件ごとの前記第１データを補正する補正部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像条件は、
   露光時間、ゲインのうち少なくとも１つを含む
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記撮像素子は、
   複数あり、
   前記黒レベル検出システムは、
   それぞれの前記撮像素子に対して設けられる
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記撮像素子は、
   少なくとも２つあり、
   前記黒レベル検出システムは、
   第１撮像素子に対してのみ設けられ、
   前記補正部は、
   前記黒レベル検出システムによって検出される前記撮像条件ごとの前記黒レベルに基づいて、前記撮像条件ごとに第１撮像素子及び第２撮像素子の前記第１画素部から出力される前記第１データを補正する
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記撮像素子を有し、画像を撮像する撮像部と、
   前記画像を処理する画像処理部と、を備え、
   前記黒レベル検出システムは、
   前記撮像部又は前記画像処理部に設けられる
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記補正部は、
   前記撮像部又は前記画像処理部に設けられる
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置であって、
   それぞれの前記黒レベル検出部は、
   前記撮像条件ごとに前記黒レベルを平均化する
   ことを特徴とする撮像装置。
8. 請求項１に記載の撮像装置であって、
   前記撮像条件ごとに補正された前記第１データを合成する合成部を備える
   ことを特徴とする撮像装置。

Images