JP2012029029A - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

画像処理装置、画像処理方法及び撮像装置 Download PDF

Info

Publication number
JP2012029029A
JP2012029029A JP2010165669A JP2010165669A JP2012029029A JP 2012029029 A JP2012029029 A JP 2012029029A JP 2010165669 A JP2010165669 A JP 2010165669A JP 2010165669 A JP2010165669 A JP 2010165669A JP 2012029029 A JP2012029029 A JP 2012029029A
Authority
JP
Japan
Prior art keywords
image data
luminance
image
conversion
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010165669A
Other languages
English (en)
Inventor
Haruhisa Kurane
治久 倉根
Masanobu Kobayashi
雅暢 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010165669A priority Critical patent/JP2012029029A/ja
Publication of JP2012029029A publication Critical patent/JP2012029029A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】入力画像の輝度情報を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供する。
【解決手段】画像処理装置２０を、測光部２５と、ＨＤＲ本線処理部２６とを含む構成とし、測光部２５において、標準露光時間Ｔ３よりも短い短露光時間Ｔ２で撮像して得られた画素データＳ２からヒストグラムを生成し、このヒストグラムに基づき撮像画像のコントラスト比の高低を判定し、この判定結果に基づきＨＤＲカラー画像データの輝度を変換する際に用いられる輝度レベル補正ゲインの特性を制御するレベル補正制御パラメーターを生成し、ＨＤＲ本線処理部２６において、コントラスト比が高ければ高いほど低輝度部のゲインをより抑制する特性の複数種類の変換用ＬＵＴから前記パラメーターに対応するＬＵＴを選択し、この選択したＬＵＴを用いてＨＤＲカラー画像データの輝度を変換する。
【選択図】図８

Description

本発明は、入力画像の輝度を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法及び撮像装置に関する。
電子カメラは撮像素子のダイナミックレンジ（以下、Ｄレンジと称す）が狭い為、露出制御を行う。露出制御においては撮像素子のＤレンジに入るように、電子シャッター速度や絞りにより撮像素子に入力される光量を調整する（例えば、特許文献１参照）。露出制御は、撮像素子から出力される信号レベルの平均値が、特定の値（例えばＤレンジの１８％のレベル）になるように、シャッター速度や絞りを制御する。一般に、露出制御はクローズドループ制御で行われる。
一方、Ｄレンジの広い撮像画像を得られるカメラとして、ＨＤＲカメラが存在する。これは、撮像素子のＤレンジの狭さを補う為、露光時間の異なる画像を複数枚撮像し、それを合成することで、ＨＤＲ画像を生成する（例えば、特許文献２参照）。ＨＤＲカメラは、先述した露光制御が不要になる。
仮に、最も長い時間で露光した場合の露光量を長時間露光量Ｓ３とし、最も短い露光時間で露光した場合の露光量を短時間露光量Ｓ１とし、これらの中間の露光時間で露光した場合の露光量を中時間露光量Ｓ２とする。ＨＤＲカメラは、Ｓ３とＳ１の比を大きくするほど、そのダイナミックレンジを大きくすることができる。また、ＨＤＲカメラからの出力画像の画質（Ｓ／Ｎ）は、中間の露光時間で撮像した画像の枚数を増やすほど良くなることが知られている。
ＨＤＲカメラにおいては、ＪＰＥＧ、ＭＰＥＧなどの規格に準拠するためにレンジ圧縮が必要である。従来、入力画像の輝度情報を変換して、入力画像のダイナミックレンジを圧縮する手法として、人間の視覚特性を考慮したretinex理論に基づいた手法が多く発表
されている。例えば、非特許文献１では、「目に入る光像は照明光成分と反射成分の積で表されるが、視覚に強い相関を示すのは反射成分である」と実験から結論付けている。この理論に基づき、ダイナミックレンジを圧縮する際は画像の反射成分を保存し照明光成分のみを圧縮することで、画質劣化を防ぎつつ画像のＤレンジを圧縮する方法が提案されている（例えば、特許文献３、特許文献４参照）。このＤレンジを圧縮する処理は、一般に、トーンマップ処理と呼ばれる。
特開２００３−２４４５３８号公報 特開２００９−４９５４７号公報 特開２００６−３５２８２５号公報 特開２００８−５１１０４８号公報
E.H.Land,J.J.McCann,"Lightness and retinex theory",journal of the Optical Society of America,61(1),1(1971)
飽和現象が起きないＨＤＲカメラシステムは、露光制御が不要であることから、常に安
定な画像が得られる、という大きな特徴を有する。しかしながら、前述のトーンマップ処理によって、ビデオ出力画像のコントラスト感が損なわれる傾向がある。すなわちトーンマップ処理は、暗部のゲインを大きくして、暗部を明るく持ち上げるように動作することから、被写体のコントラスト比が大きいときは、靄（もや）のかかった様な眠たい画像になってしまう。
例えば、炎天下の環境で、自動車内に設置したカメラにて車内を撮影することを考える。この場合、通常のカメラでは、車窓からの風景がとんでしまうか、もしくは車内の映像が黒潰れしてしまうか、のどちらかになってしまう。一方、ＨＤＲカメラは、車窓からの風景を鮮明に写しつつ、本来は黒潰れする車内の風景も、前述のトーンマップ処理によりゲインを上げることで、描写する。このようにＨＤＲカメラは、車外と車内の双方を映像として描写することが出来るが、トーンマップ処理を施すことで、その映像はコントラスト比が低い眠たい画像になる。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、入力画像の輝度情報を変換して階調特性の異なる出力画像を生成するのに好適な画像処理装置、画像処理方法及び撮像装置を提供できる。
〔形態１〕 上記目的を達成するために、形態１の画像処理装置は、
異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを合成して生成される第１の合成画像データの輝度を変換して階調特性の異なる第２の合成画像データを生成する画像変換手段と、
前記複数の画像データのうち、少なくとも１の画像データに基づき、前記被写体の撮像画像の輝度分布に係る情報である輝度分布情報を生成する輝度分布情報生成手段と、
前記輝度分布情報生成手段で生成した輝度分布情報に基づき、前記画像変換手段の前記輝度の変換に用いるゲインの特性を制御する変換ゲイン制御手段と、を備え、
前記画像変換手段は、前記変換ゲイン制御手段で制御されたゲインを用いて前記第１の合成画像データの輝度を変換する。
このような構成であれば、画像変換手段によって、異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを合成して生成される第１の合成画像データの輝度を変換して階調特性の異なる第２の合成画像データを生成することが可能である。
一方、輝度分布情報生成手段によって、複数の画像データのうち、少なくとも１の画像データに基づき、撮像画像の輝度分布に係る輝度分布情報を生成することができる。更に、変換ゲイン制御手段によって、輝度分布情報に基づき、前記画像変換手段の前記輝度の変換に用いるゲインの特性を制御することが可能である。
そして、画像変換手段は、前記変換ゲイン制御手段で制御されたゲインを用いて前記第１の合成画像データの輝度を変換することが可能である。
これにより、輝度分布情報に基づき変換に用いるゲインの特性を自動で制御することができると共に、ゲインの特性を適切に制御することで、階調変換後の出力画像における画質劣化を低減することができる。
例えば、第１の合成画像データの低階調部分について、ゲインを抑えるように制御することで、輝度を変換後の出力画像における低階調部分のコントラスト比の低下による画質劣化を低減することができる。
また、入力画像（第１の合成画像データ）の特性や所望する出力画像（第２の合成画像データ）の特性などに応じて、ゲインの上限を変更することができる。
これにより、コントラスト比の低下による画質劣化を低減しつつ、所望の画質特性を有する出力画像を得ることができる。
ここで、輝度の変換は、一画素の単位で行ってもよいし、特定位置の複数画素の単位で行ってもよい。例えば、複数画素の場合は、平均輝度を求めて、該平均輝度に応じたゲインの上限を設定し、該上限に従って、輝度の変換を行う。
〔形態２〕 更に、形態２の画像処理装置は、形態１の画像処理装置において、
前記輝度分布情報は、前記撮像画像の輝度のヒストグラムである。
このような構成であれば、輝度のヒストグラムから撮像画像の輝度のコントラストの状態を知ることができるので、的確なゲイン制御を行うことができる。
〔形態３〕 更に、形態３の画像処理装置は、形態１又は２の画像処理装置において、
前記画像変換手段は、前記第１の合成画像データの輝度を変換して、前記第１の合成画像データの輝度のダイナミックレンジを圧縮した第２の合成画像データを生成する。
このような構成であれば、画像変換手段は、例えば、第１の合成画像データがハイダイナミックレンジの画像データである場合に、入力画像データの輝度を、表示装置などの出力装置の出力可能な階調範囲に合わせて変換することができる。
例えば、第１の合成画像データが２０ビットの階調範囲を有している場合に、その階調範囲を、表示装置の表示可能な階調範囲に合わせて、これよりも低い階調範囲、例えば８ビットの階調範囲へと圧縮した第２の合成画像データを生成することができる。
〔形態４〕 更に、形態４の画像処理装置は、形態１乃至３のいずれか１の画像処理装置において、
前記輝度分布情報生成手段は、前記複数の画像データのうち、最長の露光時間を除く残りの露光時間に対応する画像データのうちの少なくとも１の画像データに基づき前記輝度分布情報を生成する。
このような構成であれば、比較的明るい場所で撮像する場合に、白飛びした画像以外の画像データから輝度分布情報を生成することができるので、精度の良い情報を生成することができる。特に、最長及び最短以外の画像データを用いることで、黒つぶれ且つ白飛びの無い画像データから輝度分布情報を生成することができる。
〔形態５〕 更に、形態５の画像処理装置は、形態１乃至４のいずれか１の画像処理装置において、
前記変換ゲイン制御手段は、前記輝度分布情報に基づき撮像画像のコントラスト比の高低を判定し、コントラスト比が高いと判定したときは、前記第１の合成画像データにおける所定輝度以下の画素データの階調変換に用いるゲインを前記コントラスト比が高ければ高いほど小さい値となるように制御する。
このような構成であれば、コントラスト比が高いと判定したときに、所定輝度以下の画素データについて、変換後の輝度が高くなりすぎないようにゲインを調整することができる。従って、入力画像の低輝度部分が明るくなりすぎないように制限をかけつつも、黒浮きのないメリハリの効いた出力画像を生成することができる。
〔形態６〕 更に、形態６の画像処理装置は、形態５の画像処理装置において、
前記変換ゲイン制御手段は、前記所定輝度以下の画素データの階調変換に用いるゲインが、一定値で固定されるようにゲインを制御する。
このような構成であれば、所定輝度以下の画素データについて、ゲインに上限値（リミット）を設けることができる。これにより、ゲインの上限値を適切に設定することで、入力画像の輝度を変換後の出力画像における低輝度部分のコントラストの低下による画質劣化を低減することができる。
〔形態７〕 更に、形態７の画像処理装置は、形態５又は６の画像処理装置において、
前記変換ゲイン制御手段は、前記コントラスト比が低いと判定したときは、前記所定輝度以下の画素データの階調変換に用いるゲインを前記コントラスト比が低ければ低いほど大きい値となるように制御する。
このような構成であれば、コントラスト比が低いと判定したときに、所定輝度以下の画素データについて、変換後の輝度が低くなりすぎないようにゲインを調整することができる。従って、入力画像の低輝度部分が暗くなりすぎないように制限をかけつつも、黒浮きのないメリハリの効いた出力画像を生成することができる。
〔形態８〕 更に、形態８の画像処理装置は、形態５乃至７のいずれか１の画像処理装置において、
前記輝度分布情報生成手段は、前記少なくとも１の画像データについて、該画像データの対応する輝度の階調範囲を高輝度側、中間輝度、低輝度側の３つの独立した範囲に区分すると共に各範囲を１以上の区分範囲に区分し、各区分範囲に属する画素の数を計数して前記輝度分布情報を生成する。
このような構成であれば、高輝度側の画素数と、低輝度側の画素数を簡易に把握することができ、撮像画像のコントラスト比の高低を簡易且つ高速に判定することができる。
〔形態９〕 更に、形態９の画像処理装置は、形態８の画像処理装置において、
前記変換ゲイン制御手段は、前記高輝度側の範囲に属する区分範囲の合計画素数が第１閾値以上で、且つ前記低輝度側の範囲に属する区分範囲の合計画素数が第２閾値以上のときに、前記撮像画像のコントラスト比が高いと判定する。
このような構成であれば、第１閾値及び第２閾値によって、コントラスト比を高いと判定する際の基準を簡易に設定することができる。
〔形態１０〕 更に、形態１０の画像処理装置は、形態８又は９の画像処理装置において、
前記変換ゲイン制御手段は、前記高輝度側の範囲に属する区分範囲の合計画素数が第３閾値以下のときに、前記撮像画像のコントラスト比が低いと判定する。
このような構成であれば、第３閾値によって、コントラスト比を低いと判定する際の基準を簡易に設定することができる。
〔形態１１〕 更に、形態１１の画像処理装置は、形態１乃至１０のいずれか１の画像処理装置において、
被写体を撮像可能な撮像素子から、当該撮像素子において異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、最長の露光時間に対応する画像データを含む２以上の画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得した前記２以上の画像データを露光時間の比率に基づき線形合成して前記第１の合成画像データを生成する合成画像データ生成手段と、を備え、
前記輝度分布情報生成手段は、前記２以上の画像データのうち前記最長の露光時間を除く露光時間のうち少なくとも１の露光時間に対応する画像データに基づき前記輝度分布情報を生成する。
このような構成であれば、画像データ取得手段によって、撮像素子から、異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、最長の露光時間に対応する画像データを含む２以上の画像データを取得することができる。
更に、合成画像データ生成手段によって、取得した前記２以上の画像データを露光量の比率に基づき線形合成して前記第１の合成画像データを生成することができる。
そして、輝度分布情報生成手段は、前記２以上の画像データのうち前記最長の露光時間を除く露光時間のうち少なくとも１の露光時間に対応する画像データに基づき前記輝度分
布情報を生成することができる。
〔形態１２〕 更に、形態１２の画像処理装置は、形態１１の画像処理装置において、
前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番に前記複数の画像データを構成する画素信号のデータを出力し、
前記画像データ取得手段は、前記各フレーム期間において、前記最長の露光時間に対応する画像データを取得するよりも先行して前記少なくとも１の画像データを取得し、
前記輝度分布情報生成手段は、前記先行して取得した少なくとも１の画像データである先行画像データに基づき前記輝度分布情報を生成し、
前記変換ゲイン制御手段は、前記先行画像データに基づき生成された輝度分布情報に基づき、前記先行画像データを取得したフレーム期間と同じフレーム期間に取得される前記２以上の画像データを線形合成して生成される第１の合成画像データの輝度を変換するゲインを制御し、
前記画像変換手段は、前記同じフレーム期間に対応する前記第１の合成画像データの輝度を、前記同じフレーム期間に対応する前記制御されたゲインを用いて変換する。
このような構成であれば、撮像素子から、最長の露光時間に対応する画素信号のデータに先行して、これより短い１の露光時間に対応する画素信号のデータを取得して、輝度分布情報を生成することができる。
更に、変換ゲイン制御手段は、生成した輝度分布情報に基づき、この情報の生成に用いた画像データと同じフレームに取得される２以上の画像データを線形合成して生成される第１の合成画像データの輝度を変換するゲインを制御することができる。
従って、輝度分布情報の生成対象である画像データのフレームと、輝度分布情報に基づきゲインを制御する対象の第１の合成画像データの生成に用いる画像データのフレームとを同じにすることができる。これにより、別フレームとした場合の被写体の輝度変動に応じた発振(フリッカ)現象の発生を抑えることが可能である。そのため、常に安定な出力画像を得ることができる。
また、例えば、車載カメラやマシンビジョンなどのように実時間性が要求されるアプリケーションにおいて、実時間に近いタイミングで出力装置の階調に合わせて階調変換された合成画像（映像）の取得を行うのに有効である。
〔形態１３〕 一方、上記目的を達成するために、形態１３の画像処理方法は、
異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを合成して生成される第１の合成画像データの輝度を変換して階調特性の異なる第２の合成画像データを生成する画像変換ステップと、
前記複数の画像データのうち、少なくとも１の画像データに基づき、前記被写体の撮像画像の輝度分布に係る情報である輝度分布情報を生成する輝度分布情報生成ステップと、
前記輝度情報生成ステップで生成した輝度分布情報に基づき、前記画像変換手段の前記輝度の変換に用いるゲインの特性を制御する変換ゲイン制御ステップと、を含み、
前記画像変換ステップにおいては、前記変換ゲイン制御ステップで制御されたゲインを用いて前記第１の合成画像データの輝度を変換する。
これにより、形態１の画像処理装置と同等の作用及び効果が得られる。
〔形態１４〕 また、上記目的を達成するために、形態１４の撮像装置は、
被写体を撮像可能な撮像素子と、
形態１１又は形態１２に記載の画像処理装置と、を備える。
このような構成であれば、形態１１又は１２に記載の画像処理装置と同等の作用及び効果が得られる。
本発明に係る撮像装置１の構成を示すブロック図である。 ＨＤＲ撮像素子１０の内部構成を示すブロック図である。 カラーフィルターアレイ１０ｃの構成を示す図である。 ＨＤＲセンサー１０ｄのセンサーセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。 ＨＤＲセンサー１０ｄからの画素データの出力形式の一例を示す図である。 画像処理装置２０の内部構成の一例を示すブロック図である。 測光部２５及びＨＤＲ本線処理部２６の内部構成の一例を示すブロック図である。 ＨＤＲ線形処理部３０及びレベル補正処理部３１の内部構成の一例を示すブロック図である。 合成処理部３０ａの内部構成の一例を示すブロック図である。 輝度分布情報生成部４０の内部構成の一例を示すブロック図である。 補正ゲイン算出部５１の内部構成の一例を示すブロック図である。 各サブフレームにおける画素データの出力タイミングの一例を示す図である。 第１実施形態の変換用ＬＵＴの一例を示す図である。 補正ゲイン算出部５１’の内部構成の一例を示すブロック図である。 第２実施形態の変換用ＬＵＴ及びリミット値の一例を示す図である。
〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図１４は、本発明に係る画像処理装置、画像処理方法、画像処理プログラム及び撮像装置の第１実施形態を示す図である。
（撮像装置の構成例）
まず、本発明に係る撮像装置の構成を図１〜図２に基づき説明する。図１は、本発明に係る撮像装置１の構成を示すブロック図である。また、図２は、ＨＤＲ撮像素子１０の内部構成を示すブロック図である。
撮像装置１は、図１に示すように、ＨＤＲ撮像素子１０と、画像処理装置２０とを含んで構成される。
撮像素子１０は、図２に示すように、レンズ１０ａと、マイクロレンズ１０ｂと、カラーフィルターアレイ１０ｃと、ＨＤＲセンサー１０ｄと、駆動回路１０ｅと、読出回路１０ｆとを含んで構成される。
レンズ１０ａは、被写体からの反射光を集光して、マイクロレンズ１０ｂへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
マイクロレンズ１０ｂは、レンズ１０ａを透過した光をＨＤＲセンサー１０ｄの有するセンサーセルアレイの各センサーセル（画素）に集光するものである。
カラーフィルターアレイ１０ｃは、マイクロレンズ１０ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものであ
る。
ＨＤＲセンサー１０ｄは、各センサーセル（画素）がフォトダイオード及びＣＭＯＳ素子から構成されるセンサーセルアレイを有し、電子シャッター方式によって露光時間を制御して露光時間の異なる複数種類の画像データを出力するものである。
駆動回路１０ｅは、不図示のレジスターで設定される駆動モードと画像処理装置２０からの同期信号とに基づき、ＨＤＲセンサー１０ｄと読出回路１０ｆとを駆動するものである。本実施形態においては、異なる露光時間で被写体を撮像するように駆動し、露光時間の異なる複数種類の撮像画像データを出力する。
読出回路１０ｆは、ＨＤＲセンサー１０ｄから撮像画像信号を読み出し、読み出した撮像画像信号（アナログ）に対してＡ／Ｄ変換を含む各種信号処理を施してデジタルの撮像画像データとして画像処理装置２０に出力する。このとき、読出回路１０ｆは、駆動回路１０ｅを介して供給される画像処理装置２０からの同期信号に同期して撮像画像データを出力する。
画像処理装置２０は、ＨＤＲ撮像素子１０から出力される、露光時間の異なる複数種類の撮像画像データに基づき、ノイズ除去処理、合成処理、色処理、輝度画像データ生成処理、輝度値→ゲイン変換処理、レベル変換（トーンマッピング）処理、γ変換処理等を行うものである。なお、詳細な構成は後述する。
（カラーフィルターアレイの構成例）
次に、図３に基づき、カラーフィルターアレイ１０ｃの構成を説明する。
ここで、図３は、カラーフィルターアレイ１０ｃの構成を示す図である。
図３において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光を選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ00であれば、行番号１の第１列目の画素に対応するＲの波長領域の光を透過するフィルター部となる。なお、本実施形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置２は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
具体的に、カラーフィルターアレイ１０ｃ（以下、ＣＦアレイ１０ｃと称す）は、マイクロレンズ１０ｂを介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光を分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部から構成されている。
より具体的に、ＣＦアレイ１０ｃは、図３に示すように、入射光からＲ光を分離して、該分離したＲ光を画素に入射する複数のＲ光透過フィルター部（図３中のＲ）と入射光からＧ光を分離して、該分離したＧ光を画素に入射する複数のＧ光透過フィルター部（図３中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルターラインＲＧＦＬを複数備えている。
更に、複数のＧ光透過フィルター部と、入射光からＢ光を分離して、該分離したＢ光を画素に入射する複数のＢ光透過フィルター部（図３中のＢ）とがＧ→Ｂ→Ｇ→Ｂ→Ｇ→Ｂ→・・・の順で水平方向に連続した構成のフィルターラインＧＢＦＬを複数備えている。これら複数の、フィルターラインＲＧＦＬと、フィルターラインＧＢＦＬとは、図２に示すように、ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→ＧＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＧ光透過フィルター部と、複数のＢ光透過フィルター部と、複数のＲ光透過フィルター部とがベイヤ型に配列された構成となっている。
（ＨＤＲセンサー１０ｄの駆動制御方法について）
次に、図４〜図６に基づき、撮像素子１０のＨＤＲセンサー１０ｄの露光時間の制御方法、及びセンサーセルアレイからの画素信号の読み出し方法について説明する。ここで、図４は、ＨＤＲセンサー１０ｄのセンサーセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図５は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。また、図６は、ＨＤＲセンサー１０ｄからの画素データの出力形式の一例を示す図である。
ここで、本発明の露光時間の制御は、センサーセルアレイの露光領域（走査領域）に対して、超短露光時間Ｔ_Ｓ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ
１と、短露光時間Ｔ_Ｓ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２
とを設定する。更に、各画素のラインの蓄積電荷のリセット及び標準露光時間Ｔ_Ｓ３の
画素信号の読み出しを行う読み出し＆リセットラインＬ３を設定する。なお、Ｔ_Ｓ１〜
Ｔ_Ｓ３の関係は、図５に示すように、「Ｔ_Ｓ１＜Ｔ_Ｓ２＜Ｔ_Ｓ３」となっており、リセットされてから、まずＴ_Ｓ１経過時に非破壊読み出しラインＬ１が設定される。次に
Ｔ_Ｓ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ_Ｓ３経過時に読み出し＆リセットラインＬ３が設定される。
具体的に、非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３は、図４に示すように、露光領域における画素のラインに順次標準露光時間Ｔ_Ｓ３分の電
荷が蓄積されると、読み出し＆リセットラインＬ３が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間Ｔ_Ｓ３の時間分の電荷が蓄積され
る期間中、超短露光時間Ｔ_Ｓ１及び短露光時間Ｔ_Ｓ２において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１及びＬ２がそれぞれ設定される。
なお、本実施の形態においては、図４に示すように、リセット直後の超短露光時間Ｔ_
Ｓ１に対応する画素信号（アナログデータ）Ｓ１は、第１ラインメモリーに読み出され、短露光時間Ｔ_Ｓ２に対応する画素信号（アナログデータ）Ｓ２は、第２ラインメモリー
に読み出される。更に、標準露光時間Ｔ_Ｓ３に対応する画素信号（アナログデータ）Ｓ
３は、第３ラインメモリーに読み出される。そして、これら読み出された画素信号Ｓ１〜Ｓ３は、図３に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ３の順で順次出力されそこでデジタルデータ（画素データ）に変換される。変換された各画素データは、変換された順に（Ｓ１〜Ｓ３の順に）ライン単位で画像処理装置２０に出力される。
また、上記非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３の画素信号の読み出しタイミングの制御は、図４に示すように、各画素のライン毎に、読み出し＆リセットラインＬ３を順次走査する（図４のスキャン方向）。そして、読み出し＆リセットラインＬ３においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット直前に標準露光時間Ｔ_Ｓ３の露光が行われた画素の画素信号の読み出しを行う。更に
、リセット直後に、超短露光時間Ｔ_Ｓ１の画素信号の読み出しを行う。
例えば、露光領域の一番目のラインである第１ラインにおいて標準露光時間Ｔ_Ｓ３の
画素信号Ｓ３の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ３が第３ラインメモリーから全て外部に読み出される毎に、図４中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ３の走査が順次行われる。このとき、読み出し＆リセットラインＬ３が再び第１ラインに到達したときに、丁度標準露光時間Ｔ_Ｓ３が経過するタイ
ミングとなるように走査が行われる。このような手順で、センサーセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、標準露光時の画素信号の読み出し及び蓄
積電荷のリセットを順次行う。
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において超短露光時間Ｔ_Ｓ１の露光が行われた画素の画素信号Ｓ１
の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において短露光時間Ｔ_
Ｓ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。このような手順で、センサーセルアレイの各画素のラインに対して、ライン毎に、超短露光時間Ｔ_Ｓ１及び
短露光時間Ｔ_Ｓ２で露光時の画素信号Ｓ１及びＳ２の非破壊読み出しを順次行う。
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、第１ラインメモリー〜第３ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、図６に示すように、ライン単位でＳ１〜Ｓ３の順に画素データが順次、画像処理装置２０へと出力される。つまり、画像処理装置２０には、図６に示すように、画素データＳ３に先行して、画素データＳ１〜Ｓ２がＳ１からＳ２の順に入力される。
（画像処理装置の構成例）
次に、図７〜図１２に基づき、画像処理装置２０の詳細な構成を説明する。
ここで、図７は、画像処理装置２０の内部構成の一例を示すブロック図である。また、図８は、測光部２５及びＨＤＲ本線処理部２６の内部構成の一例を示すブロック図である。また、図９は、ＨＤＲ線形処理部３０及びレベル補正処理部３１の内部構成の一例を示すブロック図である。また、図１０は、合成処理部３０ａの内部構成の一例を示すブロック図である。また、図１１は、輝度分布情報生成部４０の内部構成の一例を示すブロック図である。また、図１２は、補正ゲイン算出部５１の内部構成の一例を示すブロック図である。
画像処理装置２０は、図７に示すように、プリプロセス部２１と、遅延部２２〜２４と、測光部２５と、ＨＤＲ本線処理部２６とを含んで構成される。
プリプロセス部２１は、ＨＤＲセンサー１０ｄからの画素信号（画素データＳ１〜Ｓ３）に対して、超短露光時間Ｔ_Ｓ１の画素データＳ１を用いた固定パターンノイズの除去
処理、クランプ処理などを行う。
具体的に、固定パターンノイズの除去処理は、短露光時間Ｔ_Ｓ２及び標準露光時間Ｔ_Ｓ３の画素データから、超短露光時間Ｔ_Ｓ１の画素データを各対応する画素毎に減算す
る処理となる。つまり、超短露光時間Ｔ_Ｓ１の画素データは、リセット直後の画素信号
に対応するデータであるため、電荷の蓄積量が少なく、固定パターンノイズの成分に支配されているので、このデータを、他の露光時間のデータから減算することで、固定パターンノイズの成分のみを除去することができる。
また、クランプ処理は、ＨＤＲセンサー１０ｄからの画素データＳ１〜Ｓ３を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、全ての入力画素データの直流成分をクランプする処理となる。
そして、固定パターンノイズの除去処理及びクランプ処理を経た画素データＳ１〜Ｓ３は、遅延部２２〜２４を介して出力タイミングを同期させて、ＨＤＲ本線処理部２６に出力される。以下、露光時間Ｔ_Ｓ１〜Ｔ_Ｓ３にそれぞれ対応する撮像画像データ（１フレーム分の画素データ）を、画素データＳ１〜Ｓ３と同様に、撮像画像データＳ１〜Ｓ３と称す。
遅延部２２〜２４は、露光時間の長さに応じて順番に出力される画素データＳ１〜Ｓ３を、遅延量ｄ_Ｓ１〜ｄ_Ｓ３でそれぞれ遅延させる遅延素子を有している。そして、画素データＳ１〜Ｓ３の出力タイミングを同期させる機能を有している。
具体的に、遅延部２２の遅延素子は画素データＳ３を遅延量ｄ_Ｓ３で遅延させ、遅延
部２３の遅延素子は画素データＳ２を遅延量ｄ_Ｓ２で遅延させ、遅延部２４の遅延素子
は画素データＳ１を遅延量ｄ_Ｓ３で遅延させる（ｄ_Ｓ３＜ｄ_Ｓ２＜ｄ_Ｓ１）。
画素データＳ１に対する画素データＳ２及びＳ３の出力遅延時間を単純にｄＴ２（Ｔ_
Ｓ２−Ｔ_Ｓ１）及びｄＴ３（Ｔ_Ｓ３−Ｔ_Ｓ１）とし、その他の処理遅延を補正する遅
延量をΔｔ１、Δｔ２、Δｔ３とする。この場合に、「（ｄ_Ｓ３＝Δｔ３＋ｄＴ３）＝
（ｄ_Ｓ２＝Δｔ２＋ｄＴ２）＝（ｄ_Ｓ１＝Δｔ１）」の関係が成り立つ。
測光部２５は、プリプロセス部２１から出力される撮像画像データＳ１又はＳ２に基づき、ヒストグラムの生成処理、レベル補正制御パラメーターの発生処理を行う。
ＨＤＲ本線処理部２６は、遅延部２２〜２４を介して、同期して入力される撮像画像データＳ１〜Ｓ３と、測光部２５からのレベル補正制御パラメーターとに基づき、ＨＤＲ合成処理、トーンマップ処理、色処理、ガンマ変換処理を行う。そして、ガンマ変換処理後の画像データ信号をビデオ信号として出力する。ビデオ信号は、業界標準の規格に準じた形態で、例えば８ビットのレンジに圧縮された画像信号である。
（測光部２５の構成例）
測光部２５は、図８に示すように、画素データＳ１又はＳ２に基づき撮像画像の輝度のヒストグラムを生成する輝度分布情報生成部４０と、生成したヒストグラムに基づきレベル補正制御パラメーターを発生する制御パラメーター発生部４１とを含んで構成される。
また、ＨＤＲ本線処理部２６は、図８に示すように、画素データＳ１〜Ｓ３に基づきＨＤＲカラー画像データを生成するＨＤＲ線形処理部３０と、ＨＤＲカラー画像データを業界標準（規格）のレンジ（階調範囲）に圧縮しＨＤＲのビデオ信号を出力するレベル補正処理部３１とを含んで構成される。
（ＨＤＲ線形処理部３０の構成例）
まず、図９及び図１０に基づき、図８に示すＨＤＲ線形処理部３０の詳細な構成について説明する。
ＨＤＲ線形処理部３０は、図９に示すように、合成処理部３０ａと、色処理部３０ｂとを含んで構成される。
合成処理部３０ａは、３種類の露光時間Ｔ_Ｓ１，Ｔ_Ｓ２，Ｔ_Ｓ３に対応する画素デ
ータＳ１，Ｓ２，Ｓ３の信号を、前記露光時間の比率に基づいて合成し、ＨＤＲ_ＲＡＷ
画素データを生成する。
具体的に、合成処理部３０ａは、図１０に示すように、正規化のためのゲインを算出する正規化ゲイン算出部７０，７１と、正規化ゲインを用いて画素データを正規化する正規化部７２，７３と、を含んで構成される。
正規化ゲイン算出部７０は、露光時間Ｔ_Ｓ３及びＴ_Ｓ１の比率に応じた正規化ゲインＲＳ３を算出する。例えば、Ｔ_Ｓ１を基準に正規化を行う場合は、「ＲＳ３＝Ｔ_Ｓ１／Ｔ_Ｓ３」を算出する。
正規化ゲイン算出部７１は、露光時間Ｔ_Ｓ２及びＴ_Ｓ１の比率に応じた正規化ゲインＲＳ２を算出する。例えば、Ｔ_Ｓ１を基準に正規化を行う場合は、「ＲＳ２＝Ｔ_Ｓ１／Ｔ_Ｓ２」を算出する。
正規化部７２は、画素データＳ３に正規化ゲインＲＳ３を乗算して、画素データＳ３を正規化し、正規化画素データＮＳ３を出力する。
正規化部７３は、画素データＳ２に正規化ゲインＲＳ２を乗算して、画素データＳ２を正規化し、正規化画素データＮＳ２を出力する。
合成処理部３０ａは、更に、画像合成時の合成重みＷ１，Ｗ２，Ｗ３を算出する合成重み算出部７４と、合成重みＷ１，Ｗ２，Ｗ３を用いて正規化画素データＮＳ１，ＮＳ２，ＮＳ３を重み付けする重み付け部７５，７６，７７と、を含んで構成される。
合成重み算出部７４は、画素データＳ１，Ｓ２，Ｓ３に基づき、合成重みＷ１，Ｗ２，Ｗ３を算出する。具体的に、下式（１）に示す、画素データＳ１〜Ｓ３を要素ｘとした、重み関数Ｆ（ｘ）を用いて合成重みを算出する。

Ｆ（ｘ）＝（ｘ／ＭＡＸ）n ・・・（１）

上式（１）において、ＭＡＸは、画素データＳ１，Ｓ２，Ｓ３の階調範囲の最大値、例えば、８ビットの階調範囲であれば「ＭＡＸ＝２５５」、１０ビットの階調範囲であれば「ＭＡＸ＝１０２３」となる。
上式（１）を用いて、Ｗ１〜Ｗ３は、例えば、下式（２）〜（４）で算出することができる。

Ｗ１＝Ｆ（Ｓ２） ・・・（２）
Ｗ２＝Ｆ（Ｓ３）−Ｗ１＝Ｆ（Ｓ３）−Ｆ（Ｓ２） ・・・（３）
Ｗ３＝１−Ｗ２−Ｗ１＝１−Ｆ（Ｓ３） ・・・（４）
重み付け部７５は、合成重みＷ３を正規化画素データＮＳ３に乗算して、重み付け画素データＷＳ３を出力する。
重み付け部７６は、合成重みＷ２を正規化画素データＮＳ２に乗算して、重み付け画素データＷＳ２を出力する。
重み付け部７７は、合成重みＷ１を画素データＳ１に乗算して、重み付け画素データＷＳ１を出力する。
合成処理部３０ａは、更に、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成してＨＤＲ_ＲＡＷ画素データを生成し、生成したＨＤＲ_ＲＡＷ画素データを色処理部３０ｂに出力する合成部７８を含んで構成される。
合成部７８は、例えば、画素データＳ１〜Ｓ３がそれぞれ１０ビットのデータであるとして、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成して２０ビットのＨＤＲ_ＲＡ
Ｗ画素データを生成する。なお、１フレーム分のＨＤＲ_ＲＡＷ画素データが、ＨＤＲ画
像データ（ＨＤＲ＿ＲＡＷ画像データ）となる。
色処理部３０ｂは、不図示のラインメモリーを有しており、ＨＤＲ_ＲＡＷ画素データ
（処理すべき画素のデータ）と、ラインメモリーに格納された、処理すべき画素の周辺の画素のＨＤＲ_ＲＡＷ画素データとを用いて色補間処理を行う。すなわち、ラインメモリ
ーにより遅延された、ＨＤＲ_ＲＡＷ画素データを用いて、画像の各点について、ＲＧＢ
色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
また、色処理部３０ｂは、撮像画像の輪郭部分の明度差および色相差を補正して撮像画像の輪郭部を明瞭にするシャープネス処理も行う。
上記色補間処理によって、ＨＤＲ_ＲＡＷ画素データを、画素毎に、ＲＧＢの各色要素
にそれぞれ対応するＨＤＲカラー画素データに変換する。
これにより、画素毎に、Ｒ（赤）の色要素に対応する画素データＲ_ｈｄｒ、Ｇ（緑）
の色要素に対応する画素データＧ_ｈｄｒ及びＢ（青）の色要素に対応する画素データＢ_
ｈｄｒを有するＨＤＲカラー画素データが生成される。なお、１フレーム分の画素データＳ１〜Ｓ３に対応するＨＤＲカラー画素データＲ_ｈｄｒ、Ｇ_ｈｄｒ及びＢ_ｈｄｒから
ＨＤＲカラー画像データが構成される。
（輝度分布情報生成部４０の構成例）
次に、図１１に基づき、図８に示す輝度分布情報生成部４０について詳細な構成を説明する。
輝度分布情報生成部４０は、図１１に示すように、セレクター６０と、ヒストグラム生成器６１とを含んで構成される。
セレクター６０は、切替信号に応じて、ヒストグラム生成器６１に入力する画素データを画素データＳ１及びＳ２のいずれか一方に選択的に切り替える機能を有している。この切り替えは、予め設定されたモードに応じて行ったり、撮影条件などに応じて自動的に行ったりする。
ヒストグラム生成器６１は、図１１に示すように、レベル分割器６２と、カウンター６３ａ〜６３ｅと、出力レジスター６４ａ〜６４ｅとを含んで構成される。
レベル分割器６２は、入力される画素データＳ１又はＳ２の階調レベルが、階調範囲（例えば、０〜１０２３）を複数の範囲に区分してなる各区分範囲のいずれに属するかを判定する。そして、カウンター６３ａ〜６３ｅのうち、判定結果の区分範囲に対応するカウンターにカウントパルスを入力する。
カウンター６３ａ〜６３ｅは、各々が、レベル分割器６２から入力されるカウントパルスをカウント（計数）し、そのカウント値を、出力レジスター６４ａ〜６４ｅのうち、符号の末尾の英字が同じ出力レジスターに出力する。また、カウンター６３ａ〜６３ｅは、外部からのＲＥＳＥＴ信号に応じて、カウント値をリセット（例えば、０に初期化）する。
出力レジスター６４ａ〜６４ｅは、各々が、カウンター６３ａ〜６３ｅのうち符号の末尾の英字が同じカウンターから入力されるカウント値を記憶し、外部からのＨＯＬＤ信号に応じて、記憶したカウント値を、制御パラメーター発生部４１に出力する。
本実施の形態では、画素データＳ１又はＳ２の階調範囲を、画素データ信号の信号レベルをＤＡＴＡとし、信号レベルのレンジの最大値をＭＡＸとして、以下の５つの区分範囲に区分する。
（１）「Saturation（飽和）：ＭＡＸ＝ＤＡＴＡ」
（２）「High Range：（ＭＡＸ＋１）／２≦ＤＡＴＡ＜ＭＡＸ」
（３）「Middle Range：（ＭＡＸ＋１）／８≦ＤＡＴＡ＜（ＭＡＸ＋１）／２」
（４）「Low Range：（ＭＡＸ＋１）／６４≦ＤＡＴＡ＜（ＭＡＸ＋１）／８」
（５）「Bottom Range：０≦ＤＡＴＡ＜（ＭＡＸ＋１）／６４」
上記区分範囲（１）〜（５）とカウンター６３ａ〜６３ｅ及び出力レジスター６４ａ〜６４ｅとは、区分範囲（１）に対してカウンター６３ａ及び出力レジスター６４ａが対応し、区分範囲（２）に対してカウンター６３ｂ及び出力レジスター６４ｂが対応する。
また、区分範囲（３）に対してカウンター６３ｃ及び出力レジスター６４ｃが対応し、区分範囲（４）に対してカウンター６３ｄ及び出力レジスター６４ｄが対応し、区分範囲（５）に対してカウンター６３ｅ及び出力レジスター６４ｅが対応する。
つまり、入力された画素データ（ＤＡＴＡ）が、上記区分範囲（１）〜（５）のいずれかに属するかを判定し、カウンター６３ａ〜６３ｅによって各区分範囲に属する画素データを計数する（１フレーム期間分を計数する）。そして、撮像画像データＳ１又はＳ２の各画素データに対する、区分範囲（１）〜（５）の各区分範囲の画素数からヒストグラムを生成する。
なお、超短露光時間Ｔ_Ｓ１は、標準露光時間Ｔ_Ｓ３の１／１００〜１／１０００とし、短露光時間Ｔ_Ｓ２は、標準露光時間Ｔ_Ｓ３の１／１０〜１／１００とすることが望ましい。換言すると、超短露光時間Ｔ_Ｓ１の露光による露光量（蓄積電荷量）Ｓ１は、標
準露光時間Ｔ_Ｓ３の露光による露光量Ｓ３の１／１００〜１／１０００とすることが望
ましい。また、短露光時間Ｔ_Ｓ２の露光による露光量Ｓ２は、標準露光時間Ｔ_Ｓ３の露光による露光量Ｓ３の１／１０〜１／１００とすることが望ましい。
また、本実施の形態では、ヒストグラムの生成において、画素データＳ１及びＳ２の一方を入力データとして選択できる構成となっているが、Ｓ１よりＳ２を用いることが望ましい。その理由は、Ｓ１では高輝度領域（明部）は精度良くヒストグラムを生成できるが、低輝度領域（暗部）は潰れる恐れがあるためである。一方、Ｓ３を仮に用いた場合には、低輝度領域（暗部）は精度良くヒストグラムを生成できるが、高輝度領域（明部）は飽和する恐れがある。これらの理由から、Ｓ２によりヒストグラムを生成（測光）することが望ましい。
（制御パラメーター発生部４１について）
次に、図８に示す制御パラメーター発生部４１について説明する。
制御パラメーター発生部４１は、輝度分布情報生成部４０からの測光結果(ヒストグラ
ム)に基づき、レベル補正処理部３１に対して、ＨＤＲカラー画像データの階調レベルの
補正内容を制御するレベル補正制御パラメーターを算出する。
本実施の形態では、ヒストグラムからコントラスト比の高低の程度を判定し、その判定結果に基づき、予め用意された複数種類の補正内容のうち、いずれの補正内容を用いるかを指定するパラメーターを算出（決定）する。
具体的には、ヒストグラムにおいて区分範囲（１）の画素数（飽和画素数）と区分範囲（２）の画素数とを加算した数値が第１の閾値Ｔｈ１以上で、かつ区分範囲（５）の画素数が第２の閾値Ｔｈ２以上の場合に、コントラスト比が高い（ハイコントラストである）と判定する。
ここで、Ｔｈ１は、撮像画像の解像度に応じて変化するもので、総画素数の例えば２０％などに設定される。また、Ｔｈ２も、撮像画像の解像度に応じて変化するもので、総画素数の例えば２０％などに設定される。
ハイコントラストと判定した場合は、ハイコントラスト用の補正内容を指定するレベル補正制御パラメーターを算出する。本実施の形態では、第１及び第２の閾値Ｔｈ１及びＴｈ２を総画素数の２０〜３０％の間の段階的な数値で用意し、コントラスト比の高さの程度を段階的に判定する。そして、コントラスト比が高ければ高いほど、低輝度側のレベル上昇を抑える（緩やかにする）補正内容を指定するレベル補正制御パラメーターを算出する。
一方、区分範囲（１）の画素数（飽和画素数）と区分範囲（２）の画素数とを加算した数値が第３の閾値Ｔｈ３以下である場合は、コントラスト比が低いと判定する。本実施の形態では、第３の閾値Ｔｈ３を、例えば、総画素数の１５〜２０％の範囲で段階的な数値で用意し、コントラスト比の低さの程度を段階的に判定する。そして、コントラスト比が低ければ低いほど低輝度側のレベル上昇を急峻にする補正内容を指定するレベル補正制御パラメーターを算出する。
また、レベル補正制御パラメーターは、ＨＤＲカラー画像データの輝度情報を輝度レベル補正ゲインへと変換する変換式のパラメーターや、この変換式を用いて、様々なパラメーターに対して予め生成された複数種類の変換用ＬＵＴ（Look Up Table）のいずれかを
指定する情報などとしてもよい。
（レベル補正処理部３１の構成例）
次に、図９に戻って、レベル補正処理部３１は、ラインメモリー５０と、補正ゲイン算出部５１と、乗算器５２と、γ変換部５３とを含んで構成される。
ラインメモリー５０は、補正ゲイン算出部５１における計算遅延を補正し、ＨＤＲカラー画像データと輝度レベル補正ゲインとの出力タイミング(位相)を合わせる。つまり、ラインメモリー５０は、補正ゲイン算出部５１で要する計算時間分、出力タイミングを遅延する遅延素子としての役割を果たす。
補正ゲイン算出部５１は、処理対象画素及びその周辺画素の輝度値と、測光部２５からのレベル補正制御パラメーターとに基づいて、輝度レベル補正ゲインを算出する。
乗算器５２は、ＨＤＲカラー画像データの各画素データと輝度レベル補正ゲインとを乗算してレベル変換（トーンマッピング）を行う。具体的に、レベル変換は、暗い側の領域画像を伸張してヒストグラムを均一に広げる（ブロード化する）動作となる。
γ変換部５３は、レベル変換されたＨＤＲカラー画像データをγ曲線（トーンカーブ）に準じて８ビットに量子化する（レンジ圧縮する）。
具体的に、γ変換部５３は、外部表示装置の表示可能な階調範囲（例えば、業界標準の階調範囲）に対応するトーンカーブの情報が格納されたＬＵＴから、レベル変換後のＨＤＲカラー画像データの各画素データの値に対応した変換値を取得する。つまり、各画素データの示す階調値（輝度値）を、トーンカーブにおける対応する変換値に置き換えることでγ変換を施す。
例えば、ＨＤＲカラー画像データの階調範囲が２０ビットで、外部表示装置の表示可能な階調範囲が８ビットである場合は、ＬＵＴに格納された、２０ビットの階調範囲の輝度値を８ビットの階調範囲の輝度値に変換するトーンカーブの情報から、各入力輝度値に対応した変換値を取得する。このとき、外部表示装置から、その表示可能な階調範囲を示す情報を取得するようにしてもよい。
（補正ゲイン算出部５１の構成例）
次に、図１２に基づき、補正ゲイン算出部５１の詳細な構成について説明する。
補正ゲイン算出部５１は、図１２に示すように、輝度値算出部５１ａと、ラインメモリー５１ｂと、輝度値→ゲイン変換部５１ｃとを含んで構成される。
輝度値算出部５１ａは、ＨＤＲカラー画像データの処理対象画素及びその周辺画素の輝度値に基づき撮像画像の輝度を示す輝度画像データＹを生成し、輝度画像データＹから照明光成分を抽出する。
具体的に、ＨＤＲ線形処理部３０で生成されたＨＤＲカラー画像データを輝度画像データＹに変換し、輝度画像データＹに対して、ローパスフィルター（以下、ＬＰＦと称す）を用いたぼかし処理を行う。このぼかし処理を行う目的は、ＨＤＲカラー画像データから照明光成分を分離し、分離した照明光成分の輝度画像を得るためである。
輝度値算出部５１ａは、まず、ＨＤＲカラー画像データを構成する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応するＨＤＲカラー画素データＲ_ｈｄｒ（ｘ，ｙ）、Ｇ_ｈｄｒ（ｘ、ｙ）、Ｂ_ｈｄｒ（ｘ、ｙ）を、輝度画素データＰ（ｘ，ｙ）へと変換する。なお、
１画像分の輝度画素データＰ（ｘ，ｙ）から輝度画像データＹが構成される。また、（ｘ，ｙ）は、画素の位置を示す二次元座標である。例えば、画像の左上を原点（ｘ，ｙ）＝（０，０）とした座標となる。
本実施形態において、輝度値算出部５１ａは、下式（５）に従って、ＨＤＲカラー画像データの各ＨＤＲカラー画素データＲ_ｈｄｒ（ｘ，ｙ）、Ｇ_ｈｄｒ（ｘ、ｙ）、Ｂ_ｈ
ｄｒ（ｘ、ｙ）を、輝度画素データＰ（ｘ，ｙ）へと変換する。

Ｐ（ｘ，ｙ）＝０．３×Ｒ_ｈｄｒ（ｘ，ｙ）＋０．６×Ｇ_ｈｄｒ（ｘ，ｙ）＋０．１×Ｂ_ｈｄｒ（ｘ，ｙ） ・・・（５）

更に、輝度値算出部５１ａは、下式（６）に従って、公知のガウシアンフィルターを用いたぼかし処理を行い、輝度画像データＹの各輝度画素データＰ（ｘ，ｙ）を、照明光成分データＬ（ｘ，ｙ）へと変換する。
ここで、照明光成分は、比較的低周波数の成分で構成されるため、ガウシアンフィルターなどのローパスフィルターをかけることで、輝度成分から照明光成分を抽出することができる。

Ｌ（ｘ，ｙ）＝Ｇａｕｓｓ（Ｐ（ｘ，ｙ）） ・・・（６）

ラインメモリー５１ｂは、ぼかし処理を行うのに必要な分のＨＤＲカラー画素データを格納するメモリーである。例えば、ＬＰＦが５×５のサイズであれば、ＨＤＲカラー画素データの５行分のデータを格納できるラインメモリーから構成される。
輝度値→ゲイン変換部５１ｃは、輝度値算出部５１ａからの照明光成分データＬ（ｘ，ｙ）と、測光部２５からのレベル補正制御パラメーターとに基づき各照明光成分データＬ（ｘ，ｙ）を輝度レベル補正ゲインに変換し、その輝度レベル補正ゲインを乗算器５２に出力する。
本実施形態において、輝度値→ゲイン変換部５１ｃは、撮像画像のコントラスト比の高低に応じて算出される各レベル補正制御パラメーターに対応する、低輝度側のゲイン特性の異なる複数種類の変換用ＬＵＴを備えている。具体的に、変換用ＬＵＴは、コントラスト比が高ければ高いほど低輝度側のゲインを低く抑えると共に緩やかに変化する特性を有し、また、コントラスト比が低ければ低いほど高い場合と比較してゲインを高くし且つ急峻に変化する特性を有している。
変換用ＬＵＴは、予め下式（７）に従って算出された、ＨＤＲカラー画像データの階調範囲（例えば、２０ビット）の輝度画素データＰ（ｘ，ｙ）に対応する各Ｌ（ｘ，ｙ）に対する輝度レベル補正ゲインＫ（Ｌ（ｘ，ｙ））を格納したデータテーブルである。本実施形態では、ＨＤＲカラー画像データの輝度のヒストグラムを、ブロード化するゲインＫ（Ｌ（ｘ，ｙ））が格納されている。

Ｋ（Ｌ（ｘ，ｙ））＝１／ＬN（ｘ，ｙ）i （７）

但し、指数部ｉは、１以下の正の実数であり、ＬN（ｘ，ｙ）は正規化された照明光成
分であり「０〜１」の範囲の値となる。そして、コントラスト比の高低に応じて、上式（７）のｉの値を変更したり、作成した変換用ＬＵＴの低輝度部分の特性を補正したりすることで複数種類の変換用ＬＵＴを生成する。例えば、ｉの値を変更して複数種類の変換用ＬＵＴを生成する場合は、レベル補正制御パラメーターを、ｉの値とすることが可能である。
（撮像装置１の動作例）
次に、図１３〜図１４に基づき、本実施形態の撮像装置１の具体的な動作を説明する。
ここで、図１３は、各サブフレームにおける画素データの出力タイミングの一例を示す図である。また、図１４は、本実施形態の変換用ＬＵＴの一例を示す図である。
被写体の撮像が開始されると、被写体から反射された光は、レンズ１０ａで集光されてマイクロレンズ１０ｂに入射される。レンズ１０ａからの入射光は、マイクロレンズ１０
ｂにおいて平行化されて、ＣＦアレイ１０ｃの各ＣＦ部を介してセンサーセルアレイの各画素に入射される。ＣＦアレイ１０ｃは、ＲＧＢの三原色に対応するＣＦ部がベイヤ配列された構成となっているので、Ｒ光、Ｇ光及びＢ光のうち各ＣＦ部に対応した色要素の光のみが各画素に入射されることになる。
一方、撮像が開始されると、開始ラインから順に１ラインずつ読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。なお、最初に読み出される画素信号Ｓ３は、標準露光時間Ｔ_Ｓ３での露光がされていないため後段の各構成部において無視するように処
理される。引き続き、各走査ラインに対して、各画素のリセット後において超短露光時間Ｔ_Ｓ１の経過タイミングで非破壊読み出しラインＬ１が設定され、画素信号Ｓ１が読み
出される。引き続き、各走査ラインに対して、各画素のリセット後において短露光時間Ｔ_Ｓ２の経過タイミングで非破壊読み出しラインＬ２が設定され、画素信号Ｓ２が読み出
される。そして、再び、開始ラインから順に読み出し＆リセットラインＬ３が設定されて、走査されたラインの各画素から画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。このとき読み出される画素信号Ｓ３とその前に読み出された画素信号Ｓ１及びＳ２とが後段の各構成部において処理対象となる。
以降、撮像が行われている間は、上記のＬ１〜Ｌ３の設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、読出回路１０ｆの第１ラインメモリー〜第３ラインメモリーにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、ライン単位でＳ１〜Ｓ３の順に画素データが順次、画像処理装置２０へと出力される。つまり、画像処理装置２０には、図１３に示すように、画素データＳ３に先行して、画素データＳ１〜Ｓ２がＳ１からＳ２の順に入力される。
一方、画像処理装置２０は、ＨＤＲセンサー１０ｄからの画素データＳ１〜Ｓ３をＳ１から順番に受信すると、プリプロセス部２１において、受信した順に画素データに対して、固定パターンノイズの除去処理、及びクランプ処理を施す。そして、これらの処理が施された画素データＳ１〜Ｓ３のうちＳ１及びＳ２をそのまま測光部２５に出力し、処理の施された画素データＳ１〜Ｓ３を遅延部２２〜２４に出力する。
遅延部２２〜２４は、画素データＳ１〜Ｓ３のプリプロセス部２１での受信の時間差を吸収し、画素データＳ１〜Ｓ３の出力タイミングを同期させて、これらをＨＤＲ本線処理部２６に出力する。
一方、測光部３２は、プリプロセス部２１から画素データＳ１及びＳ２が入力されると、輝度分布情報生成部４０のセレクター６０において、Ｓ１及びＳ２のいずれか一方をレベル分割器６２に選択的に入力する。ここでは、画素データＳ２をレベル分割器６２に入力することとする。
レベル分割器６２は、入力された画素データＳ２の輝度値（ＤＡＴＡ）と、「（ＭＡＸ＋１）／２」とを比較し、例えば、「ＤＡＴＡ＞（ＭＡＸ＋１）／２」であれば、次に、ＭＡＸとＤＡＴＡとを比較する。これにより、「ＤＡＴＡ＝ＭＡＸ」であれば、入力された画素データＳ２は、区分範囲（１）に属すると判断して、カウンター６３ａにカウントパルスを入力する。また、「ＤＡＴＡ＜ＭＡＸ」であれば、入力された画素データＳ２は、区分範囲（２）に属すると判断し、カウンター６３ｂにカウントパルスを入力する。
また、「ＤＡＴＡ＞（ＭＡＸ＋１）／２」の場合は、次に、ＤＡＴＡと「（ＭＡＸ＋１
）／８」とを比較する。その結果、「ＤＡＴＡ＞（ＭＡＸ＋１）／８」であれば、入力された画素データＳ２は、区分範囲（３）に属すると判断し、カウンター６３ｃにカウントパルスを入力する。
また、「ＤＡＴＡ＜（ＭＡＸ＋１）／８」の場合は、次に、ＤＡＴＡと「（ＭＡＸ＋１）／６４」とを比較する。その結果、「ＤＡＴＡ＞（ＭＡＸ＋１）／６４」であれば、入力された画素データＳ２は、区分範囲（４）に属すると判断し、カウンター６３ｄにカウントパルスを入力する。
また、「ＤＡＴＡ＜（ＭＡＸ＋１）／６４」の場合は、入力された画素データＳ２は、区分範囲（５）に属すると判断し、カウンター６３ｅにカウントパルスを入力する。
また、レベル分割器６２は、「ＤＡＴＡ＝（ＭＡＸ＋１）／２」の場合は区分範囲（２）に、「ＤＡＴＡ＝（ＭＡＸ＋１）／８」の場合は区分範囲（３）に、「ＤＡＴＡ＝（ＭＡＸ＋１）／６４」の場合は区分範囲（４）に、入力された画素データＳ２がそれぞれ属すると判断する。
カウンター６３ａ〜６３ｅは、レベル分割器６２からのカウントパルスをカウントし、そのカウント値は、カウントアップする毎に出力レジスター６４ａ〜６４ｅに上書きで格納される。
このような測光処理を１フレーム期間分の画素データＳ２に対して繰り返し行うと、不図示の制御回路からのＲＥＳＥＴ信号及びＨＯＬＤ信号がアクティブとなり、カウンター６３ａ〜６３ｅのカウント値がリセットされ、出力レジスター６４ａ〜６４ｅに格納されたリセット前のカウント値（画素数）が制御パラメーター発生部４１に出力される。この出力レジスター６４ａ〜６４ｅに格納されたカウント値（画素数）は、撮像画像の輝度のヒストグラムを構成する。
制御パラメーター発生部４１は、輝度分布情報生成部４０からの測光結果（ヒストグラム）を受け取ると、まず、区分範囲（１）及び（２）の合計画素数ＨＰを算出し、この合計画素数ＨＰと第１の閾値Ｔｈ１とを比較する。更に、区分範囲（５）の画素数ＬＰと、第２の閾値Ｔｈ２とを比較する。
ここで、Ｔｈ１は、例えば、総画素数の２０％のＴｈ１Ｌと、２６％のＴｈ１Ｈの２つの数値で設定されたとする（総画素数が例えば１００であれば、Ｔｈ１Ｌ＝２０、Ｔｈ１Ｈ＝２６となる）。更に、第２の閾値Ｔｈ２が、例えば、総画素数の２０％のＴｈ２Ｌと、２６％のＴｈ２Ｈの２つの数値で設定されたとする。
制御パラメーター発生部４１は、比較結果が、「ＨＰ≧Ｔｈ１Ｈ」且つ「ＬＰ≧Ｔｈ２Ｈ」のときは、コントラスト比が高いと判定する。そして、図１４に示す、複数の変換曲線Ｌｒ１〜Ｌｒ５のうち、最も緩やかな曲線を描くＬｒ１の変換特性をテーブル化した変換用ＬＵＴを選択するレベル補正制御パラメーターを算出する。
また、比較結果に、「ＨＰ≧Ｔｈ１Ｌ」を含む場合は、コントラスト比がやや高いと判定する。そして、図１４に示す変換曲線Ｌｒ１〜Ｌｒ５のうち、二番目に緩やかな曲線を描くＬｒ２の変換特性をテーブル化した変換用ＬＵＴを選択するレベル補正制御パラメーターを算出する。
画素数ＬＨ又はＬＰが、上記いずれの条件にも該当しなかった場合は、制御パラメーター発生部４１は、次に、合計画素数ＨＰと、第３の閾値Ｔｈ３とを比較する。ここで、Ｔｈ３は、総画素数の２０％のＴｈ３Ｈと、総画素数の１５％のＴｈ３Ｌとの２つの数値で設定されているとする。
制御パラメーター発生部４１は、比較結果が、「ＨＰ≦Ｔｈ３Ｌ」のときは、コントラスト比が低いと判定する。そして、図１４に示す、複数の変換曲線Ｌｒ１〜Ｌｒ５のうち、最も変化が急峻な曲線を描くＬｒ５の変換特性をテーブル化した変換用ＬＵＴを選択するレベル補正制御パラメーターを算出する。
また、比較結果が、「Ｔｈ３Ｈ＞ＨＰ＞Ｔｈ３Ｌ」のときは、コントラスト比がやや低いと判定する。そして、図１４に示す、複数の変換曲線Ｌｒ１〜Ｌｒ５のうち、二番目に変化が急峻な曲線を描くＬｒ４の変換特性をテーブル化した変換用ＬＵＴを選択するレベル補正制御パラメーターを算出する。
また、上記いずれの判定結果にも該当しない場合は、制御パラメーター発生部４１は、図１４に示す、複数の変換曲線Ｌｒ１〜Ｌｒ５のうち、中間の変化をする曲線を描くＬｒ３の変換特性をテーブル化した変換用ＬＵＴを選択するレベル補正制御パラメーターを算出する。
そして、制御パラメーター発生部４１は、算出したレベル補正制御パラメーターを、補正ゲイン算出部５１の輝度値→ゲイン変換部５１ｃに出力する。
また、ＨＤＲ線形処理部３０は、上記測光部２５の処理と並行して、遅延部２２〜２４で遅延されて出力タイミングの同期された画素データＳ１〜Ｓ３を受信すると、まず、合成処理部３０ａにおいて、ＨＤＲ＿ＲＡＷ画素データを生成する。
具体的に、合成処理部３０ａは、メモリーに保持又はＨＤＲ撮像素子１０から取得した露光時間Ｔ_Ｓ１〜Ｔ_Ｓ３の情報から、正規化ゲイン算出部７０，７１において、正規化ゲインＲＳ３，ＲＳ２を算出する。
また、並行して、合成重み算出部７４において、画素データＳ１〜Ｓ３から、上式（１）〜（４）を用いて合成重みＷ１〜Ｗ３を算出する。
次に、正規化部７２，７３において、正規化ゲインＲＳ３，ＲＳ２を画素データＳ３，Ｓ２にそれぞれ乗算して、正規化画素データＮＳ３，ＮＳ２を算出する。
次に、重み付け部７５〜７７において、正規化画素データＮＳ３に合成重みＷ３を乗算し、正規化画素データＮＳ２に合成重みＷ２を乗算し、画素データＳ１に合成重みＷ１を乗算して、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を生成する。
次に、合成部７８において、重み付け画素データＷＳ１，ＷＳ２，ＷＳ３を合成して（足し合わせて）、ＨＤＲ＿ＲＡＷ画素データを生成し、生成したＨＤＲ＿ＲＡＷ画素データを色処理部３０ｂに出力する。
色処理部３０ｂは、合成処理部３０ａからＨＤＲ＿ＲＡＷ画素データが入力されると、入力されたＨＤＲ＿ＲＡＷ画素データをラインメモリーに蓄積する。そして、ラインメモリーに一定量のＨＤＲ＿ＲＡＷ画素データが蓄積されると、色補正処理及びシャープネス処理を行い、ＨＤＲカラー画素データを生成する。そして、生成したＨＤＲカラー画素データを、レベル補正処理部３１のラインメモリー５０と、補正ゲイン算出部５１とにそれぞれ出力する。
ラインメモリー５０は、色処理部３０ｂからＨＤＲカラー画素データを受信すると、それを蓄積し、出力タイミングを遅延させる。具体的に、補正ゲイン算出部５１からの輝度レベル補正ゲインの出力タイミングと、そのゲインに対応するＨＤＲカラー画素データの出力タイミングとが同期するように遅延させる。
一方、補正ゲイン算出部５１は、ＨＤＲカラー画素データを受信すると、輝度値算出部５１ａにおいて、受信したＨＤＲカラー画素データを、上式（５）に基づき、輝度画素データＰ（ｘ，ｙ）へと変換し、変換した輝度画素データＰ（ｘ，ｙ）をラインメモリー５１ｂに蓄積する。
そして、ラインメモリー５１ｂに、ぼかし処理に必要な分の輝度画素データＰ（ｘ，ｙ）が蓄積されると、上式（６）のガウシアンフィルターを用いたぼかし処理を実行し、輝度画素データＰ（ｘ，ｙ）を照明光成分データＬ（ｘ，ｙ）へと変換する。
そして、照明光成分データＬ（ｘ，ｙ）を、輝度値→ゲイン変換部５１ｃに出力する。
輝度値→ゲイン変換部５１ｃは、制御パラメーター発生部４１からのレベル補正制御パラメーターと、輝度値算出部５１ａからの照明光成分データＬ（ｘ，ｙ）とに基づき、複数種類の変換用ＬＵＴの中から、変換に用いるＬＵＴを選択する。
具体的に、図１４に示す、変換曲線Ｌｒ１〜Ｌｒ５の変換特性をデータテーブル化した複数種類の変換用ＬＵＴから、レベル補正制御パラメーターに対応する変換用ＬＵＴを選択する。そして、選択したＬＵＴから、照明光成分データＬ（ｘ，ｙ）に対応する輝度レベル補正ゲインを取得し、それを乗算器５２に出力する。
このとき、ラインメモリー５０は、補正ゲイン算出部５１の輝度レベル補正ゲインの出力タイミングに同期させて、そのゲインに対応するＨＤＲカラー画素データを乗算器５２に出力する。
乗算器５２は、ラインメモリー５０から入力されるＨＤＲカラー画素データに、補正ゲイン算出部５１から入力される輝度レベル補正ゲインを乗算して、ＨＤＲカラー画素データのレベル変換（トーンマッピング）を行う。
レベル変換後のＨＤＲカラー画素データは、γ変換部５３に出力され、γ変換部５３において、レベル変換後のカラー画素データを入力値とし、例えば、８ビットに量子化するトーンカーブに対応するＬＵＴを用いて、入力値に対応する変換値を取得する。そして、取得した変換値を、ＲＧＢのビデオ信号として出力する。
例えば、上記処理において、コントラスト比が高いと判定され、図１４に示す、変換曲線Ｌｒ１に対応する変換用ＬＵＴが選択された場合は、変換曲線Ｌｒ５などと比較して、暗部側のゲインが低く抑えられ、撮像画像のコントラスト比を維持して、自然な画像出力が得られる。
なお、上記したように、各フレームの画素信号Ｓ１〜Ｓ３は、画素データＳ１→Ｓ２→Ｓ３の順番でプリプロセス部２１に入力される。
また、図１３において、Ｓ１フレーム０〜２、Ｓ２フレーム０〜２、Ｓ３フレーム０〜２は、サブフレームであり、Ｓ１フレーム０の開始からＳ３フレーム０の終了までの期間が１フレームの期間となる。
ＨＤＲ本線処理部２６においては、上記したように、画素データＳ１〜Ｓ３を全て用いてＨＤＲカラー画像データを生成する処理（本線系処理）が行われる。
従って、本実施形態では、本線系処理の開始タイミングを、図１３のＳ３フレーム０〜２に示すように、各サブフレームの最初の画素データＳ３（ライン単位）が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データＳ３が入力される毎に、順次、パイプライン処理のごとく本線系処理が行われる。
また、上記したように、測光部２５においては、画素データＳ２を用いてヒストグラムを生成し、生成したヒストグラムに基づきレベル変換のためのゲインを制御するレベル補正制御パラメーターの算出処理が行われる。
本実施形態では、測光部２５の測光処理の開始タイミングを、図１３のＳ１フレーム０〜２又はＳ２フレーム０〜２に示すように、プリプロセス部２１から各サブフレームの最初の画素データＳ１又はＳ２（ライン単位）が入力されたタイミングとしている。各サブフレームにおいては、新たな画素データＳ１又はＳ２が入力される毎に、順次、パイプライン処理のごとく測光処理が行われる。
その結果、例えば画素データＳ２を用いて測光処理を行う場合に、各サブフレームにおける、Ｓ２フレームの終了タイミングとＳ３フレームの開始タイミングとの間に図１３に示す遅延量が発生する。また、各サブフレームにおける、本線系処理の開始タイミングと、測光系処理の開始タイミングとには、図１３に示す走査による時間差が発生する。この時間差において、測光処理及びレベル補正制御パラメーターの算出処理を完了させ、更に
、補正ゲイン算出部５１における輝度レベル補正ゲインの算出処理までも完了することが望ましい。しかし、ヒストグラムの生成には、画素データＳ１又はＳ２が１サブフレーム分必要なため、走査の時間差の期間では不足となる。これに加えて、レベル補正制御パラメーターの算出処理、輝度レベル補正ゲインの算出処理の時間も必要となる。そこで、本実施形態では、ラインメモリー５０によって、本線系処理をこれらの不足分の時間だけ遅延させることで、各フレームにおける測光結果をこれと同一のフレームの画素データＳ１〜Ｓ３から生成されるＨＤＲカラー画像データに対して反映させることができる。つまり、フィードフォワード型の制御を行うことができる。
従来のフィードバック型の露出制御では、測光結果が反映されるのが次のフレームとなるので、１フレーム以上の遅延が発生する。一方、本実施形態では、測光部２５と補正ゲイン算出部５１における遅延分だけで済む。
以上説明したように、本実施形態の撮像装置１は、測光部２５において、標準露光時間Ｔ_Ｓ３の画素データＳ３に先立って取得される、短露光時間Ｔ_Ｓ２の画素データＳ１又はＳ２を使ってヒストグラムを生成することができる。
従って、飽和画素や黒潰れ画素が少ない画像によって測光処理が可能となり、精度の高いヒストグラムを生成することができる。
更に、生成したヒストグラムに基づき、撮像画像のコントラスト比の高低を判断し、この判断結果に基づき輝度レベルを変換するための輝度レベル補正ゲインを制御するレベル補正制御パラメーターを算出することができる。
従って、精度の高いヒストグラムを用いて撮像画像のコントラスト比を判断することができると共に、コントラスト比の高低に応じたレベル変換処理のゲイン制御を、適切且つ自動的に行うことができる。
更に、ＨＤＲ線形処理部３０において、遅延部２２〜２４で出力タイミングを同期させた画素データＳ１〜Ｓ３を線形合成し且つ色補正処理を行ってＨＤＲカラー画素データを生成することができる。
更に、補正ゲイン算出部５１において、ＨＤＲカラー画素データから輝度画素データＰ（ｘ，ｙ）を生成し、Ｐ（ｘ，ｙ）から照明光成分データＬ（ｘ，ｙ）を生成することができる。更に、レベル補正制御パラメーターに基づき、変換特性の異なる複数種類の変換用ＬＵＴから、撮像画像のコントラスト比の高低に応じた変換用ＬＵＴを選択し、選択したＬＵＴを用いて照明光成分データＬ（ｘ，ｙ）に対応する輝度レベル補正ゲインを取得することができる。
具体的に、コントラスト比が高ければ高いほど、暗部側のゲインをより低く抑える特性の変換用ＬＵＴを選択する。
これにより、撮像画像のコントラスト比を維持して、自然な画像出力を得ることができる。
更に、乗算器５２において、ラインメモリー５０において輝度レベル補正ゲインの出力タイミングに合わせて遅延して出力されたＨＤＲカラー画素データと、輝度レベル補正ゲインとを乗算して、ＨＤＲカラー画素データのレベル変換を行うことができる。
従って、各フレームにおける測光結果（ヒストグラム）をこれと同一のフレームの画素データＳ１〜Ｓ３から生成されるＨＤＲカラー画像データに対して反映させることができ、フィードフォワード型の制御を行うことができる。つまり、測光対象の画像(フレーム)と輝度制御を行う対象画像(フレーム)を同じにすることができるので、被写体の輝度変動に応じた発振(フリッカ)現象の発生を抑えることが可能である。そのため、常に安定な出力画像が得られる。また、リアルタイム性を要求されるシステムに対して組み込みやすいという利点を有する。
また、照明光成分データＬに基づき、ＨＤＲカラー画像データに対して、レベル変換（トーンマップ）処理を施すようにしたので、全ダイナミックレンジにおいて、階調性を維持し、色再現性の良い映像を出力することができる。
また、測光対象の画像(フレーム)と輝度制御を行う対象画像(フレーム)を同一にしない場合でも、すなわち、測光した画像(フレーム)の結果が反映されるのが次のフレームの場合でも、測光処理が、本線系処理に対して先行して行われるので、測光に要する計算時間を十分確保できる。これにより、ヒストグラムによる動的制御など複雑な制御が可能となる。
〔第２実施形態〕
次に、本発明の第２実施形態を図面に基づき説明する。図１５〜図１６は、本発明に係る画像処理装置、画像処理方法、画像処理プログラム及び撮像装置の第２実施形態を示す図である。
（第１実施形態との相違点）
上記第１実施形態の画像処理装置２０における補正ゲイン算出部５１においては、レベル補正制御パラメーターに基づき、複数種類の変換用ＬＵＴからパラメーターに応じたＬＵＴを選択することで、ゲインの制御を行っていた。これに対して、本実施形態では、補正ゲイン算出部５１に代えて補正ゲイン算出部５１’において、レベル補正制御パラメーターに基づき、低輝度側のレベル変換に用いる輝度レベル補正ゲインをパラメーターに応じた一定値（リミット値）で固定とする制御を行う点で上記第１実施形態とは異なる。
従って、制御パラメーター発生部４１で算出されるレベル補正制御パラメーターが、リミット値を決定するためのものとなる点と、補正ゲイン算出部５１の構成とが異なるのみで、他の構成は、上記第１実施形態と同様となる。
以下、上記第１実施形態と同様となる部分を同じ符号を付して適宜省略し、異なる部分を詳細に説明する。
（制御パラメーター発生部４１について）
まず、本実施形態の制御パラメーター発生部４１は、上記第１実施形態と同様に、まず、輝度分布情報生成部４０で生成されたヒストグラムに基づきコントラスト比の高低を判断する。そして、この判断結果から、コントラスト比が高ければ高いほど、低輝度側のレベル上昇を抑える（制限する）補正内容を指定するレベル補正制御パラメーターを算出する。
但し、本実施形態においては、コントラスト比が高ければ高いほど輝度レベル補正ゲインのリミット値として、小さい値を指定するレベル補正制御パラメーターを算出する。
（補正ゲイン算出部５１’の構成）
次に、図１５に基づき、本実施形態の補正ゲイン算出部５１’の構成を説明する。
ここで、図１５は、補正ゲイン算出部５１’の内部構成の一例を示すブロック図である。
補正ゲイン算出部５１’は、輝度値算出部５１ａと、ラインメモリー５１ｂと、輝度値→ゲイン変換部５１ｄと、リミッター５１ｅとを含んで構成される。
輝度値→ゲイン変換部５１ｄは、輝度値算出部５１ａから入力される照明光成分データＬ（ｘ，ｙ）に対して、通常に用いる変換用ＬＵＴ（ここでは、１種類とする）から入力値Ｌ（ｘ，ｙ）に対応する輝度レベル補正ゲインを取得する。そして、取得した輝度レベル補正ゲインを入力値Ｌ（ｘ，ｙ）と共にリミッター５１ｅに出力する。
リミッター５１ｅは、制御パラメーター発生部４１からのレベル補正制御パラメーターに基づき、複数種類のリミット値のなかから、レベル補正制御パラメーターの値（指定内
容）に対応するリミット値を選択する。なお、レベル補正制御パラメーターの値をそのままリミット値としてもよい。
そして、輝度値→ゲイン変換部５１ｄからの輝度レベル変換ゲイン及びＬ（ｘ，ｙ）に基づき、入力されたゲインが所定輝度以下の低輝度側の照明光成分データＬ（ｘ，ｙ）に対応するものである場合に、入力されたゲインに代えて、リミット値を乗算器５２に出力する。
（撮像装置１の動作例）
次に、図１６に基づき、本実施形態の撮像装置１の動作を説明する。
ここで、図１６は、本実施形態の変換用ＬＵＴ及びリミット値の一例を示す図である。
なお、ヒストグラムを生成する処理までは、上記第１実施形態と同様となるので、以降の処理から説明する。
制御パラメーター発生部４１は、輝度分布情報生成部４０からの測光結果（ヒストグラム）を受け取ると、まず、区分範囲（１）及び（２）の合計画素数ＨＰを算出し、この合計画素数ＨＰと第１の閾値Ｔｈ１とを比較する。更に、区分範囲（５）の画素数ＬＰと、第２の閾値Ｔｈ２とを比較する。
ここで、Ｔｈ１は、例えば、総画素数の２０％の数値で設定されているとする（例えば、総画素数が１００であれば、Ｔｈ１＝２０となる）。更に、第２の閾値Ｔｈ２が、例えば、総画素数の２０％の数値で設定されているとする。
制御パラメーター発生部４１は、比較結果が、「ＨＰ≧Ｔｈ１」且つ「ＬＰ≧Ｔｈ２」のときは、コントラスト比が高いと判定する。そして、図１６に示す、リミット値Ｌｍ１〜Ｌｍ３のうち、最も小さいリミット値Ｌｍ１を指定するレベル補正制御パラメーターを算出する。
画素数ＬＨ又はＬＰが、上記の条件に該当しなかった場合は、制御パラメーター発生部４１は、次に、合計画素数ＨＰと、第３の閾値Ｔｈ３とを比較する。ここで、Ｔｈ３は、総画素数の１５％の数値で設定されているとする。
制御パラメーター発生部４１は、比較結果が、「ＨＰ≦Ｔｈ３」のときは、コントラスト比が低いと判定する。そして、図１６に示す、リミット値Ｌｍ１〜Ｌｍ３のうち、最も大きいリミット値Ｌｍ３を指定するレベル補正制御パラメーターを算出する。
また、上記いずれの判定結果にも該当しない場合は、制御パラメーター発生部４１は、図１６に示す、リミット値Ｌｍ１〜Ｌｍ３のうち、中間のリミット値Ｌｍ２を指定するレベル補正制御パラメーターを算出する。
そして、制御パラメーター発生部４１は、算出したレベル補正制御パラメーターを、補正ゲイン算出部５１’のリミッター５１ｅに出力する。
ここで、ＨＤＲカラー画像データの生成処理、輝度値算出部５１ａの照明光成分データＬ（ｘ，ｙ）については、上記第１実施形態と同様となるので、以下、輝度値→ゲイン変換部５１ｄの処理から説明する。
輝度値→ゲイン変換部５１ｄは、輝度値算出部５１ａからの照明光成分データＬ（ｘ，ｙ）に基づき、変換用ＬＵＴから、照明光成分データＬ（ｘ，ｙ）に対応する輝度レベル補正ゲインを取得し、それをＬ（ｘ，ｙ）と共にリミッター５１ｅに出力する。
リミッター５１ｅは、制御パラメーター発生部４１からのレベル補正制御パラメーターに基づき、該パラメーターで指定されたリミット値を選択する。つまり、図１６に示すリミット値Ｌｍ１〜Ｌｍ３のうちのパラメーターで指定されたリミット値を選択する。
そして、輝度値→ゲイン変換部５１ｄからの輝度レベル補正ゲインについて、それに対応する照明光成分データＬ（ｘ，ｙ）から、ゲインが所定輝度以下のＬ（ｘ，ｙ）に対応するものである場合に、該ゲインに代えて選択したリミット値を乗算器５２に出力する。
また、所定輝度以下ではない場合は、入力された輝度レベル補正ゲインを乗算器５２に出力する。
具体的に、図１６に示すように、リミット値Ｌｍ１〜Ｌｍ３のラインと変換曲線との交点から縦に伸びる点線と横軸との交点から原点までの間の範囲内に含まれる照明光成分データの値（輝度）が、所定輝度以下の範囲となる。つまり、選択されるリミット値に応じて所定輝度以下の範囲が変化する。そのため、輝度値→ゲイン変換部５１ｄからは、輝度レベル補正ゲインと共に照明光成分データＬ（ｘ，ｙ）の情報も得ている。
一方、ラインメモリー５０は、補正ゲイン算出部５１の輝度レベル補正ゲインの出力タイミングに同期させて、そのゲインに対応するＨＤＲカラー画素データを乗算器５２に出力する。
乗算器５２は、ラインメモリー５０から入力されるＨＤＲカラー画素データに、補正ゲイン算出部５１から入力される輝度レベル補正ゲインを乗算して、ＨＤＲカラー画素データのレベル変換（トーンマッピング）を行う。
レベル変換後のＨＤＲカラー画素データは、γ変換部５３に出力され、γ変換部５３において、レベル変換後のカラー画素データを入力値とし、例えば、８ビットに量子化するトーンカーブに対応するＬＵＴを用いて、入力値に対応する変換値を取得する。そして、取得した変換値を、ＲＧＢのビデオ信号として出力する。
例えば、上記処理において、コントラスト比が高いと判定され、図１６に示す、リミット値Ｌｍ１が選択された場合は、リミット値Ｌｍ３などと比較して、暗部側のゲインが低く抑えられ（一定値に固定）、撮像画像のコントラスト比を維持して、自然な画像出力が得られる。
以上説明したように、本実施形態の撮像装置１は、補正ゲイン算出部５１’において、測光部２５からのレベル補正制御パラメーターに基づき、値の異なる複数種類のリミット値から、撮像画像のコントラスト比の高低に応じたリミット値を選択することができる。
更に、選択したリミット値を用いて、所定輝度以下の照明光成分データＬ（ｘ，ｙ）に対応する輝度レベル補正ゲインについて、このゲインに代えて、リミット値を乗算器５２に出力することができる。
具体的に、コントラスト比が高ければ高いほど、暗部側のゲインをより低い一定値へと固定するリミット値を選択する。
これにより、撮像画像のコントラスト比を維持して、自然な画像出力を得ることができる。
（対応関係）
上記各実施形態において、ＨＤＲ撮像素子１０は、撮像素子に対応し、プリプロセス部２１は、画像データ取得手段に対応し、ＨＤＲ線形処理部３０は、合成画像データ生成手段に対応する。
また、上記各実施形態において、レベル補正処理部３１は、画像変換手段に対応し、輝度分布情報生成部４０は、輝度分布情報生成手段に対応し、制御パラメーター発生部４１は、変換ゲイン制御手段に対応する。
また、上記各実施形態において、輝度分布情報生成部４０におけるヒストグラムの生成処理は、輝度分布情報生成ステップに対応し、制御パラメーター発生部４１におけるレベル補正制御パラメーターの生成処理は、変換ゲイン制御ステップに対応する。
また、レベル補正処理部３１におけるＨＤＲカラー画像データの輝度レベルの変換処理（トーンマッピング）は、画像変換ステップに対応する。
（なお書き）
なお、上記各実施形態における、撮像装置１は、表示装置、メモリー装置等の不図示の
他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することも可能である。
また、上記各実施形態において、輝度分布情報として、ヒストグラムを生成する構成としたが、この構成に限らず、コントラスト比の高低の判定が可能であれば、例えば、高輝度側、低輝度側の画素数のみを計数した情報等、他の輝度分布情報を生成する構成としてもよい。
また、上記各実施形態において、撮像素子１０のＨＤＲセンサー１０ｄが、ＣＭＯＳ技術を用いて構成されたセンサーセルアレイを有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサーセルアレイを有する構成など他の構成としてもよい。
また、上記各実施形態において、画像処理装置２０が、撮像素子１０から露光時間の長さの異なる複数種類の画像データを取得し、取得した複数種類の画像データを合成して、ＨＤＲ画像データを生成する構成を例として説明したが、この構成に限らない。
例えば、撮像素子１０がＨＤＲ画像データを生成する手段を有する構成、又は外部の別の装置が撮像素子１０から取得した画像データを用いてＨＤＲ画像データを生成する構成としてもよい。
また、上記各実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
１…撮像装置、１０…ＨＤＲ撮像素子、１０ａ…レンズ、１０ｂ…マイクロレンズ、１０ｃ…カラーフィルターアレイ、１０ｄ…ＨＤＲセンサー、１０ｄ…駆動回路、１０ｆ…読出回路、２０…画像処理装置、２１…プリプロセス部、２２〜２４…遅延部、２５…測光部、２６…ＨＤＲ本線処理部、３０…ＨＤＲ線形処理部、３０ａ…合成処理部、３０ｂ…色処理部、３１…レベル補正処理部、４０…輝度分布情報生成部、４１…制御パラメーター発生部、５０…ラインメモリー、５１…補正ゲイン算出部、５１ａ…輝度値算出部、５１ｂ…ラインメモリー、５１ｃ，５１ｄ…輝度値→ゲイン変換部、５１ｅ…リミッター、５２…乗算器、５３…γ変換部、６０…セレクター、６１…ヒストグラム生成器、６２…レベル分割器、６３ａ〜６３ｅ…カウンター、６４ａ〜６４ｅ…出力レジスター、７０，７１…正規化ゲイン算出部、７２，７３…正規化部、７４…合成重み算出部、７５〜７７…重み付け部、７８…合成部

Claims (14)

  1. 異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを合成して生成される第１の合成画像データの輝度を変換して階調特性の異なる第２の合成画像データを生成する画像変換手段と、
    前記複数の画像データのうち、少なくとも１の画像データに基づき、前記被写体の撮像画像の輝度分布に係る情報である輝度分布情報を生成する輝度分布情報生成手段と、
    前記輝度分布情報生成手段で生成した輝度分布情報に基づき、前記画像変換手段の前記輝度の変換に用いるゲインの特性を制御する変換ゲイン制御手段と、を備え、
    前記画像変換手段は、前記変換ゲイン制御手段で制御されたゲインを用いて前記第１の合成画像データの輝度を変換することを特徴とする画像処理装置。
  2. 前記輝度分布情報は、前記撮像画像の輝度のヒストグラムであることを特徴とする請求項１に記載の画像処理装置。
  3. 前記画像変換手段は、前記第１の合成画像データの輝度を変換して、前記第１の合成画像データの輝度のダイナミックレンジを圧縮した第２の合成画像データを生成することを特徴とする請求項１又は請求項２に記載の画像処理装置。
  4. 前記輝度分布情報生成手段は、前記複数の画像データのうち、最長の露光時間を除く残りの露光時間に対応する画像データのうちの少なくとも１の画像データに基づき前記輝度分布情報を生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
  5. 前記変換ゲイン制御手段は、前記輝度分布情報に基づき撮像画像のコントラスト比の高低を判定し、コントラスト比が高いと判定したときは、前記第１の合成画像データにおける所定輝度以下の画素データの階調変換に用いるゲインを前記コントラスト比が高ければ高いほど小さい値となるように制御することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
  6. 前記変換ゲイン制御手段は、前記所定輝度以下の画素データの階調変換に用いるゲインが、一定値で固定されるようにゲインを制御することを特徴とする請求項５に記載の画像処理装置。
  7. 前記変換ゲイン制御手段は、前記コントラスト比が低いと判定したときは、前記所定輝度以下の画素データの階調変換に用いるゲインを前記コントラスト比が低ければ低いほど大きい値となるように制御することを特徴とする請求項５又は請求項６に記載の画像処理装置。
  8. 前記輝度分布情報生成手段は、前記少なくとも１の画像データについて、該画像データの対応する輝度の階調範囲を高輝度側、中間輝度、低輝度側の３つの独立した範囲に区分すると共に各範囲を１以上の区分範囲に区分し、各区分範囲に属する画素の数を計数して前記輝度分布情報を生成することを特徴とする請求項５乃至請求項７のいずれか１項に記載の画像処理装置。
  9. 前記変換ゲイン制御手段は、前記高輝度側の範囲に属する区分範囲の合計画素数が第１閾値以上で、且つ前記低輝度側の範囲に属する区分範囲の合計画素数が第２閾値以上のときに、前記撮像画像のコントラスト比が高いと判定することを特徴とする請求項８に記載の画像処理装置。
  10. 前記変換ゲイン制御手段は、前記高輝度側の範囲に属する区分範囲の合計画素数が第３閾値以下のときに、前記撮像画像のコントラスト比が低いと判定することを特徴とする請求項８又は請求項９に記載の画像処理装置。
  11. 被写体を撮像可能な撮像素子から、当該撮像素子において異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、最長の露光時間に対応する画像データを含む２以上の画像データを取得する画像データ取得手段と、
    前記画像データ取得手段で取得した前記２以上の画像データを露光時間の比率に基づき線形合成して前記第１の合成画像データを生成する合成画像データ生成手段と、を備え、
    前記輝度分布情報生成手段は、前記２以上の画像データのうち前記最長の露光時間を除く露光時間のうち少なくとも１の露光時間に対応する画像データに基づき前記輝度分布情報を生成することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
  12. 前記撮像素子は、各画素から蓄積電荷を維持したまま前記蓄積電荷に応じた画素信号を読み出す非破壊読み出し方式で画素信号を読み出すことが可能であり、各フレーム期間において露光時間の短い方から順に前記異なる複数の露光時間で前記各画素を露光すると共に、露光した各画素から前記非破壊読み出し方式で画素信号を読み出し、読み出した順番に前記複数の画像データを構成する画素信号のデータを出力し、
    前記画像データ取得手段は、前記各フレーム期間において、前記最長の露光時間に対応する画像データを取得するよりも先行して前記少なくとも１の画像データを取得し、
    前記輝度分布情報生成手段は、前記先行して取得した少なくとも１の画像データである先行画像データに基づき前記輝度分布情報を生成し、
    前記変換ゲイン制御手段は、前記先行画像データに基づき生成された輝度分布情報に基づき、前記先行画像データを取得したフレーム期間と同じフレーム期間に取得される前記２以上の画像データを線形合成して生成される第１の合成画像データの輝度を変換するゲインを制御し、
    前記画像変換手段は、前記同じフレーム期間に対応する前記第１の合成画像データの輝度を、前記同じフレーム期間に対応する前記制御されたゲインを用いて変換することを特徴とする請求項１１に記載の画像処理装置。
  13. 異なる複数の露光時間で被写体を撮像して得られる複数の画像データのうち、２以上の画像データを合成して生成される第１の合成画像データの輝度を変換して階調特性の異なる第２の合成画像データを生成する画像変換ステップと、
    前記複数の画像データのうち、少なくとも１の画像データに基づき、前記被写体の撮像画像の輝度分布に係る情報である輝度分布情報を生成する輝度分布情報生成ステップと、
    前記輝度情報生成ステップで生成した輝度分布情報に基づき、前記画像変換手段の前記輝度の変換に用いるゲインの特性を制御する変換ゲイン制御ステップと、を含み、
    前記画像変換ステップにおいては、前記変換ゲイン制御ステップで制御されたゲインを用いて前記第１の合成画像データの輝度を変換することを特徴とする画像処理方法。
  14. 被写体を撮像可能な撮像素子と、
    請求項１１又は請求項１２に記載の画像処理装置と、を備えることを特徴とする撮像装置。
JP2010165669A 2010-07-23 2010-07-23 画像処理装置、画像処理方法及び撮像装置 Pending JP2012029029A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010165669A JP2012029029A (ja) 2010-07-23 2010-07-23 画像処理装置、画像処理方法及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010165669A JP2012029029A (ja) 2010-07-23 2010-07-23 画像処理装置、画像処理方法及び撮像装置

Publications (1)

Publication Number Publication Date
JP2012029029A true JP2012029029A (ja) 2012-02-09

Family

ID=45781440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010165669A Pending JP2012029029A (ja) 2010-07-23 2010-07-23 画像処理装置、画像処理方法及び撮像装置

Country Status (1)

Country Link
JP (1) JP2012029029A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014094034A (ja) * 2012-11-07 2014-05-22 Fujifilm Corp 内視鏡装置
CN103843032A (zh) * 2012-08-08 2014-06-04 杜比实验室特许公司 用于高动态范围图像的图像处理
WO2014123603A1 (en) * 2013-02-05 2014-08-14 Google Inc. Noise models for image processing
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US9100589B1 (en) 2012-09-11 2015-08-04 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
KR20160030352A (ko) * 2014-09-09 2016-03-17 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10043253B2 (en) 2015-06-16 2018-08-07 Canon Kabushiki Kaisha Image processing device, image processing method, and program
EP3471397A4 (en) * 2016-06-09 2019-04-24 Sony Corporation APPARATUS AND METHOD FOR IMAGE CAPTURE CONTROL, AND VEHICLE
US10631016B2 (en) 2017-09-20 2020-04-21 Kabushiki Kaisha Toshiba Dynamic range compression device and image processing device
JP2021013033A (ja) * 2011-02-16 2021-02-04 株式会社半導体エネルギー研究所 発光素子、発光装置、電子機器および照明装置
US10917590B2 (en) 2018-03-20 2021-02-09 Kabushiki Kaisha Toshiba Imaging control device, imaging apparatus, and imaging control method
CN113156408A (zh) * 2021-03-19 2021-07-23 奥比中光科技集团股份有限公司 一种对比度标定方法、装置及设备

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013033A (ja) * 2011-02-16 2021-02-04 株式会社半導体エネルギー研究所 発光素子、発光装置、電子機器および照明装置
US9467704B2 (en) 2012-08-08 2016-10-11 Dolby Laboratories Licensing Corporation Adaptive ratio images in HDR image representation
CN103843032A (zh) * 2012-08-08 2014-06-04 杜比实验室特许公司 用于高动态范围图像的图像处理
CN103843032B (zh) * 2012-08-08 2016-04-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US9374589B2 (en) 2012-08-08 2016-06-21 Dolby Laboratories Licensing Corporation HDR images with multiple color gamuts
JP2015508589A (ja) * 2012-08-08 2015-03-19 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒ画像のための画像処理
US9076224B1 (en) 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
US9100589B1 (en) 2012-09-11 2015-08-04 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
JP2014094034A (ja) * 2012-11-07 2014-05-22 Fujifilm Corp 内視鏡装置
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8964060B2 (en) 2012-12-13 2015-02-24 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9118841B2 (en) 2012-12-13 2015-08-25 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9172888B2 (en) 2012-12-18 2015-10-27 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9749551B2 (en) 2013-02-05 2017-08-29 Google Inc. Noise models for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
WO2014123603A1 (en) * 2013-02-05 2014-08-14 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
KR20160030352A (ko) * 2014-09-09 2016-03-17 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
KR102247597B1 (ko) 2014-09-09 2021-05-03 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
US10043253B2 (en) 2015-06-16 2018-08-07 Canon Kabushiki Kaisha Image processing device, image processing method, and program
EP3471397A4 (en) * 2016-06-09 2019-04-24 Sony Corporation APPARATUS AND METHOD FOR IMAGE CAPTURE CONTROL, AND VEHICLE
US10631016B2 (en) 2017-09-20 2020-04-21 Kabushiki Kaisha Toshiba Dynamic range compression device and image processing device
US10917590B2 (en) 2018-03-20 2021-02-09 Kabushiki Kaisha Toshiba Imaging control device, imaging apparatus, and imaging control method
CN113156408A (zh) * 2021-03-19 2021-07-23 奥比中光科技集团股份有限公司 一种对比度标定方法、装置及设备

Similar Documents

Publication Publication Date Title
JP2012029029A (ja) 画像処理装置、画像処理方法及び撮像装置
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US8310562B2 (en) Imaging control apparatus, imaging apparatus and imaging control method for compressing the dynamic range of image data
CN107005639B (zh) 图像拾取设备、图像拾取方法和图像处理设备
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP5699482B2 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2016199573A1 (ja) 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
US8085316B2 (en) Image-processing unit, imaging apparatus, and computer program product
US8305468B2 (en) Image acquisition apparatus and image acquisition program
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
KR100933556B1 (ko) 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP5911525B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
US9019406B2 (en) Imaging apparatus and image processing program for correcting dark area gradation
US9013605B2 (en) Apparatus and method for processing intensity of image in digital camera
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
US20110128404A1 (en) Imaging apparatus, image processing program, image processing apparatus, and image processing method
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP2010273001A (ja) 画像処理装置、撮像装置、および合成画像の生成方法
JP2008294524A (ja) 画像処理装置および画像処理方法
KR101923162B1 (ko) 액정 패널을 이용한 ｈｄｒｉ 영상 획득 장치 및 방법
JP2008219230A (ja) 撮像装置及び画像処理方法
JP2007081550A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム