JP2018207413A - 撮像装置 - Google Patents

Abstract

【課題】画素毎露出制御が可能で、露出の異なる複数の画素の出力を合成することで高ダイナミックレンジ画像を取得可能で、かつ、移動被写体が構図上にあるシーンにおいても像ブレによる画質劣化を軽減可能な撮像装置を提供すること。【解決手段】画素毎に露出を変更可能で、測光結果に基づき、画素毎に露出を制御する制御部を有し、画素毎に複数の画素各々に対して異なる露光時間の制御を行い、本画像取得後に１回の撮影で異なる露出毎の出力毎に画像を生成し、それらの画像を用いて異なる露出の画像間の比較を行い、ブレ判定を行うブレ量算出部を有し、ブレが生じると判定した場合、ブレ検出した領域の画素値を、異なる露出の画素値から補間処理を行い、その値を所定の出力レベルとなるようゲインで補正するブレ補正部を有し、補正した後、画像生成部にて、画素グループ毎に複数の画素の出力を合成した画素値を生成することを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関する。

デジタルカメラやビデオカメラ等においては、固体撮像素子としてＣＣＤおよびＣＭＯＳイメージセンサ等が使用されている。 そして、昨今、１画素以上の画素グループ単位で、露光時間の制御が可能な撮像装置において、画素毎に異なる露出で撮影し、その異なる露出の複数の画素出力を合成し、高ダイナミックレンジな画像を得ることを可能とする撮像装置が開示されている。

特許文献１には、画素ブロックを構成する複数の同一色画素各々に対して異なる露光時間の制御を行い、画素ブロックの複数の同一色画素の出力を合成し、高ダイナミックレンジ画像を生成する方法が開示されている。

特開２０１３−０６６１４０号公報

しかしながら、特許文献１に開示された従来技術では、像ブレによる画質劣化に関しては議論されていない。移動被写体が構図上にあるシーンにおいて、画素毎で露光時間が異なると露光時間別にそれぞれで被写体ブレ量が異なり、画質が劣化してしまう。

本発明の目的は、画素毎露出制御が可能で、露出の異なる複数の画素の出力を合成することで高ダイナミックレンジ画像を取得可能で、かつ、移動被写体が構図上にあるシーンにおいても像ブレによる画質劣化を軽減可能な撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
画素毎に露出を変更可能な撮像装置において、得られた測光結果に基づいて、画素毎に露出を制御する制御部を有し、前記制御部は、画素毎に複数の画素各々に対して異なる露光時間の制御を行い、本画像取得後に１回の撮影で異なる露出毎の出力毎に画像を生成し、それらの画像を用いて異なる露出の画像間の比較を行い、ブレ判定を行うブレ量算出部を有し、ブレが生じると判定した場合においては、ブレ検出した領域の画素値を、異なる露出の画素値から補間処理を行い、その値を所定の出力レベルとなるようゲインで補正するブレ補正部を有し、補正した後、画像生成部にて、画素グループ毎に複数の画素の出力を合成した画素値を生成する、ことを特徴とする。

本発明に係る撮像装置によれば、画素毎露出制御が可能で、露出の異なる複数の画素の出力を合成することで高ダイナミックレンジ画像を取得可能で、かつ、移動被写体が構図上にあるシーンにおいても像ブレによる画質劣化を軽減できる。

撮像装置の全体ブロック図 画素毎露出の画素配列および合成例 像ブレ発生画像例 第１の実施形態のフローチャート例 第１の実施形態の露出毎の生成画像と補正画像例 第１の実施形態の補正画素の説明図 第１の実施形態の補正値算出例 ベイヤーセンサでの画素毎露出の画素配列および合成例

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

《第１の実施形態》
図１は、本実施形態の撮像素子を用いた撮像装置の機能構成例を示すブロック図である。

撮像装置の光学系は、被写体の光学像を撮像素子１１０１に結像させる撮影レンズ０１１０などを含み、レンズ駆動回路０１０９によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子１１０１には、複数の単位画素が行列状に配置されている。

撮像素子１１０１に結像された被写体の像は、電気的な画像信号として撮像素子１１０１から出力される。信号処理部１１０３は、撮像素子１１０１から出力される画像信号に各種の補正を行ったり、圧縮したりする。

タイミング発生回路１１０２は、撮像素子１１０１を駆動するタイミング信号を出力する。全体制御・演算部１１０４は、各種演算を行うとともに、撮像素子１１０１の動作を含む撮像装置全体の動作を制御する。焦点検出部１１０９は、焦点検出動作を行う。

信号処理部１１０３が出力する画像データは、メモリ部１１０５に一時的に記憶される。表示部１１０６は、各種情報や撮影した画像を表示する。また、外部記録部１１０７は、画像データの記録または読み出しを行う。外部記録部１１０７は、例えば半導体メモリ等の着脱可能な記録媒体を読み書きする回路である。そして、操作部１１０８は、スイッチ、ボタン、タッチパネルなどを代表とする入力デバイス群を含み、撮像装置に対するユーザ指示を受け付ける。

露出制御部１１１０は、ＡＥの露出制御、ＡＥの結果に基づいた本撮影時の露出制御を行う。ブレ量算出部１１１１は、１回の撮影で異なる露出毎に生成した画像を比較し、ブレ量の算出及び検出を行う。ブレ補正部１１１２は、ブレの検出をした箇所の画素値をブレていない異なる露出画像の画素値から補間し、所望（所定）の露出となるよう値にゲインを掛けて補正する。画像生成部１１１３は、露出の異なる複数の画素値を合成し、高ダイナミックレンジ画像を生成する。ブレ補正された場合は、ブレ補正した出力を用いて合成処理を行う。

図２（Ａ）は画素毎露光の例で、ここでは、露出の異なる４画素で１グループとなるように全体に散りばめられている。例えば、通常の適正露出の０ＥＶ画素、適正露出より２段高い＋２ＥＶの画素、適正露出より２段低い−２ＥＶの画素の出力を１回の撮影で取得できるようになっており、図２（Ｂ）のようにグループ毎に画像合成することで、ダイナミックレンジが広い画像を生成することを可能としている。ここでは、説明を簡易的にするため、すべて同一色の画素構成の例で表現しているが、この限りではない。

図３（Ａ）は、画面の一部に像ブレが発生していない画像の例で、図３（Ｂ）は、画面の一部に像ブレが発生した画像の例である。

図４は、本実施形態のフローチャートである。以下、各ステップについて説明する。

（Ｓ１０、Ｓ１１、Ｓ１２）
ＡＥにて測光を行い、測光結果に基づいて、本画像取得時の画素毎の露光制御を行う。例えば、図２（Ａ）のように、露出の異なる４画素で１グループとなるように全体に散りばめて、本画像の取得を行う。

例えば、０ＥＶは、適正出力となる露出とし、ＡＥの結果に基づいて設定を行う。−２ＥＶは、適正露出より−２段の露出、＋２ＥＶは適正露出より＋２段の露出で、各画素はそれぞれの露出に設定している事を表している。

（Ｓ１３）
次に、露出毎の出力画像を生成する。この状態で撮影した時の各露出の出力結果例が、図５（Ａ）〜（Ｃ）である。

（Ｓ１４、Ｓ１５，Ｓ１６）
（Ｓ１４）ブレ量算出部（１１１１）では、露出毎の異なる露光時間で取得した画像データを比較し、所定の閾値以内にブレ量が収まっているかどうかを判定する。

（Ｓ１５）ブレ量がすべて所定の閾値以内に収まっている場合は、補正せず画像合成および生成を行う。ブレ補正された場合は、ブレ補正した出力を用いて合成処理を行う。

（Ｓ１６）
ブレ量が閾値を超えた場合、ブレ補正部（１１１２）では、ブレた露出画像中のブレ部分をブレの少ない露出画像中の画素の値から補間し、出力値を所望（所定）のレベルに補正する（Ｓ１６）。そして、画像生成部（１１１３）で、露出の異なる４画素で１グループとなるように画像合成をし、出力画像を生成する。

次に、Ｓ１４〜Ｓ１６に関して、具体例をあげて説明する。

図５のように、例えば、図５（Ａ）と（Ｃ）、図５（Ｂ）と（Ｃ）をそれぞれ比較し、判定結果は、図５（Ｂ）がブレ有となって、図５（Ａ）と（Ｃ）の判定結果は、ブレ無となっている。図５（Ｂ）はブレている部分があるため、その部分を図５（Ａ）または図５（Ｃ）の該当部分の隣接する画素値から補間し、出力値を所望（所定）のレベルに補正する。図５（Ｂ’）が図（Ｂ）のブレ検出部分を補正した画像のイメージである。

図６で前述の補間と補正の具体例を説明する。
Ａ画素 ：０ＥＶ露出画素値
Ｂ画素 ：＋２ＥＶ露出画素値
Ｃ画素 ：−２ＥＶ露出画素値
Ｂ’画素 ：補正後＋２ＥＶ露出画素値
とすると、図６（Ａ）の補正前のＢの画素値のブレ検出部分を図６（Ｂ）では、Ｂ’へ補正している。

図７はその補正時の補正値算出例であり、［補間画素の平均値］×［ゲイン（露出差）］としている。例えば、Ａの露出画像から補正する場合は、以下のように行う。
Ｂ‘＝（Ａ１＋Ａ２＋Ａ３＋Ａ４）／４×４
例えば、Ｃの露出画像から補正する場合は
Ｂ‘＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４×１６
などのように補正を行う。その後、補正した出力を用いて合成処理を行う。

以上挙げた実施形態のように、画素毎露出制御可能な撮像装置において、露出の異なる複数の画素の出力を合成することで高ダイナミックレンジ画像を取得可能でかつ、移動被写体が構図上にあるシーンにおいても像ブレによる画質劣化を軽減することが可能となる。

本実施形態では、説明簡略化のため単色センサーを例に説明したが、本発明はこれに限られない。例えば、図８（Ａ）は、ＲＧＢベイヤーセンサーの場合において、各色毎（例えばＲ，Ｇｒ，Ｇｂ，Ｂ）に画素毎露光制御している例で、１つの露出設定の中にＲ，Ｇｒ，Ｇｂ，Ｂ画素が含まれている。

ここでは、色毎に異なる露出の画素が４画素で１グループとなるように全体に散りばめられている。例えば、通常の適正露出の０ＥＶ画素、適正露出より２段高い＋２ＥＶの画素、適正露出より２段低い−２ＥＶの画素の出力を１回の撮影で色毎に取得できるようになっており、色毎にブレ検出及びブレ補正を行い、図８（Ｂ）のように色毎にグループ毎に画像合成しても良く、これに限定するものではない。

本実施形態では、画素配列２×２毎に１つの画素グループとして説明したが、これに限定するものではなくどのような配列、グループ化を行っても良く、これに限定するものではない。

また、本実施形態では、説明簡略化のため単色センサーを例に説明したが、例えば、ＲＧＢカラーセンサーの場合において、各色毎（例えばＲ，Ｇ，Ｂ）の蓄積開始と露光時間は、ＲとＧとＢとで同じ場合があり、同じ露光時間の場合は、ブレ量を算出および検出をある一つの色のみ行うようにして、演算処理の負荷を軽くするなどしても良く、これに限定するものではない。

また、本実施形態では、０ＥＶ、＋２ＥＶ、−２ＥＶの画素はそれぞれ異なる露光時間で、それぞれを比較し、ブレ量の算出を行っている例を示したが、例えば、０ＥＶと−２ＥＶ画素とで同時に蓄積開始をし、同じ露光時間であり、画素毎のゲイン設定で露出差を付けている場合は、０ＥＶと−２ＥＶ画像間でのブレは発生しない。このため、０ＥＶ，−２ＥＶ画素毎の画像間でブレ量の算出は行わず、０ＥＶと＋２ＥＶ画像間のみのブレ量算出を行うようにし、演算処理の負荷を軽くするなどしても良く、これに限定するものではない。

本実施形態では、０ＥＶ、＋２ＥＶ、−２ＥＶの画素を簡略的に合成する例を示したが、例えば、所定の各画素出力レベルに応じて領域毎、露出毎に合成比率に重みづけし、合成する等しても良く、これに限定するものではない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１１０ 露出制御部、１１１１ ブレ量算出部、１１１２ ブレ補正部、
１１１３ 画像生成部

Claims (6)

1. 画素毎に露出を変更可能な撮像装置において、
   得られた測光結果に基づいて、画素毎に露出を制御する制御部を有し、
   前記制御部は、
   画素毎に複数の画素各々に対して異なる露光時間の制御を行い、
   本画像取得後に１回の撮影で異なる露出毎の出力毎に画像を生成し、それらの画像を用いて異なる露出の画像間の比較を行い、ブレ判定を行うブレ量算出部を有し、ブレが生じると判定した場合においては、ブレ検出した領域の画素値を、異なる露出の画素値から補間処理を行い、その値を所定の出力レベルとなるようゲインで補正するブレ補正部を有し、補正した後、画像生成部にて、画素グループ毎に複数の画素の出力を合成した画素値を生成することを特徴とする撮像装置。
2. 露出設定値は、露光時間とゲインに基づく設定を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記ブレ量算出部において、ブレ判定は、異なる露出の画素出力の画像を比較し、異なる露出の画像間の動き量が所定の閾値内かどうかで判定することを特徴とする請求項１に記載の撮像装置。
4. 前記ブレ量算出部において、異なる露光時間の出力毎の画像を比較画像として用い、比較画像の中で、異なる露出であっても画素の設定ゲインが異なり、露光時間が同じ設定であった場合は、複数ある同じ露光設定画像の中のいずれか一つの露出の画像を用いてブレ量の算出を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記ブレ量算出部においてブレ判定された画素値の補間処理は、ブレが発生したと判定した露出の画素とは異なる露出で取得した一つ以上の隣接画素の値を用いることを特徴とする請求項１に記載の撮像装置。
6. 前記制御部は画素毎に複数の同一色画素各々に対して異なる露光時間の制御を行い、本画像取得後に１回の撮影で異なる露出毎の出力毎に画像を生成し、それらの画像を用いて異なる露出の同一色の画像間の比較を行い、ブレが生じると判定した場合においては、ブレ検出した領域の画素値を、同色の異なる露出の画素値から補間処理を行い、その値を所定の出力レベルとなるようゲインで補正し、補正した後、画像生成部にて、画素グループ毎に複数の同一色の画素の出力を合成した画素値を生成することを特徴とする請求項１に記載の撮像装置。