JP5603506B2 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
JP5603506B2
JP5603506B2 JP2013541708A JP2013541708A JP5603506B2 JP 5603506 B2 JP5603506 B2 JP 5603506B2 JP 2013541708 A JP2013541708 A JP 2013541708A JP 2013541708 A JP2013541708 A JP 2013541708A JP 5603506 B2 JP5603506 B2 JP 5603506B2
Authority
JP
Japan
Prior art keywords
color
thinning
line
white balance
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013541708A
Other languages
English (en)
Other versions
JPWO2013065518A1 (ja
Inventor
善工 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013541708A priority Critical patent/JP5603506B2/ja
Application granted granted Critical
Publication of JP5603506B2 publication Critical patent/JP5603506B2/ja
Publication of JPWO2013065518A1 publication Critical patent/JPWO2013065518A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は撮像装置及び画像処理方法に係り、特にホワイトバランスゲインを高速かつ精度よく算出する技術に関する。
特許文献１には、撮像素子の全領域の画像から間引き（抽出）した画像に基づいてホワイトバランスゲイン（ＷＢゲイン）を算出するとともに、電子ズームにより撮像素子の一部の領域の画像を本撮像し、前記算出したＷＢゲインによりホワイトバランス補正を行う撮像装置が記載されている。これにより、本撮影される領域に比べて白が存在する確率の高い領域の画像から色温度を検出することにより、ＷＢゲインを精度よく算出できるようにしている。
また、特許文献２には、固体撮像素子から画素の信号を間引き読み出しし、又は垂直方向の同色のラインにおける複数の画素の信号を加算して読み出し、その読み出した信号を検波（色別レベルの積分処理）することによりＷＢゲインを算出する記載がある。
ところで、上記特許文献１、２に記載の撮像装置に適用されている撮像素子は、ベイヤ配列のカラーフィルタ配列を有している（特許文献１の段落［００２３］、図４、特許文献２の図３）。
ベイヤ配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。
このような問題を解決するために、撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献３）。
また、特許文献４には、Ｒフィルタ、Ｂフィルタに比べてＧフィルタの割合を多くし、同じ割合の色フィルタを格子構造に配置した場合に比べて、色の水平方向及び垂直方向の解像度をアップするとともに、輝度信号における色モアレを低減することができる撮像装置が提案されている。
特開２００７−２９５３００号公報 特開２００３−１１６１４３号公報 特開２０００−３０８０８０号公報 特開平８−２３５４２号公報
モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。混色の程度は、撮影レンズの焦点距離、絞りのＦ値等の撮影条件に依存する。
混色の多いＲＧＢの色信号に基づいてＷＢゲインを算出すると、精度よくＷＢゲインを算出することができないという問題がある。
特許文献１、２に記載のベイヤ配列を有する撮像素子の場合、ＲＧｒＲＧｒの順に繰り返すラインと、ＧｂＢＧｂの順に繰り返すラインとが交互に配列されており、１つのライン上にはＲＧＢの画素が存在せず、また、ＷＢゲインの算出時にラインの間引き読み出しを適宜変更しても、混色の影響を受けにくい間引き読み出し、混色の影響を受けやすい間引き読み出し等を行うことができない。
一方、特許文献３に記載の３色ランダム配列としたカラー撮像素子の場合、１つのライン上にＲＧＢの画素が存在するが、ＲＧＢのフィルタがランダム配置されているため、ＷＢゲインの算出時にいずれのラインを間引き読み出ししても、同程度の混色の影響を受けた色信号が取得されることになり、混色の影響を低減させた精度の高いＷＢゲインを算出することができない。
また、特許文献４に記載のカラーフィルタ配列は、水平、垂直方向のいずれのラインもＧフィルタが多く配置されているため、いずれのラインを間引き読み出ししてもＲＧＢの画素の個数の比率は不均等なものとなる。ＷＢゲインを求める際には、ＲＧＢの色信号毎の積算平均値を求めるが、平均する画素数が異なるため、特に高速化のために間引き率を高くすると、ＲＧＢの積算平均値の精度にバラツキが発生しやすく、ＷＢゲインを精度よく算出することができないという問題がある。
本発明はこのような事情に鑑みてなされたもので、ノイズの影響及び隣接画素間の混色の影響を考慮した精度の高いホワイトバランスゲインを高速に算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる撮像装置及び画像処理方法を提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。
本発明の一の態様によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用し、３原色のカラーフィルタの個数の比率がより均等なラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。これにより、ノイズ成分による３原色の検出精度（積算平均値）のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができるようにしている。
本発明の他の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。
３原色のカラーフィルタの個数の比率が不均等なラインは、隣接画素から異なる色の光の漏れ込みによる混色が、均等なラインに比べて低い。そこで、混色が多くなる撮影条件下では、混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）を選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいてホワイトバランスゲインを算出し、混色の影響が低減された、精度の高いホワイトバランスゲインを算出するようにしている。
一方、混色が少ない撮影条件下では、ノイズの影響の少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）を選択する間引きパターンを決定し、決定した間引きパターンにしたがって間引き読み出しした所定のラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。
混色が少ない撮影条件下では、３原色の色信号の個数の比率がより均等な方が、各色信号のノイズ成分による検出精度のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができる。そこで、混色が少ない撮影条件下では、３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいて精度の高いホワイトバランスゲインを算出するようにしている。
本発明の他の態様に係る撮像装置において、前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。
撮影光学系のＦ値が開放Ｆ値に近づく程、混色が多くなる。また、一般に撮像素子の各光電変換素子上には、集光用のマイクロレンズが配設されているが、これらのマイクロレンズは、光束の入射角補正のために撮像素子の中心からの距離に応じて光電変換素子に対してわずかにシフトして配設されている（スケーリングされている）。ズーム倍率によりマイクロレンズへの入射角が予め想定されている入射角から外れると、混色が多くなる。そこで、本発明の他の態様では、撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて混色が多い撮影条件か否かを判別するようにしている。
本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。環境光の色温度が、３原色の各色信号のレベルがほぼ等しくなるような中間色温度の場合、混色によるホワイトバランスゲインの算出精度への影響は少ないが、低色温度又は高色温度の場合、混色成分がホワイトバランスゲインの算出精度に大きく影響する。そこで、本発明の更に他の態様では、環境光の色温度に基づいて適切な間引パターンを選択するようにしている。
本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。
撮影感度が低い場合、ノイズによる影響が小さいため、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。一方、撮影感度が高い場合、ノイズによる影響が大きいため、各色信号の積算平均値を求める場合に、３原色のカラーフィルタの個数の比率がより均等なラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度に基づいて間引きパターンを選択するようにしている。
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定することが好ましい。
撮影感度が低感度の場合には、ノイズ成分の影響が少ないため、間引き率を高くすることにより演算速度の高速化を図り、一方、撮影感度が高感度の場合には、間引き率を低くすることにより、演算速度の高速化よりもノイズ成分の影響を低減し、精度の高いホワイトバランスゲインを算出することを優先するようにしている。
本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段と、演算速度を重視するか否かを判別する判別手段と、を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定することが好ましい。
撮影感度が高い場合でも、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができれば、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度が高い場合でも、演算速度を重視しない場合には、間引き率が低く、かつ混色の少ないラインを間引き読み出しする間引きパターンを決定するようにしている。この場合、間引き率が低い間引きパターンを使用することにより、より多くの色信号の積算平均値を算出することになるため、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができる。
本発明の更に他の態様に係る撮像装置において、前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出することが好ましい。色信号毎にオフセットの補正を行うことにより、ホワイトバランスゲインの算出精度を向上させることができる。
本発明の更に他の態様に係る撮像装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含んでいる。共有アンプを含む下地の素子構造により発生するオフセット成分の段差を考慮した、前記色信号毎のオフセット値を算出することができ、このオフセット値により各色信号の積算平均値を補正することにより、ホワイトバランスゲインの算出精度を向上させることができる。
本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。
これによれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。更に、前記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、ランダム配列に比べて後段の処理を簡略化することができる。
本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
上記カラーフィルタ配列は、輝度信号を得るために最も寄与するＧ信号に対応するＧフィルタを、水平、垂直、斜め右上、斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、Ｒ信号、Ｂ信号に対応するＲ，Ｂフィルタについても水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、１／６間引きとなり、間引き率が最も高く、ホワイトバランスゲインの算出時の演算量が最も少なく高速化が可能である。
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含んでいる。
本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、４／６間引きとなり、間引き率が低く、ホワイトバランスゲインの算出時の演算量が多くなるが、ノイズの影響の少ないホワイトバランスゲインを算出することができる。
本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。
本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。
本発明によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用するが、前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するようにしたため、ノイズ成分の影響が少なく精度の高いホワイトバランスゲインを算出することができる。また、混色が多い撮影条件下では混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）の色信号に基づいてホワイトバランスゲインを算出し、一方、混色が少ない撮影条件下ではノイズの影響が少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）の色信号に基づいてホワイトバランスゲインを算出するようにしたため、精度の高いホワイトバランスゲインを算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる。
本発明に係る撮像装置に適用される撮像素子の実施形態を示す図 本発明に係る撮像装置の実施形態を示すブロック図 １／６間引きする場合の２つの間引きパターンを示す図 ２／６間引きする場合の３つの間引きパターンを示す図 ３／６間引きする場合の３つの間引きパターンを示す図 ４／６間引きする場合の３つの間引きパターンを示す図 図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表 図２に示したデジタル信号処理部の内部構成を示す要部ブロック図 ＷＢゲインの算出方法の第１の実施形態を示すフローチャート ＷＢゲインの算出方法の第２の実施形態を示すフローチャート 色温度毎のＲＧＢの信号レベルの一例を示す図 ＷＢゲインの算出方法の第３の実施形態を示すフローチャート ＷＢゲインの算出方法の第４の実施形態を示すフローチャート ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合を示す図 ２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図 共有アンプに対する画素の位置１〜４でオフセットに段差（黒レベル段差）が生じている場合を示す図 基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１〜４との関係を示す図 ２／６間引きされるラインａ，ｄの各色の画素と共有アンプに対する画素の位置１〜４との関係を示す図 本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図 本発明に係る撮像装置に適用される撮像素子の更に他の実施形態を示す図
以下、添付図面にしたがって本発明に係る撮像装置及び画像処理方法の好ましい実施の形態について詳説する。
［撮像素子］
図１は本発明に係る撮像装置に適用される撮像素子の実施形態を示す図であり、特に撮像素子１の受光面上に配置されている新規のカラーフィルタ配列に関して示している。
この撮像素子１のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子１から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
図１に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向の各ライン内に配置されている。
輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
また、このカラーフィルタ配列は、上記Ｇの色以外のＲ，Ｂの色に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
図１に示した６×６画素の基本配列パターンを３×３画素に４分割すると、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっている。
Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
［撮像装置］
図２は本発明に係る撮像装置の実施形態を示すブロック図である。
この撮像装置１０は、図１に示した撮像素子１が配設され、静止画や動画の撮影が可能なデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示用の液晶モニタ３０の表示制御などを行う。
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、撮影モード、人物、風景、夜景等のシーンポジション、動画モード等を選択する選択手段である。
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して撮像素子１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、Ｆ値としてＦ1.4〜Ｆ11まで１ＡＶ刻みで７段階に絞り制御される。
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像素子１での電荷蓄積時間（シャッタ速度）や、撮像素子１からの画像信号の読み出し制御等を行う。
撮像素子１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ＹＣ処理（画像データの輝度データ及び色差データの生成処理）、シャープネス補正等の所定の信号処理を行う。
図２において、４６は、カメラ制御プログラム、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。
また、デジタル信号処理部２４は、ホワイトバランス補正に使用するホワイトバランスゲイン（以下「ＷＢゲイン」という）等を算出する処理部を含むが、ＷＢゲイン算出の詳細については後述する。
デジタル信号処理部２４で処理された画像データはＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている画像表示用の液晶モニタ３０に出力され、これにより被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り値（Ｆ値）及び撮像素子１の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。
ここで、プログラム線図とは、被写体の明るさに対応して、Ｆ値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
ＣＰＵ４０は、上記プログラム線図にしたがって決定したＦ値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像素子１での電荷蓄積時間を制御する。
ＡＦ処理部４２は、コントラストＡＦ処理を行う部分であり、例えば、画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。デジタル信号処理部２４は、読み出したデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行い、ＹＣ処理したＹＣデータを、再びメモリ４８に記憶させる。
メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
［間引きパターン］
オートホワイトバランス（ＡＷＢ）補正などに用いるＲＧＢの各色信号は、速度を重視するため（演算量を少なくするため）、撮像素子１から得られる各ラインのうち、所定の間引きパターンにしたがって間引き読み出ししたラインの色信号を使用する。
以下、撮像素子１から得られるモザイク画像の各ラインに対し、間引き読み出しするラインに対応する複数の間引きパターンについて説明する。
＜１／６間引き＞
図１に示したように６×６画素の基本配列パターンが水平方向及び垂直方向に繰り返し配置されているカラーフィルタ配列の場合、６種類のラインａ〜ｆの繰り返しになる。
これらのラインａ〜ｆのうち、ラインａとラインｃ、ラインｄとラインｆは同じフィルタ配列となっており、ラインａ、ｃと、ラインｄ、ｆとは、位相が３画素分ずれているが、同じフィルタ配列になっている。また、ラインｂとラインｅは、位相が３画素分ずれているが、同じフィルタ配列になっている。
図３に示すように、６ライン毎に１ラインを間引き読み出し（１／６間引き）する場合、ラインａ，ｃ，ｄ，ｆからいずれか１つのラインを読み出す間引きパターンＰ１１（図３の（ａ）部分）と、ラインｂ，ｅからいずれか１つのラインを読み出す間引きパターンＰ１２（図３の（ｂ）部分）とがある。
間引きパターンＰ１１と間引きパターンＰ１２とは、ＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ１１の場合には、Ｒ：Ｇ：Ｂ＝１：４：１となり、間引きパターンＰ１２の場合には、Ｒ：Ｇ：Ｂ＝２：２：２＝１：１：１となる。
即ち、間引きパターンＰ１１の場合には、ＲＧＢの個数の比率が不均等であり、Ｇの比率がＲＢに比べて高く（４倍）、一方、間引きパターンＰ１２の場合には、間引きパターンＰ１１に対しＲ、Ｂの比率が高くＲＧＢの個数の比率が均等になっている。
ＷＢゲインを求める際には、まず、ＲＧＢの各色信号（ＲＧＢの色毎の画素の画素値）の平均値を求めるが、平均する画素数が多い程、精度の高い平均値を求めることができる。
撮影時の環境光の色温度が低色温度の場合、色毎の平均値は、Ｒ＞Ｇ＞Ｂの関係になり、高色温度の場合、色毎の平均値は、Ｒ＜Ｇ＜Ｂの関係になる。このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、Ｂ画素，又はＲ画素の精度が低くなるため、平均する画素数を増やすことが好ましい。
即ち、出力が小さい色が含まれる色温度の場合、ＲＢ画素の個数が少ない間引きパターンＰ１１よりも、ＲＢ画素の個数が多い（ＲＧＢの画素が均等な）間引きパターンＰ１２の方が好ましい。
一方、間引きパターンＰ１２の場合、Ｇ画素は左右方向にＲ画素、又はＢ画素が隣接しており（Ｒ画素、又はＢ画素に挟まっており）、隣接画素からの光の漏れ込み（混色）の影響を受けやすく、間引きパターンＰ１１の場合、隣接画素から異なる色の光の漏れ込みによる混色が、間引きパターンＰ１２よりも少なく、混色の影響を受けにくい。したがって、混色が発生しやすい撮影条件では、間引きパターンＰ１１の方が好ましい。
本発明では、ＲＧＢの個数の比率が異なる複数の間引きパターンＰ１１、Ｐ１２から撮影条件に応じて最適な間引きパターンを決定し、その決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しし、ＲＧＢの色毎の平均値を求め、求めた平均値に基づいてＷＢゲインを算出するようにしている。尚、間引きパターンの選択、及びＷＢゲインの算出の詳細については後述する。
＜２／６間引き＞
図４は、６ライン毎に２ラインを間引き読み出し（２／６間引き）する場合の３つの間引きパターンＰ２１、Ｐ２２、Ｐ２３に関して示している。
図４の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから２ラインを読み出す間引きパターンＰ２１を示し、図４の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２２を示し、図４の（ｃ）部分は、ラインｂ、ｅの２ラインを読み出す間引きパターンＰ２３を示している。
上記３つの間引きパターンＰ２１、Ｐ２２，Ｐ２３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ２１の場合には、Ｒ：Ｇ：Ｂ＝２：８：２＝１：４：１となり、間引きパターンＰ２２の場合には、Ｒ：Ｇ：Ｂ＝３：６：３＝１：２：１となり、間引きパターンＰ２３の場合には、Ｒ：Ｇ：Ｂ＝４：４：４＝１：１：１となる。
＜３／６間引き＞
図５は、６ライン毎に３ラインを間引き読み出し（３／６間引き）する場合の３つの間引きパターンＰ３１、Ｐ３２、Ｐ３３に関して示している。
図５の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから３ラインを読み出す間引きパターンＰ３１を示し、図５の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２１を示し、図５の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ３３を示している。
上記３つの間引きパターンＰ３１、Ｐ３２，Ｐ３３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ３１の場合には、Ｒ：Ｇ：Ｂ＝３：１２：３＝１：４：１となり、間引きパターンＰ３２の場合には、Ｒ：Ｇ：Ｂ＝４：１０：４＝２：５：２となり、間引きパターンＰ３３の場合には、Ｒ：Ｇ：Ｂ＝５：８：５となる。
＜４／６間引き＞
図６は、６ライン毎に４ラインを間引き読み出し（４／６間引き）する場合の３つの間引きパターンＰ４１、Ｐ４２、Ｐ４３に関して示している。
図６の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆの４ラインを読み出す間引きパターンＰ４１を示し、図６の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから３ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ４２を示し、図６の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ４３を示している。
上記３つの間引きパターンＰ４１、Ｐ４２，Ｐ４３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ４１の場合には、Ｒ：Ｇ：Ｂ＝４：１６：４＝１：４：１となり、間引きパターンＰ４２の場合には、Ｒ：Ｇ：Ｂ＝５：１４：５となり、間引きパターンＰ４３の場合には、Ｒ：Ｇ：Ｂ＝６：１２：６＝１：２：１となる。
図７は、上記図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表である。
上記１／６間引きから４／６間引きのうち、１／６間引きは最も間引き率が高く（読み出すライン数が少なく）、計算量も少なくなるが、ノイズに対して精度が低くなり、４／６間引きは最も間引き率が低く（読み出すライン数が多く）、計算量も多くなるが、ノイズに対して精度が高くなる。
［デジタル信号処理］
図８は図２に示したデジタル信号処理部２４の内部構成を示す要部ブロック図である。
図８に示すように、デジタル信号処理部２４は、主として混色補正部２４１、ホワイトバランス補正部２４２、及び信号処理部２４３からなる第１の信号処理系統と、間引きパターン決定部２４４、間引き読出部２４５、ＲＧＢ積算部２４６、及びＷＢゲイン算出部２４７からなる第２の信号処理系統とから構成されている。
前述したように撮影時に撮像素子１から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ４８に格納されるが、デジタル信号処理部２４は、メモリ４８からモザイク画像を読み出し、表示用及び記録用の画像を生成する。
デジタル信号処理部２４の前記第１の信号処理系統及び第２の信号処理系統は、それぞれメモリ４８からモザイク画像（ＲＧＢの色信号）を適宜読み出し、高速化のために並列処理を行っている。
混色補正部２４１は、隣接画素からの光の漏れ込み（混色）の影響を低減させる処理を行う部分であり、隣接画素からの漏れ込みの割合に応じてＲＧＢの色信号の信号成分を減算して混色を低減させる。隣接画素からの漏れ込みの割合は、各画素への光束の入射角等により変化するため、予め光束の入射角を変化させながら複数の入射角で混色の割合を測定し、その測定した混色の割合（補正パラメータ）を使用する必要がある。
混色補正部２４１により混色補正されたＲＧＢの色信号は、ホワイトバランス補正部２４２に加えられる。ホワイトバランス補正部２４２の他の入力には、ＷＢゲイン算出部２４７からＲＧＢ毎のＷＢゲインが加えられており、ホワイトバランス補正部２４２は、ＲＧＢの色信号とＲＧＢ毎のＷＢゲインとを乗算することによりホワイトバランス補正を行う。
ホワイトバランス補正されたＲＧＢの色信号は、信号処理部２４３に加えられ、ここで、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の他の信号処理が行われる。ＹＣ処理したＹＣデータは、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータは、ビデオ・エンコーダ２８により液晶モニタ３０での画像表示用の信号に変換され、ポストビュー画像として液晶モニタ３０に表示され、また、圧縮伸長処理部２６により所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
一方、第２の信号処理系統側の間引きパターン決定部２４４は、図３から図６に示した複数の間引きパターンの中から撮影条件等に基づいて１つの間引きパターンを決定する。例えば、混色が多くなる撮影条件下では、ラインａ，ｃ，ｄ，ｆが主として選択される間引きパターンを決定し、混色が少ない撮影条件下では、ラインｂ，ｅが主として選択される間引きパターンを決定する。尚、間引きパターン決定部２４４の動作の詳細については後述する。
間引き読出部２４５は、メモリ４８に記憶されたＲＡＷデータ（モザイク画像）のうち、間引きパターン決定部２４４により決定された間引きパターンにしたがって所定のラインの色信号を間引いて読み出し、読み出したＲＧＢの各色信号をＲＧＢ積算部２４６に出力する。
ＲＧＢ積算部２４６は、１画面を８×８又は１６×１６に分割した分割エリア毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ，Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を１６×１６の２５６の分割エリアに分割する場合には、２５６個の色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
ＷＢゲイン算出部２４７は、ＲＧＢ積算部２４６から入力する分割エリア毎の色情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、２５６個の分割エリア毎の色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７−５３４９９参照）、また、推定した光源種から色温度を推定してもよい。
ＷＢゲイン算出部２４７には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎、又はＲＢ毎のＷＢゲインが用意されており、ＷＢゲイン算出部２４７は、前記推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎、又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをホワイトバランス補正部２４２に出力する。
上記のように第１の信号処理系統によるモザイク画像の信号処理と並行して、第２の信号処理系統によりＷＢゲインの算出を行うようにしたため、信号処理の高速化を図ることができ、特にオリジナル画像の全画素のデータを使用せずに間引き読出したラインの色信号に基づいてＷＢゲインを算出するため、ＷＢゲインを高速に算出することができる。これにより、撮影した画像を確認するためのポストビュー画像を早く見ることができる。
また、第２の信号処理系統側では、計算量が多くなる混色補正を行っていないが、混色が発生しやすい撮影条件下では、混色の影響を受けにくいラインの色信号を間引き読み出しするため、精度の高いＷＢゲインを算出することができる。
［ＷＢゲイン算出の実施形態］
＜第１の実施形態＞
図９はＷＢゲインの算出方法の第１の実施形態を示すフローチャートである。
図９において、まず、シャッタボタンの第２段階の押下（全押し）があると、静止画の本撮影が行われ、その本撮影により撮像素子１から取得されるＲＡＷデータがメモリ４８に格納される（ステップＳ１０）。
続いて、本撮影時の撮影光学系１２（ズームレンズ）のズームポジション及びレンズＦ値を取得し、取得したズームポジション及びレンズＦ値に対応する閾値を選択する（ステップＳ１２）。
即ち、レンズＦ値が開放Ｆ値に近づくほど程、混色が多くなるため、Ｆ値に基づいて混色が発生しやすいか否かを判別するための閾値を設定する。また、ズームレンズのズームポジション（ズーム倍率）により撮像素子上のマイクロレンズへの入射角が変化（隣接画素からの光の漏れ込みが変化）し、混色量が異なるため、ズームポジションによって前記閾値を変えるようにしている。具体的には、Ｆ値とズームポジションをパラメータとする閾値のテーブルを予め準備しておき、本撮影時のＦ値とズームポジションから対応する閾値をテーブルから読み出す。
次に、本撮影時のＦ値が前記選択された閾値以下か否かを判別する（ステップＳ１４）。本撮影時のＦ値が閾値以下の場合（「Yes」の場合）、混色が発生しやすいと判断し、混色の影響の少ない（ＲＢの画素の少ない）ラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１６）。例えば、１／６間引きの場合には、図４の（ａ）部分に示した間引きパターンＰ１１を決定し、その選択した間引きパターンＰ１１に対応するラインの色信号を読み出す。
一方、本撮影時のＦ値が閾値を越える場合（「No」の場合）、混色の影響が少ないと判断し、混色の影響の少ないラインに比べてＲＢの画素が多いラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１８）。例えば、１／６間引きの場合には、図４の（ｂ）部分に示した間引きパターンＰ１２を決定し、その選択した間引きパターンＰ１２に対応するラインの色信号を読み出す。
上記ステップＳ１６、又はＳ１８により読み出したＲＧＢの色信号からＲＧＢ毎の積算平均値を算出し、その積算平均値に基づいてＷＢゲインを算出する（ステップＳ２０）。
上記のように混色が発生しやすい撮影条件下では、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない撮影条件下では、混色の影響の少ないラインに比べてＲＢの画素が多いライン（ＲＧＢの画素の比がより均等なライン）の色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
尚、この第１の実施形態では、本撮影時のズームポジションとＦ値に基づいて閾値を選択し、混色が多くなる撮影条件か否かを判別するようにしたが、これに限らず、ズームポジション、又はＦ値のいずれか一方に基づいて混色が多い撮影条件か否かを判別し、その判別結果に基づいて間引きパターンを決定するようにしてもよい。
＜第２の実施形態＞
図１０はＷＢゲインの算出方法の第２の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
図１０に示すように、本撮影前に環境光の色温度を算出する（ステップＳ３０）。例えば、ライブビュー画像の画像データ、又はシャッタボタンの半押し時に取得した画像データのＲＧＢの色信号に基づいて色毎の積算平均値を算出し、算出した色毎の積算平均値から環境光の色温度を算出する。
そして、本撮影後、ステップＳ３０で算出した色温度が、予め設定された中間色温度の範囲外か否かを判別する（ステップＳ３２）。
低色温度時のＲＧＢの色毎の積算平均値は、図１１の（ａ）部分に示すように、Ｒ＞Ｇ＞Ｂの関係になり、高色温度時のＲＧＢの色毎の積算平均値は、図１１の（ｃ）部分に示すように、Ｒ＜Ｇ＜Ｂの関係になる。
このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、出力が小さい画素（Ｂ画素，又はＲ画素）は、隣接画素からの光の漏れ込みの影響を受けやすく、ＷＢゲインの算出精度が悪くなりやすい。
そこで、ステップＳ３２では、ステップＳ３０で算出した色温度が、ＲＧＢの色毎の積算平均値がほぼ均等になる所定の中間色温度（図１１の（ｂ）部分）の範囲外となる色温度の場合（「Yes」の場合）には、混色が発生しやすいと判断し、ステップＳ１６に遷移させ、中間色温度範囲内（「No」の場合）には、混色の影響が少ないと判断し、ＲＢの画素が多いラインの間引き読出しを行うステップＳ１８に遷移させる。
上記のように混色が発生しやすい色温度の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない色温度の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
＜第３の実施形態＞
図１２はＷＢゲインの算出方法の第３の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
ＣＰＵ４０は、シャッタボタンの半押し時にＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいてＦ値、シャッタ速度、及び撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件を決定し、本撮影時に前記決定した露出条件にしたがって露出制御を行う。
被写体の明るさが明るい場合には、撮影感度を低く設定し、Ｆ値及びシャッタ速度により露出制御するが、被写体の明るさが暗く、Ｆ値及びシャッタ速度のみでは充分な信号量が得られない場合には、撮影感度（ゲイン）を上げるようにする。したがって、撮影感度が高い場合には、ノイズも増幅されノイズが大きくなる欠点がある。
図１２において、本撮影時の撮影感度が所定の閾値以下か否か（即ち、ノイズの少ない画像か否か）を判別する（ステップＳ４０）。撮影感度が所定の閾値以下の場合（「Yes」の場合）には、ノイズの少ない画像であるため、混色の影響を受けにくいラインの間引き読み出しを優先し、ステップＳ１６に遷移させる。一方、撮影感度が所定の閾値を越える場合（「No」の場合）には、ノイズの多い画像であるため、ノイズの影響を受けにくいＲＢ画素の多いラインの間引き読み出しを優先し、ステップＳ１８に遷移させる。
上記のようにノイズの少ない画像の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、ノイズの多い画像の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
＜第４の実施形態＞
図１３はＷＢゲインの算出方法の第４の実施形態を示すフローチャートであり、図１２に示した第３の実施形態の変形例を示している。尚、図１２に示した第３の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
図１３に示す第４の実施形態は、撮影感度が所定の閾値を越えている（ステップＳ４０の「No」）と判別された後の処理が、第３の実施形態と相違している。
即ち、ステップＳ４０において、撮影感度が所定の閾値を越えていると判別されると（（「No」の場合）、続いて、演算速度を重視するか否かを判別する（ステップＳ５０）。
例えば、撮影モードとして連写モードが設定され、連写される各画像を高速で処理する必要がある場合には、演算速度を重視すると判別する。
ステップＳ５０で速度を重視すると判別されると（「Yes」の場合）、ステップＳ５２に遷移させる。ステップＳ５２では、ＲＢ画素の多いラインの色信号を間引き読み出しする間引きパターンを決定するが、速度を重視するため、間引き率の高い間引きパターンを決定する。例えば、図４の（ａ）部分に示したように、１／６間引きの間引きパターンＰ１１を決定する。
一方、ステップＳ５０で速度を重視しないと判別されると（「No」の場合）、ステップＳ５４に遷移させる。ステップＳ５４では、間引き率の低い間引きパターンであって、混色の影響の少ないラインの間引き読出しに対応する間引きパターンを決定する。例えば、図６の（ｃ）部分に示す４／６間引きの間引きパターンＰ４３を決定する。この場合、Ｇ画素の画素に比べてＲＢ画素の画素数の比率が小さいが、間引き率が低いため、ＲＢ画素の画素数も十分に多くなり、ＲＢの画素にノイズが多く含まれていても精度の高い積算平均値を求めることができる。
［色情報算出の実施形態］
＜第１の実施形態＞
撮像素子１から出力されるＲＧＢの色信号には、入射光の強度に対応する信号成分の他に、暗電流等に起因するオフセット成分が重畳されており、高感度や高温時、長時間露光時には、画素の暗電流成分によりオフセット成分に段差が生じやすい。
図１４は、ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
即ち、図８に示したＲＧＢ積算部２４６は、ＲＧＢの色毎にオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する。これらオフセット値Ｒoffset,Ｇoffset,Ｂoffsetの算出は、撮像素子１の周辺部の遮光領域（オプティカルブラック部：ＯＢ部）の信号であって、ＲＧＢに対応する画素毎の信号を積算し、その平均値を求めることにより算出する。
続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、次式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
［数１］
Ｒ／Ｇ＝（Ｒdata−Ｒoffset）／（Ｇdata−Ｇoffset）
Ｂ／Ｇ＝（Ｂdata−Ｂoffset）／（Ｇdata−Ｇoffset）
このように色毎にオフセット補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
＜第２の実施形態＞
ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型の撮像素子には、ＣＭＯＳの下地に画素共有アンプが埋め込まれ、図１５に示すように２×２の４画素が１つのアンプを共有しているものがある。このような撮像素子の素子構造により、共有アンプに対する画素の位置１〜４（アンプに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。
図１６は、共有アンプに対する画素の位置１〜４でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
即ち、図８に示したＲＧＢ積算部２４６は、共有アンプに対する画素の位置１〜４毎にオフセット値Off1,Off2,Off3,Off4を算出する。これらのオフセット値Off1,Off2,Off3,Off4の算出は、撮像素子１のＯＢ部の信号を、共有アンプに対する画素の位置１〜４毎に積算し、その平均値を求めることにより算出する。
続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Off1,Off2,Off3,Off4を使用して、色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataのオフセット補正を行う。
いま、基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１〜４とが、図１７に示す関係になっている場合において、２／６間引きによりラインａ，ｄを間引き読み出すると、ラインａ，ｄの各色の画素と共有アンプに対する画素の位置１〜４とは、図１８に示す関係になる。
即ち、基本配列パターン内のラインａ，ｄにおけるＲＧＢの共有アンプに対する画素の位置１〜４は、Ｒ画素は、位置１、４にそれぞれ１画素ずつ存在し、Ｇ画素は、位置１〜４にそれぞれ２画素ずつ存在し、Ｂ画素は、位置２、３にそれぞれ１画素ずつ存在している。
したがって、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetは、共有アンプに対する画素の位置１〜４毎のオフセット値Off1,Off2,Off3,Off4に基づいて、次式により算出することができる。
［数２］
Ｒoffset＝(Off1＋Off4）／２
Ｇoffset＝(Off1＋Off2＋Off3＋Off4）／４
Ｂoffset＝(Off2＋Off3）／２
上記［数２］式により算出したＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、前記［数１］式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
このように共有アンプに対する画素の位置１〜４毎のオフセット値Off1,Off2,Off3,Off4に基づいてＲＧＢの色毎にオフセット値を算出し、算出したオフセット値によりＲＧＢ毎の積算平均値を補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
尚、上記［数２］式は、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式であるが、オフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する計算式は、間引き読み出しする１又は複数ラインの組み合わせにより異なる。したがって、間引きパターン決定部２４４により決定される間引きパターン（図３〜図６参照）に応じて、ＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式を準備しておく必要がある。
［その他］
図１９及び２０はそれぞれ本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図である。
図１９に示す実施形態の撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝２：３：２のラインと、Ｒ：Ｇ：Ｂ＝２：４：１、又はＲ：Ｇ：Ｂ＝１：４：２のラインがある。
図２０に示す実施形態の撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝３：２：３のラインと、Ｒ：Ｇ：Ｂ＝１：６：１のラインがある。
図１９及び図２０に示すカラーフィルタ配列は、図１に示した６×６画素の基本配列パターンと同様、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。また、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
このように本発明は、図１に示した６×６画素の基本配列パターンを有する撮像素子に限らず、他のカラーフィルタ配列を有する撮像素子にも適用でき、要は各ラインに３原色のカラーフィルタが配列され、かつ３原色のカラーフィルタの個数の比率がラインにより異なるカラーフィルタ配列を有する撮像素子であれば、いかなる撮像素子にも適用できる。
また、撮像素子のカラーフィルタ配列はＲＧＢの３原色に限らず、黄色やエメラルドを含んでいてもよい。
更に、この実施形態では、１画面を複数のエリアに分割した分割エリア毎に色情報（Ｒ／Ｇ，Ｂ／Ｇ）を取得し、複数の分割エリアの色情報に基づいてＷＢゲインを算出するようにしたが、ＷＢゲインの算出方法は、この実施形態に限定されず、３原色の色信号に基づいてＷＢゲインを算出する方法であれば、いかなる方法でもよい。
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１…撮像素子、１０…撮像装置、１２…撮影光学系、１４…絞り、２４…デジタル信号処理部、３０…液晶モニタ、３８…操作部、４０…中央処理装置（ＣＰＵ）、４６…ＲＯＭ、４８…メモリ、５４…メモリカード、２４２…ホワイトバランス補正部、２４４…間引きパターン決定部、２４５…間引き読出部、２４６…ＲＧＢ積算部、２４７…ＷＢゲイン算出部

Claims (20)

  1. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
    前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及び光学ズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する撮像装置。
  2. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
    前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する撮像装置。
  3. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、
    前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定する撮像装置。
  4. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    撮影感度を設定する感度設定手段と、を備え、
    前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定する撮像装置。
  5. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    撮影感度を設定する感度設定手段を備え、
    前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
    前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定する撮像装置。
  6. 撮影感度を設定する感度設定手段を備え、
    前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
    前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定する請求項１から３のいずれか１項に記載の撮像装置。
  7. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    撮影感度を設定する感度設定手段と、
    演算速度を重視するか否かを判別する判別手段と、を備え、
    前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
    前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定する撮像装置。
  8. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段と、を備え、
    前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出し、
    前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
    前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含む撮像装置。
  9. 前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
    前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１から８のいずれか１項に記載の撮像装置。
  10. 前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１から９のいずれか１項に記載の撮像装置。
  11. 前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１０に記載の撮像装置。
  12. 前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１０又は１１に記載の撮像装置。
  13. 前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含む請求項１０から１２のいずれか１項に記載の撮像装置。
  14. 前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含む請求項１０から１３のいずれか１項に記載の撮像装置。
  15. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    を備えた撮像装置。
  16. 前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
    前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１５に記載の撮像装置。
  17. 前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、
    前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出する請求項１５に記載の撮像装置。
  18. 前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１５に記載の撮像装置。
  19. 撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有するモザイク画像を取得する画像取得工程と、
    前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、
    を含む画像処理方法。
  20. 撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有するモザイク画像を取得する画像取得工程と、
    複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、
    前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
    前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含み、
    前記間引きパターン決定工程は、前記撮影光学系の撮影時のＦ値及び光学ズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する画像処理方法。
JP2013541708A 2011-10-31 2012-10-23 撮像装置及び画像処理方法 Expired - Fee Related JP5603506B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013541708A JP5603506B2 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011239321 2011-10-31
JP2011239321 2011-10-31
JP2013541708A JP5603506B2 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法
PCT/JP2012/077302 WO2013065518A1 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP5603506B2 true JP5603506B2 (ja) 2014-10-08
JPWO2013065518A1 JPWO2013065518A1 (ja) 2015-04-02

Family

ID=48191873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541708A Expired - Fee Related JP5603506B2 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法

Country Status (4)

Country Link
US (1) US8982236B2 (ja)
JP (1) JP5603506B2 (ja)
CN (1) CN104025574B (ja)
WO (1) WO2013065518A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
WO2014185239A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 画像データのオプティカル・ブラック補正装置およびその動作制御方法
CN105934947B (zh) * 2014-06-13 2017-10-13 奥林巴斯株式会社 固体摄像装置和摄像方法
KR102285756B1 (ko) 2015-02-13 2021-08-05 삼성전자주식회사 전자 시스템 및 영상 처리 방법
CN105208360B (zh) * 2015-09-23 2017-07-25 青岛海信移动通信技术股份有限公司 一种智能终端的图像预览方法、装置及终端
CN106791757B (zh) * 2015-11-23 2018-11-30 创意电子股份有限公司 影像校正***及其方法
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10616511B2 (en) * 2017-06-08 2020-04-07 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics
CN108259793B (zh) * 2018-03-27 2020-11-27 思特威(上海)电子科技有限公司 图像传感器的黑电平校准方法及***
CN110958401B (zh) * 2019-12-16 2022-08-23 北京迈格威科技有限公司 一种超级夜景图像颜色校正方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105805A (ja) * 1992-08-14 1994-04-19 Olympus Optical Co Ltd 内視鏡撮像装置
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000032345A (ja) * 1998-07-10 2000-01-28 Olympus Optical Co Ltd 撮像装置
JP2004007133A (ja) * 2002-05-31 2004-01-08 Minolta Co Ltd 撮像装置
JP2007221273A (ja) * 2006-02-14 2007-08-30 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
JP2011101158A (ja) * 2009-11-05 2011-05-19 Nikon Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP3664123B2 (ja) 2001-10-03 2005-06-22 ソニー株式会社 撮像装置および画質補正方法
JP2007053499A (ja) 2005-08-16 2007-03-01 Fujifilm Holdings Corp ホワイトバランス制御装置及び撮像装置
CN102665043A (zh) 2006-04-25 2012-09-12 佳能株式会社 摄像设备及其控制方法
JP4875399B2 (ja) * 2006-04-25 2012-02-15 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
US7633538B2 (en) * 2006-09-11 2009-12-15 Aptina Imaging Corporation Color filter device and method for eliminating or reducing non-uniform color error caused by asymmetric color cross-talk in image sensor devices
US8164042B2 (en) * 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105805A (ja) * 1992-08-14 1994-04-19 Olympus Optical Co Ltd 内視鏡撮像装置
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000032345A (ja) * 1998-07-10 2000-01-28 Olympus Optical Co Ltd 撮像装置
JP2004007133A (ja) * 2002-05-31 2004-01-08 Minolta Co Ltd 撮像装置
JP2007221273A (ja) * 2006-02-14 2007-08-30 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
JP2011101158A (ja) * 2009-11-05 2011-05-19 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
CN104025574A (zh) 2014-09-03
CN104025574B (zh) 2015-10-14
JPWO2013065518A1 (ja) 2015-04-02
US20140232901A1 (en) 2014-08-21
US8982236B2 (en) 2015-03-17
WO2013065518A1 (ja) 2013-05-10

Similar Documents

Publication Publication Date Title
JP5603506B2 (ja) 撮像装置及び画像処理方法
JP5493010B2 (ja) 撮像装置及びその合焦位置検出方法
JP5860936B2 (ja) 撮像装置
JP5825817B2 (ja) 固体撮像素子及び撮像装置
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
US20240214689A1 (en) Image-capturing device and image processing device
JP2006165975A (ja) 撮像素子、撮像装置、画像処理方法
JP2010271670A (ja) 撮像装置
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US20060197854A1 (en) Image capturing apparatus and computer software product
JPWO2013183378A1 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2012215700A (ja) 撮像装置及び撮像プログラム
JP5600812B2 (ja) 撮像装置
JP4993670B2 (ja) 撮像装置及びその制御方法
JP5786355B2 (ja) デフォーカス量検出装置および電子カメラ
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6600162B2 (ja) 撮像装置およびその制御方法
JP6976789B2 (ja) 撮像装置及び撮像方法
JP2017102240A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2024012869A (ja) 撮像装置及び撮像装置の画像データ読み出し方法
JP2024077658A (ja) 撮像装置及び撮像装置の画像信号読み出し方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140821

R150 Certificate of patent or registration of utility model

Ref document number: 5603506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees