JP2017194558A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2017194558A
JP2017194558A JP2016084493A JP2016084493A JP2017194558A JP 2017194558 A JP2017194558 A JP 2017194558A JP 2016084493 A JP2016084493 A JP 2016084493A JP 2016084493 A JP2016084493 A JP 2016084493A JP 2017194558 A JP2017194558 A JP 2017194558A
Authority
JP
Japan
Prior art keywords
pixel
image
unit
signal
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016084493A
Other languages
English (en)
Inventor
陵 畠山
Ryo Hatakeyama
陵 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016084493A priority Critical patent/JP2017194558A/ja
Priority to US15/479,021 priority patent/US10056421B2/en
Priority to CN201710252415.1A priority patent/CN107306326A/zh
Publication of JP2017194558A publication Critical patent/JP2017194558A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】1つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつAF性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供する。【解決手段】撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、分光透過率が異なる複数のカラーフィルタに対応して設けられたマイクロレンズ、を有する撮像装置の撮像方法において、画素群から焦点検出信号を読み出し(S1、S3)、焦点検出信号に基づいて、被写体の色情報を検出し(S5)、検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出す(S7)。【選択図】 図7

Description

本発明は、デジタルカメラ等の撮像装置および撮像方法に関し、詳しくは、1つのマイクロレンズに対して複数のフォトダイオードを配置している撮像素子を備えた撮像装置および撮像方法に関する。
従来、デジタルカメラ等の撮像機能を備えた電子機器においては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子が使用されている。
焦点検出に撮像素子中の個々画素にマイクロレンズを配置し、このマイクロレンズで集光される個々のフォトダイオードの領域を分割し、分割された領域から出力される信号に基づいて、位相差方式の焦点検出を行う技術が知られている(例えば、特許文献1参照)。特許文献1に開示の撮像装置においては、1つの画素の中のフォトダイオードを2つに分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。この分割された2つのフォトダイオードの出力を比較することにより、撮像レンズの焦点状態を検出している。これによって、撮像装置は撮像素子から取り込んだ画像をリアルタイムで表示(ライブビュー)すると同時に、位相差方式による焦点検出を行うことができる。
上述した撮像素子面にマイクロレンズを配置し、位相差方式で焦点検出を行う技術においては、より多くのフォトダイオード出力を利用した方が、焦点検出の精度を高めることができる。しかし、より多くのフォトダイオード出力を利用すると、撮像素子からのデータ読み出し量が増加してしまう。リアルタイムで撮像素子から画像を取り込むことを前提とすると、表示用の画像データと、位相差検出用の画像データの両方を読み出す必要がある。このため、撮像素子からの読み出し周期と、撮像素子の読み出し時間の差、すなわちブランキング期間が短くなり、撮像素子の動作時間が長くなる。この結果、撮像素子で消費される電力が増加し、それに伴って熱の発生量も増加する。CMOSイメージセンサなどの撮像素子は、温度上昇とともにセンサのノイズレベルが上昇する傾向があり、撮影画像へ影響を与える可能性がある。また、バッテリを搭載した携帯型の撮像装置の場合、消費電力の増加は、使用時間の低下をまねいてしまう。
そこで、特許文献2に開示の撮像装置においては、温度を検出し、この温度が閾値を超えた場合、または電池残量を検出し、この電池残量が閾値を下回った場合に、位相差検出用の画像データの読み出しを止める事によってブランキング期間を増やし、消費電力を抑えるようにしている。
特開2001−083407号公報 特開2015−166799号公報
上述の特許文献2では、温度が閾値を超えた場合、または電池残量が閾値を下回った場合に位相差検出用の画像データの読み出しを止めてブランキング期間を増やしている。この場合、位相差検出用の画像データの読み出しを行っていないことから、表示用の画像データに基づいてコントラスト評価値を取得し、このコントラスト評価値を用いて、コントラストAFよって焦点検出動作を行う。
このように、上述の従来技術では、位相差AFからコントラストAFへと、AF方式自体を変更しているため、AF性能の変化が起こる恐れがある。また、場合によっては位相差検出していた時と違う被写***置にAFしてしまう。またコントラストAFの場合、ピントを手前側に合わせるのか奥側に合わせるのかを一瞬で検出できないため、レンズを高速で前後させて被写体のコントラストをチェックするウォブリング動作を行う。このため、ライブビューの見えを悪化させてしまう。
本発明は、このような事情を鑑みてなされたものであり、1つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつAF性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供することを目的とする。
上記目的を達成するため第1の発明に係る撮像装置は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、上記カラーフィルタに対応して設けられたマイクロレンズと、被写体の色情報を検出する色情報検出部と、上記画素群から焦点検出信号を読み出す画素信号読出部と、を備え、上記画素信号読出部は、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
第2の発明に係る撮像装置は、上記第1の発明において、上記画素信号読出部は、上記画素群から画像信号及び焦点検出信号を読み出し、上記画像信号及び上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号を読み出す。
第3の発明に係る撮像装置は、上記第2の発明において、上記画素信号読出部は、上記画像信号として上記単位画素から上記複数の画素のすべての信号を読み出し、上記焦点検出信号を読み出すときは、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
第4の発明に係る撮像装置は、上記第1の発明において、上記画素信号読出部による信号の読出し周期を可変にする。
第5の発明に係る撮像装置は、上記第1の発明において、上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を抽出する信号抽出部を有し、上記色情報検出部は、上記画像信号に基づいて上記色情報を検出する。
第6の発明に係る撮像装置は、上記第1の発明において、上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を用いて、上記一方向と異なる方向に基づく焦点検出信号を抽出する信号抽出部を有し、上記色情報検出部は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、上記一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出する。
第7の発明に係る撮像方法は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、上記カラーフィルタに対応して設けられたマイクロレンズと、を有する撮像装置の撮像方法において、上記画素群から焦点検出信号を読み出し、上記焦点検出信号に基づいて、被写体の色情報を検出し、検出された被写体の上記色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
本発明によれば、1つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつAF性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供することができる。
本発明の第1実施形態に係る撮像装置の主として電気的構成を示すブロック図である。 本発明の第1実施形態に係る撮像装置中の撮像素子の主として電気的構成を示すブロック図である。 本発明の第1実施形態に係る撮像装置中の撮像素子における1画素の構成を示す平面図である。 本発明の第1実施形態に係る撮像装置中の撮像素子における画素配列を示す平面図である。 本発明の第1実施形態に係る撮像装置において、位相差検出方式を行うための光学系を説明するための模式図である。 本発明の第1実施形態に係る撮像装置において、画像信号処理部とその周辺の電気的構成を示すブロック図である。 本発明の第1実施形態に係る撮像装置のライブビュー動作を示すフローチャートである。 本発明の第1実施形態に係る撮像装置の色演算処理結果に応じた読み出しの動作を示すフローチャートである。 本発明の第1実施形態に係る撮像装置における読出しモードを示すタイミングチャートである。 本発明の第1実施形態に係る撮像装置において色演算処理の際に使用する判定値の関係を示すグラフである。 本発明の第2実施形態に係る撮像装置において、画像信号処理部とその周辺の電気的構成を示すブロック図である。 本発明の第2実施形態に係る撮像装置のライブビュー動作を示すフローチャートである。 本発明の第2実施形態に係る撮像装置において色演算処理の際に使用する判定値の関係を示すグラフである。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の第1実施形態にかかわる撮像装置100の概略構成図である。なお、本実施形態においては、撮像装置としてデジタルカメラに適用した例について説明する。
撮像レンズ101は、被写体の光学像を撮像素子103上に結像させる。この撮像レンズ101は、フォーカスレンズおよびズームレンズを有し、システム制御部104によってズーム制御およびフォーカス制御がなされる。また、撮像レンズ101中には、絞りが配置され、システム制御部104によって絞り制御が行われる。なお、撮像レンズ101が単焦点レンズの場合にはズームレンズが省略される。また撮像レンズ101中の絞りを省略してもよく、この場合にはシャッタ速度やISO感度等のみによって露出制御を行うようにしてもよい。
撮像レンズ101の光軸上には、シャッタ102が配置される。このシャッタ102はメカシャッタで構成され、システム制御部104からの制御に従って、撮像レンズ101を透過した被写体光の通過(開放状態)および遮光を制御する。静止画撮影の際には、シャッタ102によって露光時間が制御される。動画撮影の際や、ライブビュー表示の際には、シャッタ102は開放状態にされる。
シャッタ102の後方であって、撮像レンズ101の光軸上には、撮像素子103が配置される。この撮像素子103は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの撮像素子で構成される光電変換手段である。撮像素子103は、画素(フォトダイオードを有する)がマトリクス状に配置されており、各画素は受光量に応じて画素信号を蓄積する。
撮像素子103中には撮像制御回路が設けられており、この撮像制御回路はシステム制御部104(後述する図6の撮像駆動制御部607参照)からの指示に従って、露光制御と画素信号の読出制御を行う。読み出された画素信号はバス110に出力される。したがって、撮像素子103は、撮像レンズ101、シャッタ102からなる撮像光学系で形成された被写体像を光電変換し、画像信号を出力する。撮像素子103の詳しい構造については、図2ないし図4を用いて後述する。
システム制御部104は、CPU(Central Processing Unit)とその周辺回路を含み、内部メモリ105に記憶されているプログラムに従って、前述の撮像レンズ101、シャッタ102、および撮像素子103の制御や、他のブロックの制御を行う。例えば、システム制御部104は、撮影における露光量を制御したり、撮像タイミングを制御したりする撮像制御部としての機能やA/D変換制御部の一部も有する。システム制御部104は、撮像装置100を統括的に制御する。
内部メモリ105は、フラッシュメモリ等の電気的に書き換え可能な不揮発性メモリや、SDRAM(Synchronous Dynamic Random Access Memory)やDRAM(Dynamic Random Access Memory)等の電気的に書き換え可能な揮発性メモリを有する。内部メモリ105は、前述のプログラム以外に、例えば、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶する。
外部メモリ108は、SDカードやCFカード等の撮像装置100に装填可能な記憶媒体であり、電気的に書き換え可能な不揮発性メモリを有する。外部メモリ108は、画像信号処理部107で現像処理された画像データを記録して、撮像装置外部へのデータ移動を可能とする。
表示部109は、TFT(Thin Film Transistor)液晶や有機EL(Electro Luminescence)などのモニタを有し、モニタは本体の背面や接眼部を介して観察可能な位置に配置される(EVF(Electronic View Finder:電子ビューファインダ))。表示部109は、ライブビュー画像、記録済み画像の再生画像等、画像信号処理部107で現像された画像を表示する。また、表示部109は、撮影者が撮像装置100の設定を行うためのメニュー画面等の表示も行う。
入力IF(Interface)106は、パワースイッチ、レリーズ釦、モード設定ダイヤル等の各種操作部材と、これらの各種操作部材の操作状態を検知する検知部、および表示部109のモニタへの操作状態を検知するタッチパネル等を有する。入力IF106は、撮影者の操作に基づいて各種のモード設定やレリーズ等の撮影動作の指示を行う。
画像信号処理部107は、画像信号処理回路を有する。画像信号処理部107は、撮像素子103から読み出された画素信号に基づく画像データに対して、ノイズ処理、WBゲイン補正、同時化処理、輪郭強調等の様々な基本的な画像処理を施す。また、画像信号処理部107は、位相差画素からの画素信号を抽出し、位相差検出法を用いて、撮像レンズ101のデフォーカス量(デフォーカス方向を含む)を検出する。また、画像信号処理部107は、撮像素子103の画素信号に基づいて、色情報を検出する。画像信号処理部107の詳しい構成については、図6を用いて後述する。
次に、図2を用いて、撮像素子103の詳しい構成について説明する。画素アレイ部201は、各行や各列に、数十から数千の単位画素を配置している。各画素には、フォトダイオードやキャパシタ等が配置されており、撮像レンズ101によって形成された被写体像を光電変換し、画素信号を蓄積する。この画素アレイ部201は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群として機能する。
水平走査部205は、画素アレイ部2に対して、列アドレスや列走査を制御する水平アドレス設定部や水平駆動部等を有している。垂直走査部202は、行アドレスや行走査を制御する垂直アドレス設定部や垂直駆動部等を有している。通信IF部204は、撮像素子103の外からのマスタークロックを受信して、内部クロックを生成するクロック変換機能や、撮像素子103の外にある主制御部(本実施形態では撮像装置101のシステム制御部104)から供給される動作モードなどを指令するデータを受信して、各部を制御する機能を有している。水平走査部205と垂直走査部202は、画素アレイ部201内の各画素から画素信号を読み出し、カラムAD変換部203に出力する。
カラムAD変換部203は、画素アレイ部201から出力されるアナログの画素信号をデジタル信号にAD変換する。カラムAD変換部203には、参照信号と画素アレイ部201から出力された画素信号を比較する比較部や、信号を蓄積するメモリ、ゲインアンプ、AD変換結果を転送するか否かをスイッチするスイッチ部等を有する。
映像データ変換部206は、カラムAD変換部203から出力された信号を各種のデジタル演算処理を行なうデジタル演算部や外部とのインタフェース機能をなすためのインタフェース部を有する。この映像データ変換部206を介して画像データが撮像素子103の外へ出力される。
次に、図3を用いて、撮像素子103の画素について説明する。撮像素子103には、マトリックス状に多数の画素が配置されており、図3には、そのうちの1画素の構成を示す。1つの画素300は、マイクロレンズ301を有し、このマイクロレンズ301の下側に4つのフォトダイオード(以下、「PD」と称す)302a〜302dが配置されている。なお、図3では、4つのPDを配置した例を示すが、2つ以上あればよく、例えば、2つのPD、9つのPD等でもよい。
図3に示す例において、複数のフォトダイオード出力を選択して加算させてもよい。例えば、PD302aとPD302c、PD302bとPD302dのPD出力を各々加算し、2つの出力としてもよいし、PD302aとPD302b、PD302cとPD302dのPD出力を各々加算し、2つの出力としてもよい。この場合には、画素信号をアナログで加算してから出力すればよい。さらに、PD302a、PD302b、PD302c、PD302dのPD出力を各々加算して出力してもよい。この場合には、AD変換後にデジタルで加算するようにすればよい。
なお、画素300は、図示された構成要素以外にも、例えば、PDの信号をカラムAD変換部203に読み出すための画素増幅アンプ、行を選択する選択スイッチ、PDの信号をリセットするリセットスイッチなどを備える。
次に、図4を用いて、撮像素子103の画素アレイ部201における画素配列について説明する。画素アレイ部201は、図4に示すように、水平方向にN個、垂直方向にM個の画素を複数2次元アレイ状に配列しており、各画素には、カラーフィルタ310(図5参照)が配置されている。本実施形態においては、カラーフィルタ310はベイヤ配列を採用しており、奇数行(y1、y3、y5、・・・の各行)には赤(R)と緑(G)のカラーフィルタが繰り返し配置され、偶数行(y2、y4、y6、・・・の各行)には緑(G)と青(B)のカラーフィルタが繰り返し配置されている。なお、図4に示す例では、1つのマイクロレンズ301に対して、2つのPDが配置されている。また、カラーフィルタはベイヤ配列を採用しているが、他の配列方式であっても構わない。
次に、図5を用いて、位相差検出を行うための光学系と撮像素子について説明する。図5は、撮像レンズ101の射出瞳から出た光束が撮像素子103に入射する概念図であり、画素アレイ部201のうち、3つの画素について、模式的な断面を示す。
画素アレイ部201の各画素には、マイクロレンズ301、カラーフィルタ310、フォトダイオード(PD)311、312が設けられている。なお、カラーフィルタ310は、図4で説明したベイヤ配列に従ったRGBの各色フィルタとなっている。マイクロレンズ301は、カラーフィルタに対応して設けられたマイクロレンズとして機能する。また、カラーフィルタ310は、単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタとして機能する。PD311、PD312の各々が、図3で示したPD302a、PD302bに対応する。
506は撮像レンズ101の射出瞳を示す。ここでは、マイクロレンズ301を有する画素に対して、射出瞳506から出た光束の中心を光軸509とする。射出瞳506から出た光は、光軸509を中心として撮像素子103に入射される。507、508は撮像レンズ101の射出瞳の一部領域を表す。射出瞳506の一部領域507を通過する光の最外周の光線を510、511で示し、射出瞳506の一部領域508を通過する光の最外周の光線を512、513で示す。
図5から分かるように、射出瞳506から出る光束のうち、光軸509を境にして、上側の光束はPD312に入射され、下側の光束はPD311に入射される。つまり、PD311とPD312は各々、撮像レンズ101の射出瞳506に対する別の領域の光を受光している。この特性を生かして、視差のある少なくとも2つの画像を取得することができる。複数の右側のPDから得られる画像データを右画像、複数の左側のPDから得られる画像でデータを左画像と呼ぶ。このとき、右画像の1ラインと、対応した位置にある左画像の1ラインを利用して位相差の検知を行うことにより位相差オートフォーカスを実現することができる。
本実施形態においては、複数のPDすべてを加算して得られた画像を右+左画像、複数の右側のPDから得られる画像データを右画像として、位相差オートフォーカスを実現する。この場合、右+左画像と右画像の差分から、右画像と左画像の2つを生成でき、この右画像と左画像を用いて、位相差の検知を行う。仮に、ある色の右画像の取得を停止したとしても、右+左画像を取得しておくことにより、表示用画像は常に得ることができる。
次に、図6を用いて、画像信号処理部107の詳しい構成について説明する。画像信号処理部107は、右+左画像抽出部601、右画像抽出部602、左画像生成部603、現像処理部604、位相差検出部605、色情報検出部606を有する。撮像素子103は、図2ないし図4を用いて説明したように、右画像と左画像、それぞれの画像を検出するためのPDを有している。撮像素子103から各PDからの画素信号を読み出す際に、右画像と左画像の画素信号を加算した信号と、右画像の画素のみの信号が、所定の順番で出力される。
右+左画像抽出部601は、撮像素子103から出力され、データバス110や内部メモリ105を介して、右+左画像と右画像を入力し、入力画像の中から右+左画像のみを抽出し、抽出した右+左画像を出力する。すなわち、右+左画像抽出部601は、右画像と左画像の画素信号を加算した信号と、右画像の画素のみの信号が所定の順番で出力されることから、右+左画像の画素信号を加算した信号が出力されるタイミングで、この信号を抽出する。
右画像抽出部602は、撮像素子103から出力され、データバス110や内部メモリ105を介して、右+左画像と右画像を入力し、入力画像の中から右画像のみを抽出し、抽出した右画像を出力する。すなわち、右画像抽出部602は、右画像の画素の画素信号が出力されるタイミングで、この信号を抽出する。
左画像抽出部603は、データバス110や内部メモリ105を介し、受け取った右+左画像と右画像から、左画像のみを抽出して出力する。右+左画像抽出部601によって出力された右+左画像から、右画像抽出部602によって出力された右画像を減算すると、左画像のみを抽出することができる。
現像処理部604は、右+左画像抽出部601が出力した右+左画像を入力し、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、画像圧縮等の処理を行う。現像処理部604によって処理された画像データを用いて、ライブビュー表示がなされ、また静止画や動画の記録画像が生成される。
位相差検出部605は、右画像抽出部602によって出力された右画像と、左画像抽出部603によって出力された左画像を用いて、公知の位相差検出法に従って位相差(デフォーカス量)を検出する。この検出された位相差(デフォーカス量)は、システム制御部104に出力され、システム制御部104は、この位相差に基づいて、撮像レンズ101のフォーカス制御を行う。
色情報検出部606は、右+左画像抽出部601が出力した右+左画像を入力し、指定した画像上のエリア内における色毎の出力値を演算し、演算結果をデータバス110や内部メモリ105を介し、システム制御部104内の撮像駆動制御部607に出力する。左+右画像は、所定の順番で読み出されるRGBの画素信号であることから、この順番に従ってRのみ、Gのみ、Bのみの画素信号に分離する。各RGBの画素信号を分離すると、エリア毎かつ色毎に画素出力を平均し、後述する条件のいずれに属するかを検出する。条件については、図7のS5および図8を用いて後述する。色情報検出部606は、被写体の色情報を検出する色情報検出部として機能する。
撮像駆動制御部607は、色情報検出部606から受け取った検出結果に基づいて、撮像駆動モードを切り替える命令を撮像素子103に送る。撮像駆動モードについては、図7を用いて後述する。撮像駆動制御部607は、画素群から焦点検出信号を読み出す画素信号読出部として機能する。この画素信号読出部は、色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
また、この画素信号読出部は、画素群から画像信号及び焦点検出信号を読み出し、画像信号及び色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号を読み出す。画素信号読出部は、画素信号読出部は、画像信号として単位画素から複数の画素のすべての信号を読み出し、焦点検出信号を読み出すときは、色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出す(図8参照)。
次に、図7および図8に示すフローチャートを用いて、ライブビュー動作について説明する。このフローは、システム制御部104内のCPUが内部メモリ105に記憶されたプログラムに基づいて、撮像装置100内の各部を制御することにより実現する。
図7に示すフローは、撮像装置100の電源が入りライブビュー制御が開始した状態を初期状態とする。ライブビューのフローが開始すると、まず、読出しモード1で駆動する(S1)。読出しモード1は、右+左画像と右画像(RGB)を出力するモードである。図9の最上段に読出しモード1を示す。
撮像素子103の画素は、図4に示すように、奇数行(例えば1行目(y1参照))にはR画素とG画素が交互に配置され、偶数行(例えば2行目(y2参照))にはG画素とB画素が交互に配置されている。読出しモード1では、1行目を読み出す場合には、まずR画素とG画素の右+左画像の画素信号が読み出され、ついでR画素とG画素の右画像の画素信号が読み出される。2行目を読み出す場合には、まずG画素とB画素の右+左画像の画素信号が読み出され、ついでG画素とB画素の右画像の画素信号が読み出される。以後、交互に画素信号が読み出される。
ステップS1において撮像素子103を読み出しモード1で駆動すると、次に、右+左画像と、右画像(RGB)を取得する(S3)。ここでは、ステップS1において、読出しモード1で読み出した右+左画像と、右画像の画素信号を、データバス110を介して取得し、内部メモリ105に記憶する。
ステップS3において、右+左画像と、右画像を取得すると、次に色演算処理を行う(S5)。ここでは、色情報検出部606が、まず、右+左画像の画素信号を用いて、各エリアの色を検出する。この検出は、前述したように、右+左画像において色毎(例えばR、G、B)に分離し、ある一定エリア(例えばAF演算エリア)の色毎の画素出力を平均する。なお、平均演算以外にも、エリア内の画素の加算値でもよく、また最多画素出力値でも構わない。
色情報検出部が各エリアについて、色毎の画素出力を算出すると、この値に基づいて、条件1〜6の内でいずれを満たすかを判定する(条件1〜6を満たさない場合もある)。この条件によって、各エリアでいずれの色(R、G、B)が主となっているかを判定する。いずれの色が主であるかを判定にするにあたっては、色毎の画素出力の平均値が閾値1より大きく閾値2より小さい範囲に入る色を主とする(但し、閾値1<閾値2の関係)。これは、画素値が小さすぎると暗くて、位相検出にあたって適当ではなく、また画素値が大きすぎると明るく、位相検出にあたって適当でないからである。なお、いずれの色が主か否かの判定にあたっては、1色とは限らず、2色や3色の場合もありうる。
ステップS5において、色演算処理を行うと、次に、色演算処理結果に応じた読み出しを行う(S7)。ここでは、ステップS5において判定された条件1〜6に従って、撮像素子103の読み出しモードを設定し、読み出された画素信号を内部メモリ105に記憶する。
読出しモードの設定にあたっては、色演算処理の結果、いずれの色が主であるかに応じて異なる。R画素(赤)が主であるエリアについては、位相差検出は右画像および左画像のR画素を用いて行うことから、右画像のR画素を読み出し、G画素およびB画素については読み出しを行わない。同様に、G画素(緑)が主であるエリアについては、位相差検出は右画像および左画像のG画素を用いて行うことから、右画像のG画素を読み出し、R画素およびB画素については読み出しを行わない。同様に、B画素(青)が主であるエリアについては、位相差検出は右画像および左画像のB画素を用いて行うことから、右画像のB画素を読み出し、R画素およびG画素については読み出しを行わない。
2色以上の画素が主であるエリアについては、この主となる画素を用いて位相差検出を行うことから、右画像の中からこの2色の画素を読み出し、他の色の画素については読み出しを行わない。3色の画素が主であるエリアについては、右画像の中から3色の画素を用いて位相差検出を行う。
このステップS7における色演算処理結果に応じた読み出しの詳しい動作については、図8を用いて後述する。
ステップS7において、色演算処理結果に応じた読み出しを行うと、次に、位相差検出を行う(S9)。ここでは、位相差検出部605が、右画像抽出部602から右画像の画素信号を入力し、また左画像抽出部603から左画像の画素信号を入力し、両画素信号を用いて、公知の位相差検出を行う。
ステップS9において位相差検出を行うと、次に、フォーカス制御を行う(S11)。ここでは、システム制御部104が、ステップS9において検出した位相差に基づいて、撮像レンズ101のフォーカス制御量を算出し、フォーカス制御を行う。フォーカス制御が完了したら、ステップS3へ進み、一連の処理を繰り返す。すなわち、撮像素子103からは所定のフレームレートで画素信号が読み出されるので、フレームレートに応じてステップS5〜S11の処理が繰り返される。また、図7のフローには記載されていないが、読出しモード1〜7のいずれのモードであっても「右+左画像」が読み出されるので、画素信号が読み出されるたびに、右+左画像を用いて、ライブビュー表示の更新がなされる。
次に、図8に示すフローチャートを用いて、ステップS7の色演算処理結果に応じた読み出しの動作について説明する。このフローに入ると、まず、ステップS5において判定された条件のいずれに属しているかに応じて、分岐する。
ステップS5における判定の際の条件は、以下の通りである。なお、RAVEはR画素のエリア毎の画素出力の平均値であり、GAVEはG画素のエリア毎の画素出力の平均値であり、BAVEはB画素のエリア毎の画素出力の平均値である。また、閾値1<閾値2の関係がある(図10参照)。
(条件1)
AVE > 閾値1 かつGAVE < 閾値2 かつ
AVE < 閾値1 もしくはRAVE > 閾値2 かつ
AVE < 閾値1 もしくはBAVE > 閾値2
を満たす場合には、ステップS21(条件1)に進む。
(条件2)
AVE < 閾値1 もしくはGAVE > 閾値2 かつ
AVE > 閾値1 かつRAVE < 閾値2 かつ
AVE < 閾値1 もしくはBAVE > 閾値2
を満たす場合には、ステップS25(条件2)に進む。
(条件3)
AVE < 閾値1 もしくはGAVE < 閾値2 かつ
AVE < 閾値1 もしくはRAVE > 閾値2 かつ
AVE > 閾値1 かつBAVE < 閾値2
を満たす場合には、ステップS29(条件3)に進む。
(条件4)
AVE > 閾値1 かつGAVE < 閾値2 かつ
AVE > 閾値1 かつRAVE < 閾値2 かつ
AVE < 閾値1 もしくはBAVE > 閾値2 かつ
を満たす場合には、ステップS33(条件4)に進む。
(条件5)
AVE > 閾値1 かつGAVE < 閾値2 かつ
AVE < 閾値1 もしくはRAVE > 閾値2 かつ
AVE > 閾値1 かつBAVE < 閾値2
を満たす場合には、ステップS37(条件5)に進む。
(条件6)
AVE < 閾値1 もしくはGAVE > 閾値2 かつ
AVE > 閾値1 かつRAVE < 閾値2 かつ
AVE > 閾値1 かつBAVE < 閾値2
を満たす場合には、ステップS41(条件6)に進む。
上述の条件1〜6のいずれも満たさない場合には、ステップS45に進む。
条件1を満たした場合には、読出しモード2で駆動し(S21)、右+左画像と、右画像のG画素の画素信号を取得する(S23)。条件1を満たす場合は、被写体の色情報としてG(緑)が主であることから、位相差検出はG画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第2段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のG画素を読み出す。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のG画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
条件2を満たした場合には、読出しモード3で駆動し(S25)、右+左画像と、右画像のR画素の画素信号を取得する(S27)。条件2を満たす場合は、被写体の色情報としてR(赤)が主であることから、位相差検出はR画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第3段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のR画素を読み出す。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像の画素からは読み出し行わない。この読み出された画素信号は、内部メモリ105に記憶する。
条件3を満たした場合には、読出しモード4で駆動し(S29)、右+左画像と、右画像のB画素の画素信号を取得する(S31)。条件3を満たす場合は、被写体の色情報としてB(青)が主であることから、位相差検出はB画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第4段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続く右画像の画素の読み出しは行わない。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のB画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
条件4を満たした場合には、読出しモード5で駆動し(S33)、右+左画像と、右画像のG画素とR画素の画素信号を取得する(S35)。条件4を満たす場合は、被写体の色情報としてG(緑)とR(赤)が主であることから、位相差検出はG画素とR画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第5段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のR画素とG画素の読み出しを行う。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のG画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
条件5を満たした場合には、読出しモード6で駆動し(S37)、右+左画像と、右画像のG画素とB画素の画素信号を取得する(S39)。条件5を満たす場合は、被写体の色情報としてG(緑)とB(青)が主であることから、位相差検出はG画素とB画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第6段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のG画素の読み出しを行う。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のG画素とB画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
条件6を満たした場合には、読出しモード7で駆動し(S41)、右+左画像と、右画像のR画素とB画素の画素信号を取得する(S43)。条件6を満たす場合は、被写体の色情報としてR(赤)とB(青)が主であることから、位相差検出はR画素とB画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第7段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のR画素の読み出しを行う。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のB画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
条件1〜6のいずれも満たさない場合には、読出しモード1で駆動し(S45)、右+左画像と、右画像のR画素、G画素、およびB画素の画素信号を取得する(S47)。条件1〜6のいずれも満たさない場合は、被写体の色情報として主たる色がないことから、位相差検出はR画素、G画素、およびB画素の3画素を用いて行う。そこで、撮像素子103の画素読出しにあたっては、図9の第1段に記載されているように、奇数行(例えば、1行目)では、右+左画像のR画素およびG画素を読み出し、続いて右画像のG画素およびR画素の読み出しを行う。そして偶数行(例えば、2行目)では、右+左画像のG画素およびB画素を読み出し、右画像のG画素およびB画素を読み出す。この読み出された画素信号は、内部メモリ105に記憶する。
図10は、条件1を満たしている場合のイメージ図である。G画素の平均値GAVEは、閾値2より大きく、画素値が飽和している可能性があることから、位相差検出には適していない。またB画素の平均値BAVEは、閾値1より小さく、画素値が暗すぎていることから、位相差検出には適していない。それに対して、R画素の平均値RAVEは、閾値1と閾値2の間にあり、暗すぎず又明るすぎずることがないことから、R画素の画素値は位相差検出に適している。
図7および図8のフローにおいては、例えば、ステップS5の結果でR画素以外は位相差検出に適さないと判定された場合には(条件2を満たす場合)、ステップS25に進む。このときの撮像素子103の動作は、図9の第3段に示す読み出しモード3である。読み出しモード1と比較すると、右画像の読み出しがR画素しか行うことがないので、画像出力が無い期間が長くなっていることがわかる。すなわち、撮像素子103から実際に読み出されている時間が短くなり、このため、省電力効果が得られ、消費電力が低減する。
また、R画素の位相差検出用画像は常に出力しているためAF性能の変化がなく、ライブビュー表示での見えを確保できる。
このように、第1実施形態においては、1つのマイクロレンズが複数フォトダイオードから構成される撮像素子を備えた撮像装置において、消費電力を抑えつつAF性能の変化がなく、ライブビュー表示での見えを確保することができる。
また、本実施形態においては、異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号(例えば、右画像抽出部602によって抽出される信号)と、全ての瞳領域を通過した光束に基づく画像信号(例えば、右+左画像抽出部601によって抽出される信号)を抽出する信号抽出部を有し、色情報検出部は、画像信号に基づいて色情報を検出している。このため、全画像の変化状態に応じた色情報を検出することができる。
次に、本発明の第2実施形態について、図11ないし図13を用いて説明する。第1実施形態においては、右+左画像抽出部601によって抽出された右+左画像に基づいて、色情報を検出していた。これに対して、第2実施形態においては、右画像抽出部602によって抽出された右画像、および左画像抽出部603によって抽出された左画像に基づいて色情報を検出するようにしている。
本実施形態における構成は、第1実施形態に係る図1ないし図5と同じであり、図6を図11に置き換え、また図7に示すライブビュー動作のフローチャートを図12に示すフローチャートに置き換え、また図10に示す閾値の関係を図13に置き換える以外は、第1実施形態と同様である。そこで、第1実施形態との相違点を中心に説明する。
図11を用いて、本実施形態における画像信号処理部107の詳しい構成について説明する。第1実施形態に係る図6と図11を比較すると、色情報演算部606が、右画像抽出部602から抽出した右画像と左画像生成部603が生成した左画像を入力する点で異なる。
色情報検出部606は、指定した画像上のエリア内における色毎の出力値を演算し、検出結果をデータバス110や内部メモリ105を介し、システム制御部104内の撮像駆動制御部607に出力する。システム制御部104内にはタイマ608が備えられており、タイマ608はタイマカウント値を撮像駆動制御部607に出力する。後述するように、本実施形態においては、所定時間が経過すると、読出しモード1によって撮像素子103から画素信号を読み出す。タイマカウント値は、所定時間が経過したか否かを判定するために使用される(図12のS13参照)。
次に、図12を用いて、本実施形態におけるライブビュー動作について説明する。本実施形態においても、図12に示すフローは、システム制御部104内のCPUが内部メモリ105に記憶されたプログラムに基づいて、撮像装置100内の各部を制御することにより実現する。第1実施形態に係る図7と比較すると、ステップS11における判定を追加した点で相違する。また、図8に示す条件1〜条件6に分岐するための判定条件が異なっている。そこで、この相違点を中心に説明する。
図12のフローを説明する前に、図8に示す条件1〜条件6に分岐するための判定条件を説明する。なお、この判定は、第1実施形態と同様、ステップS5の色演算処理の中で実行される。
ステップS5における色演算処理にあっては、色情報検出部606が、まず、右画像と左画像のそれぞれの画像の画素信号を用いて、各エリアの色を検出する。この検出は、右画像と左画像のそれぞれの画像において色毎(例えば、R、G、B、R、G、B)に分離し、ある一定エリア(例えばAF演算エリア)の色毎の画素出力を平均する。なお、平均演算以外にも、エリア内の画素の加算値でもよく、また最多画素出力値でも構わない。第1実施形態においては、右+左画像を用いて、各エリアの色を検出していたが、第2実施形態においては、右画像と左画像のそれぞれについて、各エリアの色を検出する。
次に、ステップS5における判定の際の条件について説明する。なお、RLAVEは左画像のR画素のエリア毎の画素出力の平均値であり、GLAVEは左画像のG画素のエリア毎の画素出力の平均値であり、BLAVEは左画像のB画素のエリア毎の画素出力の平均値である。また、RRAVEは右画像のR画素のエリア毎の画素出力の平均値であり、GRAVEは右画像のG画素のエリア毎の画素出力の平均値であり、BRAVEは右画像のB画素のエリア毎の画素出力の平均値である。なお、閾値1<閾値2の関係がある(図13参照)。
(条件1)
LAVE > 閾値1 かつGLAVE < 閾値2 かつ
または GRAVE > 閾値1 かつGRAVE < 閾値2 かつ
LAVE < 閾値1 もしくはRLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはRRAVE > 閾値2 かつ
LAVE < 閾値1 もしくはBLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはBRAVE > 閾値2
を満たす場合には、ステップS21(条件1)に進む。
(条件2)
LAVE < 閾値1 もしくはGLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはGRAVE > 閾値2 かつ
LAVE > 閾値1 かつRLAVE < 閾値2 かつ
または RRAVE > 閾値1 かつRRAVE < 閾値2 かつ
LAVE < 閾値1 もしくはBLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはBRAVE > 閾値2
を満たす場合には、ステップS25(条件2)に進む。
(条件3)
LAVE < 閾値1 もしくはGLAVE < 閾値2 かつ
RAVE < 閾値1 もしくはGRAVE < 閾値2 かつ
LAVE < 閾値1 もしくはRLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはRRAVE > 閾値2 かつ
LAVE > 閾値1 かつBLAVE < 閾値2 かつ
または BRAVE > 閾値1 かつBRAVE < 閾値2
を満たす場合には、ステップS29(条件3)に進む。
(条件4)
LAVE > 閾値1 かつGLAVE < 閾値2 かつ
または GRAVE > 閾値1 かつGRAVE < 閾値2 かつ
LAVE > 閾値1 かつRLAVE < 閾値2 かつ
または RRAVE > 閾値1 かつRRAVE < 閾値2 かつ
LAVE < 閾値1 もしくはBLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはBRAVE > 閾値2
を満たす場合には、ステップS33(条件4)に進む。
(条件5)
LAVE > 閾値1 かつGLAVE < 閾値2 かつ
または GRAVE > 閾値1 かつGRAVE < 閾値2 かつ
LAVE < 閾値1 もしくはRLAVE > 閾値2 かつ
RAVE < 閾値1 もしくはRRAVE > 閾値2 かつ
LAVE > 閾値1 かつBLAVE < 閾値2 かつ
または BRAVE > 閾値1 かつBRAVE < 閾値2
を満たす場合には、ステップS37(条件5)に進む。
(条件6)
LAVE > 閾値1 かつGLAVE < 閾値2 かつ
または GRAVE > 閾値1 かつGRAVE < 閾値2 かつ
LAVE > 閾値1 かつRLAVE < 閾値2 かつ
または RRAVE > 閾値1 かつRRAVE < 閾値2 かつ
LAVE > 閾値1 かつBLAVE < 閾値2 かつ
または BRAVE > 閾値1 かつBRAVE < 閾値2
を満たす場合には、ステップS41(条件6)に進む。
上述の条件1〜6のいずれも満たさない場合には、ステップS45に進む。それぞれの条件における読出し駆動は、図8および図9と同様であることから、詳しい説明は省略する。
図13は、条件1を満たしている場合のイメージ図である。右画像と左画像のG画素の平均値GRAVEとGLAVEは、閾値2より大きく、画素値が飽和している可能性があることから、位相差検出には適していない。また右画像と左画像のB画素の平均値BRAVEとBLAVE、および左画像のR画素の平均値RLAVEは、閾値1より小さく、画素値が暗すぎていることから、位相差検出には適していない。それに対して、右画像のR画素の平均値RRAVEは、閾値1と閾値2の間にあり、暗すぎず又明るすぎずることがないことから、右画像のR画素の画素値は位相差検出に適している。なお、閾値1および閾値2は、右画像と左画像で、各色一定としたが、色毎に閾値を変更しても構わない。
次に、図12に示すライブビュー動作について説明する。ライブビュー動作を開始し、ステップS1〜S11までは、第1実施形態と同様である。ステップS11において、フォーカス制御を行うと、次に、タイマカウント値>Xか否かを判定する(S13)。ここでは、タイマ608によってカウントされたタイマカウント値がX(Xは定数)より大きいか否かを判定する。なお、Xは、シーンが変化した否かを判定できる程度の時間であればよい。
ステップS13における判定の結果、タイマカウント値がXより大きくない場合には、ステップS9に進む。第2実施形態においても、所定フレームレートで決まる時間毎に、撮像素子103から画素信号が読み出される。画素信号が読み出されると、位相差検出やフォーカス制御が実行される。第1実施形態においては、フレーム毎にステップS5において色演算処理を行い、被写体の主の色情報に基づいて画素信号の読み出しを行っていた。しかし、本実施形態においては、この処理を毎フレーム行わず、ステップS5において検出された主の色情報に基づいて、画素信号の読み出しを行う。
一方、ステップS13における判定の結果、タイマカウント値がXより大きい場合には、ステップS1に進む。この場合には、ステップS1において読み出しモード1で画素信号を読み出し、ステップS3以下を実行する。
このように、本フローにおいては、タイマカウント値がXより小さい場合には、色演算処理を行わず、タイマカウント値がXより大きくなると、色演算処理を行うようにしている。すなわち、本フローにおいては、画素信号読出部による信号の読出し周期を可変にしている。このため、本実施形態においては、色演算処理を毎フレーム、行っていないことから、消費電力を低下させることがことできる。しかし、被写体のシーンが変わることがあることから、タイマにより所定時間が経過すると、再度色演算処理に戻るようなフローとしている。
また、本実施形態においては、異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号(例えば、右画像抽出部602によって抽出される信号)と、全ての瞳領域を通過した光束に基づく画像信号(例えば、右+左画像抽出部601によって抽出される信号)を用いて、上記一方向と異なる方向に基づく焦点検出信号(例えば、左画像抽出部603によって抽出される信号)を抽出する信号抽出部を有し、色情報検出部(例えば、色情報検出部606)は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出している。このため、位相差検出部605で用いる公知の位相差検出法と同様の信号成分を得ることができるため、必要な色の精度を上げることが可能となる。
なお、本実施形態においては、所定時間Xが経過すると、ステップS1に戻り、ステップS5において色演算処理を行っていた。しかし、これに限らず、例えば、ジャイロ等により撮像装置に所定以上の動きがあったか否かを判定し、所定以上の動きがあった場合や、また撮像素子103からの画素信号に基づいて被写体輝度を検出し、被写体輝度が所定以上の変化が有った場合等に、色演算処理を行うようにしてもよい。
以上説明したように、本発明の各実施形態においては、撮像素子103の画素群から焦点検出信号を読み出し(例えば、図7のS1、S3)、この読み出された焦点検出信号に基づいて、被写体の色情報を検出し(図7のS5)、この検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出している(図7のS7)。画素群の読出しにあたっては、被写体の主となる色情報に応じたカラーフィルタに対応した信号を読み出し、従となる色情報に応じたカラーフィルタに対応した信号を読み出さないことから、画素からの読み出しを少なくすることができ、消費電力を低下することができる。また、必要な焦点検出信号から位相差AFを行うことができるため、AF性能が低下することがなく、またライブビュー画像が見苦しくなることがない。
なお、本発明の各実施形態においては、1行分の右+左画像を読み出してから、1行分の右画像を読み出していた。しかし、これに限らず、画素単位で、右+左画像と右画像を読み出した後、隣接する画素の右+左画像と右画像を読み出す等、読出しの順番は適宜変更してもよい。また、各実施形態においては、右+左画像と右画像を読み出していた。しかし、これに限らず、例えば、右+左画像と左画像を読み出すようにしてもよい。また、右画像と左画像を読み出し、両画像から右+左画像を合成するようにしてもよい。また、本発明の各実施形態においては、色情報演算(図7と図12のS5)検出の際に、被写体の主たる色として1色、2色または3色のいずれかを検出していた。しかし、これに限らず、1色のみを検出し、複数色の場合には、いずれか1色を選択するようにしてもよい。
また、本発明の各実施形態においては、右+左画像抽出部601、右画像抽出部602、左画像抽出部603、現像処理部604、位相差検出部605、色情報検出部606を、画像信号処理部107内に設けていた。しかし、これに限らず、これらの各部の全部または一部を、システム制御部104内のCPUによってソフトウエア的に実行してもよく、また市捨て身制御部104内の周辺回路によって実行してもよい。
また、画像信号処理部107内は、全てをハードウエア回路で構成する以外にも、ヴェリログ(Verilog)によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またDSP(Digital Signal Processor)等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、位相差AFを行う撮影のための機器であれば、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
100・・・撮像装置、101・・・撮像レンズ、102・・・シャッタ、103・・・撮像素子、104・・・システム制御部、105・・・内部メモリ、106・・・入力IF、107・・・画像信号処理部、108・・・外部メモリ、109・・・表示部、110・・・バス、201・・・画素アレイ部、202・・・垂直走査部、203・・・カラムAD部、204・・・通信IF部、205・・・水平走査部、206・・・映像データ変換部、300・・・画素、301・・・マイクロレンズ、302a〜302d・・・フォトダイオード、311・・・フォトダイオード、312・・・フォトダイオード、506・・・射出瞳、507・・・射出瞳の一部領域、508・・・射出瞳の一部領域、509・・・光軸、510・・・最外周光線、511・・・最外周光線、512・・・最外周光線、513・・・最外周光線、601・・・右+左画像抽出部、602・・・右画像抽出部、603・・・左画像抽出部、604・・・現像処理部、605・・・位相差検出部、606・・・色情報検出部、607・・・撮像駆動制御部

Claims (7)

  1. 撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、
    上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、
    上記カラーフィルタに対応して設けられたマイクロレンズと、
    被写体の色情報を検出する色情報検出部と、
    上記画素群から焦点検出信号を読み出す画素信号読出部と、
    を備え、
    上記画素信号読出部は、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出すことを特徴とする撮像装置。
  2. 上記画素信号読出部は、上記画素群から画像信号及び焦点検出信号を読み出し、上記画像信号及び上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号を読み出すことを特徴とする請求項1に記載の撮像装置。
  3. 上記画素信号読出部は、上記画像信号として上記単位画素から上記複数の画素のすべての信号を読み出し、上記焦点検出信号を読み出すときは、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出すことを特徴とする請求項2に記載の撮像装置。
  4. 上記画素信号読出部による信号の読出し周期を可変にすることを特徴とする請求項1に記載の撮像装置。
  5. 上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を抽出する信号抽出部を有し、
    上記色情報検出部は、上記画像信号に基づいて上記色情報を検出することを特徴とする請求項1に記載の撮像装置。
  6. 上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を用いて、上記一方向と異なる方向に基づく焦点検出信号を抽出する信号抽出部を有し、
    上記色情報検出部は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、上記一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出することを特徴とする請求項1に記載の撮像装置。
  7. 撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、
    上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、
    上記カラーフィルタに対応して設けられたマイクロレンズと、
    を有する撮像装置の撮像方法において、
    上記画素群から焦点検出信号を読み出し、
    上記焦点検出信号に基づいて、被写体の色情報を検出し、
    検出された被写体の上記色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す、
    ことを特徴とする撮像方法。
JP2016084493A 2016-04-20 2016-04-20 撮像装置および撮像方法 Pending JP2017194558A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016084493A JP2017194558A (ja) 2016-04-20 2016-04-20 撮像装置および撮像方法
US15/479,021 US10056421B2 (en) 2016-04-20 2017-04-04 Imaging device and imaging method
CN201710252415.1A CN107306326A (zh) 2016-04-20 2017-04-18 摄像装置和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016084493A JP2017194558A (ja) 2016-04-20 2016-04-20 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2017194558A true JP2017194558A (ja) 2017-10-26

Family

ID=60088595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016084493A Pending JP2017194558A (ja) 2016-04-20 2016-04-20 撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US10056421B2 (ja)
JP (1) JP2017194558A (ja)
CN (1) CN107306326A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6727017B2 (ja) * 2016-04-21 2020-07-22 キヤノン株式会社 撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法
KR102614851B1 (ko) 2018-07-23 2023-12-19 삼성전자주식회사 이미지 센서
JP6736821B1 (ja) * 2019-04-24 2020-08-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像装置、移動体、及び制御方法
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254024A (ja) * 2012-06-05 2013-12-19 Canon Inc 撮像装置および撮像装置の制御方法
JP2015110795A (ja) * 2008-11-19 2015-06-18 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニーE.I.Du Pont De Nemours And Company 2,3,3,3−テトラフルオロプロペンおよび炭化水素を含む組成物ならびにその使用
JP2015140058A (ja) * 2014-01-28 2015-08-03 株式会社新来島どっく 船体外板付アノード取付構造
JP2016225848A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP2017022624A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 撮像素子及びその駆動方法、及び撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP5491677B2 (ja) * 2011-03-31 2014-05-14 富士フイルム株式会社 撮像装置及びその合焦制御方法
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP6264616B2 (ja) * 2013-01-30 2018-01-24 パナソニックIpマネジメント株式会社 撮像装置及び固体撮像装置
JP6013284B2 (ja) * 2013-06-26 2016-10-25 オリンパス株式会社 撮像装置及び撮像方法
JP2015166799A (ja) 2014-03-04 2015-09-24 キヤノン株式会社 撮像装置、撮像方法、および、そのプログラム
JP6313685B2 (ja) * 2014-05-01 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
EP3018516B1 (en) * 2014-11-05 2019-06-19 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling image capturing apparatus
GB2543127B (en) * 2015-07-30 2018-11-21 Canon Kk Control apparatus, image pickup apparatus, control method, program, and storage medium
JP6682310B2 (ja) * 2016-03-18 2020-04-15 キヤノン株式会社 焦点検出装置および方法、および撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015110795A (ja) * 2008-11-19 2015-06-18 イー・アイ・デュポン・ドウ・ヌムール・アンド・カンパニーE.I.Du Pont De Nemours And Company 2,3,3,3−テトラフルオロプロペンおよび炭化水素を含む組成物ならびにその使用
JP2013254024A (ja) * 2012-06-05 2013-12-19 Canon Inc 撮像装置および撮像装置の制御方法
JP2015140058A (ja) * 2014-01-28 2015-08-03 株式会社新来島どっく 船体外板付アノード取付構造
JP2016225848A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP2017022624A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 撮像素子及びその駆動方法、及び撮像装置

Also Published As

Publication number Publication date
US10056421B2 (en) 2018-08-21
US20170310908A1 (en) 2017-10-26
CN107306326A (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
JP6104049B2 (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6457776B2 (ja) 撮像装置および撮像装置の制御方法
JP6278713B2 (ja) 撮像装置および撮像方法
JP6944846B2 (ja) 撮像装置、撮像装置の制御方法
JP6137840B2 (ja) カメラシステム
KR20150067900A (ko) 초점검출 가능한 이미지 센서 제어장치 및 방법.
US10044957B2 (en) Imaging device and imaging method
US10056421B2 (en) Imaging device and imaging method
JP6911136B2 (ja) 撮像装置、情報取得方法及び情報取得プログラム
JP5620196B2 (ja) 撮像装置
US10812704B2 (en) Focus detection device, method and storage medium, for controlling image sensor operations
JP2011087050A (ja) デジタルカメラ
JP5452269B2 (ja) 撮像装置
JP2006148550A (ja) 画像処理装置及び撮像装置
JP2018011268A (ja) 撮像装置、画像合成方法、およびプログラム
JP2008187614A (ja) 撮影装置
JP6184132B2 (ja) 撮像装置および画像処理方法
US11463613B2 (en) Detection device and detection method
WO2021241014A1 (ja) 撮像装置、撮像方法
US20230199342A1 (en) Imaging device and imaging method
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP7027133B2 (ja) 焦点検出装置及び焦点検出方法
JP2023121622A (ja) 検出装置および検出方法
JP2013161012A (ja) 撮像装置及びその制御方法
JP2010232909A (ja) 撮像装置及びその駆動制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190905

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200402