JP5043626B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5043626B2
JP5043626B2 JP2007322648A JP2007322648A JP5043626B2 JP 5043626 B2 JP5043626 B2 JP 5043626B2 JP 2007322648 A JP2007322648 A JP 2007322648A JP 2007322648 A JP2007322648 A JP 2007322648A JP 5043626 B2 JP5043626 B2 JP 5043626B2
Authority
JP
Japan
Prior art keywords
image
split
subject
images
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007322648A
Other languages
English (en)
Other versions
JP2009147665A5 (ja
JP2009147665A (ja
Inventor
賢治 小貫
佳宣 佐藤
武志 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007322648A priority Critical patent/JP5043626B2/ja
Priority to US12/328,559 priority patent/US8085337B2/en
Publication of JP2009147665A publication Critical patent/JP2009147665A/ja
Publication of JP2009147665A5 publication Critical patent/JP2009147665A5/ja
Priority to US13/336,766 priority patent/US8531584B2/en
Application granted granted Critical
Publication of JP5043626B2 publication Critical patent/JP5043626B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特にマニュアルフォーカス用のガイド画像であるスプリットイメージを表示する機能を有する撮像装置に関する。
撮像装置の焦点検出方式には、撮像光学系における互いに異なる領域を通過した光束によって形成された複数の像のずれ量(位相差)に基づいて撮像光学系のデフォーカス量を求める位相差検出方式(瞳分割方式)がある。さらに、単一の撮像素子内に撮像用画素と焦点検出用画素群とを配置することによって、焦点検出専用のセンサを用いずに位相差検出方式による焦点検出を行う撮像装置が特許文献1にて開示されている。
一方、使用者がマニュアルフォーカスを行う場合に、マニュアルフォーカス操作をサポートするためのガイド画像(フォーカスガイド画像)を表示することで、使用者にマニュアルフォーカスを容易に行わせることができる。特許文献2〜には、フィルムカメラの光学ファインダに採用される場合が多かったスプリットイメージに相当するフォーカスガイド画像(以下、これをスプリットイメージという)を電子的に生成して電子ファインダ上に表示する撮像装置が開示されている。
特許文献2にて開示された撮像装置では、瞳分割された光束により形成された2つの被写体像を焦点検出用撮像素子で光電変換して2つの画像(以下、瞳分割画像という)を得る。そして、これらの瞳分割画像を撮影用撮像素子で得られた通常の画像(以下、本画像という)と合成することで、本画像内に位相差に応じたスプリットイメージを表示する。
特許文献3にて開示された撮像装置では、光束が通る液晶回折格子への印加電圧を制御することにより、撮像光学系の焦点状態をスプリットイメージによって表示する。
また、特許文献4にて開示された撮像装置では、撮像光学系のデフォーカス量を算出し、該算出結果に応じて本画像の一部をスプリットイメージのように変化させて表示する。
特開2000−156823号公報 特開昭59−50671号公報 特開2006−154506号公報 特開2001−309210号公報
特許文献2にて開示された撮像装置では、輝度情報を持つが色情報を持たない瞳分割画像を用いてスプリットイメージを生成する。このため、このスプリットイメージをそのままカラー画像である本画像内に表示すると、スプリットイメージの部分のみが色を持たない不自然な(使用者に違和感を生じさせる)画像が表示されてしまう。この点は、撮像素子内に配置された焦点検出用画素が輝度情報のみを出力する特許文献1にて開示された撮像装置でも同じである。
また、特許文献3にて開示された撮像装置では、カラーのスプリットイメージを表示することができるが、液晶回折格子という特殊な素子を用いているため、構成の複雑化や撮像装置の高コスト化を招く。
さらに、特許文献4にて開示された撮像装置でも、カラーのスプリットイメージを表示することができる。しかし、この撮像装置では、被写体までの距離の計測結果である測距情報と撮像光学系内のレンズ位置情報とからデフォーカス量を求め、該デフォーカス量に応じてスプリットイメージを表示する。このため、1つのスプリットイメージ内に互いに距離が異なる複数の被写体が存在する場合にはスプリットイメージを表現することが困難であり、この結果、マニュアルフォーカスでの撮像装置の使い勝手が悪くなるという問題がある。
本発明は、特殊な素子を用いなくてもスプリットイメージをカラーで表示でき、かつマニュアルフォーカスでの使い勝手の良い撮像装置及びその画像表示方法を提供する。
本発明の一側面としての撮像装置は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換して第1の画像及び第2の画像を生成するとともに、瞳分割手段によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する画像取得手段と、前記第3の画像を表示する表示手段と、第3の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有するそして、該スプリットイメージ生成手段は、第1及び第2の画像を用いてスプリットイメージを生成し、第3の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
第1及び第2の画像を用いて第3の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有する。そして、該スプリットイメージ生成手段は、第3の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
また、本発明の他の一側面としての撮像装置の画像表示方法は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換して第1の画像及び第2の画像を生成するとともに、瞳分割手段によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する第1のステップと、第1及び第2の画像を用いて、表示手段に表示される第3の画像内に表示するスプリットイメージを生成する第2のステップとを有する。そして、第2のステップにおいて、第3の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
本発明によれば、位相差を持った第1及び第2の画像を用いてスプリットイメージを生成するので、距離が異なる複数の被写体のそれぞれに対応したスプリットイメージを表示することができる。しかも、該スプリットイメージには、第3の画像(本画像)から抽出した色情報が付加されてカラー表示されるので、使用者に与える違和感が少ないスプリットイメージを本画像内に表示することができる。この結果、特殊な素子を用いなくてもスプリットイメージをカラーで表示でき、かつマニュアルフォーカスでの使い勝手が良好な撮像装置を実現することができる。
以下、本発明の好ましい実施例について図面を参照しながら説明する。
図1には、本発明の実施例1であるデジタルカメラ(撮像装置)の構成を示している。なお、デジタルカメラには、デジタルスチルカメラやビデオカメラが含まれるが、ここではデジタルスチルカメラである場合について説明する。
図1において、101はフォーカスレンズ101aを含む撮像光学系である。102はCCDセンサやCMOSセンサ等の撮像素子である。103は撮像素子102から出力されたアナログ信号をデジタル信号に変換するA/D変換部である。
104はA/D変換部103から出力された信号に対して色変換処理等の各種画像処理を行って画像を生成する信号処理部である。信号処理部104は、撮像素子102における後述する撮像用画素群からの信号に基づいて通常の撮像用画像である本画像(第3の画像)を生成する。
110は瞳分割像取得部である。ここでは、撮像素子102における後述する焦点検出用画素群からの像信号に基づいて、撮像光学系101の非合焦状態において位相差を持つ2つの瞳分割像(A像及びB像)に対応するA画像データ(第1の画像)及びB画像データ(第2の画像)を生成する。
なお、撮像素子101〜信号処理部104及び瞳分割像取得部110により画像取得手段が構成される。また、カメラには、撮像光学系100のオートフォーカスを行うオートフォーカスモードと、撮像光学系100の使用者によるマニュアルフォーカスを許容するマニュアルフォーカスモードとを切り換えるフォーカスモードスイッチ120が設けられている。
ここで、図2には、撮像素子102の一部における画素配列を示している。この単一の撮像素子102上には、R,G,Bで示す撮像用画素群(第3の画素群)と、a,bで示す焦点検出用画素群(第1の画素群及び第2の画素群)とが設けられている。
撮像用画素のうち緑画素G、赤画素R及び青画素Bのそれぞれの開口部には、対応する色の光束を通過させるカラーフィルタが配置されており、カラーフィルタの裏側に光電変換部が配置されている。また、カラーフィルタの表側には、マイクロレンズが配置されている。このように、1つの撮像用画素は、光電変換部とカラーフィルタとマイクロレンズとにより構成されている。
また、撮像用画素群のうち緑画素群の一部は、焦点検出用画素a,bに置き換えられている。斜め方向にて互いに隣接する焦点検出用画素a,bが1つのペアになっており、このペアが撮像素子102(撮像用画素群)内に離散的に配置されている。焦点検出用画素a,bには、カラーフィルタが設けられていない。これにより、焦点検出のための感度の低下を防いでいる。
なお、焦点検出用画素a,bでの光電変換によって得られる信号を、以下それぞれ、A像信号及びB像信号という。
位相差、すなわちずれを持った2つの像を発生させるためには、撮像光学系からの光束を、該撮像光学系101の瞳のうち互いに異なる領域(互いに異なる瞳)を通る光束L1及び光束L2(図3,図4参照)に分離する必要がある。本実施例では、撮像素子102上に瞳分離機能を持った焦点検出用画素a,bを配置することで、光束L1及び光束L2を生成する。
図6には、焦点検出用画素a,b(以下、S1,S2とする)の断面構造を示す。601はマイクロレンズ、602は遮光膜、603は光電変換部である。図7には、焦点検出用画素S1,S2に設けられた遮光膜602をマイクロレンズ601の光軸方向から見て示している。焦点検出用画素S1,S2の遮光膜602には、マイクロレンズ601の光軸(光電変換部603の中心)を挟んで互いに反対側に、すなわち互いに対称となるように偏心した絞り開口部602aが形成されている。この遮光膜602を設けることで瞳分割手段が構成される。
このような構造により、焦点検出用画素S1において光電変換部603に到達する光束L1と、焦点検出用画素S2において光電変換部603に到達する光束L2は、互い異なる瞳からの光束、すなわち瞳分割された光束となる。言い換えれば、撮像光学系を焦点検出用画素S1から見た場合と焦点検出用画素S2から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。光束L1と光束L2は、それぞれが到達する光電変換部603を重ねて見たときに、その中心に対して対称となる位置に被写体像を形成する。
焦点検出用画素S1の光電変換部603に形成された被写体像(A像:第1の被写体像)が光電変換されることでA像信号が得られる。また、焦点検出用画素S2の光電変換部603に形成された被写体像(B像:第2の被写体像)が光電変換されることでB像信号が得られる。
さらに、撮像用画素群上に瞳分割されない光束によって形成された被写体像(第3の被写体像)が該撮像用画素群によって光電変換されることで、本画像を生成するための像信号が得られる。
図3及び図4には、位相差検出方式による焦点検出の原理を示す。被写体の特定点からの光束(撮像光学系からの光束)は、焦点検出用画素S1に対する瞳を通って該画素S1に入射する光束(第1の光束)L1と、焦点検出用画素S2に対する瞳を通って該画素S2に入射する光束(第2の光束)L2とに分割される。
この瞳分割された2つの光束L1,L2は、撮像光学系101のピントが合っているときには、図3に示すようにマイクロレンズの表面上の一点に集光する。そして、焦点検出用画素S1及びS2上には互いに一致する(ずれがない)A像及びB像が形成される。したがって、焦点検出用画素S1及びS2から読み出されたA像信号とB像信号の位相差は零となる。
一方、撮像光学系101のピントが合っていないときには、図4に示すように、光束L1,L2は、マイクロレンズの表面とは異なる位置で交差する。このため、焦点検出用画素S1上のA像と焦点検出用画素S2上のB像の間にはずれ(位相差)が生ずる。
ここで、マイクロレンズの表面と2つの光束L1,L2の交点との間の距離、すなわちデフォーカス量をxとし、位相差をn画素とし、画素ピッチをdとする。また、S1に対する瞳とS2に対する瞳間の距離をDafとし、撮像光学系101の主点からその焦点位置までの距離がuであるとする。このとき、デフォーカス量xは、
x=n×d×u/Daf
で求められる。さらに、uは撮像光学系101の焦点距離fにほぼ等しいと考えられるので、
x=n×d×f/Daf
で求めればよい。
なお、図8の上図には、撮像光学系101の焦点状態(合焦,前ピン,後ピン)と光束L1,L2の結像位置(A像及びB像の位置)との関係を示す。前ピン状態と後ピン状態では、A像及びB像のずれの方向が異なる。
また、図8の下図には、上記各焦点状態における本画像の像信号(撮像用画素から読み出した像信号)と、焦点検出用画素S1,S2から読み出したA像信号及びB像信号とを示す。横軸は像信号の位相、縦軸は輝度を表している。801及び802は、本画像の像信号からのずれ量を表している。
図1において、111は上記の方法によって、2つの瞳分割像(A像及びB像)のずれ量を求める演算部である。演算部111は、フォーカスモードスイッチ120によってオートフォーカスモードが選択されている場合には、上記ずれ量に基づいて撮像光学系101のデフォーカス量xを算出する。
図5には、演算部111で行われる焦点検出処理及びオートフォーカス処理の流れを示す。ステップS501では、上述した撮像素子102上に2つの瞳分割像(A像及びB像)が生成される。次のステップS502では、演算部111はこれら2つの瞳分割像のずれ量を求める。
さらにステップS503では、演算部111は、カメラがオートフォーカスモードに設定されているか否かを判断する。オートフォーカスモードである場合は、ステップ504に進み、演算部111は、上述した演算によりデフォーカス量xを求め、ステップS505では、演算したデフォーカス量xに基づいて、合焦位置にフォーカスレンズ101aを移動させる。
また、図1において、112は画像処理部である。画像処理部112は、マニュアルフォーカスモードが設定されている場合に、瞳分割像取得部110により生成されたA画像データ及びB画像データからスプリットイメージを生成する処理を行う。スプリットイメージ生成に先だって、画像処理部112は、信号処理部104によって生成された本画像から瞳分割像としてのA像及びB像のずれ量(言い換えれば、A画像データ及びB画像データのずれ量)に基づいて色情報を抽出し、該色情報をA画像データ及びB画像データに合成する。色情報は、本画像に対するA像、B像のそれぞれのずれ量(各瞳分割像のずれ量)に対応した位置に付加される。
これにより、色情報が付加されたA画像データ及びB画像データからスプリットイメージが生成される。言い換えれば、画像処理部112は、スプリットイメージに、瞳分割像のずれ量に基づいて本画像から抽出した色情報を付加する。演算部111及び画像処理部112によりスプリットイメージ生成手段が構成される。
105は画像合成部であり、信号処理部104で得られた本画像に、画像処理部112で得られたスプリットイメージを重ね合わせる。これにより、スプリットイメージを含む本画像が生成される。スプリットイメージを含む本画像は、表示部106に表示される。
図9には、画像処理部112及び画像合成部105にて行われる処理を模式的に示している。
901は信号処理部104によって生成された本画像である。902,903は瞳分割像取得部110により生成されたA画像データ及びB画像データ(ただし、スプリットイメージの生成に用いられる部分のデータ)である。A画像データ902及びB画像データ903に、本画像901から抽出した色情報を合成することによって、カラーのA画像データ904及びB画像データ905が得られる。画像処理部112は、カラーのA画像データ904及びB画像データ905を用いてスプリットイメージを生成し、それを画像合成部105によって本画像内(第3の画像内)の対応する被写体領域に重ね合わせる。これにより、カラーのスプリットイメージ911を含む本画像としての表示画像910が得られる。
図10には、カメラのレリーズボタン(図示せず)が操作されて焦点検出を行い、スプリットイメージを有する表示画像が表示されるまでの処理(画像表示方法)の流れを示すフローチャートを示す。ここでは、フォーカスモードスイッチ120によってマニュアルフォーカスモードが設定されている場合の処理を示す。
ステップS1001において、使用者によりレリーズボタン(SW1)が操作(半押し操作)されると、ステップS1002に進み、演算部111によって、焦点検出対象となっている被写体領域における瞳分割像としてのA像及びB像のずれ量が算出される。焦点検出対象となる被写体領域は、使用者のスイッチ操作を通じた選択により又はカメラの自動的な選択動作によって設定される。以下の説明においてA像及びB像とは、この焦点検出対象となっている被写体領域におけるA像及びB像を意味する。
ステップS1003では、画像処理部112は、A像及びB像のずれ量に基づいて、本画像のうち焦点検出対象となっている(つまりはスプリットイメージを生成する)被写体領域のA像及びB像に対応する位置から色情報を抽出する。
図11には、A像及びB像のずれ量に基づいて本画像から色情報を抽出し、A画像データ及びB画像データに付加する方法を示す。
図11の左図に示す1101はA画像データ上のある画素(A画素)を示す。1102は図11の右図に示す本画像上の画素であって、A画素1101の位置に一致する位置から上記ずれ量に相当する画素数だけシフトした位置に存在する画素である。画像処理部112は、この画素1102の色情報を抽出する。そして、ステップS1104で、画像処理部112は、この抽出した色情報をA画素1101に付加する。
すなわち、A画像データ上の画素1101に一致する本画像上の画素から、A像及びB像のずれ量に相当する画素数だけシフトした位置にある本画像上の画素1102の色情報を抽出し、その色情報をA像上の画素1101に付加する。
このような色情報の抽出及び付加をA画像データ及びB画像データを構成する全ての画素に対して行うことで、カラーのA画像データ及びB画像データが生成される。
次にステップS1005では、画像処理部112は、必要に応じてカラーのA画像データ及びB画像データに対する表示変更処理を行う。表示変更処理とは、A画像データ及びB画像データ(つまりは、スプリットイメージ)における色濃度、輝度、表示色及び形状のうち少なくとも1つを変更する処理である。例として、合焦状態に近いほどA画像データ及びB画像データの色濃度を濃くしたり、非合焦状態(ずれ量が所定値より大きい状態)ではA画像データ及びB画像データを点滅させたりするとよい。
ステップS1006では、画像処理部112は、色情報が付加されて必要に応じて表示変更処理がなされたA画像データ及びB画像データをそれらの分割方向(図9では上下方向)に並べてスプリットイメージ(SI)911を生成する。ステップS1001〜ステップS1006の処理は、焦点検出対象となる被写体領域が複数ある場合には、該被写体領域ごとに行われ、複数のスプリットイメージが生成される。
次にステップS1007では、信号処理部104で生成された本画像と、ステップS1006で生成された1又は複数のスプリットイメージ911とが画像合成部105で重ね合わされる。こうして生成された、カラーのスプリットイメージ911を有する本画像としての表示画像910は、ステップS1008にて表示部106に出力されて表示される。
以上説明したように、本実施例によれば、A画像データ及びB画像データから生成したスプリットイメージに、A像及びB像のずれ量に基づいて本画像から抽出した色情報を付加する。これにより、特殊な素子を使用することなく、スプリットイメージを違和感なく含む画像を表示部106に表示することができる。また、スプリットイメージは、撮像素子102上に離散的に配置された焦点検出用画素を用いて生成されたA画像データ及びB画像データによって生成されるので、本画像上のいずれの位置にも表示させることができる。したがって、距離が異なる複数の被写体が存在する場合でも、該被写体ごとにスプリットイメージを表示することができる。
さらに、表示変更処理を施しながらスプリットイメージを表示させることにより、撮像光学系101の焦点状態を容易に確認しながらマニュアルフォーカス操作を行うことができる。
なお、本実施例では、A画像データ及びB画像データに対して本画像から抽出した色情報を付加した後に該A画像データ及びB画像データからスプリットイメージを生成する場合について説明した。しかし、A画像データ及びB画像データからまずスプリットイメージを生成し、その後、本画像から抽出した色情報を該スプリットイメージに付加してもよい。これらいずれの場合でも、スプリットイメージに色情報を付加することに含まれる。
次に、本発明の実施例2について説明する。なお、本実施例におけるカメラ及び撮像素子の構成やA像及びB像のずれ量の求め方は実施例1と同じある。本実施例において実施例1と共通する又は同様の機能を有する構成要素には実施例1と同符号を付す。
図12には、本実施例により表示部106に表示されるスプリットイメージの例を示す。図において、1201及び1202は、合焦状態を示すカラーのスプリットイメージであり、1203は非合焦状態を示す白黒のスプリットイメージである。
図12に示した画像を表示するまでの処理の流れを、図13のフローチャートを用いて説明する。ここでも、フォーカスモードスイッチ120によってマニュアルフォーカスモードが設定されている場合の処理を示す。
ステップS1301において、使用者によりレリーズボタンが半押し操作されると、ステップS1302に進み、演算部111によって、瞳分割像取得部110により生成されたA像及びB像のずれ量が算出される。
ステップS1303では、演算部111は、算出したずれ量が合焦状態又はそれに近い状態(以下、これらをまとめて合焦近傍状態という)を示すか、非合焦状態を示すかを判断する。具体的には、算出したずれ量が所定値より小さい場合(又は以下の場合)は合焦近傍状態と判断し、所定値より大きい場合は非合焦状態と判断する。
非合焦状態の場合は、ステップS1310に進み、画像処理部112は、A画像データ及びB画像データからスプリットイメージ(SI)を生成する。これにより、色情報を持たない白黒のスプリットイメージが生成される。そして、ステップS1311において、実施例1で説明した表示変更処理を行う。
一方、合焦状態の場合は、ステップS1304において、画像処理部112は、色情報を持ったスプリットイメージ(SI)を生成する。このとき、実施例1のステップS1003〜S1006にて説明したように、A画像データ及びB画像データに本画像から抽出した色情報を付加してスプリットイメージを生成してもよいし、A画像データ及びB画像データを用いずに本画像からスプリットイメージを生成してもよい。いずれの場合でも、色情報を持ったカラーのスプリットイメージが生成される。
なお、ステップS1302〜ステップS1304及びステップS1310,S1311の処理は、焦点検出対象となる被写体領域が複数存在する場合は該被写体領域ごとに行われる。
次にステップS1305では、信号処理部104で生成された本画像と、ステップS1304又はステップS1310,S1311で生成された1又は複数のスプリットイメージ911とが画像合成部105で重ね合わされる。こうして生成された、カラーのスプリットイメージ1201,1202及び白黒のスプリットイメージ1203を含む表示画像1205(図9参照)は、ステップS1306にて表示部106に出力されて表示される。
本実施例によれば、非合焦状態を示すスプリットイメージは白黒で表示され、合焦近傍状態を示すスプリットイメージはカラーで表示される。これにより、距離が異なる複数の被写体が存在する場合に、これら被写体に対する撮像光学系100の焦点状態を容易に確認しながらマニュアルフォーカス操作を行うことができる。特に、合焦近傍状態を示すスプリットイメージは使用者により注目されるので、このスプリットイメージをカラーで表示することにより、使用者に違和感を生じさせずにスプリットイメージを用いたマニュアルフォーカス操作を行わせることができる。
なお、上記各実施例(図9,図12)では、スプリットイメージが矩形を有し、上下方向に分割された場合について説明した。しかし、本発明でのスプリットイメージの形状や分割方向はこれに限らず、スプリットイメージが円形状を有したり左右方向に分割されたりしてもよい。
また、上記各実施例では、第1〜第3の画素群を含む単一の撮像素子を用いる場合について説明したが、本発明では、2つ以上の撮像素子、例えば第1及び第2の画素群を有する瞳分割像用撮像素子と第3の画素群を有する本画像用撮像素子とを用いてもよい。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
本発明の実施例1であるカメラの構成を示すブロック図。 実施例にて用いられる撮像素子の画素配列を示す図。 実施例における焦点検出の原理を示す図(合焦状態)。 実施例における焦点検出の原理を示す図(非合焦状態)。 実施例1における焦点検出処理及びオートフォーカス処理を示すフローチャート。 図2の撮像素子の焦点検出用画素の構造を示す図。 焦点検出用画素に設けられた遮光膜を示す図。 撮像光学系の焦点状態と、瞳分割された2つの光束及び2像のずれとの関係を示す図。 実施例1におけるスプリットイメージの生成手順を説明する模式図。 実施例1におけるスプリットイメージ生成処理を示すフローチャート。 本画像からの色情報を抽出とその合成を示す図。 本発明の実施例2であるカメラにおけるスプリットイメージの表示例を示す図。 実施例2におけるスプリットイメージ生成処理を示すフローチャート。
符号の説明
101 撮像光学系
102 撮像素子
104 信号処理部
105 画像合成部
106 表示部
110 瞳分割像取得部
111 演算部
112 画像処理部
601 マイクロレンズ
602 遮光膜
603 光電変換部
902 A像
903 B像
904 色情報を持ったA像
905 色情報を持ったB像
910 スプリットイメージ
1101 A像中の画素
1102 本画像中の画素
1201,1202 カラースプリットイメージ
1203 白黒のスプリットイメージ

Claims (6)

  1. 撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換して第1の画像及び第2の画像を生成するとともに、前記瞳分割手段によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する画像取得手段と、
    前記第3の画像を表示する表示手段と、
    前記第3の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有し、
    該スプリットイメージ生成手段は、前記第1及び第2の画像を用いて前記スプリットイメージを生成し、前記第3の画像から抽出した色情報を前記スプリットイメージに付加することを特徴とする撮像装置。
  2. 前記スプリットイメージ生成手段は、前記第1及び第2の画像の位相差に基づいて前記第3の画像から前記色情報を抽出することを特徴とする請求項1に記載の撮像装置。
  3. 前記スプリットイメージ生成手段は、前記第1及び第2の画像の位相差に応じて前記スプリットイメージの色濃度を変更することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記スプリットイメージ生成手段は、前記第1及び第2の画像の位相差が所定値より大きい場合は前記スプリットイメージに前記色情報を付加せず、前記位相差が前記所定値より小さい場合は前記スプリットイメージに前記色情報を付加することを特徴とする請求項1から3のいずれか1つに記載の撮像装置。
  5. 前記画像取得手段は、それぞれ前記第1の被写体像及び前記第2の被写体像を光電変換する第1の画素群及び第2の画素群と、前記第3の被写体像を光電変換する第3の画素群を含む単一の撮像素子を用いて構成されていることを特徴とする請求項1からのいずれか1つに記載の撮像装置。
  6. 表示手段を有する撮像装置の画像表示方法であって、
    撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換して第1の画像及び第2の画像を生成するとともに、前記瞳分割手段によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する第1のステップと、
    前記第1及び第2の画像を用いて、前記表示手段に表示される前記第3の画像内に表示するスプリットイメージを生成する第2のステップとを有し、
    前記第2のステップにおいて、前記第3の画像から抽出した色情報を前記スプリットイメージに付加することを特徴とする画像表示方法。
JP2007322648A 2007-12-13 2007-12-13 撮像装置 Expired - Fee Related JP5043626B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007322648A JP5043626B2 (ja) 2007-12-13 2007-12-13 撮像装置
US12/328,559 US8085337B2 (en) 2007-12-13 2008-12-04 Image-pickup apparatus
US13/336,766 US8531584B2 (en) 2007-12-13 2011-12-23 Image-pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007322648A JP5043626B2 (ja) 2007-12-13 2007-12-13 撮像装置

Publications (3)

Publication Number Publication Date
JP2009147665A JP2009147665A (ja) 2009-07-02
JP2009147665A5 JP2009147665A5 (ja) 2011-02-03
JP5043626B2 true JP5043626B2 (ja) 2012-10-10

Family

ID=40752682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007322648A Expired - Fee Related JP5043626B2 (ja) 2007-12-13 2007-12-13 撮像装置

Country Status (2)

Country Link
US (2) US8085337B2 (ja)
JP (1) JP5043626B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361691B2 (ja) 2018-07-02 2023-10-16 古野電気株式会社 速度制御装置、自動航行システム及び速度制御方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP2009175310A (ja) * 2008-01-23 2009-08-06 Nikon Corp 焦点検出装置、焦点検出方法およびカメラ
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
DE202011110769U1 (de) 2010-06-11 2016-04-07 Sanofi-Aventis Deutschland Gmbh Antriebsanordnung, Antriebskomponente und Arzneimittelabgabevorrichtung
JP5254291B2 (ja) * 2010-09-07 2013-08-07 株式会社東芝 固体撮像装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP5829018B2 (ja) * 2010-11-22 2015-12-09 オリンパス株式会社 撮像装置
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
CN103503447B (zh) * 2011-05-06 2016-05-18 株式会社尼康 拍摄装置及拍摄装置的控制方法
KR101777351B1 (ko) 2011-05-16 2017-09-11 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
CN104412586B (zh) * 2012-04-25 2016-12-28 株式会社尼康 图像处理装置、摄像装置
JP5747124B2 (ja) 2012-06-01 2015-07-08 富士フイルム株式会社 撮像装置
WO2013183406A1 (ja) * 2012-06-07 2013-12-12 富士フイルム株式会社 撮像装置及び画像表示方法
CN104662886B (zh) 2012-09-19 2017-11-10 富士胶片株式会社 摄像装置及对焦确认显示方法
CN104737527B (zh) * 2012-09-19 2018-06-22 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP5931206B2 (ja) * 2012-09-19 2016-06-08 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
WO2014045740A1 (ja) 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5753321B2 (ja) 2012-09-19 2015-07-22 富士フイルム株式会社 撮像装置及び合焦確認表示方法
CN104641624B (zh) * 2012-09-19 2017-11-28 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2014045741A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014046037A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及びその制御方法
CN104838313B (zh) 2012-09-19 2018-01-05 富士胶片株式会社 摄像装置及其控制方法
JP5753323B2 (ja) 2012-10-05 2015-07-22 富士フイルム株式会社 撮像装置及び画像表示方法
CN104769932B (zh) * 2012-11-05 2018-01-23 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN104755981B (zh) * 2012-11-14 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2014097734A1 (ja) 2012-12-19 2014-06-26 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014106916A1 (ja) * 2013-01-04 2014-07-10 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5901801B2 (ja) 2013-01-04 2016-04-13 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5889441B2 (ja) 2013-01-04 2016-03-22 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR20140091959A (ko) * 2013-01-14 2014-07-23 삼성전자주식회사 초점상태 표시장치
CN105075235B (zh) 2013-03-27 2018-07-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN105051600B (zh) 2013-03-29 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6033454B2 (ja) * 2013-09-27 2016-11-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6158340B2 (ja) 2013-09-30 2017-07-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5972485B2 (ja) * 2014-01-27 2016-08-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6529312B2 (ja) * 2015-04-03 2019-06-12 キヤノン株式会社 表示制御装置及びその制御方法
US10491828B2 (en) 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
JP6335396B2 (ja) 2015-09-30 2018-05-30 富士フイルム株式会社 撮影装置及びその制御方法
WO2017057509A1 (ja) 2015-09-30 2017-04-06 富士フイルム株式会社 撮影装置及びその制御方法
WO2018168551A1 (ja) 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5950671A (ja) * 1982-09-16 1984-03-23 Olympus Optical Co Ltd テレビジヨンカメラ等の焦点情報表示方法
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP2001309210A (ja) * 2000-04-27 2001-11-02 Minolta Co Ltd デジタルカメラ
JP2006154506A (ja) 2004-11-30 2006-06-15 Nikon Corp 光学素子および焦点検出装置
JP4807131B2 (ja) * 2006-04-05 2011-11-02 株式会社ニコン 撮像素子および撮像装置
JP2007324698A (ja) * 2006-05-30 2007-12-13 Fujitsu Ten Ltd テレビジョン信号処理装置
JP2008275890A (ja) * 2007-04-27 2008-11-13 Olympus Imaging Corp レンズ交換式デジタルカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361691B2 (ja) 2018-07-02 2023-10-16 古野電気株式会社 速度制御装置、自動航行システム及び速度制御方法

Also Published As

Publication number Publication date
US8085337B2 (en) 2011-12-27
US20120113314A1 (en) 2012-05-10
US8531584B2 (en) 2013-09-10
US20090153693A1 (en) 2009-06-18
JP2009147665A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
JP5043626B2 (ja) 撮像装置
JP5970816B2 (ja) 画像処理装置、撮像素子、および、撮像装置
JP5517514B2 (ja) 撮像装置及びその制御方法
US9674408B2 (en) Image pickup apparatus that utilizes a refocusable range, image processing method, and recording medium
JP5294794B2 (ja) 撮像装置及び画像表示方法
JP5767755B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5368350B2 (ja) 立体撮像装置
JP6045214B2 (ja) 焦点調節装置及びその制御方法
JP2008209762A (ja) 結像光学系の光電的検出装置、焦点検出装置および撮像装置
JP2010113073A (ja) 撮像装置
JP2011022386A5 (ja)
WO2013146506A1 (ja) 撮像装置及び撮像方法
JP4823167B2 (ja) 撮像装置
JP2011197277A (ja) 立体撮像装置
JP2010191883A (ja) 撮像装置および画像処理プログラム
JP5043730B2 (ja) 撮像装置、その制御方法、画像処理装置及び画像処理方法
JP4995002B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP5628914B2 (ja) 撮像装置および撮像方法
JP5832353B2 (ja) 撮像装置
JP2011028177A (ja) 撮像装置
JP2013113857A (ja) 撮像装置及びその制御方法
JP2009044638A (ja) 撮像装置
JP2012083584A (ja) 撮像装置
JP2018005008A (ja) カメラボディおよび交換レンズ
JP5407567B2 (ja) 撮像装置および撮像素子ユニット

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R151 Written notification of patent or utility model registration

Ref document number: 5043626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees