JP5747124B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5747124B2
JP5747124B2 JP2014518379A JP2014518379A JP5747124B2 JP 5747124 B2 JP5747124 B2 JP 5747124B2 JP 2014518379 A JP2014518379 A JP 2014518379A JP 2014518379 A JP2014518379 A JP 2014518379A JP 5747124 B2 JP5747124 B2 JP 5747124B2
Authority
JP
Japan
Prior art keywords
pixel
phase difference
interpolation
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014518379A
Other languages
English (en)
Other versions
JPWO2013179899A1 (ja
Inventor
智行 河合
智行 河合
克俊 井澤
克俊 井澤
林　淳司
林　　淳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014518379A priority Critical patent/JP5747124B2/ja
Application granted granted Critical
Publication of JP5747124B2 publication Critical patent/JP5747124B2/ja
Publication of JPWO2013179899A1 publication Critical patent/JPWO2013179899A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、マニュアルフォーカス用のスプリットイメージを表示する撮像装置に関する。
デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが良く知られている。
マニュアルフォーカスモードを有するデジタルカメラとしては、撮影した被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法や、目視によるコントラストの確認を行う方法を採用しているものが良く知られている。
ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ等の表示装置の解像度以上のコントラスト表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。
そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、瞳分割された被写体光をそれぞれ撮像してなる被写体像を分割表示したものであり、各被写体像の位相差を表すものである。上下に分割されたスプリットイメージはピントがずれているとスプリットイメージの上下画像が左右にずれ、ピントが合った状態だと上下画像の左右のずれがなくなる。操作者は、スプリットイメージの上下画像のずれがなくなるように、マニュアルフォーカスリングを操作してピントを合わせる。
特許文献１に記載のデジタルカメラでは、絞りを光軸と垂直方向に移動させることで２つの測距位置でそれぞれ被写体画像の撮影を行い、これら２つの被写体画像を用いてスプリットイメージをライブビュー画像内に表示している。
特許文献２に記載のデジタルカメラでは、被写体像の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、このずれ量に応じて左右相反する方向にずらしたスプリットイメージをライブビュー画像内に表示している。
特許文献３及び４に記載のデジタルカメラは、撮影用の通常画素と、瞳分割された被写体光を受光する焦点検出用の２種類の位相差画素とが撮像面上に複数配列されてなる撮像素子を備えている。このデジタルカメラでは、通常画素からの出力信号に基づき撮影画像を生成してライブビュー画像表示を行うとともに、２種類の位相差画素のそれぞれからの出力に基づきスプリットイメージを生成してライブビュー画像内に表示している。
特開２００４−４０７４０号公報 特開２００１−３０９２１０号公報 特開２００９−１４７６６５号公報 特開２００９−１６３２２０号公報
しかしながら、特許文献１記載のデジタルカメラでは、絞りを移動させる機械的な構成が必要になるので、この構成を収納するスペースの確保、及び部品点数の増加などの問題が生じる。また、特許文献２記載のデジタルカメラでは、被写体光を瞳分割して撮像する構成を有さないので、正確で破綻のないスプリットイメージの実現が困難である。
特許文献３及び４記載のデジタルカメラでは、２種類の位相差画素を用いてスプリットイメージを生成しているが、２種類の位相差画素の一方と他方とがそれぞれ撮像面上の異なる垂直列に配置されている（特許文献３の図２、特許文献４の図２参照）。このように２種類の位相差画素の位置が水平方向にずれている場合には、このずれの影響によりスプリットイメージによる位相差表示を正確に行うことができず、上下画像の左右のずれがなくなった状態でもピントが僅かにずれるおそれがある。
本発明の目的は、スプリットイメージによる位相差表示を正確に行うことができる撮像装置を提供することにある。
本発明の目的を達成するための撮像装置は、フォーカスレンズを含む撮影光学系と、フォーカス操作を受けて、フォーカスレンズを撮影光学系の光軸方向に移動させるレンズ移動機構と、光電変換素子を含む複数の画素が第１の方向に配列されてなる複数の第１画素列と、複数の画素が第１の方向とは垂直な第２の方向に配列されてなる複数の第２画素列と含むマトリクス状の画素配列が形成された撮像面を有する撮像素子であって、複数の画素は、撮影光学系の互いに異なる領域をそれぞれ通過した各被写体光を瞳分割により選択的に受光する第１位相差画素及び第２位相差画素と、各被写体光をそれぞれ受光する通常画素とを含んでおり、第１の方向は、撮影光学系により撮像面上にそれぞれ結像された各被写体光の像のずれ方向に対応する位相差方向に平行であり、第２画素列には、第１及び第２位相差画素がそれぞれ複数設けられている撮像素子と、各第１位相差画素の出力に基づき、第２画素列内の第１位相差画素間に位置する第１補間画素の出力を補間処理により求める第１補間手段と、各第２位相差画素の出力に基づき、第２画素列内の第２位相差画素間に位置する第２補間画素の出力を補間処理により求める第２補間手段と、通常画素の出力から撮影画像を生成する撮影画像生成手段と、第１位相差画素及び第１補間画素の出力により構成される第１画像と、第２位相差画素及び第２補間画素の出力により構成される第２画像とを用いてスプリットイメージを生成するスプリットイメージ生成手段と、撮影画像生成手段により生成された撮影画像を表示する表示手段であって、撮影画像の表示領域内にスプリットイメージ生成手段により生成されたスプリットイメージを表示する表示手段と、を備える。
本発明に係る撮像装置によれば、複数の同一垂直列内に設けられた複数の第１位相差画素及び第２位相差画素の出力を用いてスプリットイメージを生成することができる。
第１補間手段は、第１位相差画素及び第１補間画素が第２の方向に沿って等間隔で配列されるように第１位相差画素間に第１補間画素を設定して、第１補間画素の出力を求め、第２補間手段は、第２位相差画素及び第２補間画素が第２の方向に沿って等間隔で配列されるように第２位相差画素間に第２補間画素を設定して、第２補間画素の出力を求めることが好ましい。これにより、スプリットイメージが生成し易くなるので、スプリットイメージの画質が向上し、フォーカス調整が行い易くなる。
第１補間手段は、第２画素列内の２つの第１位相差画素の出力及び位置座標と、第１補間画素の位置座標とに基づき、線形補間法による内挿によって第１補間画素の出力を求め、第２補間手段は、第２画素列内の２つの第２位相差画素の出力及び位置座標と、第２補間画素の位置座標とに基づき、線形補間法による内挿によって第２補間画素の出力を求めることが好ましい。これにより、各補間画素の出力が最適になるので、スプリットイメージの画質が向上し、フォーカス調整が行い易くなる。
撮像素子は、複数の画素上に所定のカラーフィルタ配列で配列されてなる複数色のカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとを含む複数色のカラーフィルタを有し、第１及び第２位相差画素上には第１のフィルタが設けられており、スプリットイメージ生成手段は、第１位相差画素及び第１補間画素の出力の輝度成分を基に生成される白黒の第１画像と、第２位相差画素及び第２補間画素の出力の輝度成分を基に生成される白黒の第２画像とを用いてスプリットイメージを生成することが好ましい。１色の位相差画素によりスプリットイメージを生成することができるので、撮影画像の生成に用いる通常画素を増やすことができる。
各通常画素上には、第１及び第２のフィルタが配列されており、撮影画像生成手段は、通常画素の出力に基づきフルカラーの撮影画像を生成することが好ましい。フルカラーの撮影画像中に白黒のスプリットイメージが表示されるので、ユーザにスプリットイメージが分かり易くなる。
通常画素の出力と、第１及び第２位相差画素のそれぞれの出力とを比較する比較手段と、比較手段の比較結果に基づき、第１及び第２位相差画素の出力にそれぞれゲインをかけて、第１及び第２位相差画素の出力と通常画素の出力とを同じにするゲイン調整手段と、を備えることが好ましい。スプリットイメージと撮影画像との間に輝度差が無くなるため、違和感のない良質な画像が得られる。
第１及び第２位相差画素は、複数の第２画素列内においてそれぞれ間隔をあけて交互に設けられていることが好ましい。
第１及び第２位相差画素は、複数の第１画素列内においてそれぞれ間隔をあけて交互に設けられていることが好ましい。
スプリットイメージは、第１画像と第２画像とを垂直方向に並べて配置してなる画像であることが好ましい。
撮影光学系の互いに異なる領域は、垂直方向に平行な第１直線に対して対称な第１領域及び第２領域であり、第１位相差画素は、第１領域及び第２領域の一方を透過した被写体光を選択的に受光し、第２位相差画素は、第１領域及び第２領域の他方を透過した被写体光を選択的に受光することが好ましい。非合焦時に水平方向、すなわち、左右方向にずれが生じるような第１及び第２画像が生成される。
複数の第１画素列にそれぞれ複数設けられた第３位相差画素であって、撮影光学系の第１の方向に平行な第２直線に対して対称な第３領域及び第４領域の一方を透過した被写体光を選択的に受光する第３位相差画素と、複数の第１画素列にそれぞれ複数設けられた第４位相差画素であって、第３領域及び第４領域の他方を透過した被写体光を選択的に受光する第４位相差画素と、撮影光学系の光軸を中心とする撮像素子の回転を検出する回転検出手段と、を備え、第１補間手段は、回転検出手段の検出結果に基づき、第１画素列が第２の方向に平行になったときに、各第３位相差画素の出力に基づき、第１画素列内の第３位相差画素間に位置する第３補間画素の出力を補間処理により求め、第２補間手段は、回転検出手段の検出結果に基づき、第１画素列が第２の方向に平行になったときに、各第４位相差画素の出力に基づき、第１画素列内の第４位相差画素間に位置する第４補間画素の出力を補間処理により求め、スプリットイメージ生成手段は、回転検出手段の検出結果に基づき、第１画素列が第２の方向に平行になったときに、第３位相差画素及び第３補間画素の出力により構成される第３画像と、第４位相差画素及び第４補間画素の出力により構成される第４画像とを用いてスプリットイメージを生成することが好ましい。これにより、撮像装置により縦撮りを行ったときでも通常撮影時との同様のスプリットイメージが得られる。
第１の色は緑色（Ｇ）であり、第２の色の各色は赤色（Ｒ）及び青色（Ｂ）であることが好ましい。
本発明の撮像装置は、撮像素子の複数の第２画素列内に第１及び第２位相差画素それぞれ複数設けて、各第２画素列内で第１位相差画素間に位置する第１補間画素の出力と、第２位相差画素間に位置する第２補間画素の出力とを補間処理により求めて、各第２画素列内の各位相差画素及び各補間画素の出力によりスプリットイメージを生成するので、スプリットイメージによる位相差表示を従来よりも正確に行うことができる。その結果、従来よりも高精度にマニュアルフォーカス調整を行うことができる。また、補間処理により第１及び第２補間画素の出力を求めることで、撮像素子に設ける第１及び第２位相差画素の数を減らすことができる。これにより、撮影画像の生成に用いる通常画素を増やすことができる。
第１実施形態のデジタルカメラの正面斜視図である。 デジタルカメラの背面斜視図である。 デジタルカメラの電気的構成を示すブロック図である。 カラー撮像素子の撮像面の正面図である。 カラー撮像素子の断面図である。 画像処理回路の電気的構成を示すブロック図である。 第１位相差画素の補間処理を説明するための説明図である。 第２位相差画素の補間処理を説明するための説明図である。 フォーカスレンズが合焦位置にセットされているときのスプリットイメージデータの概略図である。 フォーカスレンズが合焦位置にセットされていないときのスプリットイメージデータの概略図である。 デジタルカメラの撮影処理の流れを示すフローチャートである。 フォーカスレンズが合焦位置にセットされていないときのライブビュー画像の概略図である。 フォーカスレンズが合焦位置にセットされているときのライブビュー画像の概略図である。 第２実施形態のデジタルカメラの画素補間処理を説明するための説明図である。 第３実施形態のデジタルカメラの電気的構成を示すブロック図である。 第３実施形態におけるスプリットイメージ生成処理の流れを示すフローチャートである。 第４実施形態のデジタルカメラのカラー撮像素子の撮像面における、第１及び第２位相差画素の配列を説明するための説明図である。 第１位相差画素の補間処理を説明するための説明図である。 第２位相差画素の補間処理を説明するための説明図である。 第５実施形態のデジタルカメラのカラー撮像素子の撮像面の正面図である。 第１位相差画素の補間処理を説明するための説明図である。 第２位相差画素の補間処理を説明するための説明図である。 第６実施形態のデジタルカメラのカラー撮像素子の撮像面の正面図である。 撮影光学系の左領域、右領域、上領域、下領域を説明するための説明図である。 第６実施形態のデジタルカメラの電気的構成を示すブロック図である。 縦撮り時における第３位相差画素の補間処理を説明するための説明図である。 縦撮り時における第３位相差画素の補間処理を説明するための説明図である。 スマートフォンの斜視図である。 スマートフォンの電気的構成を示すブロック図である。 第１画像及び第２画像を奇数ラインと偶数ラインとに分けて交互に並べて表示させてなる他実施形態のスプリットイメージの説明図である。 水平方向に対して傾いた斜めの分割線により分割されている他実施形態のスプリットイメージの概略図である。 市松模様状に形成された他実施形態のスプリットイメージの概略図である。 市松模様状に形成された他実施形態のスプリットイメージの概略図である。
［第１実施形態のデジタルカメラの全体構成］
図１に示すように、本発明の撮像装置に相当するデジタルカメラ２のカメラ本体２ａの前面には、撮像光学系などを含んで構成されるレンズ鏡筒３、ストロボ発光部５などが設けられている。カメラ本体２ａの上面には、シャッタボタン６、電源スイッチ７などが設けられている。レンズ鏡筒３の外周面には、マニュアルフォーカス（以下、単にＭＦという）操作に用いられるフォーカスリング（レンズ移動機構）３ａが回転自在に取り付けられている。
図２に示すように、カメラ本体２ａの背面には表示部８、操作部９が設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時にはメモリカード１０に記録されている画像データに基づき、表示部８に画像が再生表示される。
操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮影画像を得る撮影モード、撮影画像を再生表示する再生モードなどを有する。また、撮影モードには、オートフォーカス（以下、単にＡＦという）を行うＡＦモード、及びＭＦ操作を行うＭＦモードがある。
十字キーや実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。
カメラ本体２ａの底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。
図３に示すように、デジタルカメラ２のＣＰＵ１１は、操作部９からの制御信号に基づき、メモリ１３から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。なお、メモリ１３のＲＡＭ領域は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
レンズ鏡筒３には、ズームレンズ１５及びフォーカスレンズ１６を含む撮影光学系１７、メカシャッタ１８などが組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、撮影光学系１７の光軸Ｏ１に沿って前後移動される。ズーム機構１９及びフォーカス機構２０は、ギアやモータなどで構成されている。また、フォーカス機構２０は、図示しないギアを介してフォーカスリング３ａと接続している。このため、フォーカス機構２０は、ＭＦモード時にフォーカスリング３ａが回転操作（フォーカス操作）されることに伴い、フォーカスレンズ１６を光軸Ｏ１の方向（以下、光軸方向という）に沿って移動させる。
メカシャッタ１８は、カラー撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることによって、撮影光学系１７からカラー撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、カラー撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２５を介してＣＰＵ１１によって動作制御される。
メカシャッタ１８の背後には、カラー撮像素子２３が配置されている。カラー撮像素子２３は、撮影光学系１７等を通過した被写体光を電気的な出力信号に変換して出力する。なお、カラー撮像素子２３は、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの各種類の撮像素子であってもよい。撮像素子ドライバ２７は、ＣＰＵ１１の制御の下でカラー撮像素子２３の駆動を制御する。
画像処理回路２９は、カラー撮像素子２３からの出力信号（出力）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して撮影画像データを生成する。また、画像処理回路２９は、ＭＦモード時には、撮影画像データの他にＭＦ操作用のスプリットイメージデータを生成する。撮影画像データやスプリットイメージデータは、メモリ１３のＶＲＡＭ（Video Random Access Memory）領域（ＶＲＡＭを別途設けても可）に一時的に格納される。ＶＲＡＭ領域は、連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、撮影画像データやスプリットイメージデータを逐次上書き格納する。
圧縮伸長処理回路３１は、シャッタボタン６が押下操作されたときに、ＶＲＡＭ領域に格納された撮影画像データに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ（Interface）３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する撮影画像データの記録及び読み出しなどを行う。
表示制御部３３は、撮影モード時にはＶＲＡＭ領域に格納された撮影画像データやスプリットイメージデータを読み出して表示部８へ逐次出力する。また、表示制御部３３は、再生モード時には圧縮伸長処理回路３１で伸長された撮影画像データを表示部８へ出力する。
＜カラー撮像素子の構成＞
図４に示すように、カラー撮像素子２３の撮像面２３ａ（図３参照）上には、赤（Ｒ）色のＲ画素３５と、緑（Ｇ）色のＧ画素３６と、青（Ｂ）色のＢ画素３７とがマトリックス状に配列されている。各色画素３５〜３７は、本発明の通常画素に相当するものであり、光電変換素子３９（図５参照）と、光電変換素子３９の上方に配置された３原色のいずれかのカラーフィルタ４０（図５参照）とを含んで構成されている。ここで「〜上」、「上方」とは、図６中の半導体基板４５からマイクロレンズ４９に向かう方向（図中上方向）を指す。
Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の各光電変換素子３９上には、それぞれＲ色，Ｇ色，Ｂ色のカラーフィルタ４０が設けられる。なお、Ｇ色のカラーフィルタ４０が本発明の第１のフィルタに相当し、Ｒ色及びＢ色のカラーフィルタ４０が本発明の第２のフィルタに相当する。
カラー撮像素子２３のカラーフィルタ配列（画素配列）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。
〔特徴（１）〕
カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。
このようにＲＧＢのカラーフィルタ４０が所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、カラー撮像素子２３から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴（２）〕
カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向（斜め右上及び斜め左下方向、斜め右下及び斜め左上方向）方向の各ライン内に１つ以上配置されている。
このようにＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での画素補間処理（同時化処理等）の再現精度を向上させることができる。
〔特徴（３）〕
基本配列パターンＰは、Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の画素数が、それぞれ８画素、２０画素、８画素となる。すなわち、ＲＧＢ画素３５〜３７の各画素数の比率は２：５：２であり、Ｇ画素３６の画素数の比率は他の色のＲ画素３５、Ｂ画素３７の各々の画素数の比率よりも大きくなる。
このようにＧ画素３６の画素数とＲ，Ｂ画素３５，３７の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素３６の画素数の比率を、Ｒ，Ｂ画素３５，３７の画素数の比率よりも大きくするようにしたため、画素補間処理（同時化処理等）時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴（４）〕
カラーフィルタ配列は、Ｇ色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ色及びＢ色のカラーフィルタ４０が、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。
Ｒ色及びＢ色のカラーフィルタ４０がそれぞれカラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
〔特徴（５）〕
カラーフィルタ配列は、Ｇ色のカラーフィルタ４０が設けられた２×２のＧ画素３６に対応する正方配列を含んでいる。このような２×２のＧ画素３６を取り出し、水平方向のＧ画素３６の画素値の差分絶対値、垂直方向のＧ画素３６の画素値の差分絶対値、及び斜め方向のＧ画素３６の画素値の差分絶対値を求めることで、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
すなわち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素３６の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周辺の画素から補間する補間処理（同時化処理等）に使用することができる。
〔特徴（６）〕
基本配列パターンＰは、その中心（４つのＧ色のカラーフィルタ４０の中心）に対して点対称になっている。また、基本配列パターンＰ内の４つの３×３のサブ配列も、それぞれ中心のＧ色のカラーフィルタ４０に対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
〔位相差画素〕
撮像面２３ａの一部の領域（例えば中央領域）上には、一部のＧ画素３６の代わりに、第１位相差画素３６ａ（図中「丸印中のＧ１」で表示）、第２位相差画素３６ｂ（図中「丸印中のＧ２」で表示）が設けられている。第１位相差画素３６ａ及び第２位相差画素３６ｂは、カラー撮像素子２３の画素配列における複数の垂直列（第２画素列）４２と複数の水平行（第１画素列）４３とにそれぞれ間隔をあけて交互に設けられている（図中では１つの垂直列４２、水平行４３に代表して符号を付している）。なお、本明細書では、カラー撮像素子２３の各垂直列及び各水平行のうち、位相差画素が設けられる垂直列、水平行にそれぞれ符号「４２」、「４３」を付している。
「複数の垂直列４２」は、水平方向（第１の方向）に沿って３画素ピッチ間隔で設けられている。また「複数の水平行４３」は、垂直方向（第２の方向）に沿って４画素ピッチ間隔、８画素ピッチ間隔、４画素ピッチ間隔、８画素ピッチ間隔、・・・で設けられている。
本実施形態では、第１位相差画素３６ａ及び第２位相差画素３６ｂが、各垂直列４２と各水平行４３とが交差する位置上において、それぞれ水平方向及び垂直方向に沿って交互に配置される。なお、同じ種類の位相差画素同士（第１位相差画素−第１位相差画素、第２位相差画素−第２位相差画素）の間隔は、垂直方向が１２画素ピッチとなり、水平方向が６画素ピッチとなる。
水平行４３の断面を示す図５において、半導体基板（ｓｕｂ）４５の表層には光電変換素子３９がマトリックス状に形成されている。なお、半導体基板４５には、図示は省略するが、各画素の駆動や信号出力に用いられる各種回路が設けられている。
半導体基板４５上には光透過性の絶縁膜４６が設けられている。絶縁膜４６上には遮光膜４７が設けられている。遮光膜４７は、通常開口４７ａと第１偏心開口４７ｂと第２偏心開口４７ｃとを有している。第１〜第２偏心開口４７ｂ，４７ｃは、通常開口４７ａよりも開口径が小さく形成されている。
通常開口４７ａは、ＲＧＢ画素３５〜３７の光電変換素子３９上に形成されている。また、通常開口４７ａの中心は光電変換素子３９の中心上に位置している。
第１偏心開口４７ｂは、第１位相差画素３６ａの光電変換素子３９上に形成されている。第１偏心開口４７ｂの中心は、その下方の光電変換素子３９の中心に対して図中右方向にずれている。これにより、第１位相差画素３６ａの光電変換素子３９の略左半分の領域（以下、単に左領域という）は遮光膜４７で覆われ、逆に略右半分の領域（以下、単に右領域という）の中央部分は露呈する。
第２偏心開口４７ｃは、第２位相差画素３６ｂの光電変換素子３９上に形成されている。第２偏心開口４７ｃの中心は、その下方の光電変換素子３９の中心に対して図中右方向にずれた位置に形成されている。これにより、第２位相差画素３６ｂの光電変換素子３９の右領域は遮光膜４７で覆われ、逆に左領域の中央部分は露呈する。
遮光膜４７上には、表面が平坦な光透過性の平坦化層４８が設けられている。平坦化層４８上には、Ｒ、Ｇ、Ｂの各色の画素３５〜３７にそれぞれ対応する位置にＲ、Ｇ、Ｂの各色のカラーフィルタ４０が設けられている。また、第１及び第２位相差画素３６ａ，３６ｂに対応する位置にはＧ色のカラーフィルタ４０が設けられている。
各色のカラーフィルタ４０上で、かつ光電変換素子３９の上方位置には、それぞれマイクロレンズ４９が設けられている。なお、カラーフィルタ４０とマイクロレンズ４９との間にも透光性の平坦層などの各種層が設けられていてもよい。
ＲＧＢ画素３５〜３７上のマイクロレンズ４９に図中左斜め方向から入射した被写体光５０Ｌは、マイクロレンズ４９により光電変換素子３９の右領域に集光される。逆に、マイクロレンズ４９に図中右斜め方向から入射した被写体光５０Ｒは、マイクロレンズ４９により光電変換素子３９の左領域に集光される。このため、ＲＧＢ画素３５〜３７は、被写体光５０Ｌ及び被写体光５０Ｒの両方に対して感度が高くなる。
第１位相差画素３６ａ上のマイクロレンズ４９に入射した被写体光５０Ｌは、マイクロレンズ４９により第１偏心開口４７ｂを通して光電変換素子３９の右領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。
第２位相差画素３６ｂ上のマイクロレンズ４９に入射した被写体光５０Ｒは、マイクロレンズ４９により第２偏心開口４７ｃを通して光電変換素子３９の左領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。従って、遮光膜４７が瞳分割を行う瞳分割部として機能する。なお、遮光膜４７（各偏心開口４７ｂ、４７ｃ）を瞳分割部として機能させる代わりに、マイクロレンズ４９を偏心させてもよい。
被写体光５０Ｌ，５０Ｒは、撮影光学系１７（ズームレンズ１５及びフォーカスレンズ１６）の左領域１７Ｌ、右領域１７Ｒをそれぞれ通過した被写体光である。なお、図面の煩雑化を防止するため両レンズ１５，１６は一体化して図示しており、撮影光学系１７とカラー撮像素子２３との大きさも実際とは異ならせている。
カラー撮像素子２３に入射した被写体光が遮光膜４７により瞳分割されることで、第１位相差画素３６ａは被写体光５０Ｌに対して感度が高くなり、逆に第２位相差画素３６ｂは被写体光５０Ｒに対して感度が高くなる。
＜画像処理回路の構成＞
図６に示すように、画像処理回路２９は、通常処理部（撮影画像生成手段）５２と、画素補間処理部（第１補間手段、第２補間手段）５３と、スプリットイメージ処理部（スプリットイメージ生成手段）５４とを有している。通常処理部５２は、撮影モード時にＲＧＢ画素３５〜３７からの出力信号（出力）に基づき、フルカラーの撮影画像データ５５を生成する。画素補間処理部５３及びスプリットイメージ処理部５４は、ＭＦモード時に作動する。
図７及び図８に示すように、画素補間処理部５３は、各垂直列４２内において第１位相差画素３６ａと第２位相差画素３６ｂとの補間処理を行う。図７では第１位相差画素３６ａ以外の画素の図示を省略している。また、図８では第２位相差画素３６ａ以外の画素の図示を省略している。
図７において、画素補間処理部５３は、各垂直列４２内の各第１位相差画素３６ａの出力に基づき、各垂直列４２内で図中の上下２つの第１位相差画素３６ａ間に１以上の第１補間画素５６ａ（図中「丸印中のｇ１」で表示）を仮想的に補間して、第１補間画素５６ａの出力を求める。具体的には、各垂直列４２内において第１位相差画素３６ａと第１補間画素５６ａとが垂直方向に等間隔（本実施形態では４画素ピッチ間隔）で配列されるように、２つの第１位相差画素３６ａ間に第１補間画素５６ａを補間する。
この際には、例えば図中の矢印で示すように、各第１補間画素５６ａの近傍に位置する第１位相差画素３６ａの出力に基づき、第１補間画素５６ａの出力が決定される。なお、上下２つの第１位相差画素３６ａの平均値を、これらの間に位置する第１補間画素５６ａの出力としてもよい。これにより、各第１位相差画素３６ａ及び各第１補間画素５６ａを含む第１画素群５７ａの出力が得られる。なお、図７では、例として、上下２つの第１位相差画素３６ａ間に２つの第１補間画素５６ａが示されているが、第１補間画素５６ａの数は１以上であればよい。
図８において、画素補間処理部５３は、各垂直列４２内の各第２位相差画素３６ｂの出力に基づき、各垂直列４２内で図中の上下２つの第２位相差画素３６ｂ間に１以上の第２補間画素５６ｂ（図中「丸印中のｇ２」で表示）を仮想的に補間して、第２補間画素５６ｂの出力を求める補間処理を行う。具体的には、各垂直列４２内において第２位相差画素３６ｂと第２補間画素５６ｂとが垂直方向に等間隔（本実施形態では４画素ピッチ間隔）で配列されるように、２つの第２位相差画素３６ｂ間に第２補間画素５６ｂを補間する。
第１補間画素５６ａの出力と同様、図中の矢印で示すように、各第２補間画素５６ｂの近傍に位置する第２位相差画素３６ｂの出力に基づき、第２補間画素５６ｂの出力が決定される。なお、２つの第２位相差画素３６ｂの平均値を、これらの間に位置する第２補間画素５６ｂの出力としてもよい。これにより、各第２位相差画素３６ｂ及び各第２補間画素５６ｂを含む第２画素群５７ｂの出力が得られる。なお、図８では、例として、上下２つの第２位相差画素３６ｂ間に２つの第２補間画素５６ｂが示されているが、第２補間画素５６ａの数は１以上であればよい。
図６に戻って、スプリットイメージ処理部５４は、撮像面２３ａの中央領域に位置する第１及び第２画素群５７ａ，５７ｂからの出力信号（出力）の輝度成分を基に、被写体の中央領域（撮影画像の中央領域）の白黒のスプリットイメージデータ６１を生成する。
図９に示すように、スプリットイメージ処理部５４は、第１画素群５７ａからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中上半分の領域をＬ視点側から見たときの白黒の第１画像データ６１Ｌを生成する。また、スプリットイメージ処理部５４は、第２画素群５７ｂからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中下半分の領域をＲ視点側から見たときの白黒の第２画像データ６１Ｒを生成する。これにより、第１画像データ６１Ｌと第２画像データ６１Ｒとを含む白黒のスプリットイメージデータ６１が得られる。第１及び第２画像データ６１Ｌ，６１Ｒは、スプリットイメージデータ６１内において水平方向に平行な分割線６３により分割されている。なお、図中ではスプリットイメージデータ６１のイメージを容易に把握できるように、スプリットイメージデータ６１を撮影画像データ５５に合成しているが、この合成は表示制御部３３にて行われる。
撮影画像データ５５及びスプリットイメージデータ６１は、メモリ１３のＶＲＡＭ領域に一時的に格納される。表示制御部３３は、メモリ１３から撮影画像データ５５及びスプリットイメージデータ６１を読み出して、撮影画像データ５５にスプリットイメージデータ６１を合成した後に表示部８へ出力する。これにより、撮影画像データ５５に基づくフルカラーの撮像画像の表示領域内に、スプリットイメージデータ６１に基づく白黒のスプリットイメージを表示したライブビュー画像が得られる。
第１画像データ６１Ｌと第２画像データ６１Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向［水平方向（第１の方向）］にシフトする。この際の第１及び第２画像データ６１Ｌ，６１Ｒ間のずれ量は、フォーカスレンズ１６の焦点のずれ量に対応している。すなわち、図中左右方向が、撮影光学系１７により撮像面２３ａ上にそれぞれ結像された各被写体光の像のずれ方向に対応する位相差方向となる。また、第１及び第２画像データ６１Ｌ，６１Ｒは、フォーカスレンズ１６が合焦しているときにずれ量がゼロ（ほぼゼロを含む）となる。
図１０に示すように、フォーカスレンズ１６の焦点がずれるほど、第１画像データ６１Ｌと第２画像データ６１Ｒとのずれ量も大きくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。なお、図中では焦点が合っていいない被写体を２点鎖線表示している。
＜その他の構成＞
なお、図示は省略するが、デジタルカメラ２にはオートフォーカス用のＡＦ検出回路などが設けられている。ＡＦ検出回路は、第１位相差画素３６ａの出力信号により構成される画像と、第２位相差画素３６ｂの出力信号により構成される画像とを解析して、両画像のずれ方向及び両画像間のずれ量を検知することで撮影光学系１７のフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＣＰＵ１１はレンズドライバ２５を制御して、フォーカス機構２０によりフォーカスレンズ１６を駆動することで焦点調節を行う。なお、このような位相差方式のＡＦ処理については公知であるので、ここでは具体的な説明は省略する。
また、図示は省略するが、デジタルカメラ２にはＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２５を介してメカシャッタ１８を駆動することでＡＥ処理を実行する。
＜第１実施形態のデジタルカメラの作用＞
次に、図１１を用いて上記構成のデジタルカメラ２の作用について説明を行う。操作部９にてデジタルカメラ２が撮影モード（ステップＳ１）のＡＦモードまたはＭＦモード（ステップＳ２）に設定されると、ＣＰＵ１１はレンズドライバ２５を介してメカシャッタ１８の動作を制御するとともに、撮像素子ドライバ２７を介してカラー撮像素子２３を駆動する（ステップＳ３）。なお、ＡＦモードが設定された場合のデジタルカメラ２の動作は公知であるのでここでは具体的な説明は省略する。
ＭＦモード（ステップＳ２）が設定されると、カラー撮像素子２３のＲＧＢ画素３５〜３７からの出力信号は、画像処理回路２９の通常処理部５２に入力される（ステップＳ４）。通常処理部５２は、ＲＧＢ画素３５〜３７からの出力信号に基づきフルカラーの撮影画像データ５５を生成して、メモリ１３のＶＲＡＭ領域に格納する（ステップＳ５）。
一方、第１及び第２位相差画素３６ａ，３６ｂからの出力信号は、画素補間処理部５３に入力される。画素補間処理部５３は、図７に示したように、第１位相差画素３６ａの出力信号に基づき、各垂直列４２内の上下２つの第１位相差画素３６ａ間の第１補間画素５６ａの出力信号を求める。また、画素補間処理部５３は、図８に示したように、第２位相差画素３６ｂの出力信号に基づき、各垂直列４２内の上下２つの第２位相差画素３６ｂ間の第２補間画素５６ｂの出力信号を求める。これにより、第１画素群５７ａの出力信号と第２画素群５７ｂの出力信号とが得られる（ステップＳ６）。第１及び第２画素群５７ａ，５７ｂの出力信号は、スプリットイメージ処理部５４に入力される（ステップＳ７）。
スプリットイメージ処理部５４は、第１画素群５７ａからの出力信号の輝度成分に基づき第１画像データ６１Ｌを生成し、第２画素群５７ｂからの出力信号の輝度成分に基づき第２画像データ６１Ｒを生成する。これにより、白黒の第１画像データ６１Ｌと白黒の第２画像データ６１Ｒとを含むスプリットイメージデータ６１が生成される（ステップＳ８）。スプリットイメージデータ６１は、メモリ１３のＶＲＡＭ領域に格納される。
表示制御部３３は、メモリ１３から撮影画像データ５５及びスプリットイメージデータ６１を読み出して、撮影画像データ５５とスプリットイメージデータ６１とを合成した後に表示部８へ出力する。これにより、図１２に示すように、撮影画像データ５５に基づくフルカラーの撮影画像６５内に、スプリットイメージデータ６１に基づく白黒のスプリットイメージ６６を含むライブビュー画像６７が表示部８に表示される（ステップＳ９）。
スプリットイメージ６６の第１画像６６Ｌと第２画像６６Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトするので、ユーザは、フォーカスリング３ａが回転操作してフォーカスレンズ１６を光軸方向に沿って移動させる。フォーカスレンズ１６が被写体に合焦する合焦位置に近づくのに伴って、第１画像６６Ｌと第２画像６６Ｒとのずれ量が次第に小さくなる。これにより、ユーザはライブビュー画像６７を確認しながらフォーカス調整を行うことができる。
図１３に示すように、フォーカスレンズ１６が合焦位置にセットされると、第１画像６６Ｌと第２画像６６Ｒとのずれ量がゼロとなる。これにより、フォーカスレンズ１６が被写体に合焦して、フォーカス調整が完了する（ステップＳ１０）。以下、シャッタボタン６が押下されるまで、上記処理が繰り返し実行される。
シャッタボタン６が押下されると、通常処理部５２にて１フレーム分の撮影画像データ５５が生成されてメモリ１３のＶＲＡＭ領域に一時的に格納される。この撮影画像データ５５は、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ１１）。以下、ＭＦモードが終了するまで上述の処理が繰り返し実行される。
＜デジタルカメラの作用効果＞
本実施形態では、カラー撮像素子２３の各垂直列４２内に各第１及び第２位相差画素３６ａ，３６ｂを設けて、各垂直列４２内でそれぞれ第１及び第２補間画素５６ａ，５６ｂを仮想的に補間して得られた第１及び第２画素群５７ａ，５７ｂの出力信号に基づきスプリットイメージデータ６１を生成している。すなわち、各同一垂直列４２内の各位相差画素３６ａ，３６ｂ及び各補間画素５６ａ，５６ｂの出力によりスプリットイメージデータ６１を生成している。これにより、互いに対応する第１及び第２位相差画素が各同一垂直列内に設けられていない従来のもの（特許文献３の図２、特許文献４の図２参照）よりも、スプリットイメージ６６（第１画像６６Ｌと第２画像６６Ｒ）による位相差表示を正確に行うことができる。その結果、従来よりも高精度にマニュアルフォーカス調整を行うことができる。
また、第１及び第２補間画素５６ａ，５６ｂを仮想的に補間することで、撮像面に設ける第１及び第２位相差画素３６ａ，３６ｂの数を減らすことができる。これにより、撮影画像６５の生成に用いるＲＧＢ画素３５〜３７を増やすことができる。
また、各垂直列４２内において、第１画素群５７ａ及び第２画素群５７ｂのそれぞれの各画素が垂直方向に等間隔で配列されるように、第１及び第２補間画素５６ａ，５６ｂを補間しているので、スプリットイメージ６６のジャギーを低減することができる。さらに、第１画素群５７ａ及び第２画素群５７ｂの各画素が垂直方向に等間隔で配列されることで、スプリットイメージデータ６１の生成が行い易くなるので、よりスプリットイメージ６６の画質が向上し、フォーカス調整が行い易くなる。
また、フルカラーの撮影画像６５（ライブビュー画像６７）中でスプリットイメージ６６を白黒画像で表示することで、ユーザにスプリットイメージ６６を分かり易くすることができる。
［第２実施形態のデジタルカメラの全体構成］
次に、図１４を用いて本発明の第２実施形態のデジタルカメラについて説明を行う。上記第１実施形態のデジタルカメラ２の画素補間処理部５３では、第１及び第２補間画素５６ａ，５６ｂの出力の決定方法について特に限定はしてないが、第２実施形態のデジタルカメラでは、線形補間法による内挿によって第１及び第２補間画素５６ａ，５６ｂの出力を求める。
なお、第２実施形態のデジタルカメラは、第１の実施形態のデジタルカメラ２と基本的には同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
画素補間処理部５３は、第１位相差画素３６ａの出力及び位置座標と、第１補間画素５６ａの位置座標とに基づき、第１補間画素５６ａの出力を決定する。具体的には、これらの出力や位置座標に基づき、上下２つの第１位相差画素３６ａ間に位置する第１補間画素５６ａの出力が、上下２つの第１位相差画素３６ａの出力を結ぶ線分上の値となるように、第１補間画素５６ａの出力を決定する。なお、図示は省略するが、第２補間画素５６ｂの出力も同様に決定される。
このように、線形補間法による内挿によって第１及び第２補間画素５６ａ，５６ｂの出力を求めることにより、第１及び第２補間画素５６ａ，５６ｂの出力が最適になる。その結果、スプリットイメージ６６の画質が向上するので、ＭＦ調整が行い易くなる。
［第３実施形態のデジタルカメラの構成］
次に、図１５を用いて本発明の第３実施形態のデジタルカメラ７０について説明を行う。上記第１実施形態のデジタルカメラ２では、瞳分割により第１及び第２位相差画素３６ａ，３６ｂの感度がＲＧＢ画素３５〜３７の感度よりも低くなる。このため、第３実施形態のデジタルカメラ７０では、第１及び第２位相差画素３６ａ，３６ｂの出力のゲイン調整を行う。
なお、デジタルカメラ７０は、第１実施形態とは異なる画像処理回路７１を有している点を除けば、第１の実施形態のデジタルカメラ２と基本的には同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
画像処理回路７１は、上述の通常処理部５２、画素補間処理部５３、及びスプリットイメージ処理部５４の他に、平均値算出部７３と、ゲイン算出部（比較手段）７４と、ゲイン調整部（ゲイン調整手段）７５とを有している。
平均値算出部７３は、各Ｇ画素３６の出力の平均値ＰＧａｖｅを算出して、この平均値ＰＧａｖｅをゲイン算出部７４に出力する。ゲイン算出部７４は、第１及び第２位相差画素３６ａ，３６ｂのそれぞれの出力の平均値ＰＧ１，ＰＧ２と、平均値ＰＧａｖｅとを比較して、第１及び第２位相差画素３６ａ，３６ｂの出力に掛けるゲインＧＡ１，ＧＡ２を決定する。具体的には下記式（１）、（２）に基づきゲインＧＡ１，ＧＡ２を決定して、ゲインＧＡ１，ＧＡ２をゲイン調整部７５に出力する。
ゲインＧＡ１＝ＰＧａｖｅ／ＰＧ１・・・（式１）
ゲインＧＡ２＝ＰＧａｖｅ／ＰＧ２・・・（式２）
ゲイン調整部７５は、第１及び第２位相差画素３６ａ，３６ｂの出力にそれぞれゲインＧＡ１，ＧＡ２をかけるゲイン調整を施した後、ゲイン調整後の第１及び第２位相差画素３６ａ，３６ｂの出力をスプリットイメージ処理部５４に出力する。
［第３実施形態のデジタルカメラの作用］
次に、図１６を用いて上記構成のデジタルカメラ７０の作用について説明を行う。なお、スプリットイメージデータ６１の生成処理以外は第１実施形態と同じであるので、ここでは説明を省略する。
カラー撮像素子２３が駆動されると（ステップＳ３）、ＲＧＢ画素３５〜３７及び第１及び第２位相差画素３６ａ，３６ｂからそれぞれ出力信号が出力される（ステップＳ１３）。平均値算出部７３は、ＲＧＢ画素３５〜３７から通常処理部５２に入力される出力信号のうち、Ｇ画素３６の出力信号を検出して平均値ＰＧａｖｅを算出する（ステップＳ１４）。この平均値ＰＧａｖｅはゲイン算出部７４に出力される。
また、ゲイン算出部７４は、第１及び第２位相差画素３６ａ，３６ｂから画素補間処理部５３に入力される出力信号を検出して平均値ＰＧ１，ＰＧ２を算出する（ステップＳ１５）。次いで、ゲイン算出部７４は、平均値ＰＧａｖｅと平均値ＰＧ１，ＰＧ２とに基づき、上述の式（１）、（２）を用いてゲインＧＡ１，ＧＡ２を決定する（ステップＳ１６）。ゲインＧＡ１，ＧＡ２はゲイン調整部７５に入力される。
ゲイン調整部７５は、第１及び第２位相差画素３６ａ，３６ｂの出力にそれぞれゲインＧＡ１，ＧＡ２を掛ける。このゲイン調整によって、感度の低い第１及び第２位相差画素３６ａ，３６ｂの出力がＧ画素３６の出力と同じ（ほぼ同じを含む）になる（ステップＳ１７）。ゲイン調整後の第１及び第２位相差画素３６ａ，３６ｂの出力は、画素補間処理部５３に入力される。以下、第１実施形態と同様にしてスプリットイメージデータ６１が生成される（ステップＳ８）。
第１及び第２位相差画素３６ａ，３６ｂの出力のゲイン調整を行うことで、ピクチャー・イン・ピクチャー表示で撮影画像６５の一部にスプリットイメージ６６を表示する際に、撮影画像６５とスプリットイメージ６６との間の輝度差が無くなる。その結果、違和感のない良質なライブビュー画像６７が表示される。
なお、上記第３実施形態では、Ｇ画素３６の出力と、第１及び第２位相差画素３６ａ，３６ｂの出力とに基づいてゲイン調整を行っているが、ＲＧＢ画素３５〜３７の輝度と、第１及び第２位相差画素３６ａ，３６ｂの輝度とに基づいてゲイン調整を行ってもよい。
［第４実施形態のデジタルカメラの構成］
次に、図１７を用いて本発明の第４実施形態のデジタルカメラについて説明を行う。上記第１実施形態のデジタルカメラ２の画素補間処理部５３は、上下２つの第１位相差画素３６ａ間及び第２位相差画素３６ｂ間にそれぞれ第１補間画素５６ａ、第２補間画素５６ｂを仮想的に補間して、第１補間画素５６ａ、第２補間画素５６ｂの出力を求めている。これに対して、第４実施形態のデジタルカメラは、上下２つの第１補間画素５６ａ間と上下２つの第２補間画素５６ｂ間とにそれぞれ補間画素を仮想的に補間して、この補間画素の出力を求めている。
なお、第４実施形態のデジタルカメラは、撮像面２３ａの画素配列の一部が第１実施形態と異なる点を除けば、第１の実施形態のデジタルカメラ２と基本的には同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
第４実施形態のカラー撮像素子２３は、第１及び第２位相差画素３６ａ，３６ｂが配置される各水平行４３が、垂直方向に沿って３画素ピッチ間隔、９画素ピッチ間隔、３画素ピッチ間隔、９画素ピッチ間隔、・・・で設けられている点を除けば第１実施形態のカラー撮像素子２３と基本的に同じ構成である。
図１８に示すように、第４実施形態の画素補間処理部５３は、第１実施形態と同様にして、上下２つの第１位相差画素３６ａ間に２以上の第１補間画素５６ａを仮想的に補間して、その第１補間画素５６ａの出力を求める（図中では、例として２つの第１補間画素５６ａを示す）。次いで、画像補間処理部５３は、各垂直列４２内の各第１補間画素５６ａの出力に基づき、各垂直列４２内で図中の上下２つの第１補間画素５６ａ間に第１’補間画素７８ａを仮想的に補間して、第１’補間画素７８ａの出力を求める。この場合にも、各垂直列４２内において第１位相差画素３６ａと第１補間画素５６ａと第１’補間画素７８ａとが垂直方向に等間隔（本実施形態では３画素ピッチ間隔）で配列されるように、第１補間画素５６ａ及び第１’補間画素７８ａを補間する。
第１’補間画素７８ａの出力は、近傍の第１補間画素５６ａの出力に基づき決定される。例えば、図中の矢印で示すように、上下２つの第１補間画素５６ａの出力の平均値を用いてもよい。これにより、各第１位相差画素３６ａと各第１補間画素５６ａと第１’補間画素７８ａとが正方格子状に配列されてなる第１画素群７９ａの出力が得られる。
また、図１９に示すように、画素補間処理部５３は、第１実施形態と同様にして、上下２つの第２位相差画素３６ｂ間に２以上の第２補間画素５６ｂを仮想的に補間して、その第２補間画素５６ｂの出力を求める（図中では、例として２つの第２補間画素５６ｂを示す）。次いで、画像補間処理部５３は、各垂直列４２内の各第２補間画素５６ａの出力に基づき、各垂直列４２内で図中の上下２つの第２補間画素５６ｂ間に第２’補間画素７８ｂを仮想的に補間して、第２’補間画素７８ｂの出力を求める。この場合にも、各垂直列４２内において第２位相差画素３６ｂと第２補間画素５６ｂと第２’補間画素７８ｂとが垂直方向に等間隔で配列されるように、第２補間画素５６ｂ及び第２’補間画素７８ｂを補間する。
第２’補間画素７８ｂの出力は、例えば図中の矢印で示すように、上下２つの第２補間画素５６ｂの出力の平均値を用いてもよい。これにより、各第２位相差画素３６ｂと各第２補間画素５６ｂと第２’補間画素７８ｂとが正方格子状に配列されてなる第２画素群７９ｂの出力が得られる。
以下、上記第１実施形態と同様にスプリットイメージデータ６１が生成される。各垂直列４２内に各補間画素５６ａ，５６ｂ，７８ａ，７８ｂを仮想的に補間することで、第１及び第２位相差画素３６ａ，３６ｂの数を減らすことができる。
さらに、各垂直列４２内において第１及び第２画素群７９ａ，７９ｂの各画素が垂直方向に等間隔で正方格子状に配列されるように、各補間画素５６ａ，５６ｂ，７８ａ，７８ｂを補間しているので、スプリットイメージのジャギーを低減することができる。また、スプリットイメージデータ６１の生成が行い易くなるので、よりスプリットイメージ６６の画質が向上し、フォーカス調整が行い易くなる。
［第５実施形態のデジタルカメラの構成］
次に、図２０を用いて本発明の第５実施形態のデジタルカメラについて説明を行う。上記第１実施形態のデジタルカメラ２では、撮像面２３ａにＧ色の第１及び第２位相差画素３６ａ，３６ｂのみを設けて白黒のスプリットイメージデータ６１を生成している。これに対して、第５実施形態のデジタルカメラではフルカラーのスプリットイメージデータを生成する。
なお、第５実施形態のデジタルカメラは、第１の実施形態のデジタルカメラ２と異なるカラー撮像素子８０を有する点を除けば、基本的には第１の実施形態と同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
カラー撮像素子８０の撮像面には、上述のＲＧＢ画素３５〜３７及びＧ色の第１及び第２位相差画素３６ａ，３６ｂの他に、Ｒ色の第１及び第２位相差画素８２ａ，８２ｂと、Ｂ色の第１及び第２位相差画素８３ａ，８３ｂとが配列されている。各位相差画素８２ａ，８２ｂ，８３ａ，８３ｂは、第１及び第２位相差画素３６ａ，３６ｂと同様に、複数の垂直列４２と複数の水平行４３とにそれぞれ間隔をあけて交互に設けられている。なお、第１位相差画素８２ａ，８３ａは、カラーフィルタ４０の色が異なる点を除けば第１位相差画素３６ａと同じ構造である。また、第２位相差画素８２ｂ，８３ｂは、カラーフィルタ４０の色が異なる点を除けば第２位相差画素３６ｂと同じ構造である。
図２１に示すように、第５実施形態の画素補間処理部５３は、第１実施形態と同様に、各垂直列４２内で図中の上下２つの第１位相差画素３６ａ，８２ａ，８３ａ間に第１補間画素５６ａ，８５ａ，８６ａを仮想的に補間して、各色の第１補間画素５６ａ，８５ａ，８６ａの出力を求める。これにより、各色の第１位相差画素３６ａ，８２ａ，８３ａ及び第１補間画素５６ａ，８５ａ，８６ａを含む第１画素群の出力が得られる。
図２２に示すように、画素補間処理部５３は、第１実施形態と同様に、各垂直列４２内で図中の上下２つの第２位相差画素３６ｂ，８２ｂ，８３ｂ間に第２補間画素５６ｂ，８５ｂ，８６ｂを仮想的に補間して、各色の第２補間画素５６ｂ，８５ｂ，８６ｂの出力を求める。これにより、各色の第２位相差画素３６ｂ，８２ｂ，８３ｂ及び第２補間画素５６ｂ，８５ｂ，８６ｂを含む第２画素群の出力が得られる。
第５実施形態のスプリットイメージ処理部５４は、上述の第１画素群及び第２画素群からの出力信号に基づき、フルカラーの第１画像データと第２画像データとを含むスプリットイメージデータを生成する。これにより、フルカラーのスプリットイメージをライブビュー画像６７内に表示することができる。なお、第５実施形態のデジタルカメラは、フルカラーのスプリットイメージの生成・出力を行う点を除けば第１実施形態のデジタルカメラ２と基本的に同じであるので、第１実施形態で説明した効果が得られる。
［第６実施形態のデジタルカメラの構成］
次に、図２３を用いて本発明の第６実施形態のデジタルカメラ９０について説明を行う。上記第１実施形態のデジタルカメラ２は、光軸Ｏ１回りに９０°回転させた状態で撮影を行う、いわゆる縦撮りを行った場合に、スプリットイメージ６６も９０°回転した状態で表示される。これに対して、デジタルカメラ９０では縦撮りを行った場合でも上下に分割されたスプリットイメージデータの表示を行う。
なお、デジタルカメラ９０は、第１の実施形態のデジタルカメラ２と異なるカラー撮像素子９１を有する点を除けば、基本的には第１の実施形態と同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
カラー撮像素子９１の撮像面には、上述のＲＧＢ画素３５〜３７及びＧ色の第１及び第２位相差画素３６ａ，３６ｂの他に、Ｇ色の第３位相差画素９３ａと第４位相差画素９３ｂとが複数の垂直列４２と複数の水平行４３とにそれぞれ間隔をあけて交互に設けられている。第３位相差画素９３ａ及び第４位相差画素９３ｂは、第１及び第２位相差画素３６ａ，３６ｂをそれぞれ光軸Ｏ１回りに９０°回転させたときと同じ構造を有している。
図２４の（Ｉ）部に示すように、光軸Ｏ１に直交しかつ垂直方向に平行な直線をＬ１としたときに、第１及び第２位相差画素３６ａ，３６ｂは、撮影光学系１７の中心を通る第１直線Ｌ１に対して対称な左領域１７Ｌ、右領域１７Ｒをそれぞれ通過した被写体光５０Ｌ、５０Ｒ（図５参照）に対して感度が高くなる。一方、図２４の（ＩＩ）部に示すように、光軸Ｏ１に直交しかつ水平方向に平行な直線をＬ２としたときに、第３位相差画素９３ａ及び第４位相差画素９３ｂは、撮影光学系１７の中心を通る第２直線Ｌ２に対して対称な上領域１７Ｕ、下領域１７Ｄをそれぞれ通過した被写体光に対して感度が高くなる。従って、デジタルカメラ９０が光軸Ｏ１回りに９０°回転した場合には、第３位相差画素９３ａ及び第４位相差画素９３ｂを、第１及び第２位相差画素３６ａ，３６ｂの代わりに用いてスプリットイメージデータを生成することができる。
図２５に示すように、画像処理回路２９には、デジタルカメラ９０（カラー撮像素子９１）の光軸Ｏ１回りの回転を検出するモーションセンサ（回転検出手段）９５が接続している。なお、デジタルカメラ９０の回転を検出可能であれば、モーションセンサ以外の各種センサを用いてもよい。画素補間処理部５３は、モーションセンサ９５からの検出信号に基づき、デジタルカメラ９０が光軸Ｏ１回りに９０°回転した場合には、各水平行４３を各垂直列４２とみなして、第３位相差画素９３ａと第４位相差画素９３ｂとの補間処理を行う。
具体的には、図２６及び図２７に示すように、図中の上下２つの第３位相差画素９３ａ間に１以上の第３補間画素９７ａを仮想的に補間して、第３補間画素９７ａの出力を求める（図中では、例として２つの第３補間画素９７ａを示す）。また、図中の上下２つの第４位相差画素９３ｂ間に１以上の第４補間画素９７ｂを仮想的に補間して、第４補間画素９７ｂの出力を求める（図中では、例として２つの第４補間画素９７ｂを示す）。第３及び第４補間画素９７ａ，９７ｂの補間処理は、第１及び第２補間画素５６ａ，５６ｂの補間処理と基本的には同じであるので、ここでは具体的な説明を省略する。これにより、各第３位相差画素９３ａ及び各第３補間画素９７ａを含む第３画素群の出力が得られる。また、各第４位相差画素９３ｂ及び各第４補間画素９７ｂを含む第４画素群の出力が得られる。
スプリットイメージ処理部５４は、第３画素群からの出力信号（出力）の輝度成分を基に白黒の第３画像データ６１Ｌ’（図２５参照）を生成し、第４画素群からの出力信号の輝度成分を基に白黒の第４画像データ６１Ｒ’（図２５参照）を生成する。これにより、第３画像データ６１Ｌ’と第４画像データ６１Ｒ’とを含む白黒のスプリットイメージデータが得られる。これにより、縦撮りを行った場合でも図１１及び図１２に示したような上下に分割された白黒のスプリットイメージ６６がライブビュー画像６７内に表示される。
［その他］
上記各実施形態のカラー撮像素子のカラーフィルタ配列は、水平及び垂直方向に繰り返し配置された６×６画素に対応する基本配列パターンＰにより構成されているが、Ｎ×Ｎ画素（Ｎは３以上）に対応する配列パターンの基本配列パターンにより構成されていてもよい。
上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタのカラーフィルタ配列であっても良く、カラーフィルタの種類は特に限定されない。また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）のカラーフィルタのカラーフィルタ配列にも適用できる。
上記第１実施形態では、第１及び第２位相差画素３６ａ，３６ｂが各垂直列４２と各水平行４３とにそれぞれ間隔をあけて交互に設けられているが、第１及び第２位相差画素３６ａ，３６ｂがそれぞれ各垂直列４２に設けられていれば、第１及び第２位相差画素３６ａ，３６ｂの配置は特に限定されない。さらに、各垂直列４２の間隔と各水平行４３の間隔についても適宜変更してもよい。この場合においても、画素補間処理により第１及び第２画素群５７ａ，５７ｂの各画素を垂直方向に沿って等間隔で配置可能なように第１及び第２位相差画素３６ａ，３６ｂを配置することが好ましい。なお、第２実施形態から第６実施形態についても同様である（第３及び第４位相差画素も含む）。
上記１実施形態では、撮像面２３ａの中央領域に第１及び第２位相差画素３６ａ，３６ｂが設けられているが、撮像面の任意の領域に第１及び第２位相差画素３６ａ，３６ｂを設けてもよい。さらに、撮像面の全面に第１及び第２位相差画素３６ａ，３６ｂを設けてもよい。なお、第２実施形態から第６実施形態についても同様である（第３及び第４位相差画素も含む）。
上記第１実施形態では、撮像面２３ａに２種類の第１及び第２位相差画素３６ａ，３６ｂが設けられているが、視差量の異なる第１画像及び第２画像（スプリットイメージ）を生成可能な複数種類の第１及び第２位相差画素３６ａ，３６ｂを撮像面に設けてもよい。画像処理回路２９は、操作部９でのスプリットイメージの切替操作に応じて、第１及び第２位相差画素３６ａ，３６ｂの種類を選択して、スプリットイメージデータの生成を行う。これにより、表示部８に表示するスプリットイメージの種類を任意に切り替えることができる。
上記各実施形態では本発明の撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
上記第１実施形態では、各垂直列４２にＧ色の第１及び第２位相差画素３６ａ，３６ｂを設けているが、Ｒ色やＢ色などのＧ色以外の第１及び第２位相差画素を代わりに設けてもよい。なお、第５実施形態以外の各実施形態についても同様である。
＜スマートフォンの構成＞
図２８は、スマートフォン５００の外観を示すものである。図２８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図２９は、図２８に示すスマートフォン５００の構成を示すブロック図である。図２９に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
図２８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通信部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２８に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２９に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る左目画像及び右目画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、立体視画像を生成するために使用する第１及び第２のデジタルフィルタ群、視差マップ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（MEMORY CARD）やＳＩＭ(SUBSCRIBER IDENTITY MODULE CARD)／ＵＩＭ(USER IDENTITY MODULE CARD)カード、オーディオ・ビデオＩ／Ｏ（INPUT/OUTPUT）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部（撮像装置）５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、上記各実施形態のデジタルカメラと基本的に同じ構成である。
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図２８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の一つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに或いは３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。
＜スプリットイメージの他実施形態＞
上記各実施形態では、スプリットイメージ６６として水平方向に平行な分割線６３で２分割されているものを例に挙げて説明を行ったが、本発明のスプリットイメージはこれに限定されるものではない。本発明のスプリットイメージには、２つの位相差画像（第１画像、第２画像）を重畳して合成表示したときに、ピントがずれている場合には２重像として表示され、ピントが合った状態ではクリアに表示されるものが含まれる。例えば、スプリットイメージ６６として垂直方向に平行な分割線で２分割されているものを用いてもよい。
また、例えば、図３０に示すスプリットイメージ６６ａは、水平方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１画素群５７ａからの出力信号に基づき生成されたライン状（短冊状）の第１画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示され、第２画素群５７ｂからの出力信号に基づき生成されたライン状（短冊状）の第２画像６６Ｒａが偶数ラインに表示される。
また、図３１に示すスプリットイメージ６６ｂは、水平方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１画素群５７ａからの出力信号に基づき生成された第１画像６６Ｌｂが一方の領域に表示され、第２画素群５７ｂからの出力信号に基づき生成された第２画像６６Ｒｂが他方の領域に表示される。
また、図３２Ａ，３２Ｂに示すスプリットイメージ６６ｃは、水平方向及び垂直方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている（図３２Ａ参照）。スプリットイメージ６６ｃでは、第１画素群５７ａからの出力信号に基づき生成された第１画像６６Ｌｃが市松模様（チェッカーパターン）状に並べて表示されるとともに、第２画素群５７ｂからの出力信号に基づき生成された第２画像６６Ｒｃが市松模様状に並べて表示される（図３２Ｂ参照）。
このように各スプリットイメージ６６ａ〜６６ｃにおいても、フォーカスレンズ１６が合焦位置にセットされると、第１画像６６Ｌａ，６６Ｌｂ，６６Ｌｃと第２画像６６Ｒａ，６６Ｒｂ，６６Ｒｃとのずれ量がゼロとなる。
２，７０，９０…デジタルカメラ，８…表示部，１６…フォーカスレンズ，１７…撮影光学系，２３，８０…カラー撮像素子，３５…Ｒ画素，３６…Ｇ画素，３７…Ｂ画素，３６ａ，８２ａ，８３ａ…第１位相差画素，３６ｂ，８２ｂ，８３ｂ…第２位相差画素，３７…Ｂ画素，４２…垂直列，４３…水平行，５３…補間処理部，５４…スプリットイメージ処理部，５５…撮影画像データ，５６ａ…第１補間画素，５６ｂ…第２補間画素，５７ａ…第１画素群，５７ｂ…第２画素群，６１…スプリットイメージデータ，６１Ｌ…第１画像データ，６１Ｒ…第２画像データ，６６…スプリットイメージ，６６Ｌ…第１画像，６６Ｒ…第２画像，７３…平均値算出部，７４…ゲイン算出部，７５…ゲイン調整部，９３ａ…第３位相差画素，９３ｂ…第４位相差画素

Claims (12)

  1. フォーカスレンズを含む撮影光学系と、
    フォーカス操作を受けて、前記フォーカスレンズを前記撮影光学系の光軸方向に移動させるレンズ移動機構と、
    光電変換素子を含む複数の画素が第１の方向に配列されてなる複数の第１画素列と、前記複数の画素が前記第１の方向とは垂直な第２の方向に配列されてなる複数の第２画素列と含むマトリクス状の画素配列が形成された撮像面を有する撮像素子であって、前記複数の画素は、前記撮影光学系の互いに異なる領域をそれぞれ通過した各被写体光を瞳分割により選択的に受光する第１位相差画素及び第２位相差画素と、前記各被写体光をそれぞれ受光する通常画素とを含んでおり、前記第１の方向は、前記撮影光学系により前記撮像面上にそれぞれ結像された前記各被写体光の像のずれ方向に対応する位相差方向に平行であり、前記第２画素列には、前記第１及び第２位相差画素がそれぞれ複数設けられている撮像素子と、
    各前記第１位相差画素の出力に基づき、前記第２画素列内の前記第１位相差画素間に位置する第１補間画素の出力を補間処理により求める第１補間手段と、
    各前記第２位相差画素の出力に基づき、前記第２画素列内の前記第２位相差画素間に位置する第２補間画素の出力を補間処理により求める第２補間手段と、
    前記通常画素の出力から撮影画像を生成する撮影画像生成手段と、
    前記第１位相差画素及び前記第１補間画素の出力により構成される第１画像と、前記第２位相差画素及び前記第２補間画素の出力により構成される第２画像とを用いてスプリットイメージを生成するスプリットイメージ生成手段と、
    前記撮影画像生成手段により生成された前記撮影画像を表示する表示手段であって、前記撮影画像の表示領域内に前記スプリットイメージ生成手段により生成された前記スプリットイメージを表示する表示手段と、
    を備える撮像装置。
  2. 前記第１補間手段は、前記第１位相差画素及び前記第１補間画素が前記第２の方向に沿って等間隔で配列されるように前記第１位相差画素間に前記第１補間画素を設定して、当該第１補間画素の出力を求め、
    前記第２補間手段は、前記第２位相差画素及び前記第２補間画素が前記第２の方向に沿って等間隔で配列されるように前記第２位相差画素間に前記第２補間画素を設定して、当該第２補間画素の出力を求める請求項１記載の撮像装置。
  3. 前記第１補間手段は、前記第２画素列内の２つの前記第１位相差画素の出力及び位置座標と、前記第１補間画素の位置座標とに基づき、線形補間法による内挿によって前記第１補間画素の出力を求め、
    前記第２補間手段は、前記第２画素列内の２つの前記第２位相差画素の出力及び位置座標と、前記第２補間画素の位置座標とに基づき、線形補間法による内挿によって前記第２補間画素の出力を求める請求項１または２記載の撮像装置。
  4. 前記撮像素子は、前記複数の画素上に所定のカラーフィルタ配列で配列されてなる複数色のカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを含む複数色のカラーフィルタを有し、
    前記第１及び第２位相差画素上には前記第１のフィルタが設けられており、
    前記スプリットイメージ生成手段は、前記第１位相差画素及び前記第１補間画素の出力の輝度成分を基に生成される白黒の前記第１画像と、前記第２位相差画素及び前記第２補間画素の出力の輝度成分を基に生成される白黒の前記第２画像とを用いて前記スプリットイメージを生成する請求項１から３のいずれか１項記載の撮像装置。
  5. 各前記通常画素上には、前記第１及び第２のフィルタが配列されており、
    前記撮影画像生成手段は、前記通常画素の出力に基づきフルカラーの前記撮影画像を生成する請求項４記載の撮像装置。
  6. 前記第１の色は緑色（Ｇ）であり、前記第２の色の各色は赤色（Ｒ）及び青色（Ｂ）である請求項４または５に記載の撮像装置。
  7. 前記通常画素の出力と、前記第１及び第２位相差画素のそれぞれの出力とを比較する比較手段と、
    前記比較手段の比較結果に基づき、前記第１及び第２位相差画素の出力にそれぞれゲインをかけて、前記第１及び第２位相差画素の出力と前記通常画素の出力とを同じにするゲイン調整手段と、を備える請求項１から６のいずれか１項記載の撮像装置。
  8. 前記第１及び第２位相差画素は、複数の前記第２画素列内においてそれぞれ間隔をあけて交互に設けられている請求項１から７のいずれか１項記載の撮像装置。
  9. 前記第１及び第２位相差画素は、複数の前記第１画素列内においてそれぞれ間隔をあけて交互に設けられている請求項１から８のいずれか１項記載の撮像装置。
  10. 前記スプリットイメージは、前記第１画像と前記第２画像とを前記第２の方向に並べて配置してなる画像である請求項１から９のいずれか１項記載の撮像装置。
  11. 前記撮影光学系の互いに異なる領域は、前記第２の方向に平行な第１直線に対して対称な第１領域及び第２領域であり、
    前記第１位相差画素は、前記第１領域及び第２領域の一方を透過した被写体光を選択的に受光し、前記第２位相差画素は、前記第１領域及び第２領域の他方を透過した被写体光を選択的に受光する請求項１から１０のいずれか１項記載の撮像装置。
  12. 複数の前記第１画素列にそれぞれ複数設けられた第３位相差画素であって、前記撮影光学系の前記第１の方向に平行な第２直線に対して対称な第３領域及び第４領域の一方を透過した被写体光を選択的に受光する第３位相差画素と、
    複数の前記第１画素列にそれぞれ複数設けられた第４位相差画素であって、前記第３領域及び第４領域の他方を透過した被写体光を選択的に受光する第４位相差画素と、
    前記撮影光学系の光軸を中心とする前記撮像素子の回転を検出する回転検出手段と、を備え、
    前記第１補間手段は、前記回転検出手段の検出結果に基づき、前記第１画素列が前記第２の方向に平行になったときに、各前記第３位相差画素の出力に基づき、前記第１画素列内の前記第３位相差画素間に位置する第３補間画素の出力を補間処理により求め、
    前記第２補間手段は、前記回転検出手段の検出結果に基づき、前記第１画素列が前記第２の方向に平行になったときに、各前記第４位相差画素の出力に基づき、前記第１画素列内の前記第４位相差画素間に位置する第４補間画素の出力を補間処理により求め、
    前記スプリットイメージ生成手段は、前記回転検出手段の検出結果に基づき、前記第１画素列が前記第２の方向に平行になったときに、前記第３位相差画素及び前記第３補間画素の出力により構成される第３画像と、前記第４位相差画素及び前記第４補間画素の出力により構成される第４画像とを用いてスプリットイメージを生成する請求項１１記載の撮像装置。
JP2014518379A 2012-06-01 2013-05-16 撮像装置 Expired - Fee Related JP5747124B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014518379A JP5747124B2 (ja) 2012-06-01 2013-05-16 撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012126164 2012-06-01
JP2012126164 2012-06-01
JP2014518379A JP5747124B2 (ja) 2012-06-01 2013-05-16 撮像装置
PCT/JP2013/063631 WO2013179899A1 (ja) 2012-06-01 2013-05-16 撮像装置

Publications (2)

Publication Number Publication Date
JP5747124B2 true JP5747124B2 (ja) 2015-07-08
JPWO2013179899A1 JPWO2013179899A1 (ja) 2016-01-18

Family

ID=49673102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014518379A Expired - Fee Related JP5747124B2 (ja) 2012-06-01 2013-05-16 撮像装置

Country Status (4)

Country Link
US (1) US9167153B2 (ja)
JP (1) JP5747124B2 (ja)
CN (1) CN104396227B (ja)
WO (1) WO2013179899A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5926391B2 (ja) * 2012-09-19 2016-05-25 富士フイルム株式会社 撮像装置及び合焦確認表示方法
WO2014046037A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及びその制御方法
WO2014046039A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及び合焦確認表示方法
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6427720B2 (ja) * 2016-06-01 2018-11-21 富士フイルム株式会社 撮像素子及び撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
JP2001309210A (ja) 2000-04-27 2001-11-02 Minolta Co Ltd デジタルカメラ
JP3929034B2 (ja) 2002-07-08 2007-06-13 富士フイルム株式会社 マニュアルフォーカス装置
US7099575B2 (en) 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP5043626B2 (ja) 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
US8279318B2 (en) * 2007-12-14 2012-10-02 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5207819B2 (ja) * 2008-05-13 2013-06-12 キヤノン株式会社 撮像装置
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5361535B2 (ja) * 2009-05-25 2013-12-04 キヤノン株式会社 撮像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
WO2014006783A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP5749403B2 (ja) * 2012-07-06 2015-07-15 富士フイルム株式会社 撮像装置及び画像処理方法
CN104782110B (zh) * 2012-09-19 2018-09-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6305006B2 (ja) * 2013-10-18 2018-04-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US20150070551A1 (en) 2015-03-12
CN104396227A (zh) 2015-03-04
JPWO2013179899A1 (ja) 2016-01-18
CN104396227B (zh) 2016-10-12
US9167153B2 (en) 2015-10-20
WO2013179899A1 (ja) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5753321B2 (ja) 撮像装置及び合焦確認表示方法
JP5937690B2 (ja) 撮像装置及びその制御方法
JP5542249B2 (ja) 撮像素子及びこれを用いた撮像装置及び撮像方法
JP5747124B2 (ja) 撮像装置
JP6084982B2 (ja) 撮像装置
JP5926391B2 (ja) 撮像装置及び合焦確認表示方法
JP5799178B2 (ja) 撮像装置及び合焦制御方法
US9609224B2 (en) Imaging device and image display method
US9277201B2 (en) Image processing device and method, and imaging device
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9288472B2 (en) Image processing device and method, and image capturing device
WO2018168551A1 (ja) 撮像素子及び撮像装置
JP5542248B2 (ja) 撮像素子及び撮像装置
JPWO2015111269A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2013211790A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150511

R150 Certificate of patent or registration of utility model

Ref document number: 5747124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees