JP5901801B2 - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、撮像装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JP5901801B2
JP5901801B2 JP2014555451A JP2014555451A JP5901801B2 JP 5901801 B2 JP5901801 B2 JP 5901801B2 JP 2014555451 A JP2014555451 A JP 2014555451A JP 2014555451 A JP2014555451 A JP 2014555451A JP 5901801 B2 JP5901801 B2 JP 5901801B2
Authority
JP
Japan
Prior art keywords
image
display
unit
divided
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014555451A
Other languages
English (en)
Other versions
JPWO2014106935A1 (ja
Inventor
智行 河合
智行 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP5901801B2 publication Critical patent/JP5901801B2/ja
Publication of JPWO2014106935A1 publication Critical patent/JPWO2014106935A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法に係り、特に、被写体像の合焦状態を確認するための画像を生成して表示する画像処理装置、撮像装置、プログラム、及び画像処理方法に関する。
従来、デジタルカメラやカメラ付きの携帯電話機等の撮像装置において、手動で焦点調整を行う作業を容易にするために、スプリットイメージをライブビュー画像（所謂スルー画像）内に表示する技術が用いられるようになってきた。なお、スプリットイメージとは、被写体像における所定領域に対応する左目画像の一部と右目画像の一部とを合成した画像である。このスプリットイメージにおいては、合焦状態に応じて、左目画像と右目画像との間で視差発生方向に対するずれが発生する。この技術を利用し、ユーザは、スプリットイメージにおける左目画像と右目画像とのずれを視認することで合焦状態を確認する。
これに関する技術として、特許文献１には、瞳分割された撮像用の画素から得られる信号を用いてスプリットイメージを生成する撮像装置が開示されている。この撮像装置は、スプリットイメージを表示する際、瞳分割されない撮像用の画素から得られる信号の色情報を左目画像と右目画像と付加し、スプリットイメージを有彩色で表示する。
一方、撮像レンズを介して撮像素子に結像される被写体像には撮像レンズに起因する歪曲収差が発生するため、従来の撮像装置において、この歪曲収差を補正する処理が行われている。
しかしながら、通常の撮像用の画素から得られる信号に対して、上記歪曲収差の補正を行うと、自動合焦制御における焦点検出の精度が低下してしまう、という問題が発生していた。
そこで、特許文献２には、上記歪曲収差の補正を行った場合でも、自動合焦制御における焦点検出の精度の低下を抑制することができる撮像装置が開示されている。この撮像装置は、通常の撮像用の画素から得られる信号、及び自動合焦制御用の画素から得られる信号に対して、各々別個に上記歪曲収差の補正を行うことにより、焦点検出の精度の低下を抑制している。
特開２００９−１４７６６５号公報 特開２０１０−１９１３９０号公報
ところで、撮像装置においてスプリットイメージを表示させる場合、通常画像の場合と同様に、スプリットイメージにも上記歪曲収差が発生する。
そこで、スプリットイメージにおける上記歪曲収差の補正を行うために、上記特許文献１及び特許文献２に開示されている技術を応用することが考えられる。すなわち、通常の撮像用の画素から得られる信号、及びスプリットイメージ用の画素から得られる信号に対して、各々別個に上記歪曲収差の補正を行うことが考えられる。
一方、スプリットイメージにおける右目画像及び左目画像のずれ量をユーザが目視で確認するためには、右目画像と左目画像との境界が直線となっていることが視認性の面で望ましい。そのため、スプリットイメージの右目画像と左目画像とを合成する際には上記境界が直線となるように合成される。しかしながら、上記特許文献１及び特許文献２に開示されている技術を応用した場合には、上記境界が上記歪曲収差の量に応じて歪んでしまい、スプリットイメージの視認性が低下してしまう、という問題点があった。
本発明は上記問題点に鑑みてなされたものであり、歪曲収差に対する補正に伴う合焦確認画像（スプリットイメージ）の視認性の低下を抑制することができる画像処理装置、撮像装置、プログラム及び画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、上記表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御を行う表示制御部と、上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正を行い、上記第２の表示用画像の上記分割方向に対する歪曲収差を補正し、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部とを備えている。
本発明に係る画像処理装置によれば、生成部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像が生成される。
また、本発明では、生成部により、上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像に、上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像が生成される。
更に、本発明では、表示制御部により、上記表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御が行われる。
ここで、本発明では、補正部により、上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正が行われ、上記第２の表示用画像の上記分割方向に対する歪曲収差が補正され、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正が行われない。
このように、本発明に係る画像処理装置は、第２の表示用画像（スプリットイメージ）の上記直交方向に対する歪曲収差を、第１の表示用画像（通常画像）と同様に補正する。これにより、第２の表示用画像と通常画像との間に上記直交方向に対するずれが生じることが防止される結果、歪曲収差に対する補正に伴う第２の表示用画像の視認性の低下を抑制することができる。
また、上記目的を達成するために、本発明に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、上記生成部により生成された上記第１の表示用画像の上記表示部による表示を抑止し、かつ、上記表示部に対して、上記生成部により生成された上記第２の表示用画像を表示させる制御を行う表示制御部と、上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正を行い、上記第２の表示用画像の上記分割方向に対する歪曲収差を補正し、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部とを備えている。
本発明に係る画像処理装置によれば、生成部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像が生成される。
また、本発明では、生成部により、上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像に、上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像が生成される。
更に、本発明の第２のアスペクトに係る画像処理装置では、表示制御部により、上記生成部により生成された上記第１の表示用画像の上記表示部による表示を抑止し、かつ、上記表示部に対して、上記生成部により生成された上記第２の表示用画像を表示させる制御が行われる。
ここで、本発明では、補正部により、上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正が行われ、上記第２の表示用画像の上記分割方向に対する歪曲収差が補正され、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正が行われない。
このように、本発明に係る画像処理装置は、第２の表示用画像の上記直交方向に対する歪曲収差を、第１の表示用画像と同様に補正する。これにより、第２の表示用画像と通常画像との間に上記直交方向に対するずれが生じることが防止される結果、歪曲収差に対する補正に伴う第２の表示用画像の視認性の低下を抑制することができる。
なお、本発明に係る画像処理装置において、上記撮像レンズはズームレンズであり、上記補正部は、上記ズームレンズによる焦点距離に応じて、上記歪曲収差の補正を行うようにしても良い。これにより、撮像レンズがズームレンズであっても、適切に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、前記補正部は、前記撮像レンズの絞り値に応じて、前記歪曲収差の補正を行うようにしても良い。これにより、絞り値が変更されても、適切に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、複数の上記撮像レンズの何れか１つを装置本体に交換可能に装着させる装着部と、上記装着部により装着された上記撮像レンズの種類を示す情報を取得する取得部とを更に備え、上記補正部は、上記取得部により取得された情報によって示される上記撮像レンズの種類に応じて、上記歪曲収差の補正を行うようにしても良い。これにより、撮像レンズ交換された場合であっても、適切に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、予め定められた複数の種類から何れか１つの種類のコンバージョンレンズを装置本体に装着させる第２装着部と、上記第２装着部により装着された上記コンバージョンレンズの種類を示す情報を取得する第２取得部とを更に備え、上記補正部は、上記第２取得部により取得された情報によって示される上記コンバージョンレンズの種類に応じて、上記歪曲収差の補正を行うようにしても良い。これにより、コンバージョンレンズが装着された場合であっても、適切に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、予め定められた複数の種類から何れか１つの種類のコンバージョンレンズを、交換可能に装着された上記撮像レンズと装置本体との間、または交換可能に装着された上記撮像レンズの被写体側に装着させる第３装着部と、上記第３装着部により装着された上記コンバージョンレンズの種類を示す情報を取得する第２取得部とを更に備え、上記補正部は、上記第２取得部により取得された情報によって示される上記コンバージョンレンズの種類に応じて、上記歪曲収差の補正を行うようにしても良い。これにより、コンバージョンレンズが装着された場合であっても、適切に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、上記歪曲収差を補正するための座標変換に関する変換情報が予め記憶された記憶部を更に備え、上記補正部は、上記記憶部に記憶された上記変換情報に基づき、上記歪曲収差の補正を行うようにしても良い。これにより、予め記憶されている変換情報を用いて簡単に歪曲収差に対する補正を行うことができる。
また、本発明に係る画像処理装置において、上記第１の表示用画像の歪曲収差を補正するための座標変換に関する変換情報が予め記憶された記憶部と、上記記憶部に記憶された上記変換情報から上記第２の表示用画像の歪曲収差を補正するための座標変換に関する第２変換情報を導出する導出部とを更に備え、上記補正部は、上記記憶部に記憶された上記変換情報及び上記導出部により導出された第２変換情報に基づき、上記歪曲収差の補正を行ようにしても良い。これにより、第２の表示用画像の歪曲収差を補正するための情報を予め記憶させる必要がなくなるため、記憶部の記憶容量を低減させることができる。
また、本発明に係る画像処理装置において、上記変換情報は、複数の画素について上記歪曲収差の補正前の座標と補正後の座標とが各々関連付けられた座標変換テーブルを示す情報、及び上記補正前の座標を上記補正後の座標に変換する演算式の少なくとも一方であるものとしても良い。これにより、変換情報として座標変換テーブルを用いた場合には。演算式を用いる場合と比較して、高速に歪曲収差の補正を行うことができ、変換情報として演算式を用いた場合には、座標変換テーブルを用いる場合と比較して、記憶部の記憶容量を低減させることができる。
また、本発明に係る画像処理装置において、上記表示制御部は、上記第２の表示用画像を、上記第１の表示用画像の上記分割方向に対する中央部に表示する制御を行うようにしても良い。これにより、撮像レンズにおいて歪曲収差が最小となる中央部に第２の表示用画像を表示させることができる結果、第２の表示用画像における第１の画像及び第２の画像の境界を直線とする、または直線に近付けることができる。
一方、上記目的を達成するために、本発明に記載の撮像装置は、本発明に係る画像処理装置と、上記撮像レンズと、上記撮像素子と、を備えている。
従って、本発明に係る撮像装置によれば、本発明に係る画像処理装置と同様に作用するので、本発明に係る画像処理装置と同様に、歪曲収差に対する補正に伴う第２の表示用画像の視認性の低下を抑制することができる。
また、上記目的を達成するために、本発明に係るプログラムは、コンピュータを、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部に対して上記生成部により生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成部により生成された上記第２の表示用画像を表示する制御を行う表示制御部と、上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正を行い、上記第２の表示用画像の上記分割方向に対する歪曲収差を補正し、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部と、として機能させる。
従って、本発明に係るプログラムによれば、コンピュータを本発明に係る画像処理装置と同様に作用させるので、本発明に係る画像処理装置と同様に、歪曲収差に対する補正に伴う第２の表示用画像の視認性の低下を抑制することができる。
更に、上記目的を達成するために、本発明に係る画像処理方法は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ上記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、上記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び上記第２の画像を上記分割方向に分割して得られた複数の分割画像の上記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成ステップと、画像を表示する表示部に対して上記生成ステップにより生成された上記第１の表示用画像を表示し、かつ上記第１の表示用画像の表示領域内に上記生成ステップにより生成された上記第２の表示用画像を表示する制御を行う表示制御ステップと上記撮像レンズによる上記第１の表示用画像の歪曲収差の補正を行い、上記第２の表示用画像の上記分割方向に対する歪曲収差を補正し、かつ上記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正ステップと、を有している。
従って、本発明に係る画像処理方法によれば、本発明に係る画像処理装置と同様に作用するので、本発明に係る画像処理装置と同様に、歪曲収差に対する補正に伴う第２の表示用画像の視認性の低下を抑制することができる。
本発明によれば、歪曲収差に対する補正に伴う合焦確認画像（スプリットイメージ）の視認性の低下を抑制することができる、という効果を奏する。
第１乃至第３実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１乃至第３実施形態に係る撮像装置の背面側を示す背面図である。 第１乃至第３実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタ及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子の位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。 実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 実施形態に係る通常画像及びスプリットイメージの表示態様の一例を示す正面図である。 実施形態に係る通常画像及びスプリットイメージの表示態様の一例を示す正面図である。 第１実施形態に係る変換情報の一例を示す構成図である。 第１実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第１実施形態に係る通常画像の歪みの補正前の一例を示す正面図である。 第１実施形態に係る通常画像の歪みの補正後の一例を示す正面図である。 第１実施形態に係る歪みの補正後の通常画像及びスプリットイメージの表示例を示す正面図である。 第１実施形態に係るスプリットイメージの歪みの補正前の一例を示す正面図である。 第１実施形態に係るスプリットイメージの歪みの補正後の一例を示す正面図である。 第１実施形態に係るスプリットイメージの歪みの補正後の一例を示す正面図である。 第１実施形態に係るスプリットイメージの歪みの補正前の一例を示す正面図である。 第１実施形態に係るスプリットイメージの歪みの補正後の一例を示す正面図である。 第２実施形態に係る変換情報の一例を示す構成図である。 第２実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 第２実施形態に係る変換情報の別例を示す構成図である。 第３実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係る撮像装置の撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 実施形態に係るスプリットイメージの表示領域の分割方法の一例を示す正面図である。 第４実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第４実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。
以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。
［第１実施形態］
本実施形態に係る撮像装置１００は、レンズ交換式カメラである。また、撮像装置１００は、図１に示すように、カメラ本体２００と、カメラ本体２００に交換可能に装着されるズームレンズである交換レンズ２５８（撮影レンズ、フォーカスリング２６０）と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。
カメラ本体２００と交換レンズ２５８とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ２５８側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。また、交換レンズ２５８の鏡筒にはフォーカスリング２６０が設けられている。撮像装置１００は、フォーカスリング２６０の回転操作に伴ってフォーカスレンズを光軸方向に移動させ、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光を結像させる（マニュアルフォーカシング）ことができる。
カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ２５８の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズスイッチ２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。
レリーズスイッチ２１１は、待機位置から中間位置（半押し位置）まで押下される状態と、中間位置を超えた最終押下位置（全押し位置）まで押下される状態と、の２段階の押圧操作が検出可能に構成されている。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。本第１実施形態に係る撮像装置１００では、レリーズスイッチ２１１を半押し状態にすることにより後述する撮影制御処理が実行され、その後、引き続き全押し状態にすると露光（撮影）が行われる。
図２に示すように、カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。
十字キー２２２は、メニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消、あるいは１つ前の操作状態に戻すときなどに使用される。
表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、図３に示されるＣＰＵ（Central Processing Unit：中央処理装置）１
２によって統括制御されている。同図に示すように、撮像装置１００は、ＣＰＵ１２の他に、操作部１４、インタフェース部２４、メモリ２６及びエンコーダ３４を含む。また、撮像装置１００は、本発明に係る表示制御手段の一例である表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９を含む。また、撮像装置１００は、本発明に係る生成手段及び視差算出手段の一例である画像処理部２８を含む。
ＣＰＵ１２、操作部１４、インタフェース部２４、メモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。
なお、本第１実施形態に係る撮像装置１００では、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるように焦点調整モータを駆動制御することによって合焦制御を行う。また、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズスイッチ２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。
操作部１４は、撮像装置１００に対して各種指示を与える際に操作者によって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。
操作部１４は、レリーズスイッチ２１１、ダイヤル２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。
ダイヤル２１２により撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズを含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。
撮像素子２０には一例として図４に示すようなカラーフィルタ２１が設けられている。一例として図４に示すように、カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ、Ｒ（赤）に対応する第２のフィルタＲ及びＢ（青）に対応する第３のフィルタＢを含む。
また、本実施形態に係る撮像装置１００は、位相差ＡＦ機能を有する。更に、本実施形態に係る撮像素子２０は、位相差ＡＦ機能を働かせた場合に用いられる複数の位相差検出用の画素を含む。この複数の位相差検出用の画素は予め定めたパターンで配置されている。
位相差検出用の画素は、水平方向の左半分が遮光された第１の画素Ｌ及び水平方向の右半分が遮光された第２の画素Ｒの何れかである。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。
一例として図５に示すように、第１の画素Ｌは遮光部材２０Ａを有し、第２の画素Ｒは遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＭ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。
マイクロレンズＭ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素Ｌは、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素Ｒは、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＭ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素Ｌおよび第２の画素Ｒに入射する。
また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、焦点が合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、被写体より前に焦点が合っている前ピン又は被写体より後ろに焦点が合っている後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。
本実施形態に係る撮像装置１００は、第１の画素Ｌの画素値と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量を提示することによって、ユーザ操作による撮影レンズ１６の焦点位置の調整を補助する。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
本実施形態に係る撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、例えば複数の第１の画素Ｌを指す。第２の画素群とは、例えば複数の第２の画素Ｒを指す。第３の画素群とは、例えば複数の通常画素を指す。ここで言う「通常画素」とは、例えば位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂを有しない画素）を指す。なお、以下では、第１の画素群から出力される画像信号により示されるＲＡＷ画像を「第１の画像」と称する。また、第２の画素群から出力される画像信号により示されるＲＡＷ画像を「第２の画像」と称する。更に、第３の画素群から出力される画像信号により示されるＲＡＷ画像を「第３の画像」と称する。
第１の画素群及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で水平方向についての位置が１画素内で揃う位置に配置されている。また、第１の画素群及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で垂直方向についての位置も１画素内で揃う位置に配置されている。図４に示す例では、水平方向及び垂直方向の各々について直線状に第１の画素Ｌと第２の画素Ｒとが複数画素分（本実施形態では、２画素分）の間隔を空けて交互に配置されている。
また、図４に示す例では、第１及び第２の画素群に含まれる各画素の位置を水平方向及び垂直方向の各々について１画素内で揃う位置としているが、水平方向及び垂直方向の少なくとも一方について所定画素数内（例えば２画素以内）に収まる位置としてもよい。なお、ピントずれ以外の要因で画像ずれが発生するのを最大限に抑制するためには、一例として図４に示すように、第１及び第２の画素群に含まれる各画素の位置を水平方向及び垂直方向の各々について１画素内で揃う位置とすることが好ましい。
位相差画素は、一例として図４に示すように、２×２画素（例えば、図４の正面視左上から３行３列目、３行４列目、４行３列目、及び４行４列目の画素）に対応する正方配列のＧフィルタの画素に対して設けられている。本実施形態では、２×２画素のＧフィルタのうちの図４の正面視右下角の画素が位相差画素に対して割り当てられている。
このように、カラーフィルタ２１では、２×２画素のＧフィルタの右下角部の画素に対して遮光部材が設けられており、垂直方向及び水平方向ともに複数画素分の間隔を空けて位相差画素が規則的に配置されている。このため、位相差画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素値から位相差画素の画素値を補間する場合における補間精度を向上させることができる。しかも、位相差画素間で補間に利用する通常画素が重複しないように第１乃至第３の画素群に含まれる各画素が配置されているので、補間精度のより一層の向上が期待できる。
図３に戻って、撮像素子２０は、第１の画素群から第１の画像を示す画像信号（各第１の画素の画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像を示す画像信号（各第２の画素の画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像を示す画像信号（各通常画素の画素値を示すデジタル信号）を出力する。なお、上記第３の画像は有彩色の画像であり、例えば通常画素の配列と同じカラー配列のカラー画像である。また、上記第１の画像、上記第２の画像及び上記第３の画像を示す画像データは、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。
また、画像処理部２８は、通常処理部３０を有する。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで第１の表示用画像の一例である有彩色の通常画像を生成する。また、画像処理部２８は、スプリットイメージ処理部３２を有する。スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで第２の表示用画像の一例である無彩色のスプリットイメージを生成する。なお、本実施形態に係る画像処理部２８は、一例として、画像処理に係る複数の機能を実現する回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。ここで、ＣＰＵ１２は、後述する撮影制御処理プログラムを実行し、スプリットイメージ処理部３２にスプリットイメージを生成させ、生成されたスプリットイメージを表示部２１３に表示させる制御を行う。しかし、画像処理部２８のハードウェア構成はＡＳＩＣに限定されるものではなく、例えばプログラマブルロジックデバイスやＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。
一方、エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。また、ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である水平方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６は表示部２１３及びＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。
なお、本実施形態に係る撮像装置１００は、ダイヤル２１２により上述したマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいて撮影レンズ１６のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してレンズ駆動部（図示省略）を制御し、撮影レンズ１６を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。
また、接眼検出部３７は、ユーザがファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。
更に、外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
図６に示すように、通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタ２１の配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。
通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素における位相差画像で遮光されている画素に対して、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）で補間する。通常処理部３０は、上記補間により得られる画像を、表示用の通常画像及び記録用の通常画像としても良い。
また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４２（図６参照）に記録される。また、通常処理部３０は、生成した表示用の通常画像の画像データを表示制御部３６に出力する。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。
撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。
一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左目画像」と称し、上記の「無彩色の右の視差画像」を「右目画像」と称する。
スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像と、第２の画素群から出力された第２の画像に基づく右目画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。
表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。
スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した複数分割の画像である。ここで言う「複数分割の画像」としては、例えば図７Ａ及び図７Ｂに示すスプリットイメージ３００が挙げられる。スプリットイメージ３００は、左目画像３００Ａを図７Ａ及び図７Ｂの正面視上下方向に２つに分割した分割画像のうちの上半分の分割画像と、右目画像３００Ｂを同様に分割した分割画像のうちの下半分の分割画像とを合成した画像である。スプリットイメージ３００は、左目画像３００Ａ及び右目画像３００Ｂの各分割画像間が合焦状態に応じた量だけ予め定められた方向（本実施形態では、図７Ａ及び図７Ｂの正面視左右方向）にずれた画像である。
本実施形態では、通常画像３０１にスプリットイメージ３００を合成する際、通常画像の一部の画像に代えてスプリットイメージ３００を嵌め込むことで合成するが、合成方法はこれに限定されない。例えば、通常画像３０１の上にスプリットイメージ３００を重畳させる合成方法であってもよい。また、スプリットイメージ３００を重畳する際に、スプリットイメージ３００が重畳される領域に対応する通常画像３０１の一部の画像とスプリットイメージ３００との透過率を適宜調整して重畳させる合成方法であってもよい。あるいは、通常画像３０１及びスプリットイメージ３００を各々異なるレイヤで表示させても良い。これにより、ライブビュー画像における通常画像の表示領域内に、スプリットイメージ３００を表示させることができる。なお、ライブビュー画像とは、連続的に撮影している被写体像を表示装置の画面上に連続的に表示させる際の、被写体像を示す画像である。
また、図６に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。
また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。
プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導くと共に、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。
ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、ファインダー接眼部２４２から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージ３００のみを表示させる。これにより、光学像の一部にスプリットイメージ３００が重畳されたファインダー像を表示させることができる。
一方、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、ファインダー接眼部２４２からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージ３００が合成された画像データと同等の画像データが入力される。これにより、表示制御部３６は、表示部２１３と同様に通常画像３０１の一部にスプリットイメージ３００が合成された電子像を表示させることができる。
表示装置に通常画像３０１及びスプリットイメージ３００の各々を示す画像信号が入力されたとする。この場合、表示装置は、一例として図７Ａ及び図７Ｂに示すように、入力された画像信号によって示されるスプリットイメージ３００を画面中央部の矩形状とされたスプリットイメージ３００の表示領域に表示する。また、表示装置は、入力された画像信号が示す通常画像３０１をスプリットイメージ３００の外周領域に表示する。また、表示装置は、スプリットイメージ３００を示す画像信号が入力されずに通常画像３０１を示す画像信号のみが入力された場合、入力された画像信号によって示される通常画像３０１を表示装置の表示領域の全域に表示する。また、表示装置は、通常画像３０１を示す画像信号が入力されずにスプリットイメージ３００を示す画像信号が入力された場合、入力された画像信号によって示されるスプリットイメージ３００を表示領域に表示し、外周領域を空白領域とする。
ところで、本実施形態に係る撮像装置１００は、メモリ２６に、撮影レンズ１６による歪曲収差を補正する際に使用される変換情報を予め記憶している。図８に示すように、本実施形態に係る変換情報３２０は、予め定められた複数の焦点距離の範囲を示す焦点距離情報３２０ａを有している。また、変換情報３２０では、焦点距離情報３２０ａの各々に対して、対応する通常画像３０１の歪曲収差の補正用の変換パラメータを示す通常画像変換情報３２０ｂが対応付けられている。更に、変換情報３２０では、焦点距離情報３２０ａの各々に対して、スプリットイメージ３００の歪曲収差の補正用の変換パラメータを示すスプリットイメージ変換情報３２０ｃが対応付けられている。
なお、本実施形態に係る変換パラメータとしては、補正対象とされる画像における予め定められた複数の座標について変換前の座標値と変換後の座標値とが関連付けられたパラメータである。撮像装置１００は、変換情報３２０を用いて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行う。すなわち、本実施形態に係る撮像装置１００は、撮像レンズ１６による焦点距離に応じて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行う。
なお、変換情報３２０における焦点距離の区分幅は、焦点距離が長くなる程、広くなっている。これは、焦点距離が長くなる程、すなわち拡大率が小さくなる程、歪曲収差が小さくなるからである。
また、上述したように、本実施形態に係る撮像装置１００は、撮像レンズ１６による焦点距離に応じて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行うが、これに限らない。例えば、撮像レンズ１６の絞り値が小さくなる程、歪曲収差が小さくなることを考慮し、この絞り値に応じて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行っても良い。この場合、上記変換情報において、予め定められた複数の絞り値を示す絞り値情報の各々に対して、通常画像変換情報３２０ｂ及びスプリットイメージ変換情報３２０ｃが対応付けられている。
なお、スプリットイメージ３００の変換パラメータは、スプリットイメージ３００における各画素の座標を、後述する直交方向のみに変換する変換パラメータである。
本実施形態に係る撮像装置１００は、左目画像３００Ａと右目画像３００Ｂとを合成したスプリットイメージ３００を生成してＬＣＤ２４７に表示させ、ユーザによりスプリットイメージ３００を用いた焦点調整が行われた上で撮影制御を行う撮影制御処理を行う。
次に、図９を参照して、本実施形態に係る撮像装置１００の作用を説明する。なお、図９は、撮像装置１００がマニュアルフォーカスモードに設定されており、かつレリーズスイッチ２１１が半押し状態にされた際にＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。本実施形態では、当該プログラムは、メモリ２６の所定の記憶領域に予め記憶されている。
まず、ステップＳ４０１では、第１の画素群から出力された画像信号に基づく左目画像３００Ａを示す画像データ、及び第２の画素群から出力された画像信号に基づく右目画像３００Ｂを示す画像データを、インタフェース部２４を介して取得する。なお、取得した各画像データはＣＰＵ１２によりメモリ２６の所定の記憶領域に記憶される。
次のステップＳ４０３では、第３の画素群から出力された画像信号に基づく通常画像３０１を示す画像データを、インタフェース部２４を介して取得する。このように本実施形態に係る撮像装置１００は、通常画像３０１を示す画像データを第３の画素群から取得するが、これに限定されず、上記ステップＳ４０１及びＳ４０３により取得した画像データに基づいて通常画像３０１を示す画像データを生成しても良い。
この際の通常画像３０１を示す画像データを生成する方法としては、例えば、左目画像３００Ａまたは右目画像３００Ｂを示す画像データをそのまま通常画像３０１を示す画像データとする方法が例示される。また、左目画像３００Ａまたは右目画像３００Ｂを示す画像データにおいて隣接する各画素の間に補間画素を配置させ、当該補間画素を囲む画素の画素値の平均値を当該補間画素の画素値として通常画像３０１を示す画像データを生成する方法であっても良い。更に、通常画像３０１を生成する方法は、左目画像３００Ａ及び右目画像３００Ｂを示す画像データを合成することにより通常画像３０１を示す画像データを生成する方法であっても良い。
次のステップＳ４０７では、撮影レンズ１６において、この時点で設定されている焦点距離を取得し、取得した焦点距離に対応する通常画像３０１の変換パラメータを取得する。本実施形態では、ＣＰＵ１２は、変換情報３２０において、取得した焦点距離の焦点距離情報３２０ａに対応付けられた通常画像変換情報２３０ｂをメモリ２６から読み出すことにより、通常画像３０１の変換パラメータ（以下、「通常画像変換パラメータ」という。）を取得する。
次のステップＳ４０９では、通常画像変換パラメータに基づき、通常画像３０１の上記歪曲収差の補正を行う。本実施形態では、ＣＰＵ１２は、通常画像３０１における各画素の座標において、取得した通常画像変換パラメータの変換前の座標値に含まれる座標については、当該変換前の座標値に関連付けられた変換後の座標値に変換する。一方、ＣＰＵ１２は、通常画像変換パラメータの変換前の座標値に含まれていない座標については、通常画像変換パラメータの変換前の座標値の、当該座標に近接する複数の座標の座標値を用いて変換後の座標を演算式を用いて線形補間または非線形補間する。これにより、ＣＰＵ１２は、変換対象とする座標の変換後の座標を得る。なお、本実施形態では、線形補間により変換対象とする座標の変換後の座標を得る。また、変換情報３２０が通常画像３０１における全ての座標について変換前の座標値及び変換後の座標値を各々関連付けたテーブルとして記憶しておき、当該テーブルのみを用いて変換対象とする座標の変換後の座標を得ても良い。または、変換情報３２０が上記変換を行うための演算式を記憶しておき、当該演算式のみを用いて変換対象とする座標の変換後の座標を得ても良い。
一例として図１０Ａに示すように、上記ステップＳ４０３の処理により取得した通常画像３０１は、上記歪曲収差によって歪んだ形状となっている。しかし、上記ステップＳ４０９により補正を行った通常画像３０１は、一例として図１０Ｂに示すように、上記歪曲収差が補正されて矩形状の形状となる。
次のステップＳ４１１では、上記歪曲収差の補正を行った通常画像３０１を表示部２１３に表示させる制御を行う。なお、本実施形態では、ＣＰＵ１２は、通常画像３０１を表示部２１３に表示させるが、これに限定されず、ＬＣＤ２４７に表示させても良い。また、ＣＰＵ１２は、接眼検出部３７によってユーザがファインダー接眼部２４２を覗き込んだことを検出した場合には、通常画像３０１をＬＣＤ２４７に表示させ、それ以外の場合には、通常画像３０１を表示部２１３に表示させても良い。
次のステップＳ４１３では、この時点で設定されている焦点距離を取得し、取得した焦点距離に対応するスプリットイメージ３００の変換パラメータを取得する。本実施形態では、ＣＰＵ１２は、変換情報３２０において、取得した焦点距離に対応するスプリットイメージ変換情報２３０ｃをメモリ２６から読み出す。これにより、ＣＰＵ１２は、スプリットイメージ３００の変換パラメータ（以下、「スプリットイメージ変換パラメータ」という。）を取得する。
次のステップＳ４１５では、スプリットイメージ処理部３２に対してスプリットイメージを生成させる制御を行う。まず、スプリットイメージ処理部３２は、表示部２１３におけるスプリットイメージ３００の表示領域を示す情報（以下、「表示領域情報」という。）をメモリ２６から読み出す。本実施形態では、メモリ２６に、上記表示領域情報として、各表示装置の表示領域内における予め定められた座標系によって示される、表示領域の範囲（本実施形態では、通常画像３０１の中央部）を示す情報が予め記憶されている。また、スプリットイメージ処理部３２は、左目画像３００Ａ及び右目画像３００Ｂの各々の分割方向を決定する。本実施形態では、上記分割方向を示す情報（以下、「分割方向情報」という。）がメモリ２６に予め記憶されており、ＣＰＵ１２は、当該分割方向情報を読み出すことにより、上記分割方向を決定する。
更に、スプリットイメージ処理部３２は、左目画像３００Ａ及び右目画像３００Ｂの各々の分割数を示す情報（以下、「分割数情報」という。）をメモリ２６から読み出す。本実施形態では、メモリ２６に、当該分割数情報が予め記憶されている。スプリットイメージ処理部３２は、以上の処理によって得られた表示領域、分割方向、及び分割数の各々を示す情報に基づいてスプリットイメージ３００を生成する。
次のステップＳ４１７では、取得したスプリットイメージ変換パラメータに基づき、スプリットイメージ３００の上記歪曲収差の補正を行う。本実施形態では、ＣＰＵ１２は、当該補正を行う際に、スプリットイメージ変換パラメータを用いて通常画像３００の場合（上記ステップＳ４０９）と同様にしてスプリットイメージ３００の各画素の座標を変換する。この際、ＣＰＵ１２は、スプリットイメージ３００に対して、上記分割方向に対する歪曲収差を補正し、かつ上記分割方向と直交する方向（以下、「直交方向」という。）に対する歪曲収差を行わない。
次のステップＳ４１９では、歪曲収差の補正が行われたスプリットイメージ３００を表示部２１３の表示領域に表示させる制御を行う。本実施形態では、ＣＰＵ１２は、通常画像３０１の中央部に重畳させて表示させる。
一例として図１１に示すように、表示部２１３には、通常画像３０１が表示領域全体に表示されると共に、表示領域の中央部に、上記境界３０２が直線とされたスプリットイメージ３００が表示される。
なお、撮影レンズ１６において中央部に近付くほど歪曲収差が小さくなる。従って、スプリットイメージ３００を上記直交方向に対する歪曲収差のみについて補正した場合には、上記分割方向に対する中央部における上記直交方向に沿った直線は、歪曲収差の補正後において直線状となる。
上記ステップＳ４１５の処理により生成したスプリットイメージ３００は、一例として図１２Ａに示すように、上記歪曲収差によって歪んだ形状となっている。しかし、上記ステップＳ４１７により補正を行ったスプリットイメージ３００は、一例として図１２Ｂに示すように、上記分割方向（図１２Ｂにおける正面視上下方向）に対する中央部における上記直交方向（図１２Ｂにおける正面視左右方向）に沿った直線である。そのため、左目画像３００Ａと右目画像３００Ｂとの境界３０２は直線状となる。これにより、ユーザは、スプリットイメージ３００における左目画像３００Ａと右目画像３００Ｂとのずれ量を容易に目視で確認することができる。
ＣＰＵ１２は、スプリットイメージ３００を、一例として図１２Ｃに示すように、スプリットイメージ３００に内包され、かつ面積が最大となる矩形状の枠からはみ出した凸部３０４を消去し、矩形状の形状とする。
なお、スプリットイメージ３００における上記分割数が３以上であった場合、一例として図１２Ｄに示すように、上記ステップＳ４１５により生成したスプリットイメージ３００における境界３０２の各々が異なった形状の曲線または直線となる。しかし、上記ステップＳ４１７により補正を行ったスプリットイメージ３００は、上記分割方向に対する中央部の近傍における上記直交方向に沿った直線である。そのため、一例として図１２Ｅに示すように、境界３０２の各々が相互に略平行な線状となる。なお、図１２Ｅに示すスプリットイメージ３００は、スプリットイメージ３００に内包され、かつ面積が最大となる矩形状の枠からはみ出した凸部を消去し、矩形状の形状とされている。
次のステップＳ４２１では、十字キー２２２の操作によるズームの指示入力の操作があったか否かを判定することにより、ズーム操作があったか否かを判定する。ステップＳ４２１で肯定判定となった場合はステップＳ４２３に移行する一方、否定判定となった場合は後述するステップＳ４２５に移行する。ステップ４２３では、操作に応じてズーム倍率を変更し、焦点位置の移動を行う。
ステップＳ４２５では、撮影指示が入力されたか否かを判定する。この際、ＣＰＵ１２は、レリーズスイッチ２１１に対する全押し操作が検出された場合に、撮影指示が入力されたと判定する。ステップＳ４２５で否定判定となった場合は上述したステップＳ４０１に戻る一方、肯定判定となった場合はステップＳ４２７に移行する。
ステップＳ４２７では、通常画像３０１を示す画像データをメモリ２６に記録する撮影処理を行い、本撮影制御処理プログラムを終了する。なお、上記撮影処理は一般的に行われている処理であるため、ここでの説明を省略する。
［第２実施形態］
以下、第２実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。
上記第１実施形態では、撮影レンズ１６による焦点距離に応じて変換パラメータを取得する一方、第２実施形態では、交換レンズ２５８の種類に応じて変換パラメータを取得する。なお、本発明に係る交換レンズ２５８の種類として、焦点距離が異なる単焦点レンズ、テレセントリックなレンズ等が例示される。
なお、第２実施形態に係る撮像装置１００の構成は、第１実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。
本実施形態に係る撮像装置１００は、メモリ２６に、撮影レンズ１６による歪曲収差を補正する際に使用される変換情報を予め記憶している。図１３に示すように、本実施形態に係る変換情報３２２は、予め定められた複数のレンズの種類を示すレンズ情報３２２ａを有している。また、変換情報３２２では、レンズ情報３２２ａの各々に対して、対応する通常画像３０１の歪曲収差の補正用の変換パラメータを示す通常画像変換情報３２２ｂが対応付けられている。更に、変換情報３２２では、レンズ情報３２２ａの各々に対して、スプリットイメージ３００の歪曲収差の補正用の変換パラメータを示すスプリットイメージ変換情報３２２ｃが対応付けられている。
なお、本第２実施形態に係る変換パラメータとしては、第１実施形態と同様に、補正対象とされる画像における予め定められた複数の座標について変換前の座標値と変換後の座標値とが関連付けられたパラメータである。また、スプリットイメージ３００の変換パラメータは、スプリットイメージ３００における各画素の座標を、上記直交方向のみに変換する変換パラメータである。撮像装置１００は、変換情報３２２を用いて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行う。
次に、図１４を参照して、本実施形態に係る撮影制御処理を実行する際の撮像装置１００の作用を説明する。なお、図１４は、この際に撮像装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６のＲＯＭの所定領域に予め記憶されている。
また、第１実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。
第２実施形態では、ステップＳ４０３の処理を行った後、ステップＳ４０６に移行し、レンズの種類を示す情報を取得し、ステップＳ４０７に移行する。本実施形態に係る撮像装置１００では、ＣＰＵ１２は、カメラ本体２００に交換レンズ２５８が結合されている際に、交換レンズ２５８からレンズの種類を示す電気信号を取得する。
ステップＳ４０７では、取得したレンズの種類を示す情報によって示されるレンズの種類に対応する通常画像変換パラメータを取得する。本実施形態では、ＣＰＵ１２は、変換情報３２２において、当該レンズの種類を示すレンズ情報３２２ａに対応付けられた通常画像変換情報２３２ｂをメモリ２６から読み出すことにより、通常画像変換パラメータを取得する。
ステップＳ４１３では、取得したレンズの種類を示す情報によって示されるレンズの種類に対応するスプリットイメージ変換パラメータを取得する。本実施形態では、ＣＰＵ１２は、変換情報３２２において、当該レンズの種類を示すレンズ情報３２２ａに対応付けられたスプリットイメージ変換情報２３２ｃをメモリ２６から読み出すことにより、スプリットイメージ画像変換パラメータを取得する。
なお、本実施形態に係る撮像装置１００には、コンバージョンレンズを装着可能な装着部（図示省略。）が設けられていて、装着部を介してコンバージョンレンズが装着されても良い。この場合のコンバージョンレンズは、例えば、撮影レンズ１６の焦点距離よりも広角側で撮影するワイドコンバージョンレンズや、撮影レンズ１６の書店距離よりも望遠側で撮影するテレコンバージョンレンズである。これらのコンバージョンレンズは、撮影レンズ１６の装置本体にマウントされない側に装着されたり、装置本体、または装置本体と撮影レンズ１６との間にマウントされたりして、撮像装置１００に装着される。コンバージョンレンズの有無、またはコンバージョンレンズの結合されている場合のコンバージョンレンズの種類に応じて変換パラメータを取得しても良い。
本実施形態では、交換レンズ２５８の種類に応じて変換パラメータを取得するが、これに限定されず、コンバーションレンズの種類に応じて変換パラメータを取得しても良い。この場合、メモリ２６に、撮影レンズ１６による歪曲収差を補正する際に使用される変換情報を予め記憶している。図１５に示すように、変換情報３２４は、コンバージョンレンズの有無、またはコンバージョンレンズが結合されている場合の予め定められた複数のコンバージョンレンズの種類を示すレンズ情報３２４ａを有している。また、変換情報３２２では、コンバージョンレンズ情報３２４ａの各々に対して、対応する通常画像３０１の歪曲収差の補正用の変換パラメータを示す通常画像変換情報３２４ｂが対応付けられている。更に、変換情報３２２では、コンバージョンレンズ情報３２４ａの各々に対して、スプリットイメージ３００の歪曲収差の補正用の変換パラメータを示すスプリットイメージ変換情報３２４ｃが対応付けられている。
なお、当該変換パラメータとしては、第１実施形態と同様に、補正対象とされる画像における予め定められた複数の座標について変換前の座標値と変換後の座標値とが関連付けられたパラメータである。また、スプリットイメージ３００の変換パラメータは、スプリットイメージ３００における各画素の座標を、上記直交方向のみに変換する変換パラメータである。撮像装置１００は、変換情報３２４を用いて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行う。なお、複数の変換パラメータ２１０、３２２、３２４を組み合わせて、通常画像３０１及びスプリットイメージ３００の各々の歪曲収差の補正を行っても良い。
［第３実施形態］
以下、第３実施形態に係る撮像装置１００について添付図面を用いて詳細に説明する。
上記第１実施形態及び第２実施形態では、変換情報３２０、３２２、３２４に通常画像変換パラメータ及びスプリットイメージ変換パラメータが含まれている。一方、第３実施形態では、変換情報にスプリットイメージ変換パラメータが含まれておらず、スプリットイメージ変換パラメータを通常画像変換パラメータから導出する。
なお、第３実施形態に係る撮像装置１００の構成は、第１実施形態に係る撮像装置１００と同様であるので、ここでは説明は省略する。
本実施形態に係る撮像装置１００は、メモリ２６に、撮影レンズ１６による歪曲収差を補正する際に使用される変換情報を予め記憶している。本実施形態に係る変換情報は、図８に示す変換情報３２０、または図１３に示す変換情報３２２、または図１５に示す変換情報３２４において、スプリットイメージ変換パラメータが含まれていない情報である。
次に、図１６を参照して、本実施形態に係る撮影制御処理を実行する際の撮像装置１００の作用を説明する。なお、図１６は、この際に撮像装置１００のＣＰＵ１２によって実行される撮影制御処理プログラムの処理の流れを示すフローチャートである。当該プログラムは、メモリ２６のＲＯＭの所定領域に予め記憶されている。
また、第１実施形態及び第２実施形態の撮影制御処理と同一のステップには同一のステップ番号を付し、重複する説明を省略する。
第３実施形態では、ステップＳ４１５の処理を行った後、ステップＳ４１８に移行し、スプリットイメージ変換パラメータを導出し、ステップＳ４１９に移行する。なお、本実施形態に係る撮像装置１００では、ＣＰＵ１２は、変換情報における通常画像変換パラメータの、上記直交方向に対する補正に関する変換パラメータを、スプリットイメージ変換パラメータとすることで、スプリットイメージ変換パラメータを導出する。
なお、上記第１実施形態乃至第３実施形態では、２×２画素のＧフィルタに対して単一の位相差画素を配置する形態例を挙げて説明したが、これに限らず、例えば２×２画素のＧフィルタに対して一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。例えば図１７に示すように、２×２画素のＧフィルタに対して行方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。また、例えば図１８に示すように、２×２画素のＧフィルタに対して列方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。いずれの場合も上記第１実施形態で説明したように、第１画素Ｌ及び第２画素Ｒの位置を、第１の画素群と第２の画素群との間で列方向及び行方向の少なくとも一方について所定画素数内で揃えることが好ましい。なお、図１７及び図１８には、第１画素Ｌと第２画素Ｒとを、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置した例が示されている。
また、上記第１実施形態乃至第３実施形態では、基本配列パターンＣを有するカラーフィルタ２１を例示したが、本発明はこれに限定されるものではない。例えば図１９〜２１に示すようにカラーフィルタの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列をベイヤ配列としてもよい。図１９〜図２１に示す例では、Ｇフィルタに対して位相差画素が配置されている。
一例として図１９に示すカラーフィルタ２１Ａは、３×３画素の正方行列の四隅及び中央がＧフィルタとされた配列パターンＧ１の中央に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について１画素分のＧフィルタを飛ばして（１画素分のＧフィルタを間に置いて）交互に配置されている。また、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置されている。これにより、配列パターンＧ１の中央の位相差画素に基づく画像は配列パターンＧ１の四隅の通常画素に基づく画像を利用して補間可能となるため、本構成を有しない場合に比べ、補間精度を向上させることができる。
しかも、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が画素単位で重複しない位置に配置されている。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。
一例として図２０に示すカラーフィルタ２１Ｂは、配列パターンＧ１の中央及び図中正面視右下角に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について２画素分のＧフィルタを飛ばして（２画素分のＧフィルタを間に置いて）交互に配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。
しかも、各位相差画素には同色のフィルタ（Ｇフィルタ）が設けられた通常画素が隣接するので、補間精度を向上させることができる。その上、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が一対の画素単位で重複しない位置に配置されている。ここで言う「一対の画素」とは、例えば各配列パターンＧ１に含まれる第１の画素Ｌ及び第２の画素Ｒ（一対の位相差画素）を指す。そのため、一対の位相差画素に基づく画像が他の一対の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。
一例として図２１に示すカラーフィルタ２１Ｃは、配列パターンＧ１の中央に第１の画素Ｌが、図中正面視右下角に第２の画素Ｒが配置されている。また、第１の画素Ｌは行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されており、第２の画素Ｒも行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を２画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。
しかも、図２１に示す例においても図２０に示す例と同様に配列パターンＧ１の各々は互いに位置が重複していない。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。
また、カラーフィルタの他の構成例としては、例えば図２２に示すカラーフィルタ２１Ｄが挙げられる。図２２には撮像素子２０に設けられているカラーフィルタ２１Ｄの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列及び遮光部材の配置の一例が模式的に示されている。図２２に示すカラーフィルタ２１Ｄでは、第１〜第４の行配列が列方向について繰り返し配置されている。第１の行配列とは、行方向に沿ってＢフィルタ及びＧフィルタが交互に配置された配列を指す。第２の行配列とは、第１の行配列を行方向に半ピッチ（半画素分）ずらした配列を指す。第３の行配列とは、行方向に沿ってＧフィルタ及びＲフィルタが交互に配置された配列を指す。第４の行配列とは、第３の行配列を行方向に半ピッチずらした配列を指す。
第１の行配列及び第２の行配列は列方向について半ピッチずれて隣接している。第２の行配列及び第３の行配列も列方向について半ピッチずれて隣接している。第３の行配列及び第４の行配列も列方向について半ピッチずれて隣接している。第４の行配列及び第１の行配列も列方向について半ピッチずれて隣接している。従って、第１〜４の行配列の各々は、列方向について２画素毎に繰り返し現れる。
第１の画素Ｌ及び第２の画素Ｒは、一例として図２２に示すように、第３及び第４の行配列に対して割り当てられている。すなわち、第１の画素Ｌは、第３の行配列に対して割り当てられており、第２の画素Ｒは、第４の行配列に対して割り当てられている。また、第１の画素Ｌ及び第２の画素Ｒは、互いに隣接して（最小ピッチ）で対になって配置されている。また、図２３に示す例では、第１の画素Ｌは、行方向及び列方向の各々について６画素毎に割り当てられており、第２の画素Ｒも、行方向及び列方向の各々について６画素毎に割り当てられている。これにより、第１の画素群と第２の画素群との位相差は、本構成を有しない場合と比較して、高精度に算出される。
また、図２２に示す例では、第１の画素Ｌ及び第２の画素ＲにはＧフィルタが割り当てられている。Ｇフィルタが設けられた画素は他色のフィルタが設けられた画素に比べ感度が良いため、補間精度を高めることができる。しかも、Ｇフィルタは、他色のフィルタに比べ、連続性があるため、Ｇフィルタが割り当てられた画素は他色のフィルタが割り当てられた画素に比べ補間がし易くなる。
また、上記第１実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
例えば、図２３に示すスプリットイメージ６６ａは、行方向に平行な複数の境界線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。
また、図２４に示すスプリットイメージ６６ｂは、行方向に傾き角を有する境界線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。
また、図２５Ａ及び図２５Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の境界線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。
更に、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
なお、上記第１実施形態乃至第３実施形態で説明した撮影制御処理の流れはあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態乃至第３実施形態で説明した画像生成出力処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
上記第１実施形態乃至第３実施形態で説明した撮影制御処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可
搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
［第４実施形態］
上記第１実施形態乃至第３実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる
。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図２６は、スマートフォン５００の外観の一例を示す斜視図である。図２６に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。
図２７は、図２６に示すスマートフォン５００の構成の一例を示すブロック図である。図２７に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ
部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
図２６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２６に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２６に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ
（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録
商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）が挙げられる。また、ネットワークの他の例として
は、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）などが挙げられる。
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber
Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビ
デオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１乃至ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。
また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズ１６のピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図６に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像デー
タに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２６に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。
なお、上記各実施形態では、第１乃至第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。
上記各実施形態では、通常画像３０１の表示領域内にスプリットイメージ３００が表示される例を挙げて説明したが、本発明はこれに限定されるものではなく、表示装置に対して通常画像３０１を表示させずにスプリットイメージ３００を表示させても良い。また、上記各実施形態では、表示装置の表示領域の一部にスプリットイメージ３００を表示させるが、これに限定されず、表示装置の表示領域の全体にスプリットイメージ３００を表示させても良い。このように、本発明は、通常画像３０１とスプリットイメージ３００との双方を表示装置の同一画面に同時に表示する態様に限定されるものではない。例えば、本発明は、スプリットイメージ３００の表示が指示されている状態で通常画像３０１の表示指示が解除された場合は表示制御部３６が表示装置に対して通常画像３０１を表示させずにスプリットイメージ３００を表示させる制御を行うようにしても良い。
１２ ＣＰＵ
２０ 撮像素子
２６ メモリ
２８ 画像処理部
３０ 通常処理部
３２ スプリットイメージ処理部
３６ 表示制御部
１００ 撮像装置
２１３ 表示部
２４１ ＬＣＤ

Claims (14)

  1. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、前記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び前記第２の画像を前記分割方向に分割して得られた複数の分割画像の前記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、
    画像を表示する表示部と、
    前記表示部に対して前記生成部により生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示する制御を行う表示制御部と、
    前記撮像レンズによる前記第１の表示用画像の歪曲収差の補正を行い、前記第２の表示用画像の前記分割方向に対する歪曲収差を補正し、かつ前記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部と、
    を備えた画像処理装置。
  2. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、前記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び前記第２の画像を前記分割方向に分割して得られた複数の分割画像の前記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、
    画像を表示する表示部と、
    前記生成部により生成された前記第１の表示用画像の前記表示部による表示を抑止し、かつ、前記表示部に対して、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
    前記撮像レンズによる前記第１の表示用画像の歪曲収差の補正を行い、前記第２の表示用画像の前記分割方向に対する歪曲収差を補正し、かつ前記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部と、
    を備えた画像処理装置。
  3. 前記撮像レンズはズームレンズであり、
    前記補正部は、前記ズームレンズによる焦点距離に応じて、前記歪曲収差の補正を行う
    請求項１または２記載の画像処理装置。
  4. 前記補正部は、前記撮像レンズの絞り値に応じて、前記歪曲収差の補正を行う
    請求項１または２記載の画像処理装置。
  5. 複数の前記撮像レンズの何れか１つを装置本体に交換可能に装着させる装着部と、
    前記装着部により装着された前記撮像レンズの種類を示す情報を取得する取得部とを更に備え、
    前記補正部は、前記取得部により取得された情報によって示される前記撮像レンズの種類に応じて、前記歪曲収差の補正を行う
    請求項１乃至４の何れか１項記載の画像処理装置。
  6. 予め定められた複数の種類から何れか１つの種類のコンバージョンレンズを装置本体に装着させる第２装着部と、
    前記第２装着部により装着された前記コンバージョンレンズの種類を示す情報を取得する第２取得部とを更に備え、
    前記補正部は、前記第２取得部により取得された情報によって示される前記コンバージョンレンズの種類に応じて、前記歪曲収差の補正を行う
    請求項１乃至４の何れか１項記載の画像処理装置。
  7. 予め定められた複数の種類から何れか１つの種類のコンバージョンレンズを、交換可能に装着された前記撮像レンズと装置本体との間、または交換可能に装着された前記撮像レンズの被写体側に装着させる第３装着部と、
    前記第３装着部により装着された前記コンバージョンレンズの種類を示す情報を取得する第２取得部とを更に備え、
    前記補正部は、前記第２取得部により取得された情報によって示される前記コンバージョンレンズの種類に応じて、前記歪曲収差の補正を行う
    請求項５記載の画像処理装置。
  8. 前記歪曲収差を補正するための座標変換に関する変換情報が予め記憶された記憶部を更に備え、
    前記補正部は、前記記憶部に記憶された前記変換情報に基づき、前記歪曲収差の補正を行う
    請求項１乃至７の何れか１項記載の画像処理装置。
  9. 前記第１の表示用画像の歪曲収差を補正するための座標変換に関する変換情報が予め記憶された記憶部と、
    前記記憶部に記憶された前記変換情報から前記第２の表示用画像の歪曲収差を補正するための座標変換に関する第２変換情報を導出する導出部とを更に備え、
    前記補正部は、前記記憶部に記憶された前記変換情報及び前記導出部により導出された第２変換情報に基づき、前記歪曲収差の補正を行う
    請求項１乃至７の何れか１項記載の画像処理装置。
  10. 前記変換情報は、複数の画素について前記歪曲収差の補正前の座標と補正後の座標とが各々関連付けられた座標変換テーブルを示す情報、及び前記補正前の座標を前記補正後の座標に変換する演算式の少なくとも一方である
    請求項８または９記載の画像処理装置。
  11. 前記表示制御部は、前記第２の表示用画像を、前記第１の表示用画像の前記分割方向に対する中央部に表示する制御を行う
    請求項１乃至１０の何れか１項記載の画像処理装置。
  12. 請求項１乃至１１の何れか１項記載の画像処理装置と、
    前記撮像レンズと、
    前記撮像素子と、
    を備えた撮像装置。
  13. コンピュータを、
    撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、前記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び前記第２の画像を前記分割方向に分割して得られた複数の分割画像の前記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成部と、
    画像を表示する表示部に対して前記生成部により生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示する制御を行う表示制御部と、
    前記撮像レンズによる前記第１の表示用画像の歪曲収差の補正を行い、前記第２の表示用画像の前記分割方向に対する歪曲収差を補正し、かつ前記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正部と、
    として機能させるためのプログラム。
  14. 撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群から出力された画像信号に基づく第１及び第２の画像に基づいて、前記第１の画像を予め定められた分割方向に分割して得られた複数の分割画像の一部の第１の分割画像、及び前記第２の画像を前記分割方向に分割して得られた複数の分割画像の前記第１の分割画像に対応する分割領域を除く第２の分割画像を配置した合焦確認に使用する第２の表示用画像を生成する生成ステップと、
    画像を表示する表示部に対して前記生成ステップにより生成された前記第１の表示用画像を表示し、かつ該第１の表示用画像の表示領域内に前記生成ステップにより生成された前記第２の表示用画像を表示する制御を行う表示制御ステップと、
    前記撮像レンズによる前記第１の表示用画像の歪曲収差の補正を行い、前記第２の表示用画像の前記分割方向に対する歪曲収差を補正し、かつ前記分割方向と直交する直交方向に対する歪曲収差の補正を行わない補正ステップと、
    を有する画像処理方法。
JP2014555451A 2013-01-04 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法 Active JP5901801B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013000044 2013-01-04
JP2013000044 2013-01-04
PCT/JP2013/084433 WO2014106935A1 (ja) 2013-01-04 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP5901801B2 true JP5901801B2 (ja) 2016-04-13
JPWO2014106935A1 JPWO2014106935A1 (ja) 2017-01-19

Family

ID=51062256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014555451A Active JP5901801B2 (ja) 2013-01-04 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法

Country Status (4)

Country Link
US (1) US9560243B2 (ja)
JP (1) JP5901801B2 (ja)
CN (1) CN104919789B (ja)
WO (1) WO2014106935A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753321B2 (ja) * 2012-09-19 2015-07-22 富士フイルム株式会社 撮像装置及び合焦確認表示方法
JP5981026B2 (ja) * 2013-03-29 2016-08-31 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6373056B2 (ja) * 2014-05-14 2018-08-15 キヤノン株式会社 撮像装置、撮像装置の制御方法及び画像処理方法
WO2015182021A1 (ja) * 2014-05-26 2015-12-03 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
CN106204419A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 图像处理方法以及装置
JP6745682B2 (ja) * 2016-08-30 2020-08-26 キヤノン株式会社 撮像装置、制御方法、プログラム、及び記憶媒体
JP2018081224A (ja) 2016-11-17 2018-05-24 キヤノン株式会社 撮像装置およびその制御方法
JP7396987B2 (ja) * 2018-07-31 2023-12-12 住友建機株式会社 ショベル
JP7292909B2 (ja) * 2019-03-18 2023-06-19 キヤノン株式会社 撮像装置及び焦点検出方法
CN110460773B (zh) * 2019-08-16 2021-05-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147665A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP5451111B2 (ja) * 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147665A (ja) * 2007-12-13 2009-07-02 Canon Inc 撮像装置
JP2010191390A (ja) * 2009-02-20 2010-09-02 Canon Inc 撮像装置

Also Published As

Publication number Publication date
CN104919789B (zh) 2018-10-02
WO2014106935A1 (ja) 2014-07-10
US20150304529A1 (en) 2015-10-22
US9560243B2 (en) 2017-01-31
JPWO2014106935A1 (ja) 2017-01-19
CN104919789A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP6033454B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5960286B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6158340B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901781B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5889441B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5753323B2 (ja) 撮像装置及び画像表示方法
JP5955417B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10015405B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5934844B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160308

R150 Certificate of patent or registration of utility model

Ref document number: 5901801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250