JP5043730B2 - Imaging apparatus, control method therefor, image processing apparatus, and image processing method - Google Patents

Imaging apparatus, control method therefor, image processing apparatus, and image processing method Download PDF

Info

Publication number
JP5043730B2
JP5043730B2 JP2008076825A JP2008076825A JP5043730B2 JP 5043730 B2 JP5043730 B2 JP 5043730B2 JP 2008076825 A JP2008076825 A JP 2008076825A JP 2008076825 A JP2008076825 A JP 2008076825A JP 5043730 B2 JP5043730 B2 JP 5043730B2
Authority
JP
Japan
Prior art keywords
image data
image
display
split
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008076825A
Other languages
Japanese (ja)
Other versions
JP2009232288A (en
Inventor
佳宣 佐藤
義浩 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008076825A priority Critical patent/JP5043730B2/en
Publication of JP2009232288A publication Critical patent/JP2009232288A/en
Application granted granted Critical
Publication of JP5043730B2 publication Critical patent/JP5043730B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルカメラ等の撮像装置に関し、特に撮像による記録画像のピント状態を確認する機能を有する撮像装置に関する。また、本発明は、撮像により生成された記録画像のピント状態を確認できる画像処理装置に関する。   The present invention relates to an imaging apparatus such as a digital camera, and more particularly to an imaging apparatus having a function of confirming a focus state of a recorded image by imaging. The present invention also relates to an image processing apparatus capable of confirming a focus state of a recorded image generated by imaging.

撮像装置によって取得した記録画像のピント状態を該撮像装置やパーソナルコンピュータ（ＰＣ）により確認したいという要望がある。このような要望を実現するために、記録画像のうちピント状態を確認したい領域を撮像装置のディスプレイやＰＣのモニタに拡大表示する方法が用いられている。   There is a desire to confirm the focus state of a recorded image acquired by an imaging apparatus using the imaging apparatus or a personal computer (PC). In order to realize such a demand, a method of enlarging and displaying an area of a recorded image for which a focus state is desired to be confirmed on a display of an imaging apparatus or a monitor of a PC is used.

また、特許文献１には、撮像光学系の射出瞳を分割する光学部材を設け、該光学部材を通して焦点検出用撮像素子上に被写体像を投影し、スプリットイメージをディスプレイに表示する撮像装置が開示されている。   Patent Document 1 discloses an imaging apparatus that includes an optical member that divides an exit pupil of an imaging optical system, projects an object image onto a focus detection imaging element through the optical member, and displays a split image on a display. Has been.

また、特許文献２には、撮像素子の撮像面にて位相差検出方式による焦点検出を可能とする光学素子を設け、該光束素子を通して撮像素子上に被写体像を投影し、スプリットイメージをディスプレイに表示する撮像装置が開示されている。   Further, Patent Document 2 includes an optical element that enables focus detection by a phase difference detection method on the imaging surface of the image sensor, projects a subject image on the image sensor through the light beam element, and displays a split image on a display. An imaging device for display is disclosed.

さらに、特許文献３には、測距部からの信号及び撮像光学系のレンズの配置から、該撮像光学系の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、該ずれ量に応じたスプリットイメージを簡易に生成する撮像装置が開示されている。
特開昭５９−５０６７１号公報 特開２００６−１５４５０６号公報 特開２００１−３０９２１０号公報 Furthermore, in Patent Document 3, the value corresponding to the distance between the image plane of the imaging optical system and the light receiving surface of the imaging element is used as the amount of deviation from the signal from the distance measuring unit and the arrangement of the lenses of the imaging optical system. An imaging device that easily obtains a split image corresponding to the amount of deviation is disclosed.
JP 59-50671 A JP 2006-154506 A JP 2001-309210 A

特許文献１〜３のいずれに開示された撮像装置においても、撮像前にマニュアルフォーカスを行うときの補助表示としてスプリットイメージを表示する。撮影された画像に対してスプリットイメージを表示するための方法については、開示されていない。   In any of the imaging devices disclosed in Patent Documents 1 to 3, a split image is displayed as an auxiliary display when manual focusing is performed before imaging. A method for displaying a split image with respect to a photographed image is not disclosed.

また、特許文献３にて開示されている撮像装置では、スプリットイメージの表示範囲内に複数の異なる距離の被写体が存在すると、従来のスプリットイメージとずれ量が異なるという問題がある。   In addition, the imaging device disclosed in Patent Document 3 has a problem in that when there are a plurality of subjects at different distances in the split image display range, the amount of shift is different from that of the conventional split image.

本発明は、撮像後に記録画像を再生するときに、撮像時のピント状態を示すスプリットイメージ等の画像を利用できるようにした撮像装置、その制御方法、画像処理装置及び画像処理方法を提供する。   The present invention provides an imaging apparatus, a control method thereof, an image processing apparatus, and an image processing method that can use an image such as a split image indicating a focus state at the time of imaging when a recorded image is reproduced after imaging.

本発明の一側面としての撮像装置は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段と、前記第１及び第２の画像データを前記記録媒体から読み出す読み出し手段と、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、操作者により操作される第１の操作手段と、を有し、前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生手段は、前記第１の操作手段の操作に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする。
また、本発明の他の一側面としての撮像装置は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段と、前記第１及び第２の画像データを前記記録媒体から読み出す読み出し手段と、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、操作者により操作される第２の操作手段と、を有し、前記再生手段は、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生手段は、前記第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする。 An imaging apparatus according to an aspect of the present invention generates first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. Obtained by photoelectrically converting two second optical images having a phase difference corresponding to the focus state of the imaging optical system, formed by one image generating means and two light beams divided among the light beams. Second image generating means for generating second image data based on the received signal, recording means for recording the first image data and the second image data on a recording medium for storage, Reading means for reading out the first and second image data from the recording medium, and reproduction display of the second image data or the image data generated from the second image data together with the first image data on the display means Playback means First reproduction means operated by the author, and the reproduction means generates split image image data corresponding to the phase difference from the second image data, together with the first image data The split image is reproduced and displayed on the display means, and the reproduction means changes the display position of the split image on the display means in accordance with an operation of the first operation means .
An imaging apparatus according to another aspect of the present invention provides first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. Photoelectric conversion of two second optical images having a phase difference in accordance with the focus state of the imaging optical system, formed by a first image generating means for generating the image and two split light beams out of the light beams Second image generating means for generating second image data based on the signal obtained in this manner, and recording for recording the first image data and the second image data on a recording medium for storage Means, reading means for reading out the first and second image data from the recording medium, and displaying the second image data or image data generated from the second image data together with the first image data Replay display on the means And a second operation means operated by an operator, wherein the reproducing means enlarges a partial area of the first image data and reproduces and displays it on the display means. The reproduction means generates split image image data corresponding to the phase difference from the second image data, and causes the display means to reproduce and display the split image together with the first image data, The reproduction means is characterized in that when the second operation means is operated, the display position of the split image on the display means is fixed and the enlargement area by the enlargement process is changed.

また、本発明の他の一側面としての画像処理装置は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体が装着される画像処理装置であって、前記第１の画像データ及び前記第２の画像データを前記記録媒体から読み出す読み出し手段と、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、操作者により操作される第１の操作手段と、を有し、前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生手段は、前記第１の操作手段の操作に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする。
また、本発明の他の一側面としての画像処理装置は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体が装着される画像処理装置であって、前記第１の画像データ及び前記第２の画像データを前記記録媒体から読み出す読み出し手段と、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、操作者により操作される第２の操作手段と、を有し、前記再生手段は、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生手段は、前記第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする。 An image processing apparatus according to another aspect of the present invention provides a first image based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. First image generation means for generating data and two second optical images formed by two divided light beams out of the light beams and having a phase difference corresponding to a focus state of the imaging optical system are photoelectrically converted. Second image generation means for generating second image data based on the signal obtained by conversion, and the first image data and the second image data are recorded on a recording medium for storage. An image processing apparatus to which the recording medium on which the first image data and the second image data are recorded by an imaging device having a recording unit is mounted, wherein the first image data and the second image data Image data from the recording medium Read out means, reproduction means for reproducing and displaying the second image data or the image data generated from the second image data together with the first image data on the display means, and a first operated by an operator. 1, and the reproducing means generates split image image data corresponding to the phase difference from the second image data, and displays the split image together with the first image data. The reproduction unit displays the split image on the display unit according to an operation of the first operation unit .
An image processing apparatus according to another aspect of the present invention provides a first image based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. First image generation means for generating data and two second optical images formed by two divided light beams out of the light beams and having a phase difference corresponding to a focus state of the imaging optical system are photoelectrically converted. Second image generation means for generating second image data based on the signal obtained by conversion, and the first image data and the second image data are recorded on a recording medium for storage. An image processing apparatus to which the recording medium on which the first image data and the second image data are recorded by an imaging device having a recording unit is mounted, wherein the first image data and the second image data Image data from the recording medium Read out means, reproduction means for reproducing and displaying the second image data or the image data generated from the second image data together with the first image data on the display means, and a first operated by an operator. 2, and the reproduction means can enlarge the partial area of the first image data and reproduce and display it on the display means. The reproduction means Split image data corresponding to the phase difference is generated from second image data, and the split image is reproduced and displayed together with the first image data on the display means. When the means is operated, the display position of the split image on the display means is fixed and the enlargement area by the enlargement process is changed.

また、本発明の他の一側面としての撮像装置の制御方法は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録するステップと、前記第１及び第２の画像データを前記記録媒体から読み出すステップと、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生表示させるステップでは、操作者により操作される第１の操作手段に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする。
また、本発明の他の一側面としての撮像装置の制御方法は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録するステップと、前記第１及び第２の画像データを前記記録媒体から読み出すステップと、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、前記再生表示させるステップでは、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生表示させるステップでは、操作者により操作される第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする。 According to another aspect of the present invention, there is provided a control method for an image pickup apparatus based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an image pickup optical system from a subject. A step of generating the image data, and photoelectrically converting two second optical images having a phase difference corresponding to a focus state of the imaging optical system, formed by the two light beams divided among the light beams. Generating second image data based on the obtained signal; recording the first image data and the second image data on a recording medium for storage; and Reading the second image data from the recording medium, and causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data. Yes In the reproduction and display step, split image image data corresponding to the phase difference is generated from the second image data, and the split image is reproduced and displayed on the display unit together with the first image data, In the reproduction display step, the display position of the split image on the display means is changed according to the first operation means operated by the operator .
According to another aspect of the present invention, there is provided a control method for an image pickup apparatus based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an image pickup optical system from a subject. A step of generating the image data, and photoelectrically converting two second optical images having a phase difference corresponding to a focus state of the imaging optical system, formed by the two light beams divided among the light beams. Generating second image data based on the obtained signal; recording the first image data and the second image data on a recording medium for storage; and Reading the second image data from the recording medium, and causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data. Yes In the reproducing and displaying step, an enlargement process for enlarging a partial area of the first image data and reproducing and displaying it on the display means is possible. In the reproducing and displaying step, the second image data is displayed. In the step of generating image data of a split image corresponding to the phase difference, reproducing and displaying the split image together with the first image data on the display means, and performing the reproduction display, a second operation performed by an operator is performed. When the operation means is operated, the display position of the split image on the display means is fixed and the enlargement area by the enlargement process is changed.

さらに、本発明の他の一側面の画像処理方法は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体から該第１の画像データ及び該第２の画像データを読み出すステップと、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生表示させるステップでは、操作者により操作される第１の操作手段に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする。
さらに、本発明の他の一側面の画像処理方法は、被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体から該第１の画像データ及び該第２の画像データを読み出すステップと、該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、前記再生表示させるステップでは、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、前記再生表示させるステップでは、操作者により操作される第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする。
Furthermore, an image processing method according to another aspect of the present invention provides first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. Photoelectric conversion of two second optical images having a phase difference in accordance with the focus state of the imaging optical system, formed by a first image generating means for generating the image and two split light beams out of the light beams Second image generating means for generating second image data based on the signal obtained in this manner, and recording for recording the first image data and the second image data on a recording medium for storage Reading out the first image data and the second image data from the recording medium on which the first image data and the second image data are recorded by an imaging device comprising: The second along with the image data And reproducing and displaying image data generated from the image data or the second image data on a display means, and in the reproducing and displaying step, splitting is performed from the second image data according to the phase difference. In the step of generating image data of an image, causing the display unit to reproduce and display the split image together with the first image data, and in the step of reproducing and displaying the image data, according to the first operation unit operated by an operator The display position of the split image on the display means is changed .
Furthermore, an image processing method according to another aspect of the present invention provides first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject. Photoelectric conversion of two second optical images having a phase difference in accordance with the focus state of the imaging optical system, formed by a first image generating means for generating the image and two split light beams out of the light beams Second image generating means for generating second image data based on the signal obtained in this manner, and recording for recording the first image data and the second image data on a recording medium for storage Reading out the first image data and the second image data from the recording medium on which the first image data and the second image data are recorded by an imaging device comprising: The second along with the image data Image data or image data generated from the second image data is reproduced and displayed on a display means. In the reproduction and display step, a part of the first image data is enlarged. In the step of reproducing and displaying, split image image data corresponding to the phase difference is generated from the second image data, and the first image data is reproduced. At the same time, in the step of reproducing and displaying the split image on the display means, the display position of the split image on the display means is fixed when the second operating means operated by an operator is operated. Then, the enlargement area by the enlargement process is changed.

本発明によれば、撮像により記録された被写体画像としての第１の画像だけでなく、撮像時のピント状態を示す第２の画像をも記録媒体に記録するので、撮像装置や画像処理装置によってこれらを再生することで第１の画像のピント状態を確認することができる。   According to the present invention, not only the first image as the subject image recorded by imaging but also the second image indicating the focus state at the time of imaging is recorded on the recording medium. By reproducing these, the focus state of the first image can be confirmed.

以下、本発明の好ましい実施例について図面を参照しながら説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

図１には、本発明の実施例１であるデジタルカメラ等の撮像装置の回路構成を示す。   FIG. 1 shows a circuit configuration of an imaging apparatus such as a digital camera that is Embodiment 1 of the present invention.

撮像装置１において、１０１は変倍レンズやフォーカスレンズを含む撮像レンズ（撮像光学系）、１０２はフォーカスレンズを駆動するレンズ駆動回路である。１０３は光量を調整する絞りである。   In the imaging apparatus 1, reference numeral 101 denotes an imaging lens (imaging optical system) including a variable power lens and a focus lens, and 102 denotes a lens driving circuit that drives the focus lens. Reference numeral 103 denotes an aperture for adjusting the amount of light.

１０４は被写体から撮像レンズ１０１に入射した光束により形成される光学像を光電変換して電気信号（アナログ撮像信号）を出力する撮像素子（センサ）である。撮像素子１０４は、ＣＣＤセンサやＣＭＯＳセンサにより構成されている。また、撮像素子１０４には、カラー撮像用の撮像画素と焦点検出用のＡＦ画素とを含む。詳しくは後述するが、撮像画素は、被写体から撮像レンズ１０１に入射した光束により形成された被写体像（第１の光学像）を光電変換する。一方、ＡＦ画素は、被写体から撮像レンズ１０１に入射した光束のうちいわゆる瞳分割された２つの光束により形成された２つの被写体像（第２の光学像）を光電変換する。   Reference numeral 104 denotes an imaging element (sensor) that photoelectrically converts an optical image formed by a light beam incident on the imaging lens 101 from a subject and outputs an electrical signal (analog imaging signal). The image sensor 104 is configured by a CCD sensor or a CMOS sensor. Further, the image sensor 104 includes an image pickup pixel for color image pickup and an AF pixel for focus detection. As will be described in detail later, the imaging pixel photoelectrically converts a subject image (first optical image) formed by a light beam incident on the imaging lens 101 from the subject. On the other hand, the AF pixel photoelectrically converts two subject images (second optical images) formed by two so-called pupil-divided light beams among the light beams incident on the imaging lens 101 from the subject.

１０５は水平同期信号ＨＤ及び垂直同期信号ＶＤを生成する同期信号発生器（以下、ＳＳＧという）、１０６は同期信号ＨＤ，ＶＤに同期して撮像素子１０４を動作させるための制御信号を生成するタイミングジェネレータ（以下、ＴＧという）である。   Reference numeral 105 denotes a synchronization signal generator (hereinafter referred to as SSG) that generates a horizontal synchronization signal HD and a vertical synchronization signal VD, and reference numeral 106 denotes a timing for generating a control signal for operating the image sensor 104 in synchronization with the synchronization signals HD and VD. It is a generator (hereinafter referred to as TG).

１０７は撮像素子１０４から出力されたアナログ撮像信号をデジタル撮像信号に変換するＡ／Ｄ変換回路である。１０８は撮像素子１０４に設けられたＡＦ画素の位置を示すフラグを出力する補正フラグ回路である。１０９はＡ／Ｄ変換回路１０７から出力されたデジタル撮像信号に含まれるＡＦ画素の画素値を、補正フラグ回路１０８から出力されるフラグを参照して補間する現像画素補正回路である。   Reference numeral 107 denotes an A / D conversion circuit that converts an analog image signal output from the image sensor 104 into a digital image signal. Reference numeral 108 denotes a correction flag circuit that outputs a flag indicating the position of the AF pixel provided in the image sensor 104. A development pixel correction circuit 109 interpolates the pixel value of the AF pixel included in the digital image pickup signal output from the A / D conversion circuit 107 with reference to the flag output from the correction flag circuit 108.

１１０はＡ／Ｄ変換回路１０７から出力されたデジタル撮像信号に含まれるＡＦ画素の画素値を抽出するＡＦ画素選択回路である。１１１はデジタル撮像信号に対して色変換処理等の現像処理を行い、カラー画像データ（第１の画像データ）を生成する現像処理回路である。   Reference numeral 110 denotes an AF pixel selection circuit that extracts pixel values of AF pixels included in the digital imaging signal output from the A / D conversion circuit 107. A development processing circuit 111 performs development processing such as color conversion processing on the digital imaging signal to generate color image data (first image data).

主として撮像素子１０４の撮像画素、Ａ／Ｄ変換回路１０７、現像画素補正回路１０９及び現像処理回路１１１により第１の画像生成手段が構成される。また、主として撮像素子１０４のＡＦ画素、Ａ／Ｄ変換回路１０７及びＡＦ画素選択回路１１０により第２の画像生成手段が構成される。   A first image generation unit is mainly configured by the imaging pixels of the imaging element 104, the A / D conversion circuit 107, the development pixel correction circuit 109, and the development processing circuit 111. In addition, the second image generation unit is mainly configured by the AF pixels of the image sensor 104, the A / D conversion circuit 107, and the AF pixel selection circuit 110.

１１２は複数ペアのＡＦ画素により得られた像信号（Ａ像信号及びＢ像信号）から位相差を検出し、焦点ずれ量（デフォーカス量）を算出する位相差ＡＦ回路である。   A phase difference AF circuit 112 detects a phase difference from image signals (A image signal and B image signal) obtained by a plurality of pairs of AF pixels and calculates a defocus amount (defocus amount).

１１４はＤＲＡＭ、１１３はＤＲＡＭ１１４とのインターフェースとなるメモリ制御回路、１１５は画像データのサイズを変倍する変倍回路、１１６は各回路のモードやパラメータを決定するシステムコントローラである。   Reference numeral 114 denotes a DRAM, 113 denotes a memory control circuit serving as an interface with the DRAM 114, 115 denotes a scaling circuit that changes the size of image data, and 116 denotes a system controller that determines the mode and parameters of each circuit.

１１８は画像データを表示するモニタ、１１７は画像データをモニタ１１８に表示させるために変調を行うビデオ変調回路、１１９は画像データをＪＰＥＧ方式などの圧縮方式で圧縮するための圧縮回路である。１２１は圧縮された画像データを保存のために記録する、脱着可能な記録媒体（以下、メモリカードという）である。   118 is a monitor for displaying image data, 117 is a video modulation circuit for modulating the image data to be displayed on the monitor 118, and 119 is a compression circuit for compressing the image data by a compression method such as the JPEG method. Reference numeral 121 denotes a removable recording medium (hereinafter referred to as a memory card) that records compressed image data for storage.

１２０はメモリカード１２１とのインターフェースとなるカード制御回路であり、１２２は圧縮されたデータを伸張する伸張回路である。   A card control circuit 120 serves as an interface with the memory card 121, and a decompression circuit 122 decompresses the compressed data.

以上のように構成される撮像装置において、撮像レンズ１０１を通過した光束は、絞り１０３において適正な光量に調整され、撮像素子１０４上に被写体像を形成する。撮像素子１０４は、被写体像を光電変換してアナログ撮像信号を出力する。   In the imaging apparatus configured as described above, the light beam that has passed through the imaging lens 101 is adjusted to an appropriate amount of light at the aperture 103 and forms a subject image on the imaging element 104. The image sensor 104 photoelectrically converts the subject image and outputs an analog image signal.

ＴＧ１０６は、ＳＳＧ１０５において生成される同期信号ＨＤ，ＶＤに同期して撮像素子１０４が動作するようにタイミング信号を生成し、撮像素子１０４の動作を制御する。撮像素子１０４から出力されたアナログ撮像信号は、Ａ／Ｄ変換回路１０７においてデジタル撮像信号に変換される。   The TG 106 generates a timing signal so that the image sensor 104 operates in synchronization with the synchronization signals HD and VD generated in the SSG 105, and controls the operation of the image sensor 104. The analog imaging signal output from the imaging element 104 is converted into a digital imaging signal by the A / D conversion circuit 107.

補正フラグ回路１０８は、不図示のＲＯＭに記憶されたＡＦ画素の位置情報を読み出して、現像画素補正回路１０９及びＡＦ画素選択回路１１０に出力する。   The correction flag circuit 108 reads out AF pixel position information stored in a ROM (not shown) and outputs it to the development pixel correction circuit 109 and the AF pixel selection circuit 110.

現像画素補正回路１０９は、撮像素子１０４から読み出した状態のデジタル撮像信号では欠陥画素となるＡＦ画素の画素値をその周辺の撮像画素の画素値を用いて補間する。そして、欠陥画素が補間されたデジタル撮像信号を現像処理回路１１１に出力する。   The development pixel correction circuit 109 interpolates the pixel value of the AF pixel that is a defective pixel in the digital image signal read from the image sensor 104 using the pixel values of the surrounding image pixels. Then, the digital imaging signal in which the defective pixel is interpolated is output to the development processing circuit 111.

現像処理回路１１１は、現像画素補正回路１０９から出力されたデジタル撮像信号に対して色変換処理、ガンマ処理、ホワイトバランス処理等の現像処理を行い、カラー画像データを生成する。カラー画像データは、メモリ制御回路１１３を通じてＤＲＡＭ１１４に書き込まれる。   The development processing circuit 111 performs development processing such as color conversion processing, gamma processing, and white balance processing on the digital imaging signal output from the development pixel correction circuit 109 to generate color image data. Color image data is written into the DRAM 114 through the memory control circuit 113.

ＡＦ画素選択回路１１０は、補正フラグ回路１０８から入力されたＡＦ画素位置情報に従い、Ａ／Ｄ変換回路１０７から出力されたデジタル撮像信号のうちＡＦ画素の画素値データを抽出し、Ａ像信号及びＢ像信号を生成する。Ａ像信号及びＢ像信号は、撮像レンズ１０１の焦点状態に応じた位相差を有する信号であり、位相差ＡＦ回路１１２及びメモリ制御回路１１３に入力される。   The AF pixel selection circuit 110 extracts the pixel value data of the AF pixel from the digital image pickup signal output from the A / D conversion circuit 107 in accordance with the AF pixel position information input from the correction flag circuit 108, and the A image signal and A B image signal is generated. The A image signal and the B image signal are signals having a phase difference corresponding to the focus state of the imaging lens 101, and are input to the phase difference AF circuit 112 and the memory control circuit 113.

メモリ制御回路１１３は、入力されたＡ像信号及びＢ像信号をＤＲＡＭ１１４に書き込む。   The memory control circuit 113 writes the input A image signal and B image signal in the DRAM 114.

位相差ＡＦ回路１１２は、入力されたＡ像信号及びＢ像信号が持つ位相差を相関演算により算出し、位相差の情報をシステムコントローラ１１６に出力する。   The phase difference AF circuit 112 calculates the phase difference of the input A image signal and B image signal by correlation calculation, and outputs information on the phase difference to the system controller 116.

システムコントローラ１１６は、該位相差情報から撮像レンズ１０１のデフォーカス量を算出し、該デフォーカス量から合焦状態を得るためのフォーカスレンズの目標駆動量を求める。そして、該目標駆動量に応じた駆動信号をレンズ駆動回路１０２に出力し、フォーカスレンズを移動させる。こうして、撮像素子１０４に設けられたＡＦ画素を用いた位相差検出方式のオートフォーカス（ＡＦ）を行うことができる。   The system controller 116 calculates a defocus amount of the imaging lens 101 from the phase difference information, and obtains a target drive amount of the focus lens for obtaining a focused state from the defocus amount. Then, a drive signal corresponding to the target drive amount is output to the lens drive circuit 102 to move the focus lens. In this way, phase difference detection type autofocus (AF) using AF pixels provided in the image sensor 104 can be performed.

なお、本実施例の撮像レンズ１０１は、不図示のマニュアルフォーカスリング（フォーカス操作部材）を操作することでフォーカスレンズを移動させて、マニュアルフォーカスを行うこともできる。   Note that the imaging lens 101 of the present embodiment can also perform manual focus by moving the focus lens by operating a manual focus ring (focus operation member) (not shown).

現像処理回路１１１において現像処理され、ＤＲＡＭ１１４に書き込まれたカラー画像データは、メモリ制御回路１１３によって変倍回路１１５に読み出される。変倍回路１１５は、カラー画像データのサイズを、モニタ１１８に表示するためのサイズに変倍したり、メモリカード１２１に記録するためのサイズに変倍したりする。変倍されたカラー画像データは、メモリ制御回路１１３によってＤＲＡＭ１１４に書き込まれる。   The color image data developed in the development processing circuit 111 and written in the DRAM 114 is read out to the scaling circuit 115 by the memory control circuit 113. The scaling circuit 115 scales the size of the color image data to a size for display on the monitor 118 or a size for recording on the memory card 121. The scaled color image data is written into the DRAM 114 by the memory control circuit 113.

ＤＲＡＭ１１４に書き込まれたＡ像信号及びＢ像信号は、後述するようにＡＦ画素が撮像素子１０４の全体にわたって離散的に配置されているため、瞳分離された２つの光束により形成された２つの被写体像に対応する単色の画像データでもある。Ａ像及びＢ像の画像データ（第２の画像データ）は、メモリ制御回路１１３によって変倍回路１１５に読み出される。   The A image signal and the B image signal written in the DRAM 114 have two subjects formed by two pupil-separated light beams because AF pixels are discretely arranged over the entire image sensor 104 as will be described later. It is also monochromatic image data corresponding to an image. The image data (second image data) of the A image and the B image is read by the memory control circuit 113 to the scaling circuit 115.

変倍回路１１５は、Ａ像及びＢ像の画像データを、モニタ１１８に表示するためのサイズに変倍する。変倍されたＡ像及びＢ像の画像データは、メモリ制御回路１１３によってＤＲＡＭ１１４に書き込まれる。そして、変倍されたカラー画像データとＡ像及びＢ像の画像データは、ＤＲＡＭ１１４からビデオ変調回路１１７に読み出され、ＮＴＳＣやＰＡＬ等のフォーマットに変換されてモニタ１１８に出力される。   The scaling circuit 115 scales the image data of the A image and the B image to a size for display on the monitor 118. The image data of the scaled A and B images is written into the DRAM 114 by the memory control circuit 113. The scaled color image data and the image data of the A and B images are read from the DRAM 114 to the video modulation circuit 117, converted into a format such as NTSC or PAL, and output to the monitor 118.

これにより、図８Ａに示すように、カラー画像データ（以下、本画像データという）１３００上に、Ａ像の画像データである表示Ａ画像１３２０とＢ像の画像データである表示Ｂ画像１３２１により構成されるスプリットイメージが重なって表示される。より具体的には、スプリットイメージは、Ａ像及びＢ像の画像データから生成された（切り出された）画像データにより構成されている。   As a result, as shown in FIG. 8A, on the color image data (hereinafter referred to as “main image data”) 1300, a display A image 1320 which is image data of A image and a display B image 1321 which is image data of B image are constituted. The split images are displayed in a superimposed manner. More specifically, the split image is composed of image data generated (cut out) from image data of an A image and a B image.

また、変倍回路１１５によって変倍された本画像データとＡ像及びＢ像の画像データはＤＲＡＭ１１４から圧縮回路１１９に読み出されて圧縮されて再びＤＲＡＭ１１４に書き込まれた後、カード制御回路１２０により読み出される。そして、カード制御回路１２０は、これらの圧縮された画像データを図１０に示すファイルフォーマットの画像ファイル１５００に変換し、撮像装置１に対して着脱可能な記録媒体であるメモリカード１２１に記録する。主としてシステムコントローラ１１６及びカード制御回路１２０が、記録手段に相当する。   The main image data scaled by the scaling circuit 115 and the image data of the A image and the B image are read from the DRAM 114 to the compression circuit 119, compressed and written again in the DRAM 114, and then the card control circuit 120. Read out. Then, the card control circuit 120 converts the compressed image data into an image file 1500 having a file format shown in FIG. 10 and records the image file 1500 on a memory card 121 that is a recording medium that can be attached to and detached from the imaging apparatus 1. The system controller 116 and the card control circuit 120 mainly correspond to recording means.

画像ファイル１５００は、本画像データ（ＪＰＥＧデータ）とヘッダとから構成され、ヘッダには、画像パラメータとして撮像時の各種情報や撮像装置１の機種情報と、Ａ像及びＢ像の画像データ（図には、瞳分割データと記す）とが格納される。   The image file 1500 is composed of main image data (JPEG data) and a header. In the header, various information at the time of imaging, model information of the imaging apparatus 1, and image data of A and B images (FIG. Is stored as pupil division data).

なお、画像ファイル１５０００の格納として、メモリカード１２１を例示したが、保存のための記録媒体であれば、備え付けのメモリなど着脱可能でなくてもよい。また、撮像装置１に着脱可能、備え付けでなくても、通信ネットワークを介して記録媒体としてのサーバーに格納するようにしてもよい。   Note that the memory card 121 is illustrated as the storage of the image file 15000. However, a storage memory or the like may not be removable as long as it is a recording medium for storage. Further, the image pickup apparatus 1 may be stored in a server as a recording medium via a communication network, even if the image pickup apparatus 1 is detachable and not provided.

ここで、撮像素子１０４の画素配列を図２に示す。基本画素配列は、緑画素、赤画素及び青画素により構成されるベイヤー配列となっている。各画素には、光電変換部で受光する光束が通過する開口部が形成されている。図２では、緑画素における開口部をＧ、赤画素における開口部をＲ、青画素における開口部をＢ、無彩色（＝白）画素における開口部をＳ１、Ｓ２として示す。   Here, the pixel arrangement of the image sensor 104 is shown in FIG. The basic pixel array is a Bayer array including green pixels, red pixels, and blue pixels. Each pixel has an opening through which a light beam received by the photoelectric conversion unit passes. In FIG. 2, the opening in the green pixel is indicated as G, the opening in the red pixel is indicated as R, the opening in the blue pixel is indicated as B, and the opening in the achromatic (= white) pixel is indicated as S1 and S2.

緑画素の開口部Ｇには緑色光束を通過させる色フィルタが、赤画素の開口部Ｒには赤色光束を通過させる色フィルタが、青画素の開口部Ｂには青色光束を通過させる色フィルタがそれぞれ配置されている。一方、無彩色画素の開口部Ｓ１、Ｓ２には、色フィルタは配置されていない。また、各開口部の下（裏面側）には光電変換部が存在する。さらに、各開口部の上（表面側）には、マイクロレンズ（図３の１１）が設けられている。すなわち、１つの光電変換部と、その上に配置される色フィルタ（ただし、無彩色画素を除く）と、さらにその上に配置されるマイクロレンズとにより１つの画素が構成される。   A color filter that allows green light to pass through the opening G of the green pixel, a color filter that allows red light to pass through the opening R of the red pixel, and a color filter that allows blue light to pass through the opening B of the blue pixel. Each is arranged. On the other hand, no color filter is arranged in the openings S1 and S2 of the achromatic pixel. Moreover, a photoelectric conversion part exists under each opening part (back side). Further, a microlens (11 in FIG. 3) is provided on each opening (on the front surface side). That is, one pixel is configured by one photoelectric conversion unit, a color filter (except for achromatic pixels) disposed thereon, and a microlens disposed further thereon.

そして、緑画素、赤画素及び青画素は撮像画素として用いられ、無彩色画素はＡＦ画素として用いられる。   The green pixel, the red pixel, and the blue pixel are used as imaging pixels, and the achromatic pixel is used as an AF pixel.

すなわち、撮像素子１０４は、撮像レンズ１０１からの光束により形成された被写体像（第１の光学像）を光電変換する撮像画素群（第１の画素群）を有する。また、撮像レンズ１０１からの光束のうち瞳分割された光束により形成された２つの光学像（第２の光学像）を光電変換するＡＦ画素群（第２の画素群）を有する。撮像画素群からの出力信号は本画像データの生成に用いられ、ＡＦ画素群からの出力信号は位相差検出方式ＡＦとスプリットイメージ（Ａ像及びＢ像の画像データ）の生成に用いられる。   That is, the image sensor 104 includes an image pickup pixel group (first pixel group) that photoelectrically converts a subject image (first optical image) formed by the light flux from the image pickup lens 101. In addition, an AF pixel group (second pixel group) that photoelectrically converts two optical images (second optical images) formed by pupil-divided light beams out of the light beams from the imaging lens 101 is provided. An output signal from the imaging pixel group is used to generate main image data, and an output signal from the AF pixel group is used to generate phase difference detection AF and split images (image data of A and B images).

ＡＦ画素は、互いに斜めに隣接した２つの画素で１つのペアを構成し、該ペアが撮像素子１０４（撮像画素群）の全体に離散的（かつ周期的）に配置されている。   The AF pixel constitutes one pair by two pixels obliquely adjacent to each other, and the pair is discretely (and periodically) arranged over the entire imaging element 104 (imaging pixel group).

図３には、互いにペアをなす２つのＡＦ画素（左上と右下の画素）と２つの緑画素（右上と左下）とを含む４画素を拡大して示す。ここでは、各画素の開口部の形状について説明する。   FIG. 3 shows an enlarged view of four pixels including two AF pixels (upper left and lower right pixels) and two green pixels (upper right and lower left) that are paired with each other. Here, the shape of the opening of each pixel will be described.

２つのＡＦ画素のうち一方のＡＦ画素（開口部Ｓ１）は、ベイヤー配列における赤画素の位置に、他方のＡＦ画素（開口部Ｓ２）は、ベイヤー配列における青画素の位置に形成されている。   Of the two AF pixels, one AF pixel (opening S1) is formed at the position of the red pixel in the Bayer array, and the other AF pixel (opening S2) is formed at the position of the blue pixel in the Bayer array.

１１は前述したように各開口部の上に配置されるマイクロレンズである。３７ａ，３７ｂは斜め方向にて互いに隣り合う２つのＡＦ画素におけるマイクロレンズ１１の中心である。３６は該２つのＡＦ画素におけるマイクロレンズ１１の中心を通る直線である。   Reference numeral 11 denotes a microlens disposed on each opening as described above. 37a and 37b are the centers of the microlenses 11 in two AF pixels adjacent to each other in an oblique direction. Reference numeral 36 denotes a straight line passing through the center of the microlens 11 in the two AF pixels.

３８ａは上記一方のＡＦ画素が配置されていない場合の赤画素の開口部である。また、３８ｂは上記他方のＡＦ画素が配置されていない場合の青画素の開口部である。   Reference numeral 38a denotes an opening of a red pixel when the one AF pixel is not arranged. Reference numeral 38b denotes an opening of a blue pixel when the other AF pixel is not disposed.

３９ａ，３９ｂは該２つのＡＦ画素の開口部であり、赤画素の開口部３８ａと青画素の開口部３８ｂを縮小中心３５ａ，３５ｂを中心としてそれぞれ縮小した形状を有する。ここで、縮小中心３５ａ，３５ｂはそれぞれ、ＡＦ画素のマイクロレンズ１１の中心３７ａ，３７ｂから直線３６上において互いに逆向き（互いに接近する方向）に等距離だけ離れて位置する。   Reference numerals 39a and 39b denote openings of the two AF pixels, which have a shape obtained by reducing the red pixel opening 38a and the blue pixel opening 38b around the reduction centers 35a and 35b, respectively. Here, the reduction centers 35a and 35b are located on the straight line 36 away from each other in the opposite direction (direction approaching each other) from the centers 37a and 37b of the microlens 11 of the AF pixel by an equal distance.

互いに隣り合う２つのＡＦ画素の開口部３９ａ，３９ｂは、縮小中心３５ａ，３５ｂを中心として縮小した形状であるため、マイクロレンズ１１の中心３７ａ，３７ｂに対して互いに異なる向きに偏りを持つ。また、開口部３９ａ，３９ｂはそれぞれ、直線３６に直交する直線４６に対して線対称な形状となっている。   Since the openings 39a and 39b of two AF pixels adjacent to each other have a reduced shape around the reduction centers 35a and 35b, they are biased in different directions with respect to the centers 37a and 37b of the microlens 11. The openings 39 a and 39 b are each symmetrical with respect to a straight line 46 orthogonal to the straight line 36.

このような構成によれば、撮像レンズ１０１を一方のＡＦ画素から見た場合と他方のＡＦ画素から見た場合とで、撮像レンズ１０１の瞳が対称に分割されたことと等価となる。すなわち、マイクロレンズ１１と開口部３９ａ，３９ｂ（言い換えれば、開口部３９ａ，３９ｂが形成された遮光層）は、いわゆる瞳分割光学系を構成する。   According to such a configuration, it is equivalent to the case where the imaging lens 101 is viewed from one AF pixel and the other AF pixel when the pupil of the imaging lens 101 is divided symmetrically. That is, the microlens 11 and the openings 39a and 39b (in other words, the light shielding layer in which the openings 39a and 39b are formed) constitute a so-called pupil division optical system.

互いに隣り合う２つのＡＦ画素上には、撮像素子１０４の画素数が多くなるにつれてより近似した２像（Ａ像及びＢ像）が形成される。撮像レンズ１０１が被写体に対してピントが合っている状態では、２つのＡＦ画素から得られる出力（Ａ像信号及びＢ像信号）には位相差が生じない。   Two images (A image and B image) that are closer to each other are formed on two adjacent AF pixels as the number of pixels of the image sensor 104 increases. In a state where the imaging lens 101 is in focus with respect to the subject, there is no phase difference between the outputs (A image signal and B image signal) obtained from the two AF pixels.

これに対し、撮像レンズ１０１のピントがずれているならば、該２つのＡＦ画素から得られるＡ像信号及びＢ像には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。   On the other hand, if the imaging lens 101 is out of focus, a phase difference occurs between the A image signal and the B image obtained from the two AF pixels. The direction of the phase difference is reversed between the front pin state and the rear pin state.

図４及び図５に、位相差とピント状態との関係を示す。これらの図においては、互いに隣り合う（ペアをなす）２つのＡＦ画素をそれぞれＳ１，Ｓ２として示す。また、撮像画素を省略して、複数のペアのＡＦ画素Ｓ１，Ｓ２を互いに近づけて同一断面上に示している。また、これらの図では、ＡＦ画素Ｓ１，Ｓ２のペアが同じマイクロレンズ３０１で覆われているように示しているが、前述したように、ＡＦ画素Ｓ１，Ｓ２はそれぞれ別々のマイクロレンズで覆われている。   4 and 5 show the relationship between the phase difference and the focus state. In these drawings, two AF pixels adjacent to each other (paired) are shown as S1 and S2, respectively. Further, the imaging pixels are omitted, and a plurality of pairs of AF pixels S1 and S2 are shown close to each other on the same cross section. In these figures, the pair of AF pixels S1 and S2 is shown to be covered with the same microlens 301. However, as described above, the AF pixels S1 and S2 are covered with separate microlenses. ing.

被写体の特定点からの光はＡＦ画素Ｓ１に対する瞳を通ってＡＦ画素Ｓ１に入射する光束Ｌ１と、ＡＦ画素Ｓ２に対する瞳を通ってＡＦ画素Ｓ２に入射する光束Ｌ２とに分割される。該２つの光束Ｌ１，Ｌ２は、撮像レンズ１０１のピントが特定点に合っている状態では、図４に示すようにマイクロレンズ３０１の表面における一点に集光する。そして、ＡＦ画素Ｓ１，Ｓ２上には同一の像が形成される。これにより、ＡＦ画素Ｓ１から読み出したＡ像信号と、ＡＦ画素Ｓ２から読み出したＢ像信号とは同一のものとなる。   Light from a specific point of the subject is split into a light beam L1 that enters the AF pixel S1 through the pupil for the AF pixel S1 and a light beam L2 that enters the AF pixel S2 through the pupil for the AF pixel S2. The two light beams L1 and L2 are collected at one point on the surface of the microlens 301 as shown in FIG. 4 when the imaging lens 101 is in focus at a specific point. The same image is formed on the AF pixels S1 and S2. Thereby, the A image signal read from the AF pixel S1 and the B image signal read from the AF pixel S2 are the same.

一方、撮像レンズ１０１のピントが特定点に対して合っていない状態では、図５に示すように、光束Ｌ１，Ｌ２はマイクロレンズ３０１の表面とは異なる位置で交差する。このときのマイクロレンズ３０１の表面と２つの光束Ｌ１，Ｌ２の交点との距離、すなわちデフォーカス量をｘとする。また、この状態で発生したＡＦ画素Ｓ１，Ｓ２上での像のずれ量（位相差）がｎ画素分に相当するものとする。   On the other hand, when the imaging lens 101 is not in focus with respect to the specific point, the light beams L1 and L2 intersect at a position different from the surface of the microlens 301 as shown in FIG. The distance between the surface of the microlens 301 and the intersection of the two light beams L1 and L2, that is, the defocus amount is x. In addition, it is assumed that an image shift amount (phase difference) on the AF pixels S1 and S2 generated in this state corresponds to n pixels.

画素ピッチをｄ、２つの瞳の重心間の距離をＤａｆ、撮像レンズ１０１の主点から焦点位置までの距離をｕとするとき、デフォーカス量ｘは、
ｘ＝ｎ×ｄ×ｕ／Ｄａｆ …（１）
で求められる。 When the pixel pitch is d, the distance between the centers of gravity of the two pupils is Daf, and the distance from the principal point of the imaging lens 101 to the focal position is u, the defocus amount x is
x = n × d × u / Daf (1)
Is required.

なお、ｕは撮像光学系１の焦点距離ｆにほぼ等しいと考えられるので、デフォーカス量ｘは、
ｘ＝ｎ×ｄ×ｆ／Ｄａｆ …（２）
で求めることもできる。 Since u is considered to be substantially equal to the focal length f of the imaging optical system 1, the defocus amount x is
x = n × d × f / Daf (2)
You can also ask for it.

図６には、ＡＦ画素Ｓ１，Ｓ２のそれぞれから読み出したＡ像信号（Ｓ１の像）及びＢ像信号（Ｓ２の像）を示す。これらのＡ像及びＢ像信号にはずれ量（つまりは像ずれ量）ｎ×ｄが発生する。位相差ＡＦ回路１１２は、相関演算手法を用いて一対の像信号のずれ量（位相差）ｎ×ｄを求め、システムコントローラ１１６は、該位相差から（１）又は（２）式を用いてデフォーカス量ｘを求める。システムコントローラ１１６は、算出したデフォーカス量に基づいて、デフォーカス量ｘを所定範囲内に収める（望ましくは零にする）ためのフォーカスレンズの目標駆動量を算出する。そして、レンズ駆動回路１０２を通じて、フォーカスレンズを、算出した目標駆動量だけ移動させる。これにより、位相差検出方式ＡＦによる合焦状態が得られる。   FIG. 6 shows the A image signal (S1 image) and the B image signal (S2 image) read from each of the AF pixels S1 and S2. A shift amount (that is, an image shift amount) n × d occurs in these A image and B image signals. The phase difference AF circuit 112 obtains a shift amount (phase difference) n × d between the pair of image signals using a correlation calculation method, and the system controller 116 uses the equation (1) or (2) from the phase difference. A defocus amount x is obtained. Based on the calculated defocus amount, the system controller 116 calculates a target drive amount of the focus lens for keeping the defocus amount x within a predetermined range (preferably zero). Then, the focus lens is moved by the calculated target driving amount through the lens driving circuit 102. Thereby, a focused state by the phase difference detection method AF is obtained.

次に、図７を用いて本実施例の撮像装置における撮像モードでの撮像処理（制御方法）の流れを説明する。この処理は、システムコントローラ１１６の内部メモリに格納されたコンピュータプログラムに従って実行される。   Next, the flow of imaging processing (control method) in the imaging mode in the imaging apparatus of the present embodiment will be described with reference to FIG. This process is executed according to a computer program stored in the internal memory of the system controller 116.

操作者により図１に示す撮像装置のメインスイッチをＯＮすると（Ｓ１０１）、システムコントローラ１１６は、撮像レンズ１０１の焦点検出を実行する（Ｓ１０２）。このとき、撮像素子１０４のＡＦ画素からの出力信号が使用される。そして、撮像レンズ１０１のデフォーカス量が算出され、さらにフォーカスレンズの目標駆動量が算出される。   When the operator turns on the main switch of the imaging apparatus shown in FIG. 1 (S101), the system controller 116 executes focus detection of the imaging lens 101 (S102). At this time, an output signal from the AF pixel of the image sensor 104 is used. Then, the defocus amount of the imaging lens 101 is calculated, and further the target drive amount of the focus lens is calculated.

次に、Ｓ１０２において算出された目標駆動量に基づいて、システムコントローラ１１６は、レンズ駆動回路１０２に駆動信号を出力し、フォーカスレンズを合焦位置に駆動する（Ｓ１０３）。   Next, based on the target drive amount calculated in S102, the system controller 116 outputs a drive signal to the lens drive circuit 102 to drive the focus lens to the in-focus position (S103).

次に、システムコントローラ１１６は、ＳＳＧ１０５及びＴＧ１０６を通じて撮像素子１０４を動作させ、いわゆるライブビュー画像を生成させる（Ｓ１０４）。ライブビュー画像は、モニタ１１８に電子ビューファインダ用の動画像として表示される（Ｓ１０５）。   Next, the system controller 116 operates the image sensor 104 through the SSG 105 and the TG 106 to generate a so-called live view image (S104). The live view image is displayed on the monitor 118 as a moving image for the electronic viewfinder (S105).

続いてシステムコントローラ１１６は、操作者により撮像スイッチＳＷ２がＯＮされたか否かを判別する（Ｓ１０６）。操作スイッチＳＷ２がＯＮでなければＳ１０１に戻る。   Subsequently, the system controller 116 determines whether or not the imaging switch SW2 is turned on by the operator (S106). If the operation switch SW2 is not ON, the process returns to S101.

一方、操作スイッチＳＷ２がＯＮであれば、システムコントローラ１１６は、ＳＳＧ１０５及びＴＧ１０６を通じて撮像素子１０４に本画像データを生成するための本撮像動作を行わせる（Ｓ１０７）。これにより、撮像素子１０４の撮像画素からの出力信号に基づいて、現像処理回路１１１にて本画像データが生成される。また、このとき、撮像素子１０４のＡＦ画素からの出力に基づいて、ＡＦ画素選択回路１１０にてＡ像の画像データ及びＢ像の画像データも生成される。本画像データとＡ像及びＢ像の画像データ（スプリットイメージ）は、前述したように、ビデオ変調回路１１７等を介してモニタ１１８に表示されたり（Ｓ１０８）、カード制御回路１２０等を介してメモリカード１２１に記録されたりする。（Ｓ１０９）。こうして本撮像動作が終了すると、システムコントローラ１１６は、Ｓ１０１に戻って焦点検出やライブビュー画像の表示を再開する。   On the other hand, if the operation switch SW2 is ON, the system controller 116 causes the image sensor 104 to perform a main imaging operation for generating main image data through the SSG 105 and the TG 106 (S107). Thus, the main image data is generated in the development processing circuit 111 based on the output signal from the imaging pixel of the imaging element 104. At this time, the image data of the A image and the image data of the B image are also generated by the AF pixel selection circuit 110 based on the output from the AF pixel of the image sensor 104. As described above, the main image data and the image data (split image) of the A image and the B image are displayed on the monitor 118 via the video modulation circuit 117 or the like (S108), or stored in the memory via the card control circuit 120 or the like. Or recorded on the card 121. (S109). When the main imaging operation is thus completed, the system controller 116 returns to S101 and resumes focus detection and live view image display.

以上説明したように、本実施例によれば、撮像により取得された本画像データと、該本画像データを撮像するときのピント状態に対応したＡ像及びＢ像の画像データを、撮像装置１に対して着脱可能なメモリカード１２１に記録することができる。したがって、後述するように、撮像後に本画像データ（記録画像）を再生するときに、撮像時のピント状態を示すスプリットイメージを利用できる。   As described above, according to the present embodiment, the main image data acquired by imaging, and the image data of the A image and the B image corresponding to the focus state at the time of capturing the main image data are obtained from the imaging apparatus 1. Can be recorded on the removable memory card 121. Therefore, as will be described later, when reproducing the main image data (recorded image) after imaging, a split image indicating the focus state at the time of imaging can be used.

次に、本発明の実施例２として、実施例１にて説明した撮像装置１の再生機能について説明する。   Next, as a second embodiment of the present invention, the reproduction function of the imaging device 1 described in the first embodiment will be described.

カード制御回路１２０は、本画像データとＡ像及びＢ像の画像データが記録されたメモリカード１２１（他の撮像装置によって上記画像データが記録されたものでもよい）から、該本画像データとＡ像及びＢ像の画像データを読み出すことができる。そして、読み出された該本画像データとＡ像及びＢ像の画像データは、伸張回路１２２で伸張処理され、システムコントローラ１１６による切り出し処理を受けた後、ビデオ変調回路１１７を通してモニタ１１８に表示される。   The card control circuit 120 receives the main image data and the A image from the memory card 121 (the image data recorded by another imaging device) on which the main image data and the image data of the A image and the B image are recorded. The image data of the image and the B image can be read out. The read main image data and the image data of the A image and the B image are decompressed by the decompression circuit 122, subjected to the clipping process by the system controller 116, and then displayed on the monitor 118 through the video modulation circuit 117. The

これにより、メモリカード１２１から読み出された本画像データ上に、同じく読み出された表示Ａ画像と表示Ｂ画像により構成されるスプリットイメージが重なって（合成されて）モニタ１１８に再生表示される。主としてカード制御回路１２０及びシステムコントローラ１１６が、読み出し手段及び再生手段に相当する。   As a result, the split image composed of the display A image and the display B image that have been read out is superimposed (combined) on the main image data read out from the memory card 121 and reproduced and displayed on the monitor 118. . The card control circuit 120 and the system controller 116 mainly correspond to a reading unit and a reproducing unit.

図９において、１３００はメモリカード１２１に記録された本画像データである。１３０１，１３０２，１３０３は本画像データ１３００に写っている被写体であり、それぞれ撮像装置１から異なる距離に位置する。   In FIG. 9, reference numeral 1300 denotes main image data recorded on the memory card 121. Reference numerals 1301, 1302, and 1303 are subjects appearing in the main image data 1300, and are located at different distances from the imaging device 1.

本画像データ１３００の記録時において、被写体１３０１に対して撮像レンズ１０１のピントが合う距離（以下、合焦点という）に位置していたものとする。また、被写体１３０２は合焦点よりも撮像装置１に近い距離に、被写体１３０３は合焦点よりも撮像装置１から遠い距離に位置していたものとする。   Assume that when the main image data 1300 is recorded, the subject is located at a distance (hereinafter referred to as a focal point) where the imaging lens 101 is in focus with respect to the subject 1301. Further, it is assumed that the subject 1302 is located at a distance closer to the imaging device 1 than the focal point, and the subject 1303 is located at a distance farther from the imaging device 1 than the focal point.

１３０４は本画像データ１３００とともにメモリカード１２１に記録されたＡ像の画像データ（ここでは、Ａ画像データという）である。１３０５，１３０６，１３０７は、Ａ画像データ１３０４に写っている被写体であり、それぞれ本画像データ１３００内の被写体１３０１，１３０２，１３０３に対応する。   Reference numeral 1304 denotes image data of A image (herein referred to as A image data) recorded on the memory card 121 together with the main image data 1300. Reference numerals 1305, 1306, and 1307 are subjects shown in the A image data 1304, and correspond to the subjects 1301, 1302, and 1303 in the main image data 1300, respectively.

被写体１３０５は、合焦点に位置しているので、本画像データ１３００内の被写体１３０１に対してずれはない。しかし、被写体１３０６，１３０７はそれぞれ合焦点よりも近い距離及び遠い距離に位置するので、本画像データ１３００内の被写体１３０２，１３０３に対して互いに近づく方向にずれている。   Since the subject 1305 is located at the focal point, there is no deviation from the subject 1301 in the main image data 1300. However, since the subjects 1306 and 1307 are located at a distance closer to and far from the focal point, the subjects 1306 and 1307 are displaced in a direction approaching each other with respect to the subjects 1302 and 1303 in the main image data 1300.

１３０８は本画像データ１３００とともにメモリカード１２１に記録されたＢ像の画像データ（ここでは、Ｂ画像データという）である。１３０９，１３１０，１３１１は、Ｂ画像データ１３０８に写っている被写体であり、それぞれ本画像データ１３００内の被写体１３０１，１３０２，１３０３に対応する。   Reference numeral 1308 denotes B image data (herein referred to as B image data) recorded on the memory card 121 together with the main image data 1300. Reference numerals 1309, 1310, and 1311 are subjects shown in the B image data 1308, and correspond to the subjects 1301, 1302, and 1303 in the main image data 1300, respectively.

被写体１３０９は、合焦点に位置しているので、本画像データ１３００内の被写体１３０１に対してずれはない。しかし、被写体１３１０，１３１１はそれぞれ合焦点よりも近い距離及び遠い距離に位置するので、本画像データ１３００内の被写体１３０２，１３０３に対して互いに離れる方向にずれている。   Since the subject 1309 is located at the focal point, there is no deviation from the subject 1301 in the main image data 1300. However, since the subjects 1310 and 1311 are located at a distance closer to and farther from the focal point, the subjects 1310 and 1311 are shifted in directions away from the subjects 1302 and 1303 in the main image data 1300.

１３３０，１３２２，１３２３は本画像データ１３００上に、Ａ画像データ１３０４及びＢ画像データ１３０８から切り出された表示Ａ画像及び表示Ｂ画像により構成されるスプリットイメージを重ねて（合成して）モニタ１１８に再生表示された再生画像を示す。   Reference numerals 1330, 1322, and 1323 are superimposed on the main image data 1300 on the monitor 118 by superposing (combining) split images composed of the display A image and the display B image cut out from the A image data 1304 and the B image data 1308. A reproduced image that is reproduced and displayed is shown.

再生画像１３３０では、被写体１３０１の一部にスプリットイメージ（表示Ａ画像１３２０及び表示Ｂ画像１３２１）が重なって表示されている。被写体１３０１に対してピントが合っているので、表示Ａ画像１３２０及び表示Ｂ画像１３２１にはずれはない。   In the reproduced image 1330, the split image (the display A image 1320 and the display B image 1321) is displayed so as to overlap a part of the subject 1301. Since the subject 1301 is in focus, the display A image 1320 and the display B image 1321 are not displaced.

再生画像１３２２では、被写体１３０３の一部にスプリットイメージが重なって表示されている。合焦点よりも遠い距離に位置する被写体１３０３に対してはピントが合っていないので、スプリットイメージを構成する表示Ａ画像及び表示Ｂ画像は互いにずれている。このずれ量は、Ａ画像データ１３０４とＢ画像データ１３０８での被写体１３０７，１３１１のずれ量に一致する。   In the reproduced image 1322, the split image is displayed so as to overlap a part of the subject 1303. Since the subject 1303 located at a distance farther than the focal point is not in focus, the display A image and the display B image constituting the split image are shifted from each other. This shift amount matches the shift amount of the subjects 1307 and 1311 in the A image data 1304 and the B image data 1308.

再生画像１３２３では、被写体１３０２の一部にスプリットイメージが重なって表示されている。合焦点よりも近い距離に位置する被写体１３０２に対してもピントが合っていないので、スプリットイメージを構成する表Ａ画像及び表示Ｂ画像は互いにずれている。このずれ量は、Ａ画像データ１３０４とＢ画像データ１３０８での被写体１３０６，１３１０のずれ量に一致する。また、ずれの方向は、再生画像１３２２でのスプリットイメージのずれの方向と逆である。   In the reproduced image 1323, a split image is displayed so as to overlap a part of the subject 1302. Since the subject 1302 located at a distance closer to the focal point is not in focus, the table A image and the display B image constituting the split image are shifted from each other. This shift amount matches the shift amount of the subjects 1306 and 1310 in the A image data 1304 and the B image data 1308. Further, the direction of the shift is opposite to the direction of the split image shift in the reproduced image 1322.

このように、本画像データとスプリットイメージが合成された再生画像を見ることで、記録（撮像）された本画像データのピント状態を記録後に容易に確認することができる。   In this way, by viewing the reproduction image in which the main image data and the split image are combined, the focus state of the recorded (imaged) main image data can be easily confirmed after recording.

ここで、図８Ａに示した撮像装置１に設けられたスイッチ類について説明する。これらスイッチ類は、撮像装置１のうちモニタ１１８が設けられた背面に設けられている。   Here, switches provided in the imaging apparatus 1 illustrated in FIG. 8A will be described. These switches are provided on the back surface of the imaging apparatus 1 where the monitor 118 is provided.

１２０１は再生画像を縮小するために操作されるズームＤＯＷＮスイッチであり、１２０２は再生画像を拡大するために操作されるズームＵＰスイッチである。１２０３はモニタ１１８のＯＮ／ＯＦＦを切り換えるために操作されるモニタスイッチである。   A zoom DOWN switch 1201 is operated to reduce the reproduced image, and a zoom UP switch 1202 is operated to enlarge the reproduced image. A monitor switch 1203 is operated to switch the monitor 118 ON / OFF.

１２０４は各種操作メニューを表示するメニュースイッチであり、１２０５はスプリットイメージや画像の移動を指示するために操作される十字キー（第１の操作手段及び第２の操作手段）である。   Reference numeral 1204 denotes a menu switch for displaying various operation menus, and reference numeral 1205 denotes a cross key (first operation means and second operation means) operated to instruct to move the split image or image.

１２０６はメニュー画面で選択した項目を決定するセットスイッチである。   Reference numeral 1206 denotes a set switch for determining an item selected on the menu screen.

図８Ａには、再生画像の全体を表示する全画面表示状態を示している。また、図８Ｂは、ズームＵＰスイッチ１２０２の操作に応じて、再生画像（本画像データ）の一部を拡大処理して表示した拡大表示状態を示している。   FIG. 8A shows a full screen display state in which the entire reproduced image is displayed. FIG. 8B shows an enlarged display state in which a part of the reproduced image (main image data) is enlarged and displayed in accordance with the operation of the zoom UP switch 1202.

図１１は、本実施例の撮像装置１における再生モードでの再生表示処理（画像処理方法）の流れを示す。この処理も、システムコントローラ１１６の内部メモリに格納されたコンピュータプログラム（画像処理プログラム）に従って実行される。   FIG. 11 shows the flow of playback display processing (image processing method) in playback mode in the imaging apparatus 1 of the present embodiment. This process is also executed according to a computer program (image processing program) stored in the internal memory of the system controller 116.

システムコントローラ１１６は、再生モードになると、ステップＳ１で、カード制御回路１２０を介してメモリカード１２１から操作者が再生を望む画像ファイルを読み出す。読み出された画像ファイルはＤＲＡＭ１１４に転送される。   When the system controller 116 enters the playback mode, the image file that the operator desires to play is read from the memory card 121 via the card control circuit 120 in step S1. The read image file is transferred to the DRAM 114.

ステップＳ２では、システムコントローラ１１６は、ＪＰＥＧデータとして画像ファイルに収納された本画像データをＤＲＡＭ１１４上からメモリ制御回路１２０を介して読み出し、該ＪＰＥＧデータを伸張処理する。   In step S2, the system controller 116 reads the main image data stored in the image file as JPEG data from the DRAM 114 via the memory control circuit 120, and decompresses the JPEG data.

ステップＳ３では、システムコントローラ１１６は、表示倍率を初期化する。ここでは、モニタ１１８上に再生画像の全体を表示するために、表示倍率を１倍に設定する。   In step S3, the system controller 116 initializes the display magnification. Here, in order to display the entire reproduced image on the monitor 118, the display magnification is set to 1.

次にステップＳ４では、システムコントローラ１１６は、不図示の再生スイッチの状態を判別し、再生スイッチがＯＦＦであれば再生モードを終了する。一方、再生スイッチがＯＮであれば、次のステップＳ５へ移行する。   In step S4, the system controller 116 determines the state of a regeneration switch (not shown), and ends the regeneration mode if the regeneration switch is OFF. On the other hand, if the regeneration switch is ON, the process proceeds to the next step S5.

ステップＳ５では、システムコントローラ１１６は、ズームＵＰスイッチ１２０２の状態を判別し、ズームＵＰスイッチ１２０２がオフであるときはステップＳ６に進む。また、ズームＵＰスイッチ１２０２がＯＮであるときは、表示倍率を変更するステップＳ２０に移行する。   In step S5, the system controller 116 determines the state of the zoom UP switch 1202, and proceeds to step S6 when the zoom UP switch 1202 is off. If the zoom UP switch 1202 is ON, the process proceeds to step S20 where the display magnification is changed.

ステップＳ６では、システムコントローラ１１６は、十字キー１２０５の状態を判別し、十字キー１２０５がＯＦＦであるときはステップ８に進む。また、十字キー１２０５がＯＮであるときは、スプリットイメージの表示位置情報を変更するステップＳ７に移行する。なお、スプリットイメージの表示位置情報の初期値は、画面の中央に設定されている。   In step S6, the system controller 116 determines the state of the cross key 1205. If the cross key 1205 is OFF, the system controller 116 proceeds to step 8. If the cross key 1205 is ON, the process proceeds to step S7 where the display position information of the split image is changed. Note that the initial value of the display position information of the split image is set at the center of the screen.

ステップＳ７では、システムコントローラ１１６は、十字キー１２０５からの信号に応じて、本画像データ上でスプリットイメージを表示する（合成する）位置を変更する。   In step S7, the system controller 116 changes the position at which the split image is displayed (combined) on the main image data in accordance with the signal from the cross key 1205.

続いてステップＳ８では、システムコントローラ１１６は、ステップＳ２で生成された画像データをモニタ１１８に全画面表示するための変倍処理を変倍回路１１５に行わせる。   Subsequently, in step S8, the system controller 116 causes the scaling circuit 115 to perform scaling processing for displaying the image data generated in step S2 on the monitor 118 on the full screen.

ステップＳ９では、システムコントローラ１１６は、ＤＲＡＭ１１４上の画像ファイルに収納されたＡ画像データ及びＢ画像データ（図には瞳分割画像と記す）をメモリ制御回路１１３を介して読み出す。そして、ステップＳ８で変倍処理された本画像データの拡大率と同じ拡大率でＡ画像データ及びＢ画像データの変倍処理を変倍回路１１５に行わせる。   In step S <b> 9, the system controller 116 reads out the A image data and B image data (denoted as pupil-divided images in the drawing) stored in the image file on the DRAM 114 via the memory control circuit 113. Then, the scaling circuit 115 performs scaling processing of the A image data and B image data at the same magnification as the magnification of the main image data subjected to the scaling processing in step S8.

次にステップＳ１０では、システムコントローラ１１６は、スプリットイメージの表示位置情報に応じて、変倍処理後のＡ画像データ及びＢ画像データからスプリットイメージの表示枠内に収まる部分画像データ（表示Ａ画像及び表示Ｂ画像）を切り出す。そして、切り出した表示Ａ画像及び表示Ｂ画像を、ステップＳ８での変倍処理後の本画像データに合成し、該合成画像を再生画像としてモニタ１１８上に表示する。   Next, in step S10, the system controller 116, based on the split image display position information, from the A image data and B image data after the scaling process, partial image data (display A image and (Display B image) is cut out. Then, the cut-out display A image and display B image are combined with the main image data after the scaling process in step S8, and the combined image is displayed on the monitor 118 as a reproduced image.

ステップＳ４〜Ｓ１０の処理を繰り返すことで、モニタ１１８に表示された再生画像上でスプリットイメージを自由に移動させることができ、再生画像（本画像データ）の任意の位置でのピント状態を容易に確認することができる。   By repeating the processing of steps S4 to S10, the split image can be freely moved on the reproduced image displayed on the monitor 118, and the focus state at an arbitrary position of the reproduced image (main image data) can be easily achieved. Can be confirmed.

ステップＳ２０では、システムコントローラ１１６は、ズームＵＰスイッチ１２０２がＯＮされるごとに拡大方向に表示倍率を変更する。   In step S20, the system controller 116 changes the display magnification in the enlargement direction each time the zoom UP switch 1202 is turned on.

ステップＳ２１では、システムコントローラ１１６は、十字キー１２０５の状態を判別し、十字キー１２０５がＯＦＦであればステップ２３に、ＯＮであればステップＳ２２に移行する。   In step S21, the system controller 116 determines the state of the cross key 1205. If the cross key 1205 is OFF, the system controller 116 proceeds to step 23, and if it is ON, proceeds to step S22.

ステップＳ２２では、システムコントローラ１１６は、十字キー１２０５のＯＮごとに、本画像データのうち拡大する領域の位置情報を変更する。   In step S22, the system controller 116 changes the position information of the area to be enlarged in the main image data every time the cross key 1205 is turned on.

ステップＳ２３では、システムコントローラ１１６は、ステップＳ２で生成された本画像データのうち拡大する領域をモニタ１１８に拡大表示するための変倍処理を変倍回路１１５に行わせる。   In step S23, the system controller 116 causes the scaling circuit 115 to perform a scaling process for enlarging and displaying the area to be enlarged in the main image data generated in step S2 on the monitor 118.

次に、ステップＳ２４では、システムコントローラ１１６は、ＤＲＡＭ１１４上の画像ファイルに収納されたＡ画像データ及びＢ画像データ（瞳分割画像）をメモリ制御回路１１３を介して読み出す。そして、ステップＳ２３で変倍処理された本画像データの拡大領域の拡大率と同じ拡大率でＡ画像データ及びＢ画像データの変倍処理を変倍回路１１５に行わせる。   Next, in step S <b> 24, the system controller 116 reads out the A image data and B image data (pupil divided image) stored in the image file on the DRAM 114 via the memory control circuit 113. Then, the scaling circuit 115 performs scaling processing of the A image data and the B image data at the same magnification rate as that of the enlargement region of the main image data subjected to the magnification processing in step S23.

さらにステップＳ２５では、システムコントローラ１１６は、本画像データの拡大領域の位置に応じて、変倍処理後のＡ画像データ及びＢ画像データからスプリットイメージの表示枠内に収まる部分画像データ（表示Ａ画像及び表示Ｂ画像）を切り出す。そして、切り出した表示Ａ画像及び表示Ｂ画像を、ステップＳ２３での変倍処理後の本画像データの拡大領域画像に合成し、該合成画像を拡大再生画像としてモニタ１１８上に表示する。   Further, in step S25, the system controller 116 determines the partial image data (display A image) that fits within the split image display frame from the A image data and the B image data after the scaling process according to the position of the enlargement area of the main image data. And display B image). Then, the cut-out display A image and display B image are synthesized with the enlarged region image of the main image data after the scaling process in step S23, and the synthesized image is displayed on the monitor 118 as an enlarged reproduction image.

ステップＳ４〜Ｓ２４を繰り返すことで、拡大再生画像上にスプリットイメージを表示した状態で本画像データのうち拡大領域を自由に移動させる（変更する）ことができ、再生画像（本画像データ）の任意の位置でのピント状態を容易に確認することができる。   By repeating steps S4 to S24, the enlarged area of the main image data can be freely moved (changed) in a state where the split image is displayed on the enlarged reproduced image, and any reproduction image (main image data) can be arbitrarily selected. The focus state at the position can be easily confirmed.

図１２において、１４００，１４０１，１４０２は本画像データ１３００の一部領域を拡大表示した拡大再生画像を示す。拡大再生画像１４００は、本画像データ１３００内の合焦点に位置する被写体１３０１を含む領域を拡大した画像である。拡大再生画像１４０１は、本画像データ１３００内の合焦点より近い距離に位置する被写体１３０２を含む領域を拡大した画像である。拡大再生画像１４０２は、本画像データ１３００内の合焦点より遠い距離に位置する被写体１３０３を含む領域を拡大した画像である。   In FIG. 12, 1400, 1401, and 1402 indicate enlarged reproduction images in which a partial area of the main image data 1300 is enlarged. The enlarged reproduction image 1400 is an image obtained by enlarging an area including the subject 1301 located at the focal point in the main image data 1300. The enlarged reproduction image 1401 is an image obtained by enlarging an area including the subject 1302 located at a distance closer to the focal point in the main image data 1300. The enlarged reproduction image 1402 is an image obtained by enlarging an area including the subject 1303 located at a distance farther from the focal point in the main image data 1300.

いずれの拡大再生画像１４００〜１４０２においても、スプリットイメージの表示位置は画面の中央に固定され、拡大領域を移動させている。   In any enlarged reproduction image 1400 to 1402, the display position of the split image is fixed at the center of the screen, and the enlarged area is moved.

図１３には、本発明の実施例である画像処理装置を示している。   FIG. 13 shows an image processing apparatus which is an embodiment of the present invention.

画像処理装置８００は、パーソナルコンピュータにより構成され、実施例２で図１１を用いて説明した再生表示処理（画像処理方法）と基本的に同じ処理を行うコンピュータプログラムがインストールされている。   The image processing apparatus 800 is constituted by a personal computer, and a computer program for performing basically the same processing as the reproduction display processing (image processing method) described in Embodiment 2 with reference to FIG. 11 is installed.

実施例１で説明した撮像装置１において本画像データとＡ画像データ及びＢ画像データが記録されたメモリカード１２１を撮像装置１から取り外し、パーソナルコンピュータのメモリスロットに装着する。これにより、パーソナルコンピュータは、メモリカード１２１から本画像データやＡ画像データ及びＢ画像データを読み込み、再生画像を生成する。   The memory card 121 on which the main image data, the A image data, and the B image data are recorded in the image pickup apparatus 1 described in the first embodiment is removed from the image pickup apparatus 1 and is inserted into a memory slot of a personal computer. Accordingly, the personal computer reads the main image data, the A image data, and the B image data from the memory card 121, and generates a reproduced image.

再生画像は、パーソナルコンピュータのモニタ８０１に表示される。再生画像の拡大率の設定、スプリットイメージの表示位置、拡大領域の変更等は、パーソナルコンピュータに接続されたマウスやキーボードを通じて行われる。   The reproduced image is displayed on the monitor 801 of the personal computer. The setting of the enlargement ratio of the reproduced image, the display position of the split image, the change of the enlargement area, and the like are performed through a mouse or a keyboard connected to the personal computer.

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。   Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.

例えば、上記実施例では、Ａ画像データ及びＢ画像データを用いてスプリットイメージを本画像データに合成して再生表示する場合について説明した。しかし、再生表示方法はこれに限らず、例えば、Ａ画像データ及びＢ画像データのうち少なくとも一方を本画像データに重ねて２重画像や３重画像として再生表示してもよい。   For example, in the above-described embodiment, the case where the split image is combined with the main image data using the A image data and the B image data and reproduced and displayed has been described. However, the reproduction display method is not limited to this. For example, at least one of A image data and B image data may be superimposed on the main image data and reproduced and displayed as a double image or a triple image.

本発明の実施例１及び実施例２の撮像装置の構成を示すブロック図。1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment and a second embodiment of the present invention. 実施例１の撮像装置に用いられる撮像素子の画素配列を示す図。3 is a diagram illustrating a pixel array of an image sensor used in the image pickup apparatus according to Embodiment 1. FIG. 上記画素配列の拡大図。The enlarged view of the said pixel arrangement | sequence. 上記撮像素子のＡＦ画素におけるピント状態（合焦状態）と位相差との関係を示す図。The figure which shows the relationship between the focus state (focus state) and phase difference in AF pixel of the said image pick-up element. 上記撮像素子のＡＦ画素におけるピント状態（非合焦状態）と位相差との関係を示す図。The figure which shows the relationship between the focus state (non-focus state) and phase difference in AF pixel of the said image pick-up element. ＡＦ画素から読み出した像信号を示す図。The figure which shows the image signal read from AF pixel. 上記撮像装置における撮像処理を示すフローチャート。6 is a flowchart showing an imaging process in the imaging apparatus. 上記撮像装置における全画面表示例を示す図。FIG. 4 is a diagram showing a full screen display example in the imaging apparatus. 上記撮像装置における拡大表示例を示す図。The figure which shows the enlarged display example in the said imaging device. 実施例２における本画像データ、Ａ画像データ、Ｂ画像データ及び再生画像の例を示す図。FIG. 6 is a diagram illustrating an example of main image data, A image data, B image data, and a reproduction image in Embodiment 2. 上記撮像装置により記録媒体に格納される画像ファイルの構成を示す図。FIG. 3 is a diagram illustrating a configuration of an image file stored in a recording medium by the imaging device. 実施例２における再生表示処理を示すフローチャート。10 is a flowchart showing playback display processing according to the second embodiment. 実施例２における拡大再生表示の例を示す図。FIG. 10 is a diagram illustrating an example of enlarged reproduction display in the second embodiment. 本発明の実施例３である画像処理装置を示す図。FIG. 9 is a diagram illustrating an image processing apparatus that is Embodiment 3 of the present invention.

符号の説明Explanation of symbols

１ 撮像装置
１０１ 撮像レンズ
１０４ 撮像素子
１０９ 現像画素補正回路
１１０ ＡＦ画素選択回路
１１１ 現像処理回路
１１２ 位相差ＡＦ回路
１１５ 変倍回路
１１６ システムコントローラ
１１８ モニタ
１２１ メモリカード
８００ 画像処理装置
１３００ 本画像データ
１３２０，１３２１ スプリットイメージ（表示Ａ画像、表示Ｂ画像）
Ｒ，Ｇ，Ｂ 撮像画素（開口部）
Ｓ１，Ｓ２ ＡＦ画素（開口部）
DESCRIPTION OF SYMBOLS 1 Imaging device 101 Imaging lens 104 Imaging element 109 Development pixel correction circuit 110 AF pixel selection circuit 111 Development processing circuit 112 Phase difference AF circuit 115 Scaling circuit 116 System controller 118 Monitor 121 Memory card 800 Image processing device 1300 Main image data 1320, 1321 Split image (Display A image, Display B image)
R, G, B imaging pixels (opening)
S1, S2 AF pixel (aperture)

Claims (10)

被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、
前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、
前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段と、
前記第１及び第２の画像データを前記記録媒体から読み出す読み出し手段と、
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、
操作者により操作される第１の操作手段と、を有し、
前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、
前記再生手段は、前記第１の操作手段の操作に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする撮像装置。 First image generation means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject;
Based on a signal obtained by photoelectrically converting two second optical images having a phase difference corresponding to the focus state of the imaging optical system, formed by two divided light beams out of the light beams. Second image generating means for generating the image data of
Recording means for recording the first image data and the second image data on a recording medium for storage;
Reading means for reading the first and second image data from the recording medium;
Reproduction means for causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data;
Anda first operating means operated by an operator,
The reproduction means generates split image image data corresponding to the phase difference from the second image data, and causes the display means to reproduce and display the split image together with the first image data,
Said reproducing means, in response to said operation first operating means, said display means in said split image by changing the display position imaging device it said the. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、
前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、
前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段と、
前記第１及び第２の画像データを前記記録媒体から読み出す読み出し手段と、
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、
操作者により操作される第２の操作手段と、を有し、
前記再生手段は、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、
前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、
前記再生手段は、前記第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする撮像装置。 First image generation means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject;
Based on a signal obtained by photoelectrically converting two second optical images having a phase difference corresponding to the focus state of the imaging optical system, formed by two divided light beams out of the light beams. Second image generating means for generating the image data of
Recording means for recording the first image data and the second image data on a recording medium for storage;
Reading means for reading the first and second image data from the recording medium;
Reproduction means for causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data;
And a second operating means operated by an operator,
It said reproducing means, said first enlarged display means to enlargement processing Ru is reproduced and displayed by the partial region of the image data are possible,
The reproduction means generates split image image data corresponding to the phase difference from the second image data, and causes the display means to reproduce and display the split image together with the first image data,
Said reproducing means, when said second operation means is operated, the display means in said split image display position wherein the to that imaging device fixed to changing the enlargement area according to the enlargement processing . 前記再生手段は、前記第１の画像データと前記第２の画像データとを合成して前記表示手段に再生表示させることを特徴とする請求項１または２に記載の撮像装置。 It said reproducing means, image pickup device according to claim 1 or 2, characterized in that reproduced and displayed on the display unit by combining the first image data and the second image data. 前記第１の光学像を光電変換する第１の画素群と前記第２の光学像を光電変換する第２の画素群とを有する撮像素子を有し、
前記第１の画像生成手段は前記第１の画素群からの信号を用いて前記第１の画像データを生成し、前記第２の画像生成手段は前記第２の画素群からの信号を用いて前記第２の画像データを生成することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。 An image sensor having a first pixel group that photoelectrically converts the first optical image and a second pixel group that photoelectrically converts the second optical image;
The first image generation means generates the first image data using a signal from the first pixel group, and the second image generation means uses a signal from the second pixel group. The imaging apparatus according to any one of claims 1 to 3 , wherein the second image data is generated. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体が装着される画像処理装置であって、
前記第１の画像データ及び前記第２の画像データを前記記録媒体から読み出す読み出し手段と、
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、
操作者により操作される第１の操作手段と、を有し、
前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、
前記再生手段は、前記第１の操作手段の操作に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする画像処理装置。 First image generating means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject, Based on a signal obtained by photoelectrically converting two second optical images formed by two split light beams and having a phase difference corresponding to the focus state of the imaging optical system, second image data is obtained. The first image data and the first image data and the second image generation means, and the first image data and the second image data are recorded by a recording unit that records the first image data and the second image data on a recording medium for storage. the recording medium of the second image data is recorded is an image processing apparatus to be mounted,
Reading means for reading out the first image data and the second image data from the recording medium;
Reproduction means for causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data ;
Have a, a first operating means operated by an operator,
The reproduction means generates split image image data corresponding to the phase difference from the second image data, and causes the display means to reproduce and display the split image together with the first image data,
The image processing apparatus , wherein the reproduction unit changes a display position of the split image on the display unit in accordance with an operation of the first operation unit . 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体が装着される画像処理装置であって、First image generating means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject, Based on a signal obtained by photoelectrically converting two second optical images formed by two split light beams and having a phase difference corresponding to the focus state of the imaging optical system, second image data is obtained. The first image data and the first image data and the second image generation means, and the first image data and the second image data are recorded by a recording unit that records the first image data and the second image data on a recording medium for storage. An image processing apparatus to which the recording medium on which second image data is recorded is mounted,
前記第１の画像データ及び前記第２の画像データを前記記録媒体から読み出す読み出し手段と、Reading means for reading out the first image data and the second image data from the recording medium;
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させる再生手段と、Reproduction means for causing the display means to reproduce and display the second image data or the image data generated from the second image data together with the first image data;
操作者により操作される第２の操作手段と、を有し、Second operating means operated by an operator,
前記再生手段は、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、The reproduction means can perform an enlargement process of enlarging a partial area of the first image data and reproducing and displaying it on the display means,
前記再生手段は、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、The reproduction means generates split image image data corresponding to the phase difference from the second image data, and causes the display means to reproduce and display the split image together with the first image data,
前記再生手段は、前記第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする画像処理装置。The image processing apparatus according to claim 1, wherein when the second operation unit is operated, the reproduction unit fixes a display position of the split image on the display unit and changes an enlargement area by the enlargement process. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、
前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、
前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録するステップと、
前記第１及び第２の画像データを前記記録媒体から読み出すステップと、
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、
前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、
前記再生表示させるステップでは、操作者により操作される第１の操作手段に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする撮像装置の制御方法。 Generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject;
Based on a signal obtained by photoelectrically converting two second optical images having a phase difference corresponding to the focus state of the imaging optical system, formed by two divided light beams out of the light beams. Generating image data of:
Recording the first image data and the second image data on a recording medium for storage ;
Reading the first and second image data from the recording medium;
A step of displaying means reproduces and displays the image data generated from the image data of the image data or the second of the second with the first image data, the possess,
In the reproducing and displaying step, image data of a split image corresponding to the phase difference is generated from the second image data, and the split image is reproduced and displayed on the display unit together with the first image data,
In the reproducing and displaying step, the display position of the split image on the display unit is changed in accordance with a first operation unit operated by an operator . 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成するステップと、Generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject;
前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成するステップと、Based on a signal obtained by photoelectrically converting two second optical images having a phase difference corresponding to the focus state of the imaging optical system, formed by two divided light beams out of the light beams. Generating image data of:
前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録するステップと、Recording the first image data and the second image data on a recording medium for storage;
前記第１及び第２の画像データを前記記録媒体から読み出すステップと、Reading the first and second image data from the recording medium;
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、Replaying and displaying on the display means the second image data or the image data generated from the second image data together with the first image data,
前記再生表示させるステップでは、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、In the reproducing and displaying step, an enlargement process for enlarging a partial area of the first image data and reproducing and displaying it on the display means is possible.
前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、In the reproducing and displaying step, image data of a split image corresponding to the phase difference is generated from the second image data, and the split image is reproduced and displayed on the display unit together with the first image data,
前記再生表示させるステップでは、操作者により操作される第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする撮像装置の制御方法。In the reproducing and displaying step, when the second operation means operated by the operator is operated, the display position of the split image on the display means is fixed and the enlargement area by the enlargement process is changed. A control method for an imaging apparatus. 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体から該第１の画像データ及び該第２の画像データを読み出すステップと、
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、
前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、
前記再生表示させるステップでは、操作者により操作される第１の操作手段に応じて、前記表示手段における前記スプリットイメージの表示位置を変更することを特徴とする画像処理方法。 First image generating means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject, Based on a signal obtained by photoelectrically converting two second optical images formed by two split light beams and having a phase difference corresponding to the focus state of the imaging optical system, second image data is obtained. The first image data and the first image data and the second image generation means, and the first image data and the second image data are recorded by a recording unit that records the first image data and the second image data on a recording medium for storage. a step of reading the image data and the image data of the second first from the recording medium to the second image data is recorded,
A step of displaying means reproduces and displays the image data generated from the image data of the image data or the second of the second with the first image data, the possess,
In the reproducing and displaying step, image data of a split image corresponding to the phase difference is generated from the second image data, and the split image is reproduced and displayed on the display unit together with the first image data,
In the reproducing and displaying step, the display position of the split image on the display means is changed in accordance with first operating means operated by an operator . 被写体から撮像光学系に入射した光束により形成された第１の光学像を光電変換して得られた信号に基づいて第１の画像データを生成する第１の画像生成手段と、前記光束のうち分割された２つの光束により形成された、該撮像光学系の焦点状態に応じた位相差を有する２つの第２の光学像を光電変換して得られた信号に基づいて第２の画像データを生成する第２の画像生成手段と、前記第１の画像データ及び前記第２の画像データを、保存のために記録媒体に記録する記録手段とを有する撮像装置により前記第１の画像データ及び前記第２の画像データが記録された前記記録媒体から該第１の画像データ及び該第２の画像データを読み出すステップと、First image generating means for generating first image data based on a signal obtained by photoelectrically converting a first optical image formed by a light beam incident on an imaging optical system from a subject, Based on a signal obtained by photoelectrically converting two second optical images formed by two split light beams and having a phase difference corresponding to the focus state of the imaging optical system, second image data is obtained. The first image data and the first image data and the second image generation means, and the first image data and the second image data are recorded by a recording unit that records the first image data and the second image data on a recording medium for storage. Reading the first image data and the second image data from the recording medium on which the second image data is recorded;
該第１の画像データとともに該第２の画像データ又は該第２の画像データから生成された画像データを表示手段に再生表示させるステップと、を有し、Replaying and displaying on the display means the second image data or the image data generated from the second image data together with the first image data,
前記再生表示させるステップでは、前記第１の画像データの一部の領域を拡大して前記表示手段に再生表示させる拡大処理が可能であり、In the reproducing and displaying step, an enlargement process for enlarging a partial area of the first image data and reproducing and displaying it on the display means is possible.
前記再生表示させるステップでは、前記第２の画像データから前記位相差に応じたスプリットイメージの画像データを生成し、前記第１の画像データとともに前記スプリットイメージを前記表示手段に再生表示させ、In the reproducing and displaying step, image data of a split image corresponding to the phase difference is generated from the second image data, and the split image is reproduced and displayed on the display unit together with the first image data,
前記再生表示させるステップでは、操作者により操作される第２の操作手段が操作された場合に、前記表示手段における前記スプリットイメージの表示位置を固定して前記拡大処理による拡大領域を変更することを特徴とする画像処理方法。In the reproducing and displaying step, when the second operation means operated by the operator is operated, the display position of the split image on the display means is fixed and the enlargement area by the enlargement process is changed. A featured image processing method.
JP2008076825A 2008-03-24 2008-03-24 Imaging apparatus, control method therefor, image processing apparatus, and image processing method Expired - Fee Related JP5043730B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008076825A JP5043730B2 (en) 2008-03-24 2008-03-24 Imaging apparatus, control method therefor, image processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008076825A JP5043730B2 (en) 2008-03-24 2008-03-24 Imaging apparatus, control method therefor, image processing apparatus, and image processing method

Publications (2)

Publication Number Publication Date
JP2009232288A JP2009232288A (en) 2009-10-08
JP5043730B2 true JP5043730B2 (en) 2012-10-10

Family

ID=41247152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008076825A Expired - Fee Related JP5043730B2 (en) 2008-03-24 2008-03-24 Imaging apparatus, control method therefor, image processing apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP5043730B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101786069B1 (en) 2009-02-17 2017-10-16 가부시키가이샤 니콘 Backside illumination image sensor, manufacturing method thereof and image-capturing device
KR101777351B1 (en) 2011-05-16 2017-09-11 삼성전자주식회사 Image pickup device, digital photographing apparatus using the device, auto-focusing method, and computer-readable storage medium for performing the method
JP6051592B2 (en) * 2012-05-18 2016-12-27 株式会社ニコン Image processing apparatus and imaging apparatus
JP6084982B2 (en) * 2012-09-19 2017-02-22 富士フイルム株式会社 Imaging device
WO2014045689A1 (en) * 2012-09-19 2014-03-27 富士フイルム株式会社 Image processing device, imaging device, program, and image processing method
CN104769932B (en) * 2012-11-05 2018-01-23 富士胶片株式会社 Image processing apparatus, camera device, image processing method and program
WO2015037343A1 (en) * 2013-09-11 2015-03-19 富士フイルム株式会社 Image processing device, imaging device, image processing method, and image processing program
JP5664742B2 (en) * 2013-11-22 2015-02-04 株式会社ニコン Imaging device and imaging apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215405A (en) * 2000-01-31 2001-08-10 Canon Inc Image pickup unit and method for displaying picked image, and recording medium therefor
JP2005303409A (en) * 2004-04-07 2005-10-27 Canon Inc Solid state imaging device

Also Published As

Publication number Publication date
JP2009232288A (en) 2009-10-08

Similar Documents

Publication Publication Date Title
JP5043730B2 (en) Imaging apparatus, control method therefor, image processing apparatus, and image processing method
JP5854984B2 (en) Image processing apparatus, imaging apparatus, control method, and program
JP5192096B2 (en) Stereo imaging device
JP5043626B2 (en) Imaging device
JP4985808B2 (en) Imaging apparatus and program
US9924155B2 (en) Imaging apparatus and method for controlling same
JP2011199493A (en) Camera
JP2012199752A (en) Image processing apparatus, image processing method, and program
JP4260094B2 (en) Stereo camera
JP2008116844A (en) Imaging apparatus
JP2006303961A (en) Imaging apparatus
JP4696614B2 (en) Image display control device and program
JP2007096774A (en) Image display device and program
JP2013118459A (en) Imaging apparatus and control method thereof
JP2020098968A (en) Imaging element, imaging apparatus, and imaging method
JP2008035124A (en) Image reproducing device and image reproducing method
JP7134601B2 (en) Image processing device, image processing method, imaging device, and imaging device control method
JP5153293B2 (en) Image processing apparatus and image processing program
JP2011103555A (en) Image sensing device
JP4243412B2 (en) Solid-state imaging device and signal processing method
JP5340042B2 (en) Imaging apparatus and control method thereof
JP6138222B2 (en) Image processing apparatus, imaging apparatus, control method, and program
JP2016206441A (en) Control device, imaging device, control method, program, and recording medium
JP6161307B2 (en) Imaging apparatus and control method thereof
JP5498561B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R151 Written notification of patent or utility model registration

Ref document number: 5043730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees