JP2014029429A - Imaging device, control method, and program - Google Patents
Imaging device, control method, and program Download PDFInfo
- Publication number
- JP2014029429A JP2014029429A JP2012170374A JP2012170374A JP2014029429A JP 2014029429 A JP2014029429 A JP 2014029429A JP 2012170374 A JP2012170374 A JP 2012170374A JP 2012170374 A JP2012170374 A JP 2012170374A JP 2014029429 A JP2014029429 A JP 2014029429A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- focal length
- image signal
- subject
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、撮像装置、制御方法、及びプログラムに関し、特に撮影後に任意の焦点距離に合焦した画像を生成する技術に関する。 The present invention relates to an imaging apparatus, a control method, and a program, and more particularly to a technique for generating an image focused on an arbitrary focal length after shooting.
デジタルカメラ等の撮像装置では、撮影対象である被写体に応じた焦点調整を行なって撮影が行われる。近年の一般的な撮像装置は、このような焦点調整を自動で行う、所謂オートフォーカス（ＡＦ）機能を有する。ＡＦに用いられる焦点検出方式には、例えば位相差検出方式とコントラスト検出方式とがあり、前者は主にデジタル一眼レフカメラ、後者は主にコンパクトデジタルカメラに用いられている。 In an imaging apparatus such as a digital camera, photographing is performed by adjusting a focus according to a subject to be photographed. A general imaging apparatus in recent years has a so-called autofocus (AF) function for automatically performing such focus adjustment. Focus detection methods used for AF include, for example, a phase difference detection method and a contrast detection method. The former is mainly used for a digital single-lens reflex camera, and the latter is mainly used for a compact digital camera.
コントラスト検出方式は、得られる撮像信号の信号強度等により合焦状態を検出するため、異なる光軸について得られた画像間の像のずれを検出する位相差検出方式に比べ、合焦する焦点距離（合焦位置）を厳密に検出することができる。一方で、コントラスト検出方式を用いた合焦位置の検出では、焦点距離を異ならせながら撮像した複数の画像について合焦評価を行う必要がある。このため、コントラスト検出方式を用いた合焦位置の検出には複数の画像についての評価時間及びフォーカスレンズの駆動時間が必要であり、位相差検出方式に比べて検出に時間を要する。 The contrast detection method detects the in-focus state based on the signal strength of the obtained image signal, etc., so the focal length is in focus compared to the phase difference detection method that detects image displacement between images obtained for different optical axes. (Focus position) can be detected strictly. On the other hand, in the detection of the in-focus position using the contrast detection method, it is necessary to perform in-focus evaluation on a plurality of images taken with different focal lengths. For this reason, the detection of the in-focus position using the contrast detection method requires an evaluation time for a plurality of images and the drive time of the focus lens, and the detection requires more time than the phase difference detection method.
これに対し特許文献１には、フォーカスレンズを離散的に駆動しながら合焦評価を行って合焦位置の当たりをつけ、当たりをつけた範囲で細かくフォーカスレンズを駆動しながら合焦評価を行い、合焦位置の検出を高速化する撮像装置が開示されている。
On the other hand, in
一方、近年では撮影後に任意の焦点距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を並べ替えて瞳分割数分の画素値を加算することで、任意の焦点距離に合焦した画像の各画素は生成される。 On the other hand, in recent years, there is an imaging apparatus that can generate an image focused on an arbitrary focal length after shooting. In such an imaging apparatus, microlenses are assigned to a plurality of photoelectric conversion elements in the imaging element, and different pupil regions of the imaging optical system are assigned to each of the photoelectric conversion elements associated with one microlens. The light beam that has passed through is imaged. By rearranging the output signals of the pixels of the image sensor obtained by the imaging device and adding the pixel values for the number of pupil divisions, the pixels of the image focused on an arbitrary focal length are generated.
特許文献２には、撮影後に任意の焦点距離に合焦した画像を生成可能な撮像装置において、１回の撮像で得られた出力信号から複数の焦点距離に合焦した焦点検出用の画像を生成することで、撮影対象の被写体に合焦する焦点距離を検出する方法が開示されている。
しかしながら、上述の特許文献に開示された方法を用いたとしても、高速に、かつ良好な精度で合焦位置の検出を行えないことがあった。 However, even if the method disclosed in the above-mentioned patent document is used, the focus position may not be detected at high speed and with good accuracy.
特許文献１のように、フォーカスレンズの駆動を２段階の刻み幅で行う方法では、フォーカスレンズの駆動方向と合焦位置との関係によっては、図８のようにフォーカスレンズの駆動が長時間になり、合焦位置の検出に時間を要する可能性があった。
In the method of driving the focus lens in two steps as in
また特許文献２ような撮像装置における合焦位置を検出する方法は、焦点距離に応じて１回の撮像で得られた出力信号の画素の並べ替えを行い、並べ替え後の出力信号から焦点検出用の画像を生成する。このとき１回の撮像で得られた出力信号を用いて任意の焦点距離に合焦する焦点検出用の画像を生成するため、実際にその焦点距離にフォーカスレンズを駆動して撮影して得られた画像を用いる場合と合焦評価の評価値が異なり得られる合焦位置の精度が低かった。
In addition, a method for detecting the in-focus position in an imaging apparatus such as
本発明は、上述の問題点に鑑みてなされたものであり、オートフォーカス動作を高速にかつ良好な精度で行う撮像装置、制御方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus, a control method, and a program that perform an autofocus operation at high speed and with good accuracy.
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
フォーカスレンズを含む撮像光学系と、被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、撮像手段により出力された画像信号から、被写体のうち、決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有する撮像装置であって、焦点範囲において閾値よりも大きい第１の間隔をあけて決定手段により順次決定された第１の焦点距離の各々について、対応する位置にフォーカスレンズを駆動させ、撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、第１の評価手段による合焦評価の結果に基づき、１つの画像信号を選択する選択手段と、焦点範囲において、閾値よりも小さい第２の間隔をあけて決定手段により順次決定された第２の焦点距離の各々について、選択手段により選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有することを特徴とする。
In order to achieve the above object, an imaging apparatus of the present invention has the following configuration.
An imaging optical system including a focus lens and imaging means for imaging a subject and outputting the obtained image signal, each pixel of the image signal passing through a combination of a pupil region and an incident direction of the imaging optical system Imaging means corresponding to different luminous fluxes, a determination means for determining a focal length for performing focus evaluation in the focal range, and a focus determined by the determination means among subjects from an image signal output by the imaging means Generation means for generating a reconstructed image that focuses on a subject at a distance, and generating means for generating a reconstructed image by summing pixel values of pixels of the image signal corresponding to each pixel of the reconstructed image; For each of the first focal lengths sequentially determined by the determining means with a first interval larger than the threshold value in the focal range, at the corresponding position. First evaluation means for performing in-focus evaluation of the reconstructed image that is generated from the image signal output from the image pickup means and that is focused on the subject having the first focal length, and first evaluation Selection means for selecting one image signal based on the result of focus evaluation by the means, and each of the second focal lengths sequentially determined by the determination means with a second interval smaller than the threshold in the focal range. And a second evaluation means for performing a focus evaluation of the reconstructed image generated from the image signal selected by the selection means and focused on the subject having the second focal length. .
このような構成により本発明によれば、オートフォーカス動作を高速にかつ良好な精度で行うことが可能となる。 With such a configuration, according to the present invention, the autofocus operation can be performed at high speed and with good accuracy.
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後に任意の焦点距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の焦点距離に合焦した画像を生成して焦点検出動作を行うことが可能な任意の機器に適用可能である。
[Embodiment]
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In addition, one embodiment described below describes an example in which the present invention is applied to a camera system that can generate an image focused on an arbitrary focal length after shooting as an example of an imaging apparatus. However, the present invention can be applied to any device capable of generating an image focused on an arbitrary focal length and performing a focus detection operation.
また、本明細書において、以下の用語を定義して説明する。 In this specification, the following terms are defined and described.
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・ "Light Field (LF) data"
The image signal output from the
・「再構成画像」
ＬＦデータから生成される、任意の焦点距離に合焦した画像。具体的には生成する焦点距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。ＬＦデータの撮影時の合焦面、即ち撮像素子上（撮像面）の画素配置が図４のようである場合、再構成画像を生成する再構成面が決定されると、該再構成面における各画素は、撮像面における各画素に入射する光束の入射方向を考慮して決定される。具体的には、再構成面における画素配置は再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定し、該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
・ "Reconstructed image"
An image generated from LF data and focused at an arbitrary focal length. Specifically, the pixels of the LF data are rearranged according to the pixel arrangement on the focal plane (reconstruction plane) corresponding to the focal length to be generated, and the pixel values of the pixels corresponding to one pixel of the reconstructed image are summed up. Get the pixel value of the pixel. The number of pixels to which the normal pixel values are added is the pupil division number. When the focal plane at the time of shooting LF data, that is, the pixel arrangement on the imaging device (imaging plane) is as shown in FIG. 4, when the reconstruction plane for generating the reconstructed image is determined, Each pixel is determined in consideration of the incident direction of a light beam incident on each pixel on the imaging surface. Specifically, the pixel arrangement on the reconstruction plane is determined based on the incident direction when the image sensor is present on the reconstruction plane, and the pixel value of the pixel corresponding to one microlens in the pixel arrangement By adding together, one pixel of the reconstructed image can be generated.
《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。
《Camera system configuration》
FIG. 1 is a block diagram showing functional configurations of a
〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、ＲＯＭに格納されている後述のオートフォーカス（ＡＦ）処理の動作プログラムを読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した合焦位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。
<Configuration of
The
撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子の露光及び読み出しを行い、得られたＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。
The
また本実施形態のデジタルカメラ１００では、撮像素子１０９１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には４×４＝１６個の画素が対応付けられており、撮像光学系２０２の瞳分割数は１６となる。
Further, in the
図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向４つの画素２１乃至２４がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における瞳領域３１乃至３４と共役関係になるように設計される。図２（ｃ）の例では、画素２１は瞳領域３１、画素２２は瞳領域３２、画素２３は瞳領域３３、そして画素２４は瞳領域３４に共役関係にある。
FIG. 2C is a diagram illustrating a correspondence relationship between a pixel associated with one microlens and a pupil region of an exit pupil of the imaging
画像処理部１０３は、撮像部１０２から出力されたＬＦデータの画像信号に対して、所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、補間演算処理等を行い、記録用の画像（ＬＦデータ）を生成する。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、予め定められた符号化方式に応じて、画像、動画、音声等のデータの圧縮処理を実行する。各種画像処理は、専用回路等により実現されてよい。
The
メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。
The
表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。
The
操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。
The
〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より合焦位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。
<Configuration of
The
撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。
The imaging
《ＡＦ処理》
このような構成をもつ本実施形態のデジタルカメラ１００の、被写体に合焦する合焦位置を探索して被写体に合焦するＡＦ処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本ＡＦ処理は、例えばデジタルカメラ１００が撮影モードで起動中にレリーズボタンの半押し操作がなされたことを、カメラ制御部１０１が操作検出部１０６からの制御信号により検出された際に開始されるものとして説明する。
<AF processing>
Specific processing will be described with reference to the flowchart of FIG. 3 for AF processing for searching for a focus position for focusing on the subject and focusing on the subject in the
Ｓ３０１で、カメラ制御部１０１は、第１段階の合焦位置の探索動作について、合焦評価の評価対象である対象焦点距離を決定する。
In step S <b> 301, the
本実施形態ではカメラ制御部１０１は、以下の２段階の探索動作を行って被写体に合焦する合焦位置を探索する。
In the present embodiment, the
・第１段階の探索動作
対象焦点距離に対応する位置にフォーカスレンズを駆動して得られたＬＦデータから、該対象焦点距離の被写体に合焦する再構成画像（図４の撮像面の画素配置で生成される再構成画像）を生成して合焦評価を行う。対象焦点距離の決定間隔は、例えば図５（ａ）に示されるように、焦点範囲に対して離散的に決定される。即ち、第１段階の探索動作は、対象焦点距離を設定する間隔を粗くして行う粗調探索であり、離散的なコントラスト評価値の分布の挙動から、合焦位置を模索する。本実施形態では第１段階の探索動作における対象焦点距離の決定間隔は、例えば１０〜２５ＦΔ（Ｆ：Ｆナンバー、Δ：２０μｍ程度）であるものとする。
First-stage search operation From the LF data obtained by driving the focus lens to a position corresponding to the target focal length, a reconstructed image focusing on the subject at the target focal length (pixel arrangement on the imaging surface in FIG. 4) The reconstructed image generated in (1) is generated and the focus evaluation is performed. The target focal length determination interval is discretely determined with respect to the focal range, for example, as shown in FIG. In other words, the search operation in the first stage is a coarse tone search that is performed with coarse intervals for setting the target focal length, and seeks the in-focus position from the behavior of the distribution of discrete contrast evaluation values. In this embodiment, the target focal length determination interval in the first-stage search operation is, for example, 10 to 25 FΔ (F: F number, Δ: about 20 μm).
・第２段階の探索動作
フォーカスレンズは駆動せず、対象焦点距離に対応する再構成面について再構成画像を生成して合焦評価を行う。第２段階の探索動作における対象焦点距離の決定間隔は、第１段階の探索動作に比べて細かい微調探索である。本実施形態では第２段階の探索動作における対象焦点距離の決定間隔は、粗調動作時よりも小さい１〜５ＦΔであるものとする。なお、本発明の実施はこれに限られるものではなく、第２段階の探索動作における対象焦点距離の決定間隔は、第１段階の探索動作に比べて小さければよい。また第１段階及び第２段階の探索動作における決定間隔は固定間隔である必要はなく、例えば第１段階では所定の閾値より大きい間隔、また第２段階では該閾値より小さい間隔で決定されればよい。
Second-stage search operation The focus lens is not driven, and a reconstructed image is generated for the reconstructed surface corresponding to the target focal length to perform focus evaluation. The target focal length determination interval in the second-stage search operation is a fine-tuning search that is finer than that in the first-stage search operation. In this embodiment, it is assumed that the target focal length determination interval in the second-stage search operation is 1 to 5 FΔ, which is smaller than that in the coarse adjustment operation. The implementation of the present invention is not limited to this, and the target focal length determination interval in the second-stage search operation may be smaller than that in the first-stage search operation. Further, the determination interval in the search operation in the first stage and the second stage does not need to be a fixed interval. For example, if it is determined at an interval larger than a predetermined threshold in the first stage and smaller than the threshold in the second stage. Good.
Ｓ３０２で、カメラ制御部１０１は、Ｓ３０１において決定した対象焦点距離に対応する位置にフォーカスレンズを駆動させる。具体的にはカメラ制御部１０１は、電気接点１０７を介してレンズ制御部２０１に対象焦点距離の情報を伝送する制御信号を伝送する。そしてレンズ制御部２０１は、対象焦点距離の情報に基づいてフォーカスレンズの駆動位置を決定し、レンズ駆動部２０３にフォーカスレンズを駆動させる。
In step S302, the
Ｓ３０３で、カメラ制御部１０１は、撮像部１０２に被写体を撮像させ、対象焦点距離に係るＬＦデータを取得する。具体的にはカメラ制御部１０１は、所定の露出設定で撮像部１０２が出力したＬＦデータに係るアナログ画像信号に対して、画像処理部１０３にＡ／Ｄ変換処理を適用させ、ＬＦデータを取得する。
In step S <b> 303, the
Ｓ３０４で、カメラ制御部１０１は、再構成画像生成処理を実行し、Ｓ３０３において取得したＬＦデータから、対象焦点距離に対応する撮像面についての再構成画像を画像処理部１０３に生成させる。なお、本ステップで生成される再構成画像は、対象焦点距離が撮像面に対応しているため、撮像素子から出力されたＬＦデータの画素配置を変更することなく再構成画像を生成することができる。
In S304, the
〈再構成画像生成処理〉
ここで、本実施形態の再構成画像生成処理について、図６（ａ）のフローチャートを用いて詳細を説明する。
<Reconstructed image generation processing>
Here, the details of the reconstructed image generation process of this embodiment will be described with reference to the flowchart of FIG.
Ｓ６０１で、画像処理部１０３は、生成する再構成画像の各画素の画素値を格納する領域をメモリ１０４に確保し、該領域のデータを初期化（０で埋める）する。このとき、データ領域の容量はマイクロレンズアレイ１０８を構成するマイクロレンズの数に対応した容量であればよい。なお、再構成画像の各画素の画素値のデータ諧調は、ＬＦデータにおける各画素のデータ諧調と瞳分割数の積を格納できるだあることが好ましい。例えばＬＦデータの１画素のデータが８ｂｉｔで、射出瞳が１６分割されている場合、１２ｂｉｔ（＝８ｂｉｔ＋ｌｏｇ２１６）あればデータの桁あふれを考慮する必要がなくなる。
In step S601, the
そして画像処理部１０３は、Ｓ６０２乃至Ｓ６０６のループ処理を、マイクロレンズアレイ１０８を構成するマイクロレンズの数と同じ回数実行することで、合焦評価に用いる再構成画像を生成する。なお、マイクロレンズアレイ１０８のマイクロレンズには例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応するマイクロレンズが、処理対象となる。
The
Ｓ６０２で、画像処理部１０３は、Ｓ６０２乃至Ｓ６０６のループ処理の実行回数が、マイクロレンズの数と同じ回数実行されたか否かを判断する。画像処理部１０３は、マイクロレンズの数と同じ回数実行されていない場合は処理をＳ６０３に移し、実行されている場合は本再構成画像生成処理を完了する。なお、マイクロレンズの数は、予めＲＯＭに格納される情報であってもよいし、撮像素子１０９の画素数を瞳分割数で割ることで取得してもよい。
In step S602, the
また画像処理部１０３は、Ｓ６０３乃至Ｓ６０５のループ処理を撮像光学系２０２の射出瞳の瞳分割数と同じ回数実行することで、１つのマイクロレンズに対応付けられた位置に存在するＬＦデータの画素について画素値を合算する。なお、１つのマイクロレンズアレイに対応付けられた位置に存在するＬＦデータの画素については、例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応する整理番号を有するＬＦデータの画素が、処理対象となる。
In addition, the
Ｓ６０３で、画像処理部１０３は、Ｓ６０３乃至Ｓ６０５のループ処理の実行回数が、瞳分割数と同じ回数実行されたか否かを判断する。実行されていない場合は処理をＳ６０４に移し、実行されている場合はループ処理を抜け、処理をＳ６０２に戻す。
In step S603, the
Ｓ６０４で、画像処理部１０３は、処理対象のＬＦデータの画素の画素値を、対応する再構成画像の画素についてのメモリ１０４の格納領域の値に加算する。また、例えば設定された対象焦点距離により、ＬＦデータの画素位置のシフト量が整数値ではない場合は、本ステップにおいて複数の画素値が内分されて、対応する再構成画像の画素についての格納領域の値に加算すればよい。
In step S604, the
このように本再構成画像生成処理を実行することにより、画像処理部１０３は対象焦点距離に対応した再構成画像を生成することができる。カメラ制御部１０１は、再構成画像生成処理が完了した後、ＡＦ処理をＳ３０５に移す。
By executing the reconstructed image generation process in this way, the
Ｓ３０５で、カメラ制御部１０１は、生成した再構成画像の合焦度合いを示すコントラスト評価値を取得するコントラスト評価処理を画像処理部１０３に実行させる（第１の評価）。
In step S <b> 305, the
〈コントラスト評価処理〉
ここで、本実施形態のコントラスト評価処理について、図６（ｂ）のフローチャートを用いて詳細を説明する。
<Contrast evaluation processing>
Here, details of the contrast evaluation processing of the present embodiment will be described with reference to the flowchart of FIG.
Ｓ６１１で、画像処理部１０３は、コントラスト評価を行う評価点の数及び評価枠の大きさを設定する。なお、評価点数や評価枠の大きさは、例えばユーザにより予め設定されていればよい。評価点数が多くなると、より再構成画像の広範囲を評価対象としてカバーすることが可能になるが、コントラスト評価に要する時間は長くなる。また評価枠の大きさが大きくなると、局所的にはパターンを有していないテクスチャであってもコントラスト評価を行うことが可能になるが、距離の異なる被写体の像を同時に評価する所謂遠近競合の発生確立が増加する。本実施形態では、このような問題を考慮した評価点数や評価枠の大きさが設定されているものとする。
In step S611, the
Ｓ６１２で、画像処理部１０３は、再構成画像の画素値についてフィルタ処理を適用する。該フィルタ処理では、粗調探索時にはより低周波成分に着目したフィルタリングを行い、微調探索時には粗調探索時に比べて高周波に着目したフィルタリングを行うとよい。このようにすることで、ローカルミニマムを避けつつ、最終的にコントラスト評価値から判断される被写体に合焦する焦点距離の合焦精度を向上することができる。
In step S612, the
画像処理部１０３は、Ｓ６１３乃至Ｓ６１６のループ処理を、評価点数分実行することで、評価点数分の評価枠の各々についてコントラスト評価値を得ることができる。なお、本ループ処理では画像処理部１０３は、評価を行う評価枠を、予め設定された評価順に従って選択して以下の演算を行う。
The
Ｓ６１３で、画像処理部１０３は、Ｓ６１３乃至Ｓ６１６のループ処理の実行回数が、評価点数に達したか否かを判断する。画像処理部１０３は、ループ処理の実行回数が評価点数に達したと判断した場合は処理をＳ６１７に移し、達していないと判断した場合は処理をＳ６１４に移す。
In step S613, the
Ｓ６１４で、画像処理部１０３は、評価枠内の再構成画像の全ての水平ラインについて、画素値の最大値をピークホールドする。
In step S614, the
Ｓ６１５で、画像処理部１０３は、全ての水平ラインについてピークホールドした最大値を合算することで、コントラスト評価値を算出する。
In step S615, the
Ｓ６１７で、画像処理部１０３は、各評価枠について算出したコントラスト評価値をカメラ制御部１０１に出力して、本コントラスト評価処理を完了する。
In step S617, the
本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値値の合計値をコントラスト評価値として出力するものとして説明するが、対象焦点距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。 In the present embodiment, it is assumed that the total value of the maximum pixel value values for all horizontal lines in the evaluation frame is output as the contrast evaluation value in this way. However, the calculation of the contrast evaluation value accompanying the change in the target focal length is described. Other calculation methods may be used for. For example, a non-dimensional evaluation value obtained by dividing the secondary contrast evaluation value, which is the sum of squares of adjacent pixel output differences, by the square of the primary contrast, which is the absolute sum of adjacent pixel output differences, is used. The method can be used.
このようにして合焦評価を行う再構成画像についてのコントラスト評価値を画像処理部１０３に出力させた後、カメラ制御部１０１は該評価値を対象焦点距離の情報に関連付けてＲＡＭに蓄積し、ＡＦ処理をＳ３０６に移す。
After causing the
Ｓ３０６で、カメラ制御部１０１は、第１段階の探索動作が完了したか否かを判断する。具体的にはカメラ制御部１０１は、対象焦点距離の決定間隔で焦点範囲の全体についてフォーカスレンズを離散的に駆動し、各対象焦点距離について合焦評価を行ったか否かを判断する。カメラ制御部１０１は、第１段階の探索動作が完了したと判断した場合は処理をＳ３０７に移す。またカメラ制御部１０１は、第１段階の探索動作が完了していないと判断した場合は処理をＳ３０１に戻し、第１段階の探索動作に係る新たな対象焦点距離を決定させる。なお、本実施形態では第１段階の探索動作を行う探索範囲を焦点範囲の全体としたが、例えば設定されている撮影モード等、好適な合焦位置が特定の範囲に限定されている場合等は、第１段階の探索範囲が焦点範囲の全体である必要はない。
In step S <b> 306, the
Ｓ３０７で、カメラ制御部１０１は、撮影範囲の被写体に合焦する合焦位置を推定する合焦位置推定処理を実行する。
In step S <b> 307, the
〈合焦位置推定処理〉
ここで、本実施形態の合焦位置推定処理について、図６（ｃ）のフローチャートを用いて詳細を説明する。
<In-focus position estimation process>
Here, the focus position estimation process of the present embodiment will be described in detail with reference to the flowchart of FIG.
Ｓ６２１で、カメラ制御部１０１は、第１段階の探索動作で設定した対象焦点距離のそれぞれについて得られたコントラスト評価値の情報を参照し、評価値の大きさが上位３位までの焦点距離を特定する。例えばコントラスト評価値の挙動が図５（ａ）のような挙動になった場合、カメラ制御部１０１は上位３位までの評価値ＥＶＭａｘ、ＥＶＭａｘ２、ＥＶＭａｘ３と、そのときの焦点距離の情報を特定する。
In step S621, the
Ｓ６２２で、カメラ制御部１０１は、図５（ｂ）に示されるようなＥＶＭａｘの点とＥＶＭａｘ３の点とを通る直線Ｌ１の式を取得する。
In step S <b> 622, the
Ｓ６２３で、カメラ制御部１０１は、図５（ｂ）に示されるようなＥＶＭａｘ２を通り、直線Ｌ１と正負が反対の傾きを有する直線Ｌ２の式を取得する。
In step S623, the
Ｓ６２４で、カメラ制御部１０１は、直線Ｌ１と直線Ｌ２の式から、その交点の焦点距離を推定合焦位置として取得する。なお、焦点距離に対するコントラスト評価値の分布に応じた合焦位置の推定については、本ステップの方式に限られるものではない。例えば、取得した４点の焦点距離におけるコントラスト評価値をもとに二次関数近似を行い、そのピーク位置を推定合焦位置としてもよい。
In step S624, the
このように合焦位置推定処理の実行により推定合焦位置が得られた後、カメラ制御部１０１はＡＦ処理をＳ３０８に移す。
After the estimated focus position is obtained by executing the focus position estimation process in this manner, the
Ｓ３０８で、カメラ制御部１０１は、第１段階の探索動作で得られたＬＦデータのうち、第２段階の探索動作に用いるＬＦデータを特定する。即ち、カメラ制御部１０１は、フォーカスレンズを駆動せずに、対象焦点距離に対応した再構成画像を生成する際に用いるＬＦデータをいずれの焦点距離で得られたＬＦデータにするかを判断する。
In step S308, the
上述したように、ＬＦデータを撮影した際の焦点距離とは異なる対象焦点距離について生成された再構成画像のコントラスト評価値は、フォーカスレンズが対象焦点距離にある場合に得られたＬＦデータから撮像面について生成された再構成画像と異なりうる。即ち、フォーカスレンズを駆動せずに生成された再構成画像についてのコントラスト評価は、駆動した場合に得られる評価に比べて精度が悪化する可能性がある。これは、ＬＦデータを撮影した際の焦点距離と、再構成画像に対応する対象焦点距離との差が大きくなるほど顕著に現れうる。 As described above, the contrast evaluation value of the reconstructed image generated for the target focal length different from the focal length when the LF data is captured is captured from the LF data obtained when the focus lens is at the target focal length. It may be different from the reconstructed image generated for the surface. That is, the contrast evaluation for the reconstructed image generated without driving the focus lens may be less accurate than the evaluation obtained when the focus lens is driven. This can be more noticeable as the difference between the focal length when the LF data is captured and the target focal length corresponding to the reconstructed image increases.
このため本実施形態では、第２段階の探索動作におけるコントラスト評価値の精度劣化を低減するために、カメラ制御部１０１は推定合焦位置に最も近い焦点距離で得られたＬＦデータ（第２段階用ＬＦデータ）を、第２段階の探索動作に用いる。例えば図５（ｂ）のように推定合焦位置が得られた場合、本実施形態によれば第２段階用ＬＦデータとして撮像面でのコントラスト評価値がＥＶＭａｘを示したＬＦデータが用いられる。しかしながら、本発明の実施はこれに限らず、推定合焦位置と対応する位置にフォーカスレンズを駆動させ、撮影により得られたＬＦデータを第２段階用ＬＦデータとして用いてもよい。このようにすることで、第２段階の探索動作におけるコントラスト評価値の精度劣化をより低減することができる。
For this reason, in this embodiment, in order to reduce the accuracy deterioration of the contrast evaluation value in the search operation in the second stage, the
Ｓ３０９で、カメラ制御部１０１は、第２段階の合焦位置の探索動作について、合焦評価の評価対象である対象焦点距離を決定する。本ステップで決定される対象焦点距離は、推定合焦位置付近を集中的に探索するように、例えば推定合焦位置を中心として定められた所定の範囲（第２段階の探索範囲）内で順次決定されればよい。なお、対象焦点距離は、推定合焦位置を開始位置として、コントラスト評価値の挙動を確認しながら、焦点距離をマクロ側あるいは望遠側に順次決定されてもよい。また対象焦点距離は、第２段階の探索動作に用いるＬＦデータと対応する焦点距離から、推定合焦位置の方向に順次決定されてもよいことは容易に理解されよう。
In step S <b> 309, the
Ｓ３１０で、カメラ制御部１０１は、再構成画像生成処理を実行し、第２段階用ＬＦデータから、対象焦点距離に対応する再構成面についての再構成画像を画像処理部１０３に生成させる。
In S310, the
Ｓ３１１で、カメラ制御部１０１は、コントラスト評価処理を画像処理部１０３に実行させ、再構成画像についてのコントラスト評価値を取得する（第２の評価）。カメラ制御部１０１は該評価値を対象焦点距離の情報に関連付けてＲＡＭに蓄積する。
In step S311, the
Ｓ３１２で、カメラ制御部１０１は、第２段階の探索範囲の全てについて再構成画像の合焦評価が完了したか否かを判断する。カメラ制御部１０１は、第２段階の探索範囲の全てについて合焦評価が完了したと判断した場合は処理を処理をＳ３１３に移し、完了していないと判断した場合は処理をＳ３０９に戻す。
In step S312, the
Ｓ３１３で、カメラ制御部１０１は、第２段階の探索範囲について得られた各コントラスト評価値から、被写体に合焦する合焦位置を決定する。合焦位置の決定方法は、例えば図５（ｃ）に示されるような５点の評価値について合焦位置推定処理と同様に直線Ｌ１’及び直線Ｌ２’を決定し、直線Ｌ１’と直線Ｌ２’の式から、その交点の焦点距離を合焦位置として決定する。
In step S313, the
Ｓ３１４で、カメラ制御部１０１は、Ｓ３１３において特定した合焦位置の情報を電気接点１０７を介してレンズ制御部２０１に伝送し、フォーカスレンズを対応する位置に駆動させ、処理を完了する。
In step S314, the
このように第１段階及び第２段階の探索動作を行うことで、レンズ駆動に要する時間を短縮し、好適なコントラスト評価値に基づいた、被写体についての合焦位置を決定することができる。 By performing the first-stage and second-stage search operations in this manner, it is possible to reduce the time required for driving the lens and determine the in-focus position for the subject based on a suitable contrast evaluation value.
次に図７を用いて本実施形態に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光束が撮像素子１０９上に結像する状態を模式的に示した図である。図７（ａ）は図２で説明した光学系と対応しており、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置した例である。図７（ｂ）は撮像光学系２０２の結像面よりも物体寄りにマイクロレンズアレイ１０８を配置した例である。図７（ｃ）は撮像光学系２０２の結像面よりも物体から遠い側にマイクロレンズアレイ１０８を配置した例である。
Next, another example of an optical system applicable to this embodiment will be described with reference to FIG. FIG. 7 is a diagram schematically illustrating a state in which a light beam from an object (subject) forms an image on the
図７において、図２と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ，５１ｂは物体平面上の任意の点である。５２は撮像光学系２０２の瞳平面を、６１，６２，７１，７２，７３，８１，８２，８３，８４はマイクロレンズアレイ１０８上の特定のマイクロレンズをそれぞれ示している。
In FIG. 7, the same reference numerals are given to the same components as those in FIG. 2, and duplicate descriptions are omitted.
また、図７（ｂ）および（ｃ）においては、図７（ａ）との対応関係を明確にするために、仮想的な撮像素子１０９ａ及び仮想的なマイクロレンズアレイ１０８ａを示した。また、物体平面上の点５１ａから瞳平面５２の瞳領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の瞳領域３１および３３を通過する光束を破線で図示した。
7B and 7C, the
図７（ａ）の例では、図３でも説明したように、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置することで、撮像素子１０９と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０８が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、瞳領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。
In the example of FIG. 7A, as described with reference to FIG. 3, the
図７（ｂ）の例では、マイクロレンズアレイ１０８によって撮像光学系２０２からの光束を結像させ、その結像面に撮像素子１０９を設けている。このように配置することで、物体平面５１と撮像素子１０９とは共役の関係になる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の瞳領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する瞳領域に応じて撮像素子１０９の撮像面における異なる位置に結像する。これらを、仮想的な撮像素子１０９ａの撮像面における位置に並べなおせば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
In the example of FIG. 7B, the light beam from the imaging
図７（ｃ）の例では、マイクロレンズアレイ１０８で撮像光学系２０２からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子１０９の撮像面を配置する。このように配置することで、物体平面５１と撮像素子１０９は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。
In the example of FIG. 7C, the
図７（ｂ）の場合と同様に、撮像素子１０９で得られた画素の信号を、仮想的な撮像素子１０９ａの撮像面における位置に並び替えれば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
Similarly to the case of FIG. 7B, if the pixel signals obtained by the
なお、図７ではマイクロレンズアレイ１０８（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をマイクロレンズアレイ１０８の代わりに用いる構成であってもよい。
FIG. 7 shows a configuration example in which pupil division is performed using the microlens array 108 (phase modulation element) to acquire position information and angle information of a light beam. Other configurations can be used as long as they can acquire (equivalent to limiting). For example, a configuration in which a pattern mask (gain modulation element) configured by repeating basic patterns is used instead of the
以上説明したように、本実施形態の撮像装置は、オートフォーカス動作を高速にかつ良好な精度で行うことができる。具体的には撮像装置は、まず、焦点範囲において閾値よりも大きい第１の間隔をあけて第１の焦点距離を順次決定する。そして第１の焦点距離の各々について、対応する位置にフォーカスレンズを駆動させて撮像された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。さらに撮像装置は、この合焦評価の結果に基づき１つの画像信号を選択する。次に、焦点範囲において、閾値よりも小さい第２の間隔をあけて第２の焦点距離を順次決定する。そして第２の焦点距離の各々について、選択した１つの画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。 As described above, the imaging apparatus according to the present embodiment can perform the autofocus operation at high speed and with good accuracy. Specifically, the imaging apparatus first sequentially determines the first focal length with a first interval larger than the threshold in the focal range. For each of the first focal lengths, the focus evaluation of the reconstructed image focused on the subject at the first focal length, which is generated from the image signal captured by driving the focus lens to the corresponding position. Do. Further, the imaging device selects one image signal based on the result of the focus evaluation. Next, in the focal range, the second focal length is sequentially determined with a second interval smaller than the threshold. Then, for each of the second focal lengths, the focus evaluation of the reconstructed image generated from the selected one image signal and focused on the subject having the second focal length is performed.
[変形例]
上述した実施形態では、第１段階の探索動作において実際にフォーカスレンズを駆動しながらの撮像により得られたＬＦデータから再構成画像を生成して推定合焦位置を推定する方法について説明したが、本発明の実施はこれに限られるものではない。第１段階の探索動作は推定合焦位置を推定して第２段階用のＬＦデータを特定できれば、第２段階の探索動作における再構成画像の合焦評価を好適な精度で実行することができる。即ち、本発明において第１段階の探索動作で用いる再構成画像の再現度が低いことによる合焦位置の精度低下は問題とはなり難い。
[Modification]
In the above-described embodiment, the method for generating the reconstructed image from the LF data obtained by the imaging while actually driving the focus lens in the first-stage search operation and estimating the estimated focus position has been described. The implementation of the present invention is not limited to this. In the first stage search operation, if the estimated in-focus position is estimated and the LF data for the second stage can be specified, the focus evaluation of the reconstructed image in the second stage search operation can be executed with suitable accuracy. . In other words, a decrease in the accuracy of the in-focus position due to the low reproducibility of the reconstructed image used in the first stage search operation in the present invention is unlikely to be a problem.
つまり本発明は、第１段階の探索動作について第２段階と同様にフォーカスレンズを駆動させず、１つのＬＦデータから粗調探索として決定された対象焦点距離について生成された再構成画像を生成し、合焦評価を行ってもよい。そして、その評価の結果得られた推定合焦位置に対応した位置に改めてフォーカスレンズを駆動して撮像を行い、第２段階用ＬＦデータを取得する構成であってもよい。このようにすることで、第１段階の探索動作におけるフォーカスレンズの駆動動作に要する時間を短縮し、さらに推定合焦位置について得られたＬＦデータを用いて第２段階の探索動作を行うことができる。つまり、本変形例により、良好な精度のオートフォーカス動作をより高速に実現することができる。 That is, the present invention does not drive the focus lens in the first stage search operation as in the second stage, and generates a reconstructed image generated for the target focal length determined as a coarse search from one LF data. In-focus evaluation may be performed. Then, the second stage LF data may be acquired by driving the focus lens again to a position corresponding to the estimated in-focus position obtained as a result of the evaluation and performing imaging. By doing so, it is possible to reduce the time required for the focus lens driving operation in the first-stage search operation and to perform the second-stage search operation using the LF data obtained for the estimated in-focus position. it can. That is, according to this modification, an autofocus operation with good accuracy can be realized at higher speed.
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (8)
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置であって、
前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、
前記第１の評価手段による合焦評価の結果に基づき、１つの画像信号を選択する選択手段と、
前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記選択手段により選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有する
ことを特徴とする撮像装置。 An imaging optical system including a focus lens;
An imaging unit that images a subject and outputs an obtained image signal, wherein each pixel of the image signal corresponds to a light beam having a different combination of the pupil region and incident direction of the imaging optical system that has passed through When,
A determining means for determining a focal length for performing focus evaluation in the focal range;
A generating unit configured to generate a reconstructed image focusing on a subject having a focal length determined by the determining unit out of the subject from the image signal output by the imaging unit, wherein each pixel of the reconstructed image Generating means for generating the reconstructed image by adding pixel values of pixels of the image signal corresponding to the image signal,
The focus lens is driven to a corresponding position for each of the first focal lengths sequentially determined by the determination unit with a first interval larger than a threshold in the focal range, and is output by the imaging unit First evaluation means for performing in-focus evaluation of a reconstructed image generated from an image signal and focused on a subject having the first focal length;
Selection means for selecting one image signal based on the result of focus evaluation by the first evaluation means;
For each of the second focal lengths sequentially determined by the determining unit with a second interval smaller than the threshold in the focal range, the second focal length generated from the image signal selected by the selecting unit 2. An imaging apparatus comprising: a second evaluation unit that performs a focus evaluation of a reconstructed image focused on a subject having a focal length of 2.
前記選択手段は、前記推定手段により推定された前記被写体に合焦する焦点距離に対応する位置に最も近い位置に前記フォーカスレンズがある際に出力された画像信号を選択する
ことを特徴とする請求項１に記載の撮像装置。 Based on the result of focus evaluation by the first evaluation means, further comprising an estimation means for estimating a focal length focused on the subject;
The selection means selects an image signal output when the focus lens is located at a position closest to a position corresponding to a focal length focused on the subject estimated by the estimation means. Item 2. The imaging device according to Item 1.
前記選択手段は、前記推定手段により推定された前記被写体に合焦する焦点距離に対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号を選択する
ことを特徴とする請求項１に記載の撮像装置。 Based on the result of focus evaluation by the first evaluation means, further comprising an estimation means for estimating a focal length focused on the subject;
The selection means drives the focus lens to a position corresponding to a focal length focused on the subject estimated by the estimation means, and selects an image signal output by the imaging means. Item 2. The imaging device according to Item 1.
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置であって、
前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、前記撮像手段により出力された１つの画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、
前記第１の評価手段による合焦評価の結果に基づき、前記被写体に合焦する焦点距離に対応する位置を推定する推定手段と、
前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記推定手段により推定された焦点距離に対応する位置に前記フォーカスレンズを駆動させて前記撮像手段により出力された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有する
ことを特徴とする撮像装置。 An imaging optical system including a focus lens;
An imaging unit that images a subject and outputs an obtained image signal, wherein each pixel of the image signal corresponds to a light beam having a different combination of the pupil region and incident direction of the imaging optical system that has passed through When,
A determining means for determining a focal length for performing focus evaluation in the focal range;
A generating unit configured to generate a reconstructed image focusing on a subject having a focal length determined by the determining unit out of the subject from the image signal output by the imaging unit, wherein each pixel of the reconstructed image Generating means for generating the reconstructed image by adding pixel values of pixels of the image signal corresponding to the image signal,
For each of the first focal lengths sequentially determined by the determining unit at a first interval larger than a threshold value in the focal range, the first focal point generated from one image signal output by the imaging unit First evaluation means for performing focus evaluation of a reconstructed image focused on a subject having one focal length;
Estimating means for estimating a position corresponding to a focal length at which the subject is focused based on a result of focusing evaluation by the first evaluating means;
In the focal range, for each of the second focal lengths sequentially determined by the determining means with a second interval smaller than the threshold value, the focus is set at a position corresponding to the focal length estimated by the estimating means. Second evaluation means for performing focus evaluation of a reconstructed image that is generated from an image signal output from the image pickup means by driving a lens and is focused on a subject having the second focal length. An imaging apparatus characterized by the above.
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置の制御方法であって、
前記撮像装置の第１の評価手段が、前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価工程と、
前記撮像装置の選択手段が、前記第１の評価工程における合焦評価の結果に基づき、１つの画像信号を選択する選択工程と、
前記撮像装置の第２の評価手段が、前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記選択工程において選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価工程と、を有する
ことを特徴とする撮像装置の制御方法。 An imaging optical system including a focus lens;
An imaging unit that images a subject and outputs an obtained image signal, wherein each pixel of the image signal corresponds to a light beam having a different combination of the pupil region and incident direction of the imaging optical system that has passed through When,
A determining means for determining a focal length for performing focus evaluation in the focal range;
A generating unit configured to generate a reconstructed image focusing on a subject having a focal length determined by the determining unit out of the subject from the image signal output by the imaging unit, wherein each pixel of the reconstructed image A generation unit that generates the reconstructed image by adding pixel values of pixels of the image signal corresponding to the image signal,
The first evaluation unit of the imaging apparatus has the focus lens at a corresponding position for each of the first focal lengths sequentially determined by the determination unit with a first interval larger than a threshold in the focus range. A first evaluation step of performing in-focus evaluation of a reconstructed image that is generated from the image signal output by the imaging unit and focuses on the subject having the first focal length;
A selection step in which the selection unit of the imaging device selects one image signal based on a result of focus evaluation in the first evaluation step;
In the selection step, the second evaluation unit of the imaging apparatus selects each of the second focal lengths sequentially determined by the determination unit with a second interval smaller than the threshold in the focal range. And a second evaluation step of performing a focus evaluation of a reconstructed image focused on a subject having the second focal length, which is generated from the image signal thus obtained.
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置の制御方法であって、
前記撮像装置の第１の評価手段が、前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、前記撮像手段により出力された１つの画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価工程と、
前記撮像装置の推定手段が、前記第１の評価工程における合焦評価の結果に基づき、前記被写体に合焦する焦点距離に対応する位置を推定する推定工程と、
前記撮像装置の第２の評価手段が、前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記推定工程において推定された焦点距離に対応する位置に前記フォーカスレンズを駆動させて前記撮像手段により出力された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価工程と、を有する
ことを特徴とする撮像装置の制御方法。 An imaging optical system including a focus lens;
An imaging unit that images a subject and outputs an obtained image signal, wherein each pixel of the image signal corresponds to a light beam having a different combination of the pupil region and incident direction of the imaging optical system that has passed through When,
A determining means for determining a focal length for performing focus evaluation in the focal range;
A generating unit configured to generate a reconstructed image focusing on a subject having a focal length determined by the determining unit out of the subject from the image signal output by the imaging unit, wherein each pixel of the reconstructed image A generation unit that generates the reconstructed image by adding pixel values of pixels of the image signal corresponding to the image signal,
The first evaluation unit of the imaging apparatus outputs the first focal length sequentially determined by the determination unit with a first interval larger than a threshold in the focal range, and is output by the imaging unit. A first evaluation step for performing a focus evaluation on a reconstructed image generated from one image signal and focused on a subject having the first focal length;
An estimation step in which the estimation unit of the imaging apparatus estimates a position corresponding to a focal length focused on the subject based on a result of focus evaluation in the first evaluation step;
In the estimation step, the second evaluation unit of the imaging apparatus estimates each of the second focal lengths sequentially determined by the determination unit with a second interval smaller than the threshold in the focal range. Focusing evaluation of the reconstructed image that is generated from the image signal output from the image pickup means by driving the focus lens to a position corresponding to the focal length is focused on the subject having the second focal length. And a second evaluation step to be performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012170374A JP6039958B2 (en) | 2012-07-31 | 2012-07-31 | Image processing apparatus, imaging apparatus, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012170374A JP6039958B2 (en) | 2012-07-31 | 2012-07-31 | Image processing apparatus, imaging apparatus, control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014029429A true JP2014029429A (en) | 2014-02-13 |
| JP2014029429A5 JP2014029429A5 (en) | 2015-09-24 |
| JP6039958B2 JP6039958B2 (en) | 2016-12-07 |
Family
ID=50202030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012170374A Active JP6039958B2 (en) | 2012-07-31 | 2012-07-31 | Image processing apparatus, imaging apparatus, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6039958B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014235184A (en) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | Focus detection device, focus adjustment device and imaging device |
| JP2015186037A (en) * | 2014-03-24 | 2015-10-22 | キヤノン株式会社 | Image processing device, control method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009258610A (en) * | 2008-03-17 | 2009-11-05 | Ricoh Co Ltd | Focal length detecting device, imaging apparatus, imaging method, camera, focusing device, and focusing method |
| JP2010049152A (en) * | 2008-08-25 | 2010-03-04 | Nikon Corp | Focus information detecting device |
| JP2010213038A (en) * | 2009-03-11 | 2010-09-24 | Nikon Corp | Imaging apparatus |
| JP2011109310A (en) * | 2009-11-16 | 2011-06-02 | Nikon Corp | Image synthesizing device and imaging device |
| JP2011113174A (en) * | 2009-11-25 | 2011-06-09 | Nikon Corp | Image synthesizer, image reproduction device and imaging device |
-
2012
- 2012-07-31 JP JP2012170374A patent/JP6039958B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009258610A (en) * | 2008-03-17 | 2009-11-05 | Ricoh Co Ltd | Focal length detecting device, imaging apparatus, imaging method, camera, focusing device, and focusing method |
| JP2010049152A (en) * | 2008-08-25 | 2010-03-04 | Nikon Corp | Focus information detecting device |
| JP2010213038A (en) * | 2009-03-11 | 2010-09-24 | Nikon Corp | Imaging apparatus |
| JP2011109310A (en) * | 2009-11-16 | 2011-06-02 | Nikon Corp | Image synthesizing device and imaging device |
| JP2011113174A (en) * | 2009-11-25 | 2011-06-09 | Nikon Corp | Image synthesizer, image reproduction device and imaging device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014235184A (en) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | Focus detection device, focus adjustment device and imaging device |
| JP2015186037A (en) * | 2014-03-24 | 2015-10-22 | キヤノン株式会社 | Image processing device, control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6039958B2 (en) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5264131B2 (en) | Imaging device | |
| US9279955B2 (en) | Image pickup apparatus, control method thereof, and program | |
| JP6062656B2 (en) | Imaging apparatus, control method, and program | |
| US10009533B2 (en) | Image pickup apparatus and control method thereof with contrast focus evaluation | |
| JP5448621B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP4823167B2 (en) | Imaging device | |
| JP2009031682A (en) | Imaging system and image signal processing program | |
| JP2012049773A (en) | Imaging apparatus and method, and program | |
| JP2012113171A (en) | Imaging device and control method therefor | |
| JP2009258610A (en) | Focal length detecting device, imaging apparatus, imaging method, camera, focusing device, and focusing method | |
| JP5743519B2 (en) | Imaging apparatus and control method thereof | |
| JP2007240877A (en) | Imaging apparatus and control method therefor | |
| JP2017032646A (en) | Image-capturing device and method for controlling the same | |
| JP6039958B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6624834B2 (en) | Imaging device and control method thereof | |
| JP2009044638A (en) | Imaging apparatus | |
| JP6046922B2 (en) | FOCUS DETECTION DEVICE, IMAGING DEVICE, CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
| JP5973784B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP5893412B2 (en) | Imaging apparatus and control method thereof | |
| JP6845912B2 (en) | Imaging device and its control method | |
| JP2011197690A (en) | Imaging device and control method therefor | |
| JP5207893B2 (en) | Imaging apparatus and control method thereof | |
| JP5968081B2 (en) | Imaging apparatus and control method thereof | |
| JP2014029429A5 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP2013222016A (en) | Focus detection device and imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150731 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160506 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6039958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |