JP2017207695A - Optical device - Google Patents

Optical device Download PDF

Info

Publication number
JP2017207695A
JP2017207695A JP2016101275A JP2016101275A JP2017207695A JP 2017207695 A JP2017207695 A JP 2017207695A JP 2016101275 A JP2016101275 A JP 2016101275A JP 2016101275 A JP2016101275 A JP 2016101275A JP 2017207695 A JP2017207695 A JP 2017207695A
Authority
JP
Japan
Prior art keywords
microlens
light
microlenses
size
passed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016101275A
Other languages
Japanese (ja)
Inventor
聖生 中島
Masao Nakajima
聖生 中島
岩崎　宏之
Hiroyuki Iwasaki
宏之 岩崎
岩根　透
Toru Iwane
透 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016101275A priority Critical patent/JP2017207695A/en
Publication of JP2017207695A publication Critical patent/JP2017207695A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an optical device that optimally makes selective use of a light reception output by a microlens different in a size.SOLUTION: An optical device comprises: a plurality of microlenses that include at least a first microlens having a first size, and a second microlens having a second size, and are two-dimensionally arrayed; an imaging sensor that has a plurality of a pixel groups including a plurality of pixels, and receives light passing through each microlens of the plurality of microlenses by each pixel group, respectively; a first computation unit that computes a focus evaluation value of an imaging optical system due to a light reception output of the plurality of pixel groups receiving the light passing through the first microlens; and a second computation unit that computes a focus evaluation value of the imaging optical system due to the light reception output of the plurality of pixel groups receiving the light passing through the second microlens.SELECTED DRAWING: Figure 2

Description

本発明は、光学装置に関する。   The present invention relates to an optical device.

所定範囲内の任意の像面に焦点のあった画像を合成する画像合成装置が知られている（例えば、特許文献１）。従来より、異なるサイズのマイクロレンズを混在させたマイクロレンズアレイを実現したいという要求があった。   There is known an image composition device that composes an image focused on an arbitrary image plane within a predetermined range (for example, Patent Document 1). Conventionally, there has been a demand for realizing a microlens array in which microlenses of different sizes are mixed.

特表２００８−５１５１１０号公報Special table 2008-515110 gazette

本発明の第１の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により撮像光学系の焦点評価値を演算する第１演算部と、前記第２マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により前記撮像光学系の焦点評価値を演算する第２演算部と、を備える。
本発明の第２の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に対し、前記第１マイクロレンズと前記第２マイクロレンズとの光学特性の違いを補正する補正部と、前記補正部により補正された受光出力と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力と、により被写体画像を合成する画像合成部と、を備える。
本発明の第３の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて所定像面の第１部分被写体像を合成する第１画像合成部と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記所定像面の第２部分被写体像を合成する第２画像合成部と、前記第１画像合成部による前記第１部分被写体像と、前記第２画像合成部による前記第２部分被写体像とから前記所定像面の被写体像を合成する第３画像合成部と、を備える。
本発明の第４の態様によると、光学装置は、第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離とが等しい。 According to the first aspect of the present invention, the optical device includes at least a first microlens having a first size and a second microlens having a second size, and a plurality of two-dimensionally arranged plurality of microlenses. An imaging sensor having a plurality of pixel groups including a micro lens and a plurality of pixels, and each pixel group receiving light that has passed through each micro lens of the plurality of micro lenses, and light that passes through the first micro lens A first calculation unit that calculates a focus evaluation value of the imaging optical system based on a light reception output of the plurality of pixel groups that has received light, and a light reception output of the plurality of pixel groups that has received light passing through the second microlens. A second calculation unit that calculates a focus evaluation value of the imaging optical system.
According to the second aspect of the present invention, the optical device includes at least a first microlens having a first size and a second microlens having a second size, and a plurality of two-dimensionally arranged plurality of microlenses. A plurality of pixel groups including a micro lens and a plurality of pixels, an image sensor that receives light that has passed through each micro lens of the plurality of micro lenses, and light that has passed through the first micro lens. A correction unit that corrects a difference in optical characteristics between the first microlens and the second microlens, a light reception output corrected by the correction unit, An image combining unit configured to combine a subject image with a light reception output from a pixel group that has received light that has passed through the microlens;
According to a third aspect of the present invention, the optical device includes at least a first microlens having a first size and a second microlens having a second size larger than the first size, and two A plurality of microlenses arranged in a dimension and a plurality of pixel groups including a plurality of pixels, and an imaging sensor that receives each of the light passing through each microlens of the plurality of microlenses in each pixel group; and A first image synthesis unit that synthesizes a first partial subject image on a predetermined image plane based on a light reception output from a pixel group that has received light that has passed through the first microlens, and receives light that has passed through the second microlens. A second image synthesis unit that synthesizes the second partial subject image of the predetermined image plane based on the received light output from the pixel group, the first partial subject image by the first image synthesis unit, and the second image synthesis. And a third image synthesizing unit for synthesizing the subject image of the predetermined image plane and a second portion subject image by.
According to a fourth aspect of the present invention, the optical device includes at least a first microlens having a first size and a second microlens having a second size larger than the first size, and two A plurality of microlenses arranged in a dimension, and an image sensor that has a plurality of pixel groups including a plurality of pixels, and each pixel group receives light that has passed through each microlens of the plurality of microlenses. The focal length of the first microlens is equal to the focal length of the second microlens.

撮像装置の構成を模式的に示す断面図Sectional drawing which shows the structure of an imaging device typically 焦点検出装置の構成を模式的に示す説明図Explanatory drawing schematically showing the configuration of the focus detection device 第１焦点検出処理の説明図Explanatory drawing of a 1st focus detection process 第２焦点検出処理の説明図Explanatory drawing of a 2nd focus detection process 撮像装置の構成を模式的に示す断面図Sectional drawing which shows the structure of an imaging device typically 撮像素子の構成を模式的に示す説明図Explanatory drawing which shows the composition of an image sensor typically 合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図Cross-sectional view schematically showing the light flux from the light spot on the image plane to be synthesized and the image sensor 第１画像合成処理の説明図Explanatory drawing of a 1st image composition process

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、いわゆる一眼レフレックス方式のデジタルカメラである。撮像装置１は、カメラボディ１００および交換レンズ２００を含む。交換レンズ２００には、複数のレンズ２０２、２０３、２０４から構成される撮像光学系２０５が設けられる。なお、図１では撮像光学系２０５を３つのレンズにより構成されるかのように図示しているが、いくつのレンズで構成されるようにしてもよい。 (First embodiment)
FIG. 1 is a cross-sectional view schematically showing the configuration of the imaging apparatus according to the first embodiment. The imaging device 1 is a so-called single-lens reflex digital camera. The imaging device 1 includes a camera body 100 and an interchangeable lens 200. The interchangeable lens 200 is provided with an imaging optical system 205 that includes a plurality of lenses 202, 203, and 204. In FIG. 1, the imaging optical system 205 is illustrated as if it is configured by three lenses, but any number of lenses may be configured.

撮像光学系２０５に含まれるレンズ２０３は、撮像光学系２０５の焦点位置を調節するフォーカスレンズである。フォーカスレンズ２０３は、不図示のアクチュエータにより撮像光学系２０５の光軸Ｏに沿った方向Ｘに駆動される。   A lens 203 included in the imaging optical system 205 is a focus lens that adjusts the focal position of the imaging optical system 205. The focus lens 203 is driven in a direction X along the optical axis O of the imaging optical system 205 by an actuator (not shown).

カメラボディ１００は、撮像光学系２０５により結像された被写体像を撮像する、ＣＣＤやＣＭＯＳ等の撮像素子１０２を有する。撮像素子１０２は、撮像面が撮像光学系２０５の予定焦点面と一致するように配置される。カメラボディ１００内の、撮像光学系２０５と撮像素子１０２の撮像面との間には、クイックリターンミラー１０３が設置される。非撮影時、クイックリターンミラー１０３は撮像光学系２０５の光路上に存在し、被写体光をフォーカシングスクリーン１０４およびペンタプリズム１０５の方向に反射する。撮影者は、ファインダー部１０７から接眼レンズ１０６を介して被写体像を視認することができる。   The camera body 100 includes an imaging element 102 such as a CCD or a CMOS that captures a subject image formed by the imaging optical system 205. The image sensor 102 is arranged so that the imaging surface coincides with the planned focal plane of the imaging optical system 205. A quick return mirror 103 is installed between the imaging optical system 205 and the imaging surface of the imaging element 102 in the camera body 100. At the time of non-photographing, the quick return mirror 103 exists on the optical path of the imaging optical system 205 and reflects subject light in the direction of the focusing screen 104 and the pentaprism 105. The photographer can view the subject image from the viewfinder unit 107 through the eyepiece 106.

クイックリターンミラー１０３の裏面には、サブミラー１０８が設置される。クイックリターンミラー１０３の表面（反射面）はハーフミラー加工されており、そこに入射した被写体光はクイックリターンミラー１０３を透過してサブミラー１０８に入射する。サブミラー１０８はこの光束をカメラボディ１００の下方に反射させる。カメラボディ１００の下方には、撮像光学系２０５の焦点検出を行う焦点検出装置１０９が設けられる。   A sub mirror 108 is installed on the back surface of the quick return mirror 103. The surface (reflecting surface) of the quick return mirror 103 is half-mirror processed, and subject light incident thereon passes through the quick return mirror 103 and enters the sub mirror 108. The sub mirror 108 reflects this light beam below the camera body 100. A focus detection device 109 that performs focus detection of the imaging optical system 205 is provided below the camera body 100.

カメラボディ１００は、マイクロプロセッサやその周辺回路から成る制御部１０１を備える。制御部１０１は、不図示のメモリに予め記憶されている所定の制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。なお、制御部１０１を、上記の制御プログラム相当の動作を行う電子回路により構成してもよい。   The camera body 100 includes a control unit 101 including a microprocessor and its peripheral circuits. The control unit 101 controls each unit of the imaging apparatus 1 by reading and executing a predetermined control program stored in advance in a memory (not shown). Note that the control unit 101 may be configured by an electronic circuit that performs an operation corresponding to the control program.

所定の自動焦点調節操作（例えば、不図示のレリーズスイッチの半押し操作）がなされると、制御部１０１は後述する自動焦点調節（ＡＦ）処理を実行する。このＡＦ処理により、フォーカスレンズ２０３が駆動され、被写体にピントが合わせられる。   When a predetermined automatic focus adjustment operation (for example, a half-press operation of a release switch (not shown)) is performed, the control unit 101 executes an automatic focus adjustment (AF) process described later. With this AF process, the focus lens 203 is driven and the subject is focused.

所定の静止画撮影操作（例えば、不図示のレリーズスイッチの全押し操作）がなされると、制御部１０１は撮像制御を行う。このとき制御部１０１は、クイックリターンミラー１０３およびサブミラー１０８を、図１に示す遮光位置から被写体光を遮らない退避位置に移動させた後、不図示のシャッター等を制御し、撮像素子１０２に被写体像を撮像させる。制御部１０１は、撮像素子１０２から出力される撮像信号に種々の画像処理を加え、静止画像データを生成して不図示の記憶媒体（例えばメモリカード等）に記憶する。   When a predetermined still image shooting operation (for example, full pressing operation of a release switch (not shown)) is performed, the control unit 101 performs imaging control. At this time, the control unit 101 moves the quick return mirror 103 and the sub mirror 108 from the light shielding position shown in FIG. Take an image. The control unit 101 performs various image processing on the imaging signal output from the imaging element 102, generates still image data, and stores it in a storage medium (not shown) (for example, a memory card).

カメラボディ１００の背面には、例えば液晶等の表示素子により構成されるモニター１１０が設けられている。制御部１０１はこのモニター１１０を用いて、例えば撮影した静止画像データや動画像データの再生、撮影パラメータ（Ｆ値やシャッタースピード等）の設定メニューの表示、動画撮影中のスルー画の表示などを行う。   On the back surface of the camera body 100, for example, a monitor 110 composed of a display element such as a liquid crystal is provided. The control unit 101 uses the monitor 110 to display, for example, reproduction of captured still image data and moving image data, display of a setting menu for shooting parameters (F value, shutter speed, etc.), display of a through image during moving image shooting, and the like. Do.

図２は、焦点検出装置１０９の構成を模式的に示す説明図である。図２（ａ）は焦点検出装置１０９をサブミラー１０８側から見た平面図であり、図２（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。焦点検出装置１０９は、図２（ｂ）に示すマイクロレンズアレイ２２１および受光素子アレイ２２２を備える。図２（ａ）では、マイクロレンズアレイ２２１と受光素子アレイ２２２を重畳して図示している。   FIG. 2 is an explanatory diagram schematically showing the configuration of the focus detection device 109. 2A is a plan view of the focus detection device 109 viewed from the sub mirror 108 side, and FIG. 2B is a cross-sectional view of the focus detection device 109 viewed from the same viewpoint as FIG. The focus detection device 109 includes a microlens array 221 and a light receiving element array 222 shown in FIG. In FIG. 2A, the microlens array 221 and the light receiving element array 222 are shown superimposed.

マイクロレンズアレイ２２１は、複数の第１マイクロレンズ２２３ａと、複数の第２マイクロレンズ２２３ｂとを備える。以下の説明では、第１マイクロレンズ２２３ａと第２マイクロレンズ２２３ｂとをマイクロレンズ２２３と総称する。   The microlens array 221 includes a plurality of first microlenses 223a and a plurality of second microlenses 223b. In the following description, the first microlens 223a and the second microlens 223b are collectively referred to as a microlens 223.

マイクロレンズ２２３は、円形の外形形状を有する。第１マイクロレンズ２２３ａの直径ｗ１は、第２マイクロレンズ２２３ｂの直径ｗ２の半分である。なお、説明の便宜上、直径ｗ１は直径ｗ２の半分とするが、直径ｗ１と直径ｗ２は異なっていればよく、半分である必要はない。また、マイクロレンズ２２３は円形形状である必要はなく、四角形、六角形、八角形などでもよい。第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂは、同一の焦点距離ｆを有する。受光素子アレイ２２２の受光面は、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの主平面から焦点距離ｆだけ離れた位置に設けられる。   The microlens 223 has a circular outer shape. The diameter w1 of the first microlens 223a is half of the diameter w2 of the second microlens 223b. For convenience of explanation, the diameter w1 is half of the diameter w2, but the diameter w1 and the diameter w2 need only be different and do not need to be half. Further, the microlens 223 does not need to have a circular shape, and may be a quadrangle, a hexagon, an octagon, or the like. The first micro lens 223a and the second micro lens 223b have the same focal length f. The light receiving surface of the light receiving element array 222 is provided at a position separated from the main plane of the first microlens 223a and the second microlens 223b by the focal length f.

第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂが同一の焦点距離ｆを有するようにするため、本実施の形態では、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの曲率を同一にしている。また、受光素子アレイ２２２の受光面は均一であることが望ましいため、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂの主平面を同一平面にしている。これにより、隣り合う第１マイクロレンズ２２３ａと第２マイクロレンズ２２３ｂとの間に存在する凹部と主平面との光軸方向の距離ｄ２が、隣り合う２つの第１マイクロレンズ２２３ａの間に存在する凹部と主平面との光軸方向の距離ｄ１よりも大きくなっている。   In order to make the first microlens 223a and the second microlens 223b have the same focal length f, in this embodiment, the curvatures of the first microlens 223a and the second microlens 223b are the same. Since the light receiving surface of the light receiving element array 222 is desirably uniform, the main planes of the first microlens 223a and the second microlens 223b are the same plane. As a result, the distance d2 between the adjacent first microlens 223a and the second microlens 223b in the optical axis direction between the concave portion and the main plane exists between the two adjacent first microlenses 223a. It is larger than the distance d1 between the concave portion and the main plane in the optical axis direction.

受光素子アレイ２２２は、二次元状に配列された複数の受光素子２２４を有する。マイクロレンズ２２３を通過した被写体光は、複数の受光素子２２４のうち、そのマイクロレンズ２２３に対応する一部の受光素子２２４に入射する。以下の説明では、ここで述べた各々のマイクロレンズ２２３に対応する「一部の受光素子２２４」を、受光素子群２２５と称し、第１マイクロレンズ２２３ａに対応する受光素子群２２５を第１受光素子群２２５ａ、第２マイクロレンズ２２３ｂに対応する受光素子群２２５を第２受光素子群２２５ｂと称する。１つの第１マイクロレンズ２２３ａには１つの第１受光素子群２２５ａが対応し、１つの第２マイクロレンズ２２３ｂには１つの第２受光素子群２２５ｂが対応する。   The light receiving element array 222 includes a plurality of light receiving elements 224 arranged two-dimensionally. The subject light that has passed through the microlens 223 is incident on a part of the light receiving elements 224 corresponding to the microlens 223 among the plurality of light receiving elements 224. In the following description, “part of the light receiving elements 224” corresponding to each microlens 223 described here is referred to as a light receiving element group 225, and the light receiving element group 225 corresponding to the first microlens 223a is the first light receiving element. The light receiving element group 225 corresponding to the element group 225a and the second micro lens 223b is referred to as a second light receiving element group 225b. One first light receiving element group 225a corresponds to one first microlens 223a, and one second light receiving element group 225b corresponds to one second microlens 223b.

なお、図２（ａ）および図２（ｂ）には、焦点検出装置１０９の一部のみを図示している。すなわち、図２（ａ）および図２（ｂ）には、マイクロレンズアレイ２２１および受光素子アレイ２２２の一部のみが図示されている。実際には、マイクロレンズアレイ２２１は図２に図示した数よりも多くのマイクロレンズ２２３を有しており、受光素子アレイ２２２は図２に図示した数よりも多くの受光素子２２４を有している。   2A and 2B show only a part of the focus detection device 109. That is, FIGS. 2A and 2B show only a part of the microlens array 221 and the light receiving element array 222. Actually, the micro lens array 221 has more micro lenses 223 than the number shown in FIG. 2, and the light receiving element array 222 has more light receiving elements 224 than the number shown in FIG. Yes.

１つのマイクロレンズ２２３に対応する受光素子群２２５には、複数の受光素子２２４が含まれている。換言すると、マイクロレンズ２２３を通過した被写体光は、マイクロレンズ２２３ごとに、複数の受光素子２２４に入射する。例えば図２では、１つの第１マイクロレンズ２２３ａは、５×５の計１５個の受光素子２２４を被覆している。換言すると、図２では、１つのマイクロレンズ２２３ａは、５×５の計１５個の受光素子２２４からなる１つの第１受光素子群２２５ａに対応している。   The light receiving element group 225 corresponding to one microlens 223 includes a plurality of light receiving elements 224. In other words, the subject light that has passed through the microlens 223 is incident on the plurality of light receiving elements 224 for each microlens 223. For example, in FIG. 2, one first microlens 223 a covers a total of 15 light receiving elements 224 of 5 × 5. In other words, in FIG. 2, one microlens 223a corresponds to one first light receiving element group 225a composed of a total of 15 light receiving elements 224 of 5 × 5.

マイクロレンズアレイ２２１および受光素子アレイ２２２は、あるマイクロレンズ２２３に入射した被写体光と、別のマイクロレンズ２２３に入射した被写体光が、同一の受光素子２２４に入射しないように構成される。つまり、受光素子群２２５同士が互いに重複しないように構成される。   The micro lens array 221 and the light receiving element array 222 are configured so that subject light incident on one micro lens 223 and subject light incident on another micro lens 223 do not enter the same light receiving element 224. That is, the light receiving element groups 225 are configured not to overlap each other.

例えば、撮像光学系２０５のＦ値が、マイクロレンズ２２３のＦ値よりも小さいと、マイクロレンズ２２３に入射した被写体光がマイクロレンズ２２３の径よりも大きい範囲に広がってしまう。そのため、撮像光学系２０５のＦ値をマイクロレンズ２２３のＦ値以上の値にしてもよい。また、隣り合うマイクロレンズ２２３の間に隔壁を設けても良い。また、撮像光学系２０５をテレセントリック光学系とすれば、急峻な角度でマイクロレンズ２２３に入射する光が存在しなくなり、同様の効果が得られる。   For example, if the F value of the imaging optical system 205 is smaller than the F value of the microlens 223, the subject light incident on the microlens 223 spreads over a range larger than the diameter of the microlens 223. Therefore, the F value of the imaging optical system 205 may be set to a value equal to or larger than the F value of the microlens 223. Further, a partition wall may be provided between adjacent microlenses 223. If the imaging optical system 205 is a telecentric optical system, there is no light incident on the microlens 223 at a steep angle, and the same effect can be obtained.

図２（ａ）に例示するように、第２マイクロレンズ２２３ｂは、マイクロレンズアレイ２２１中に、２つずつ離散的に配置されている。つまり、マイクロレンズアレイ２２１中には複数の第１マイクロレンズ２２３ａが二次元状に正方配列されており、そのうちの一部の第１マイクロレンズ２２３ａが、互いに隣接するように配置された一対の第２マイクロレンズ２２３ｂにより置き換えられている。   As illustrated in FIG. 2A, the second microlenses 223b are discretely arranged in the microlens array 221 two by two. That is, in the microlens array 221, a plurality of first microlenses 223a are two-dimensionally arranged in a square shape, and a part of the first microlenses 223a are arranged so as to be adjacent to each other. 2 microlenses 223b are replaced.

焦点検出装置１０９は、第１焦点検出処理および第２焦点検出処理の２種類の焦点検出処理を実行可能に構成されている。第１焦点検出処理は、第１受光素子群２２５ａの受光出力（すなわち第１マイクロレンズ２２３ａを通過した光束の光電変換結果）を用いる焦点検出処理である。第２焦点検出処理は、第２受光素子群２２５ｂの受光出力（すなわち第２マイクロレンズ２２３ｂを通過した光束の光電変換結果）を用いる焦点検出処理である。以下、第１焦点検出処理および第２焦点検出処理について説明する。   The focus detection device 109 is configured to be able to execute two types of focus detection processes, a first focus detection process and a second focus detection process. The first focus detection process is a focus detection process that uses the light reception output of the first light receiving element group 225a (that is, the photoelectric conversion result of the light beam that has passed through the first microlens 223a). The second focus detection process is a focus detection process that uses the light reception output of the second light receiving element group 225b (that is, the photoelectric conversion result of the light beam that has passed through the second microlens 223b). Hereinafter, the first focus detection process and the second focus detection process will be described.

図３は、第１焦点検出処理の説明図である。図３（ａ）は１つの第１マイクロレンズ２２３ａおよび第１受光素子群２２５ａをサブミラー１０８側から見た平面図であり、図３（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。   FIG. 3 is an explanatory diagram of the first focus detection process. FIG. 3A is a plan view of one first micro lens 223a and the first light receiving element group 225a as viewed from the sub mirror 108 side, and FIG. 3B shows the focus detection device 109 from the same viewpoint as FIG. FIG.

第１焦点検出処理において、焦点検出装置１０９は、図３（ａ）に斜線で示した範囲にある計６個の受光素子２２４の受光出力を、複数の第１受光素子群２２５ａから集めることで、焦点検出を行う。これら６個の受光素子２２４は、３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒから成る。３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒは、第１マイクロレンズ２２３ａの光軸を通る直線Ｌについて線対称な位置に配置されている。なお、計６個の受光素子２２４を焦点検出に用いることは一例であり、これに限定されない。受光素子群２２５に含まれる受光素子２２４の数に基づいて、任意に決定することができる。   In the first focus detection process, the focus detection device 109 collects the light reception outputs of a total of six light receiving elements 224 in the range indicated by the oblique lines in FIG. 3A from the plurality of first light receiving element groups 225a. , Focus detection. These six light receiving elements 224 include three light receiving elements 224L and three light receiving elements 224R. The three light receiving elements 224L and the three light receiving elements 224R are disposed at positions symmetrical with respect to a straight line L passing through the optical axis of the first microlens 223a. The use of a total of six light receiving elements 224 for focus detection is an example, and the present invention is not limited to this. It can be arbitrarily determined based on the number of light receiving elements 224 included in the light receiving element group 225.

例えば、図３（ｂ）に例示した８つの第１マイクロレンズ２２３ａの各々について、焦点検出装置１０９は、３つの受光素子２２４Ｌの受光出力を加算した信号ａ（０）、ａ（１）、ａ（２）、…、ａ（７）と、３つの受光素子２２４Ｒの受光出力を加算した信号ｂ（０）、ｂ（１）、ｂ（２）、…、ｂ（７）とを、それぞれ取得する。焦点検出装置１０９は、このようにして取得された一対の信号列ａ（ｉ）、ｂ（ｉ）との間で相関演算を行い、相関量を算出する（ｉ＝０〜７）。ここで、相関量の算出は、一般に知られた演算を用いることができる。焦点検出装置１０９は、ａ（ｉ）とｂ（ｉ）とを少しずつシフトさせて繰り返し相関演算を行い、シフト量ごとの相関量を算出する。焦点検出装置１０９は、相関量が極大となるシフト量を特定する。ここで特定されるシフト量は、撮像光学系２０５のデフォーカス量に対応しているので、このシフト量からデフォーカス量を求めることができる。   For example, for each of the eight first microlenses 223a illustrated in FIG. 3B, the focus detection device 109 adds signals a (0), a (1), a obtained by adding the light reception outputs of the three light receiving elements 224L. (2), ..., a (7) and signals b (0), b (1), b (2), ..., b (7) obtained by adding the light receiving outputs of the three light receiving elements 224R are obtained, respectively. To do. The focus detection device 109 performs a correlation operation between the pair of signal sequences a (i) and b (i) acquired in this way, and calculates a correlation amount (i = 0 to 7). Here, the calculation of the correlation amount can use a generally known calculation. The focus detection device 109 performs a correlation calculation by shifting a (i) and b (i) little by little, and calculates a correlation amount for each shift amount. The focus detection device 109 identifies the shift amount that maximizes the correlation amount. Since the shift amount specified here corresponds to the defocus amount of the imaging optical system 205, the defocus amount can be obtained from this shift amount.

第１焦点検出処理は、デフォーカス量が所定の範囲内で精度の良い焦点検出が可能である。デフォーカス量が極端に大きい場合、第１焦点検出処理では焦点検出に失敗したり、信頼性が低い焦点検出結果しか得られなかったりする。   The first focus detection process enables accurate focus detection when the defocus amount is within a predetermined range. When the defocus amount is extremely large, focus detection fails in the first focus detection process, or only a focus detection result with low reliability is obtained.

なお、一対の信号列ａ（ｉ）、ｂ（ｉ）を得るために用いられる３つの受光素子２２４Ｌおよび３つの受光素子２２４Ｒは、第１受光素子群２２５ａの中で任意に決定することができる。例えば、２つの受光素子２２４Ｌおよび２つの受光素子２２４Ｒから一対の信号列ａ（ｉ）、ｂ（ｉ）を得てもよい。なお、受光素子２２４Ｌおよび受光素子２２４Ｒは、それぞれ４つ以上としてもよいし、それぞれ１つとしても良い。   The three light receiving elements 224L and the three light receiving elements 224R used for obtaining the pair of signal sequences a (i) and b (i) can be arbitrarily determined in the first light receiving element group 225a. . For example, a pair of signal sequences a (i) and b (i) may be obtained from the two light receiving elements 224L and the two light receiving elements 224R. Note that the number of the light receiving elements 224L and the number of the light receiving elements 224R may be four or more, respectively.

図４は、第２焦点検出処理の説明図である。図４（ａ）は１つの第２マイクロレンズ２２３ｂおよび第２受光素子群２２５ｂをサブミラー１０８側から見た平面図であり、図４（ｂ）は焦点検出装置１０９を図１と同様の視点から見た断面図である。   FIG. 4 is an explanatory diagram of the second focus detection process. FIG. 4A is a plan view of one second microlens 223b and the second light receiving element group 225b as viewed from the sub mirror 108 side, and FIG. 4B shows the focus detection device 109 from the same viewpoint as FIG. FIG.

第２焦点検出処理において、焦点検出装置１０９は、図４（ａ）に斜線で示した範囲にある計１０個の受光素子２２４Ｃの受光出力を、隣接する２つの第２受光素子群２２５ｂからそれぞれ取得することで、焦点検出を行う。１０個の受光素子２２４Ｃは、２つの第２マイクロレンズ２２３ｂの配列方向（紙面のｚ方向）に沿って配列されている。なお、１０個の受光素子２２４を焦点検出に用いることは一例であり、これに限定されない。受光素子群２２５に含まれる受光素子２２４の数に基づいて、任意に決定することができる。   In the second focus detection process, the focus detection device 109 receives the light reception outputs of a total of ten light receiving elements 224C in the range indicated by the oblique lines in FIG. 4A from two adjacent second light receiving element groups 225b. By acquiring, focus detection is performed. The ten light receiving elements 224C are arranged along the arrangement direction of the two second microlenses 223b (the z direction on the paper surface). Note that the use of the ten light receiving elements 224 for focus detection is an example, and the present invention is not limited to this. It can be arbitrarily determined based on the number of light receiving elements 224 included in the light receiving element group 225.

例えば、図４（ｂ）に例示した２つの第２マイクロレンズ２２３ｂについて、焦点検出装置１０９は、一方の第２マイクロレンズ２２３ｂに対応する１０個の受光素子２２４Ｃの受光出力を信号ａ（０）、ａ（１）、ａ（２）、…、ａ（９）として、他方の第２マイクロレンズ２２３ｂに対応する１０個の受光素子２２４Ｃの受光出力を信号ｂ（０）、ｂ（１）、ｂ（２）、…、ｂ（９）として、それぞれ取得する。焦点検出装置１０９は、このようにして取得された一対の信号列ａ（ｉ）、ｂ（ｉ）との間で相関演算を行い、相関量を算出する（ｉ＝０〜９）。ここで、相関量の算出は、一般に知られた演算を用いることができる。焦点検出装置１０９は、ａ（ｉ）とｂ（ｉ）とを少しずつシフトさせて繰り返し相関演算を行い、シフト量ごとの相関量を算出する。焦点検出装置１０９は、相関量が極大となるシフト量を特定する。ここで特定されるシフト量は、撮像光学系２０５のデフォーカス量に対応しているので、このシフト量からデフォーカス量を求めることができる。   For example, for the two second microlenses 223b illustrated in FIG. 4B, the focus detection device 109 outputs the light reception outputs of the ten light receiving elements 224C corresponding to the one second microlens 223b as the signal a (0). , A (1), a (2),..., A (9), the light receiving outputs of the ten light receiving elements 224C corresponding to the other second microlens 223b are signals b (0), b (1), Obtained as b (2),..., b (9), respectively. The focus detection device 109 performs a correlation operation between the pair of signal sequences a (i) and b (i) acquired in this way, and calculates a correlation amount (i = 0 to 9). Here, the calculation of the correlation amount can use a generally known calculation. The focus detection device 109 performs a correlation calculation by shifting a (i) and b (i) little by little, and calculates a correlation amount for each shift amount. The focus detection device 109 identifies the shift amount that maximizes the correlation amount. Since the shift amount specified here corresponds to the defocus amount of the imaging optical system 205, the defocus amount can be obtained from this shift amount.

第２焦点検出処理は、デフォーカス量が所定の値以上で精度の良い焦点検出が可能である。デフォーカス量が極端に小さい場合、第２焦点検出処理では焦点検出に失敗したり、信頼性が低い焦点検出結果しか得られなかったりする。   The second focus detection process enables accurate focus detection when the defocus amount is a predetermined value or more. If the defocus amount is extremely small, focus detection may fail in the second focus detection process, or only a focus detection result with low reliability may be obtained.

なお、一対の信号列ａ（ｉ）、ｂ（ｉ）を得るために用いられる１０個の受光素子２２４Ｃは、第１焦点検出処理の場合と同様に、第２受光素子群２２５ｂの中で任意に決定することができる。例えば、１０個より少ない個数の受光素子２２４を、焦点検出に用いる受光素子２２４Ｃとしてもよい。また、受光素子２２４Ｃは、必ずしも連続していなくてもよく、離散的に受光素子２２４Ｃを選択してもよい。   Note that the ten light receiving elements 224C used to obtain the pair of signal sequences a (i) and b (i) are arbitrary in the second light receiving element group 225b as in the case of the first focus detection process. Can be determined. For example, fewer than ten light receiving elements 224 may be used as the light receiving elements 224C used for focus detection. Further, the light receiving elements 224C are not necessarily continuous, and the light receiving elements 224C may be selected discretely.

焦点検出装置１０９は、以上で説明した第１焦点検出処理および第２焦点検出処理を、順次もしくは並行して実行する。デフォーカス量が大きい場合には、第２焦点検出処理により信頼性の高い焦点検出結果が得られる。デフォーカス量が小さい場合には、第１焦点検出処理により信頼性の高い焦点検出結果が得られる。つまり、撮像光学系２０５の現在の焦点調節状態によらず、信頼性の高い焦点検出結果が得られる。焦点検出装置１０９は、デフォーカス量が大きい場合には、第２焦点検出処理により検出されたデフォーカス量（焦点評価値）を最終的なデフォーカス量として採用する（出力する）。焦点検出装置１０９は、デフォーカス量が小さい場合には、第１焦点検出処理により検出されたデフォーカス量（焦点評価値）を最終的なデフォーカス量として採用する（出力する）。制御部１０１は、焦点検出装置１０９により採用された（出力された）デフォーカス量に基づき、フォーカスレンズ２０３の駆動量を決定する。制御部１０１は、決定した駆動量だけフォーカスレンズ２０３を駆動し、撮像光学系２０５の焦点調節を行う。
なお、第１焦点検出処理および第２焦点検出処理は、設定によりいずれか一方の処理だけを動作するように構成することもできる。 The focus detection device 109 executes the first focus detection process and the second focus detection process described above sequentially or in parallel. When the defocus amount is large, a highly reliable focus detection result is obtained by the second focus detection process. When the defocus amount is small, a highly reliable focus detection result is obtained by the first focus detection process. That is, a highly reliable focus detection result can be obtained regardless of the current focus adjustment state of the imaging optical system 205. When the defocus amount is large, the focus detection device 109 employs (outputs) the defocus amount (focus evaluation value) detected by the second focus detection process as the final defocus amount. When the defocus amount is small, the focus detection device 109 employs (outputs) the defocus amount (focus evaluation value) detected by the first focus detection process as the final defocus amount. The control unit 101 determines the drive amount of the focus lens 203 based on the defocus amount adopted (output) by the focus detection device 109. The control unit 101 drives the focus lens 203 by the determined drive amount to adjust the focus of the imaging optical system 205.
Note that the first focus detection process and the second focus detection process may be configured to operate only one of the processes depending on the setting.

上述した実施の形態によれば、次の作用効果が得られる。
（１）マイクロレンズアレイ２２１は、直径ｗ１の第１マイクロレンズ２２３ａと、直径ｗ２の第２マイクロレンズ２２３ｂとを有する。焦点検出装置１０９は、第１マイクロレンズ２２３ａを通過する光を受光した第１受光素子群２２５ａの受光出力により撮像光学系２０５の焦点評価値を演算する。焦点検出装置１０９は、第２マイクロレンズ２２３ｂを通過する光を受光した第２受光素子群２２５ｂの受光出力により撮像光学系２０５の焦点評価値を演算する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、撮像光学系２０５の現在の焦点調節状態によらず、信頼性の高い焦点検出結果が得られる。サイズが異なる２種類のマイクロレンズとは、本実施の形態で例示した円形形状のマイクロレンズ２２３においては、レンズの直径または半径が異なるマイクロレンズのことである。また、マイクロレンズ２２３が、四角形、六角形、八角形などの場合には、相似関係にあるマイクロレンズのことである。すなわち、サイズが異なる２種類のマイクロレンズとは、一方のマイクロレンズと、一方のマイクロレンズを光軸に垂直な平面上で一定の比率で一様に拡大または縮小して得られるマイクロレンズと、のことである。サイズが異なる２種類のマイクロレンズとは、例えば、直径が２０μｍの円形形状のマイクロレンズと直径が４０μｍの円形形状のマイクロレンズである。また、例えば、一辺が２０μｍの正方形状のマイクロレンズと一辺が４０μｍの正方形状のマイクロレンズである。なお、サイズが異なる２種類のマイクロレンズは、必ずしも相似形状である必要はなく、例えば、直径が２０μｍの円形形状のマイクロレンズと一辺が４０μｍの正方形状のマイクロレンズであっても良い。 According to the embodiment described above, the following operational effects can be obtained.
(1) The microlens array 221 includes a first microlens 223a having a diameter w1 and a second microlens 223b having a diameter w2. The focus detection device 109 calculates the focus evaluation value of the imaging optical system 205 based on the light reception output of the first light receiving element group 225a that has received the light passing through the first microlens 223a. The focus detection device 109 calculates the focus evaluation value of the imaging optical system 205 based on the light reception output of the second light receiving element group 225b that has received the light passing through the second microlens 223b. As described above, since two types of microlenses having different sizes are used properly, a highly reliable focus detection result can be obtained regardless of the current focus adjustment state of the imaging optical system 205. The two types of microlenses having different sizes are microlenses having different lens diameters or radii in the circular microlens 223 exemplified in the present embodiment. In addition, when the microlens 223 is a quadrangle, a hexagon, an octagon, or the like, it is a microlens having a similar relationship. That is, two types of microlenses having different sizes include one microlens, a microlens obtained by uniformly enlarging or reducing one microlens at a certain ratio on a plane perpendicular to the optical axis, That is. The two types of microlenses having different sizes are, for example, a circular microlens having a diameter of 20 μm and a circular microlens having a diameter of 40 μm. For example, a square microlens with a side of 20 μm and a square microlens with a side of 40 μm. Note that the two types of microlenses having different sizes do not necessarily have a similar shape, and may be, for example, a circular microlens having a diameter of 20 μm and a square microlens having a side of 40 μm.

（２）焦点検出装置１０９は、第１焦点検出処理により演算された焦点評価値および第２焦点検出処理により演算された焦点評価値のいずれか一方を出力する。このようにしたので、信頼性の高い焦点評価値を出力する焦点検出装置を提供することができる。 (2) The focus detection device 109 outputs either the focus evaluation value calculated by the first focus detection process or the focus evaluation value calculated by the second focus detection process. Since it did in this way, the focus detection apparatus which outputs a highly reliable focus evaluation value can be provided.

（３）制御部１０１は、焦点検出装置１０９によって出力された焦点評価値により撮像光学系２０５の焦点調節を行う。このようにしたので、従来よりも精度よく焦点調節を行うことができる。 (3) The control unit 101 adjusts the focus of the imaging optical system 205 based on the focus evaluation value output by the focus detection device 109. Since it did in this way, focus adjustment can be performed more accurately than before.

（４）焦点検出装置１０９は、第１焦点検出処理において、複数の第１マイクロレンズ２２３ａの各々について対応する第１受光素子群２２５ａの受光出力から一対の信号を取り出し、取り出された複数の一対の信号から一対の信号列ａ（ｉ）、ｂ（ｉ）を生成して位相差演算を行う。焦点検出装置１０９は、第２焦点検出処理において、第２受光素子群２２５ｂの受光出力から信号列を取り出し、一対の前記第２マイクロレンズから取り出された一対の信号列を用いて位相差演算を行う。このようにしたので、２種類の焦点検出方式により、信頼性の高い焦点検出結果が得られる。 (4) In the first focus detection process, the focus detection device 109 extracts a pair of signals from the light reception outputs of the first light receiving element group 225a corresponding to each of the plurality of first microlenses 223a, and extracts the plurality of pairs thus extracted. A pair of signal sequences a (i) and b (i) are generated from the signals of, and the phase difference calculation is performed. In the second focus detection process, the focus detection device 109 extracts a signal sequence from the light reception output of the second light receiving element group 225b, and performs a phase difference calculation using the pair of signal sequences extracted from the pair of second microlenses. Do. Since it did in this way, a highly reliable focus detection result is obtained by two types of focus detection systems.

（第２の実施の形態）
図５は、第２の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置２は、第１の実施の形態に係る撮像装置１とは異なり、クイックリターンミラー１０３を有していない。つまり、撮像装置２は、いわゆる一眼レフレックス方式のデジタルカメラではない。 (Second Embodiment)
FIG. 5 is a cross-sectional view schematically showing the configuration of the imaging apparatus according to the second embodiment. Unlike the imaging apparatus 1 according to the first embodiment, the imaging apparatus 2 does not have the quick return mirror 103. That is, the imaging device 2 is not a so-called single-lens reflex digital camera.

撮像装置２は、カメラボディ３００および交換レンズ４００を含む。交換レンズ４００には、複数のレンズ４０２、４０３、４０４から構成される撮像光学系４０５が設けられる。なお、図５では撮像光学系４０５を３つのレンズにより構成されるかのように図示しているが、いくつのレンズで構成されるようにしてもよい。   The imaging device 2 includes a camera body 300 and an interchangeable lens 400. The interchangeable lens 400 is provided with an imaging optical system 405 including a plurality of lenses 402, 403, and 404. In FIG. 5, the imaging optical system 405 is illustrated as if it is configured by three lenses, but any number of lenses may be configured.

カメラボディ３００は、撮像光学系４０５により結像された被写体像を撮像する、ＣＣＤやＣＭＯＳ等の撮像素子３０２を有する。撮像素子３０２の構成については後に詳述する。カメラボディ３００の背面には、例えば液晶等の表示素子により構成されるモニター３１０が設けられている。制御部３０１はこのモニター３１０を用いて、例えば撮影した静止画像データや動画像データの再生、撮影パラメータ（Ｆ値やシャッタースピード等）の設定メニューの表示、動画撮影中のスルー画の表示などを行う。   The camera body 300 includes an imaging element 302 such as a CCD or CMOS that captures a subject image formed by the imaging optical system 405. The configuration of the image sensor 302 will be described in detail later. On the back surface of the camera body 300, a monitor 310 constituted by a display element such as a liquid crystal is provided. The control unit 301 uses the monitor 310 to display, for example, reproduction of captured still image data and moving image data, display of a setting menu for shooting parameters (F value, shutter speed, etc.), and display of a through image during moving image shooting. Do.

カメラボディ３００は、マイクロプロセッサやその周辺回路から成る制御部３０１を備える。制御部３０１は、不図示のメモリに予め記憶されている所定の制御プログラムを読み込んで実行することにより、撮像装置２の各部を制御する。なお、制御部３０１を、上記の制御プログラム相当の動作を行う電子回路により構成してもよい。   The camera body 300 includes a control unit 301 including a microprocessor and its peripheral circuits. The control unit 301 controls each unit of the imaging apparatus 2 by reading and executing a predetermined control program stored in advance in a memory (not shown). Note that the control unit 301 may be configured by an electronic circuit that performs an operation corresponding to the control program.

撮像装置２は、１回の撮像により撮像素子３０２から出力された撮像信号に基づき、任意の像面の画像を合成（生成）する、画像合成機能を有している。すなわち、撮像装置２はいわゆるリフォーカスカメラである。所定の静止画撮影操作（例えば、不図示のレリーズスイッチの全押し操作）がなされると、制御部３０１は撮像制御を行う。このとき制御部３０１は、撮像素子３０２に被写体像を撮像させ、撮像素子３０２から出力される撮像信号を不図示の記憶媒体（例えばメモリカード等）に記憶する。その後、ユーザが像面位置を指定すると、制御部３０１は指定された像面の画像を、不図示の記憶媒体に記憶されている撮像信号から合成する。合成された画像は、静止画像データとして不図示のメモリカードに記憶されたり、モニター３１０に表示されたりする。   The imaging device 2 has an image synthesis function for synthesizing (generating) an image of an arbitrary image plane based on an imaging signal output from the imaging element 302 by one imaging. That is, the imaging device 2 is a so-called refocus camera. When a predetermined still image shooting operation (for example, full pressing operation of a release switch (not shown)) is performed, the control unit 301 performs imaging control. At this time, the control unit 301 causes the image sensor 302 to capture a subject image, and stores an image signal output from the image sensor 302 in a storage medium (not shown) (for example, a memory card). Thereafter, when the user designates the image plane position, the control unit 301 synthesizes the image of the designated image plane from the imaging signal stored in a storage medium (not shown). The synthesized image is stored as still image data in a memory card (not shown) or displayed on the monitor 310.

図６は、撮像素子３０２の構成を模式的に示す説明図である。図６（ａ）は撮像素子３０２を撮像光学系４０５側から見た平面図であり、図６（ｂ）は撮像素子３０２の断面図である。撮像素子３０２は、図６（ｂ）に示すマイクロレンズアレイ４２１および受光素子アレイ４２２を備える。図６（ａ）では、マイクロレンズアレイ４２１と受光素子アレイ４２２を重畳して図示している。   FIG. 6 is an explanatory diagram schematically showing the configuration of the image sensor 302. FIG. 6A is a plan view of the image sensor 302 as viewed from the imaging optical system 405 side, and FIG. 6B is a cross-sectional view of the image sensor 302. The imaging element 302 includes a microlens array 421 and a light receiving element array 422 shown in FIG. In FIG. 6A, the microlens array 421 and the light receiving element array 422 are superimposed.

マイクロレンズアレイ４２１は、複数の第１マイクロレンズ４２３ａと、複数の第２マイクロレンズ４２３ｂとを備える。以下の説明では、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとをマイクロレンズ４２３と総称する。   The microlens array 421 includes a plurality of first microlenses 423a and a plurality of second microlenses 423b. In the following description, the first microlens 423a and the second microlens 423b are collectively referred to as a microlens 423.

マイクロレンズ４２３は、円形の外形形状を有する。第１マイクロレンズ４２３ａの直径ｗ１は、第２マイクロレンズ４２３ｂの直径ｗ２の半分である。第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂは、同一の焦点距離ｆを有する。受光素子アレイ４２２の受光面は、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの主平面から焦点距離ｆだけ離れた位置に設けられる。   The microlens 423 has a circular outer shape. The diameter w1 of the first microlens 423a is half of the diameter w2 of the second microlens 423b. The first microlens 423a and the second microlens 423b have the same focal length f. The light receiving surface of the light receiving element array 422 is provided at a position separated from the main plane of the first microlens 423a and the second microlens 423b by the focal length f.

第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂが同一の焦点距離ｆを有するようにするため、本実施の形態では、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの曲率を同一にしている。また、受光素子アレイ４２２の受光面は均一であることが望ましいため、第１マイクロレンズ４２３ａおよび第２マイクロレンズ４２３ｂの主平面を同一平面にしている。これにより、隣り合う第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの間に存在する凹部と主平面との光軸方向の距離ｄ２が、隣り合う２つの第１マイクロレンズ４２３ａの間に存在する凹部と主平面との光軸方向の距離ｄ１よりも大きくなっている。   In order to make the first microlens 423a and the second microlens 423b have the same focal length f, in this embodiment, the curvatures of the first microlens 423a and the second microlens 423b are the same. Since the light receiving surface of the light receiving element array 422 is desirably uniform, the main planes of the first microlens 423a and the second microlens 423b are the same plane. As a result, the distance d2 in the optical axis direction between the recess and the main plane existing between the adjacent first microlenses 423a and the second microlenses 423b exists between the two adjacent first microlenses 423a. It is larger than the distance d1 between the concave portion and the main plane in the optical axis direction.

受光素子アレイ４２２は、二次元状に配列された複数の受光素子４２４を有する。マイクロレンズ４２３を通過した被写体光は、複数の受光素子４２４のうち、そのマイクロレンズ４２３に対応する一部の受光素子４２４に入射する。以下の説明では、ここで述べた各々のマイクロレンズ４２３に対応する「一部の受光素子４２４」を、受光素子群４２５と称し、第１マイクロレンズ４２３ａに対応する受光素子群４２５を第１受光素子群４２５ａ、第２マイクロレンズ４２３ｂに対応する受光素子群４２５を第２受光素子群４２５ｂと称する。１つの第１マイクロレンズ４２３ａには１つの第１受光素子群４２５ａが対応し、１つの第２マイクロレンズ４２３ｂには１つの第２受光素子群４２５ｂが対応する。   The light receiving element array 422 has a plurality of light receiving elements 424 arranged two-dimensionally. The subject light that has passed through the microlens 423 is incident on a part of the light receiving elements 424 corresponding to the microlens 423 among the plurality of light receiving elements 424. In the following description, “part of the light receiving elements 424” corresponding to each microlens 423 described here is referred to as a light receiving element group 425, and the light receiving element group 425 corresponding to the first microlens 423a is the first light receiving element. The light receiving element group 425 corresponding to the element group 425a and the second microlens 423b is referred to as a second light receiving element group 425b. One first light receiving element group 425a corresponds to one first microlens 423a, and one second light receiving element group 425b corresponds to one second microlens 423b.

なお、図６（ａ）および図６（ｂ）には、撮像素子３０２の一部のみを図示している。すなわち、図６（ａ）および図６（ｂ）には、マイクロレンズアレイ４２１および受光素子アレイ４２２の一部のみが図示されている。実際には、マイクロレンズアレイ４２１は図６に図示した数よりも多くのマイクロレンズ４２３を有しており、受光素子アレイ４２２は図６に図示した数よりも多くの受光素子４２４を有している。   FIGS. 6A and 6B show only a part of the image sensor 302. FIG. That is, FIGS. 6A and 6B show only a part of the microlens array 421 and the light receiving element array 422. Actually, the micro lens array 421 has more micro lenses 423 than the number shown in FIG. 6, and the light receiving element array 422 has more light receiving elements 424 than the number shown in FIG. Yes.

１つのマイクロレンズ４２３に対応する受光素子群４２５には、複数の受光素子４２４が含まれている。換言すると、マイクロレンズ４２３を通過した被写体光は、マイクロレンズ４２３ごとに、複数の受光素子４２４に入射する。例えば図６では、１つの第１マイクロレンズ４２３ａは、５×５の計１５個の受光素子４２４を被覆している。換言すると、図６では、１つの第１マイクロレンズ４２３ａは、５×５の計１５個の受光素子４２４からなる１つの第１受光素子群４２５ａに対応している。   A light receiving element group 425 corresponding to one microlens 423 includes a plurality of light receiving elements 424. In other words, the subject light that has passed through the microlens 423 is incident on the plurality of light receiving elements 424 for each microlens 423. For example, in FIG. 6, one first microlens 423 a covers a total of 15 light receiving elements 424 of 5 × 5. In other words, in FIG. 6, one first microlens 423 a corresponds to one first light receiving element group 425 a made up of a total of 15 light receiving elements 424 of 5 × 5.

マイクロレンズアレイ４２１および受光素子アレイ４２２は、あるマイクロレンズ４２３に入射した被写体光と、別のマイクロレンズ４２３に入射した被写体光が、同一の受光素子４２４に入射しないように構成される。つまり、受光素子群４２５同士が互いに重複しないように構成される。   The micro lens array 421 and the light receiving element array 422 are configured such that subject light incident on one micro lens 423 and subject light incident on another micro lens 423 do not enter the same light receiving element 424. That is, the light receiving element groups 425 are configured not to overlap each other.

例えば、撮像光学系４０５のＦ値が、マイクロレンズ４２３のＦ値よりも小さいと、マイクロレンズ４２３に入射した被写体光がマイクロレンズ４２３の径よりも大きい範囲に広がってしまう。そのため、撮像光学系４０５のＦ値をマイクロレンズ４２３のＦ値以上の値にしてもよい。また、隣り合うマイクロレンズ４２３の間に隔壁を設けてもよい。また、撮像光学系４０５をテレセントリック光学系とすれば、急峻な角度でマイクロレンズ４２３に入射する光が存在しなくなり、同様の効果が得られる。   For example, when the F value of the imaging optical system 405 is smaller than the F value of the microlens 423, the subject light incident on the microlens 423 spreads over a range larger than the diameter of the microlens 423. For this reason, the F value of the imaging optical system 405 may be set to a value equal to or larger than the F value of the microlens 423. Further, a partition wall may be provided between adjacent microlenses 423. If the imaging optical system 405 is a telecentric optical system, there is no light incident on the microlens 423 at a steep angle, and the same effect can be obtained.

図６（ａ）に例示するように、第２マイクロレンズ４２３ｂは、マイクロレンズアレイ４２１中に、第１マイクロレンズ４２３ａと互い違いに配置されている。つまり、マイクロレンズアレイ４２１中には、４つの第１マイクロレンズ４２３ａが２×２の形態で配列されており、その上下左右にそれぞれ１つの第２マイクロレンズ４２３ｂが配置されている。換言すると、マイクロレンズアレイ４２１中に配置された第２マイクロレンズ４２３ｂの上下左右には、それぞれ４つの第１マイクロレンズ４２３ａが２×２の形態で配列されている。   As illustrated in FIG. 6A, the second microlenses 423 b are alternately arranged with the first microlenses 423 a in the microlens array 421. That is, in the microlens array 421, four first microlenses 423a are arranged in a 2 × 2 form, and one second microlens 423b is arranged on each of the top, bottom, left, and right. In other words, four first microlenses 423a are arranged in a 2 × 2 form on the top, bottom, left, and right of the second microlenses 423b disposed in the microlens array 421, respectively.

制御部３０１が実行する画像合成処理について説明する。本実施の形態における画像合成処理は、撮像素子３０２により出力された撮像信号から、光軸Ｏ方向の所定範囲内における任意像面の画像（いわゆるリフォーカス画像）を合成する機能である。まず、周知のリフォーカス画像の合成方法の例を、図７を参照して説明する。   An image composition process executed by the control unit 301 will be described. The image composition processing in the present embodiment is a function for compositing an image of an arbitrary image plane (so-called refocus image) within a predetermined range in the optical axis O direction from the image signal output by the image sensor 302. First, an example of a known refocus image synthesis method will be described with reference to FIG.

図７は、合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子３０２とを模式的に示した断面図である。なお、図７では、全てのマイクロレンズ４２３が第１マイクロレンズ４２３ａである様子を例示している。図７において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子３０２に向かう光の広がり角θは、撮像光学系４０５の瞳の大きさ（すなわち撮像光学系４０５の絞り値）により規定される。マイクロレンズ４２３の絞り値は撮像光学系４０５の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ４２３に入射した光束は、そのマイクロレンズ４２３により被覆されている領域の外には広がらない。   FIG. 7 is a cross-sectional view schematically showing the light flux from the light spot P on the image plane S to be synthesized and the image sensor 302. FIG. 7 illustrates a state in which all the microlenses 423 are the first microlenses 423a. In FIG. 7, a light spot P provided on the image plane S to be synthesized is considered. The spread angle θ of light from the light spot P toward the image sensor 302 is defined by the size of the pupil of the image pickup optical system 405 (that is, the aperture value of the image pickup optical system 405). The aperture value of the micro lens 423 is configured to be the same as or smaller than the aperture value of the imaging optical system 405. Therefore, the light beam emitted from the light spot P and incident on a certain microlens 423 does not spread outside the region covered with the microlens 423.

ここで、図７に示すように、光点Ｐからの光束が５つのマイクロレンズ４２３（１）〜４２３（５）に入射するとすれば、これらのマイクロレンズ４２３（１）〜４２３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子４２４（１）〜４２４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。   Here, as shown in FIG. 7, if the light beam from the light spot P is incident on the five microlenses 423 (1) to 423 (5), the microlenses 423 (1) to 423 (5) are incident on the microlenses 423 (1) to 423 (5). By limiting the amount of incident light (photoelectric conversion output of the light receiving elements 424 (1) to 424 (5)) on the light receiving surface of the incident light beams 30 (1) to 30 (5), it is limited to the pupil from the light spot P. The total amount of incident light is obtained. That is, the amount of light at the light spot P (the pixel to be synthesized) on the image plane S to be synthesized is obtained.

制御部３０１は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ４２３を特定する。制御部３０１は、特定した各マイクロレンズ４２３について、光点Ｐからの光束がどの受光素子４２４に入射するかを特定する。制御部３０１は、特定した受光素子４２４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。   The control unit 301 sets a plurality of light spots P on the designated image plane S, and specifies, for each light spot P, the microlens 423 on which the light beam from the light spot P is incident. The control unit 301 identifies which light receiving element 424 the light beam from the light spot P is incident on for each identified microlens 423. The control unit 301 calculates the pixel value of the light spot P by integrating the photoelectric conversion outputs of the identified light receiving elements 424.

以上の処理によって、合成対象として指定された像面Ｓの画像が合成される。制御部３０１は、１回の撮像によって撮像素子３０２から出力される撮像信号に基づいて、複数の異なる像面の画像を合成することができる。すなわち、１回の撮像結果から複数像面の画像を得ることができる。   Through the above processing, the image of the image plane S designated as the synthesis target is synthesized. The control unit 301 can synthesize images of a plurality of different image planes based on the imaging signal output from the imaging element 302 by one imaging. That is, an image having a plurality of image planes can be obtained from one imaging result.

上述した周知のリフォーカス画像の合成方法と、制御部３０１が実行する画像合成処理との違いについて説明する。本実施の形態の撮像素子３０２は、サイズが異なる２種類のマイクロレンズ４２３を有しており、制御部３０１は２種類のマイクロレンズ４２３を考慮した画像合成処理を実行する。   A difference between the above-described known refocus image composition method and the image composition processing executed by the control unit 301 will be described. The imaging element 302 according to the present embodiment includes two types of microlenses 423 having different sizes, and the control unit 301 executes image composition processing in consideration of the two types of microlenses 423.

制御部３０１が実行可能な画像合成処理には、第１画像合成処理、第２画像合成処理、および第３画像合成処理の３種類が存在する。第１画像合成処理は、第１マイクロレンズ４２３ａを基準とする画像合成処理である。第２画像合成処理は、第２マイクロレンズ４２３ｂを基準とする画像合成処理である。第３画像合成処理は、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとをそれぞれ個別に扱う画像合成処理である。以下、第１画像合成処理から順に説明する。   There are three types of image composition processing that can be executed by the control unit 301: first image composition processing, second image composition processing, and third image composition processing. The first image composition process is an image composition process based on the first microlens 423a. The second image composition process is an image composition process based on the second microlens 423b. The third image composition process is an image composition process that handles the first microlens 423a and the second microlens 423b individually. Hereinafter, the first image composition process will be described in order.

図８は、第１画像合成処理の説明図である。第１画像合成処理において、制御部３０１は、第２受光素子群４２５ｂにより出力された受光信号（光電変換信号）に対して、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。換言すると、制御部３０１は、第２受光素子群４２５ｂにより出力された受光信号を、第１受光素子群４２５ａにより出力された受光信号と同等の信号に補正する。具体的には、図８に破線で示すように、１つの第２マイクロレンズ４２３ｂの位置に、仮想的に４つの第１マイクロレンズ４２３ａｘが配置されていると想定する。制御部３０１は、それらの仮想的な第１マイクロレンズ４２３ａｘを通過した被写体光による受光信号を、その１つの第２マイクロレンズ４２３ｂに対応する第２受光素子群４２５ｂによる受光信号から演算する。つまり、もし第２マイクロレンズ４２３ｂの位置に、第２マイクロレンズ４２３ｂではなく４つの第１マイクロレンズ４２３ａｘが存在したとすれば、その配下の受光素子４２４からどのような受光信号が出力されるかを演算する。   FIG. 8 is an explanatory diagram of the first image composition processing. In the first image composition processing, the control unit 301 differs in optical characteristics between the first microlens 423a and the second microlens 423b with respect to the light reception signal (photoelectric conversion signal) output from the second light receiving element group 425b. Correct. In other words, the control unit 301 corrects the light reception signal output by the second light receiving element group 425b to a signal equivalent to the light reception signal output by the first light receiving element group 425a. Specifically, it is assumed that four first microlenses 423ax are virtually arranged at the position of one second microlens 423b as indicated by a broken line in FIG. The control unit 301 calculates a light reception signal by subject light that has passed through the virtual first microlens 423ax from a light reception signal by the second light receiving element group 425b corresponding to the one second microlens 423b. That is, if there are four first microlenses 423ax instead of the second microlens 423b at the position of the second microlens 423b, what kind of light reception signal is output from the light receiving element 424 under the first microlens 423b. Is calculated.

例えば、第２受光素子群４２５ｂに含まれるある受光素子４２４に注目すると、その受光素子４２４に入射した被写体光が、第２マイクロレンズ４２３ｂのどの位置にどのような角度で入射したのかを特定することができる。つまり、受光素子４２４から、その受光素子４２４に入射した光の出射位置および出射角度（出射方向）を特定することができる。また、その受光素子４２４からの受光出力によって、その光の光量（強度）を特定することができる。制御部３０１は、第２受光素子群４２５ｂに含まれる受光素子４２４ごとに、光量、出射位置、および出射角度を特定し、それらの情報と第１マイクロレンズ４２３ａのレンズ情報とから、仮想的な第１マイクロレンズ４２３ａｘを通過した光がどの受光素子４２４に入射するかを演算する。制御部３０１は、演算結果により、第２受光素子群４２５ｂの受光出力を第１受光素子群４２５ａにより出力された受光信号と同等の信号に補正する。   For example, when attention is paid to a certain light receiving element 424 included in the second light receiving element group 425b, it is specified at which position of the second microlens 423b the subject light incident on the light receiving element 424 is incident at what angle. be able to. That is, from the light receiving element 424, the emission position and the emission angle (emission direction) of the light incident on the light receiving element 424 can be specified. Further, the light quantity (intensity) of the light can be specified by the light reception output from the light receiving element 424. The control unit 301 specifies the light amount, the emission position, and the emission angle for each light receiving element 424 included in the second light receiving element group 425b, and virtually determines the information and the lens information of the first microlens 423a. It is calculated which light receiving element 424 the light having passed through the first microlens 423ax enters. Based on the calculation result, the control unit 301 corrects the light reception output of the second light receiving element group 425b to a signal equivalent to the light reception signal output by the first light receiving element group 425a.

制御部３０１は、第１受光素子群４２５ａの受光出力と、補正した第２受光素子群４２５ｂの受光出力とに対して、前述した周知のリフォーカス画像の合成方法を適用することにより、任意の像面の画像を合成する。補正した第２受光素子群４２５ｂの受光出力は、１つの第２マイクロレンズ４２３ｂの位置に４つの第１マイクロレンズ４２３ａｘが存在した場合の受光出力であるから、マイクロレンズアレイ４２１の全面に第１マイクロレンズ４２３ａが配列されている場合と同様の処理（前述した周知のリフォーカス画像の合成方法）によって、任意像面の画像を合成することができる。   The control unit 301 applies any of the known refocus image synthesis methods described above to the light reception output of the first light receiving element group 425a and the corrected light reception output of the second light receiving element group 425b. Synthesize the image of the image plane. Since the corrected light reception output of the second light receiving element group 425b is a light reception output when the four first microlenses 423ax are present at the position of one second microlens 423b, the first light-receiving output is applied to the entire surface of the microlens array 421. An image of an arbitrary image plane can be synthesized by a process similar to that in the case where the microlenses 423a are arranged (the well-known refocus image synthesis method described above).

第２画像合成処理は、第１画像合成処理とは逆に、第１受光素子群４２５ａにより出力された受光信号を補正して画像合成を行う処理である。すなわち第２画像合成処理において、制御部３０１は、第１受光素子群４２５ａにより出力された受光信号に対して、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。換言すると、制御部３０１は、第１受光素子群４２５ａにより出力された受光信号を、第２受光素子群４２５ｂにより出力された受光信号と同等の信号に補正する。   In contrast to the first image composition process, the second image composition process is a process of performing image composition by correcting the light reception signal output from the first light receiving element group 425a. That is, in the second image composition process, the control unit 301 corrects a difference in optical characteristics between the first microlens 423a and the second microlens 423b with respect to the light reception signal output from the first light receiving element group 425a. In other words, the control unit 301 corrects the light reception signal output by the first light receiving element group 425a to a signal equivalent to the light reception signal output by the second light receiving element group 425b.

例えば、２×２の計４つの第１マイクロレンズ４２３ａを覆うように配置した、仮想的な第２マイクロレンズ４２３ｂを想定する。あるいは、２×２の計４つの第１マイクロレンズ４２３ａの各々について、第１マイクロレンズ４２３ａを拡大した仮想的な第２マイクロレンズ４２３ｂが配置されていると想定する。後者の場合、仮想的な第２マイクロレンズ４２３ｂどうしが少しずつ重複する。制御部３０１は、それらの仮想的な第２マイクロレンズ４２３ｂを通過した被写体光による受光信号を、第１受光素子群４２５ａによる受光信号から演算する。つまり、もし第１マイクロレンズ４２３ａの位置に、第１マイクロレンズ４２３ａではなく第２マイクロレンズ４２３ｂが存在したとすれば、その配下の受光素子４２４からどのような受光信号が出力されるかを演算する。以降の処理については、第１画像合成処理と同様なので、説明を省略する。   For example, a hypothetical second microlens 423b arranged so as to cover a total of four 1 × 2 first microlenses 423a is assumed. Alternatively, it is assumed that a virtual second microlens 423b obtained by enlarging the first microlens 423a is arranged for each of the total of the 2 × 2 first microlenses 423a. In the latter case, the virtual second microlenses 423b overlap each other little by little. The control unit 301 calculates a light reception signal by subject light that has passed through these virtual second microlenses 423b from a light reception signal by the first light receiving element group 425a. That is, if there is a second microlens 423b instead of the first microlens 423a at the position of the first microlens 423a, it is calculated what light reception signal is output from the subordinate light receiving element 424. To do. Since the subsequent processing is the same as the first image composition processing, description thereof is omitted.

第３画像合成処理は、受光信号の補正を行わない画像合成処理である。第３画像合成処理において、制御部３０１は、第１受光素子群４２５ａの受光出力だけを用いて（第２受光素子群４２５ｂの受光出力を用いずに）画像を合成する。この合成結果を第１部分被写体像と称する。第１部分被写体像において、第２受光素子群４２５ｂの受光出力が必要な画素は空欄とする。つまり、第１部分被写体像は歯抜け状態になる。制御部３０１は、第２受光素子群４２５ｂの受光出力だけを用いて（第１受光素子群４２５ａの受光出力を用いずに）画像を合成する。この合成結果を第２部分被写体像と称する。第２部分被写体像において、第１受光素子群４２５ａの受光出力が必要な画素は空欄とする。つまり、第２部分被写体像は歯抜け状態になる。制御部３０１は、第１部分被写体像と第２部分被写体像とを組み合わせて、最終的な合成画像を生成する。例えば、第１部分被写体像において空欄となっていた箇所に、第２部分被写体像の結果を当てはめることで、歯抜け状態ではない最終的な画像を作成する。もしくは、第２部分被写体像において空欄となっていた箇所に、第１部分被写体像の結果を当てはめることで、歯抜け状態ではない最終的な画像を作成する。   The third image composition process is an image composition process in which the received light signal is not corrected. In the third image composition process, the control unit 301 composes an image using only the light reception output of the first light receiving element group 425a (without using the light reception output of the second light receiving element group 425b). This synthesis result is referred to as a first partial subject image. In the first partial subject image, pixels that require the light receiving output of the second light receiving element group 425b are blank. That is, the first partial subject image is in a tooth missing state. The control unit 301 synthesizes an image using only the light receiving output of the second light receiving element group 425b (without using the light receiving output of the first light receiving element group 425a). This synthesis result is referred to as a second partial subject image. In the second partial subject image, pixels that require the light receiving output of the first light receiving element group 425a are blank. That is, the second partial subject image is in a tooth missing state. The control unit 301 combines the first partial subject image and the second partial subject image to generate a final composite image. For example, by applying the result of the second partial subject image to a place that is blank in the first partial subject image, a final image that is not in a missing state is created. Alternatively, by applying the result of the first partial subject image to a position that is blank in the second partial subject image, a final image that is not in a missing state is created.

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部３０１は、第１マイクロレンズ４２３ａを通過した光による第１受光素子群４２５ａからの受光出力に対し、第１マイクロレンズ４２３ａと第２マイクロレンズ４２３ｂとの光学特性の違いを補正する。制御部３０１は、補正された受光出力と、第２受光素子群４２５ｂからの受光出力と、により被写体画像を合成する。第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより小さい場合、大きいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。一方、第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより大きい場合、小さいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。大きいマイクロレンズが配列されたマイクロレンズアレイを用いると奥行き方向の分解能が向上する。小さいマイクロレンズが配列されたマイクロレンズアレイを用いると水平方向の分解能が向上する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、必要に応じて優先すべき分解能（奥行き方向の分解能または水平方の分解能）を切替えて合成画像することができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The control unit 301 corrects a difference in optical characteristics between the first microlens 423a and the second microlens 423b with respect to the light reception output from the first light receiving element group 425a by the light that has passed through the first microlens 423a. To do. The control unit 301 combines the subject image with the corrected light reception output and the light reception output from the second light receiving element group 425b. When the first microlens 423a is smaller than the second microlens 423b, a subject image can be synthesized based on information equivalent to a light reception output by an array in which large microlenses (second microlens 423b) are two-dimensionally arranged. On the other hand, when the first microlens 423a is larger than the second microlens 423b, a subject image can be synthesized based on information equivalent to a light reception output by an array in which small microlenses (second microlens 423b) are two-dimensionally arranged. . Using a microlens array in which large microlenses are arranged improves the resolution in the depth direction. When a microlens array in which small microlenses are arranged is used, the horizontal resolution is improved. As described above, since two types of microlenses having different sizes are used properly, it is possible to switch the resolution (resolution in the depth direction or horizontal resolution) to be given priority as necessary to form a composite image.

（２）制御部３０１は、第１受光素子群４２５ａからの受光出力により、第１マイクロレンズ４２３ａに入射した光線を特定し、第１マイクロレンズ４２３ａのサイズが第２マイクロレンズ４２３ｂのサイズであった場合にその光線によって第１受光素子群４２５ａが出力する受光出力に補正する。制御部３０１は、複数の第２受光素子群４２５ｂからの受光出力と、補正により得られた、第１マイクロレンズ４２３ａのサイズが第２マイクロレンズ４２３ｂのサイズであった場合の受光出力と、により被写体画像を合成する。第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより小さい場合、大きいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。一方、第１マイクロレンズ４２３ａが第２マイクロレンズ４２３ｂより大きい場合、小さいマイクロレンズ（第２マイクロレンズ４２３ｂ）が２次元に配列されたアレイによる受光出力と同等の情報に基づいて被写体画像が合成できる。大きいマイクロレンズが配列されたマイクロレンズアレイを用いると奥行き方向の分解能が向上する。小さいマイクロレンズが配列されたマイクロレンズアレイを用いると水平方向の分解能が向上する。このように、サイズが異なる２種類のマイクロレンズを使い分けるようにしたので、必要に応じて優先すべき分解能（奥行き方向の分解能または水平方の分解能）を切替えて合成画像することができる。 (2) The control unit 301 identifies the light beam incident on the first microlens 423a based on the light reception output from the first light receiving element group 425a, and the size of the first microlens 423a is the size of the second microlens 423b. In this case, the light beam is corrected to the light receiving output output by the first light receiving element group 425a. The control unit 301 uses the light reception outputs from the plurality of second light receiving element groups 425b and the light reception outputs obtained by the correction when the size of the first microlens 423a is the size of the second microlens 423b. Synthesize the subject image. When the first microlens 423a is smaller than the second microlens 423b, a subject image can be synthesized based on information equivalent to a light reception output by an array in which large microlenses (second microlens 423b) are two-dimensionally arranged. On the other hand, when the first microlens 423a is larger than the second microlens 423b, a subject image can be synthesized based on information equivalent to a light reception output by an array in which small microlenses (second microlens 423b) are two-dimensionally arranged. . Using a microlens array in which large microlenses are arranged improves the resolution in the depth direction. When a microlens array in which small microlenses are arranged is used, the horizontal resolution is improved. As described above, since two types of microlenses having different sizes are used properly, it is possible to switch the resolution (resolution in the depth direction or horizontal resolution) to be given priority as necessary to form a composite image.

（３）制御部３０１は、第１受光素子群４２５ａからの受光出力により、所定像面の第１部分被写体像を合成する。制御部３０１は、第２受光素子群４２５ｂからの受光出力により、所定像面の第２部分被写体像を合成する。制御部３０１は、第１部分被写体像と第２部分被写体像とから所定像面の被写体像を合成する。このようにしたので、奥行き方向の分解能と、水平方の分解能とを両立させた合成画像を得ることができる。 (3) The control unit 301 synthesizes the first partial subject image on the predetermined image plane based on the light reception output from the first light receiving element group 425a. The control unit 301 synthesizes the second partial subject image on the predetermined image plane based on the light reception output from the second light receiving element group 425b. The control unit 301 synthesizes a subject image having a predetermined image plane from the first partial subject image and the second partial subject image. Since it did in this way, the composite image which made the resolution of the depth direction and the resolution of the horizontal direction compatible can be obtained.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。   The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.

（変形例１）
上述した各実施の形態では、第１マイクロレンズおよび第２マイクロレンズのサイズ、形状、配列について、例を挙げて説明したが、これとは異なるサイズ、形状、配列を有する第１マイクロレンズおよび第２マイクロレンズを設けてもよい。例えば、マイクロレンズが正方配列ではなく行ごとに互い違いになるように配列されていてもよい。また、更にサイズが異なる第３のマイクロレンズや第４のマイクロレンズを設けてもよい。 (Modification 1)
In each of the above-described embodiments, the size, shape, and arrangement of the first microlens and the second microlens have been described by way of example. However, the first microlens and the second microlens having different sizes, shapes, and arrangements may be used. Two microlenses may be provided. For example, the microlenses may be arranged in a staggered manner for each row instead of a square array. Further, a third microlens or a fourth microlens having different sizes may be provided.

（変形例２）
第１の実施の形態において、第１焦点検出処理に用いる第１マイクロレンズ２２３ａは連続的に配列されていなくてもよい。例えば、１つ飛びに配列されていてもよい。また、第２焦点検出処理に用いる第２マイクロレンズ２２３ｂは、隣接して配列されていなくてもよい。 (Modification 2)
In the first embodiment, the first microlenses 223a used for the first focus detection process may not be arranged continuously. For example, it may be arranged one by one. Further, the second micro lenses 223b used for the second focus detection process may not be arranged adjacent to each other.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。   Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１、２…撮像装置、１００、３００…カメラボディ、１０１、３０１…制御部、１０２、３０２…撮像素子、１０９…焦点検出装置、２００、４００…交換レンズ、２０３…フォーカシングレンズ、２０５、４０５…撮像光学系、２２１、４２１…マイクロレンズアレイ、２２２、４２２…受光素子アレイ、２２３、４２３…マイクロレンズ、２２３ａ、４２３ａ…第１マイクロレンズ、２２３ｂ、４２３ｂ…第２マイクロレンズ、２２４、４２４…受光素子、２２５、４２５…受光素子群、２２５ａ、４２５ａ…第１受光素子群、２２５ｂ、４２５ｂ…第２受光素子群 DESCRIPTION OF SYMBOLS 1, 2 ... Imaging device, 100, 300 ... Camera body, 101, 301 ... Control part, 102, 302 ... Imaging element, 109 ... Focus detection apparatus, 200, 400 ... Interchangeable lens, 203 ... Focusing lens, 205, 405 ... Imaging optical system, 221, 421... Micro lens array, 222, 422... Light receiving element array, 223, 423... Micro lens, 223 a, 423 a .. first micro lens, 223 b, 423 b. Element, 225, 425 ... Light receiving element group, 225a, 425a ... First light receiving element group, 225b, 425b ... Second light receiving element group

Claims (11)

第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
前記第１マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により撮像光学系の焦点評価値を演算する第１演算部と、前記第２マイクロレンズを通過する光を受光した前記複数の画素群の受光出力により前記撮像光学系の焦点評価値を演算する第２演算部と、
を備える光学装置。 A plurality of microlenses arranged at least two-dimensionally including at least a first microlens having a first size and a second microlens having a second size;
An image sensor that has a plurality of pixel groups including a plurality of pixels, and that receives light that has passed through each microlens of each of the plurality of microlenses, and each pixel group;
A first calculation unit that calculates a focus evaluation value of the imaging optical system based on light reception outputs of the plurality of pixel groups that have received light passing through the first microlens; and the light that has received light passing through the second microlens. A second calculation unit for calculating a focus evaluation value of the imaging optical system based on light reception outputs of a plurality of pixel groups;
An optical device comprising: 請求項１に記載の光学装置において、
第１演算部により演算された焦点評価値および第２演算部により演算された焦点評価値のいずれか一方を出力する焦点検出部を更に備える光学装置。 The optical device according to claim 1.
An optical apparatus further comprising a focus detection unit that outputs either the focus evaluation value calculated by the first calculation unit or the focus evaluation value calculated by the second calculation unit. 請求項２に記載の光学装置において、
前記焦点検出部によって出力された焦点評価値により前記撮像光学系の焦点調節を行う焦点調節部を更に備える光学装置。 The optical device according to claim 2.
An optical apparatus further comprising a focus adjustment unit that performs focus adjustment of the imaging optical system based on a focus evaluation value output by the focus detection unit. 請求項１から請求項３までのいずれか一項に記載の光学装置において、
前記第１のサイズは前記第２のサイズよりも小さく、
前記第１演算部は、前記第１マイクロレンズを通過した光を受光した画素群の受光出力から一対の信号を取り出し、複数の前記第１マイクロレンズの各々から取り出された複数の前記一対の信号を用いて位相差演算を行い、
前記第２演算部は、前記第２マイクロレンズを通過した光を受光した画素群の受光出力から複数の信号を取り出し、一対の前記第２マイクロレンズから取り出された一対の前記複数の信号を用いて位相差演算を行う光学装置。 The optical device according to any one of claims 1 to 3,
The first size is smaller than the second size;
The first calculation unit extracts a pair of signals from a light reception output of a pixel group that has received light that has passed through the first microlens, and a plurality of the pair of signals extracted from each of the plurality of first microlenses. Perform phase difference calculation using
The second calculation unit extracts a plurality of signals from a light reception output of a pixel group that has received light that has passed through the second microlens, and uses the pair of the plurality of signals extracted from the pair of second microlenses. Optical device that performs phase difference calculation. 請求項４に記載の光学装置において、
前記第１演算部は、複数の前記第１マイクロレンズの各々から取り出された複数の前記一対の信号から一対の信号列を生成し、前記一対の信号列を用いて位相差演算を行い、
前記第２演算部は、前記第２マイクロレンズを通過した光を受光した画素群の受光出力から信号列を取り出し、一対の前記第２マイクロレンズから取り出された一対の前記信号列を用いて位相差演算を行う光学装置。 The optical device according to claim 4.
The first calculation unit generates a pair of signal sequences from the plurality of pairs of signals extracted from each of the plurality of first microlenses, performs a phase difference calculation using the pair of signal sequences,
The second calculation unit extracts a signal sequence from a light reception output of a pixel group that has received light that has passed through the second microlens, and uses the pair of signal sequences extracted from the pair of second microlenses. An optical device that performs a phase difference calculation. 第１のサイズを有する第１マイクロレンズと、第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に対し、前記第１マイクロレンズと前記第２マイクロレンズとの光学特性の違いを補正する補正部と、
前記補正部により補正された受光出力と、前記第２マイクロレンズを通過した光を受光した画素群からの受光出力と、により被写体画像を合成する画像合成部と、
を備える光学装置。 A plurality of microlenses arranged at least two-dimensionally including at least a first microlens having a first size and a second microlens having a second size;
An image sensor that has a plurality of pixel groups including a plurality of pixels, and that receives light that has passed through each microlens of each of the plurality of microlenses, and each pixel group;
A correction unit that corrects a difference in optical characteristics between the first microlens and the second microlens with respect to a light reception output from a pixel group that receives light that has passed through the first microlens;
An image combining unit that combines a subject image with the light reception output corrected by the correction unit and the light reception output from the pixel group that has received the light that has passed through the second microlens;
An optical device comprising: 請求項６に記載の光学装置において、
前記補正部は、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記第１マイクロレンズに入射した光線を特定し、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力を、前記第１マイクロレンズのサイズが前記第２のサイズであった場合に前記光線によって前記画素群が出力する受光出力に補正する光学装置。 The optical device according to claim 6.
The correction unit identifies a light beam incident on the first microlens based on a light reception output from a pixel group that has received the light that has passed through the first microlens, and receives the light that has passed through the first microlens. An optical device that corrects the received light output from the pixel group to the received light output output from the pixel group by the light when the size of the first microlens is the second size. 請求項６に記載の光学装置において、
前記第２のサイズは、前記第１のサイズよりも大きく、
前記補正部は、複数の前記第１マイクロレンズを通過した光を受光した複数の画素群からの受光出力に基づいて前記複数の第１マイクロレンズに入射した光線を特定し、前記複数の第１マイクロレンズを通過した光を受光した複数の画素群からの受光出力を、前記第２のサイズのマイクロレンズが前記複数の第１マイクロレンズを覆うように配置された場合に前記第２のサイズのマイクロレンズを通過した光を受光する画素群が出力する受光出力に補正する光学装置。 The optical device according to claim 6.
The second size is larger than the first size;
The correction unit identifies light rays incident on the plurality of first microlenses based on light reception outputs from a plurality of pixel groups that receive light that has passed through the plurality of first microlenses, and the plurality of first microlenses. The light reception outputs from the plurality of pixel groups that have received the light that has passed through the microlens are obtained when the second size microlens is arranged so as to cover the plurality of first microlenses. An optical device that corrects a light reception output from a pixel group that receives light that has passed through a microlens. 請求項６に記載の光学装置において、
前記第２のサイズは、前記第１のサイズよりも小さく、
前記補正部は、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記第１マイクロレンズに入射した光線を特定し、前記第１マイクロレンズを通過した光を受光した画素群からの受光出力を、前記第２のサイズのマイクロレンズが前記第１マイクロレンズが占める領域内に複数配置された場合に前記複数の第２のサイズのマイクロレンズを通過した光を受光する複数の画素群が出力する受光出力に補正する光学装置。 The optical device according to claim 6.
The second size is smaller than the first size;
The correction unit identifies a light beam incident on the first microlens based on a light reception output from a pixel group that has received the light that has passed through the first microlens, and receives the light that has passed through the first microlens. When the plurality of second size microlenses are arranged in the region occupied by the first microlens, the light received from the pixel group is received by the plurality of second size microlenses. An optical device that corrects the received light output from a plurality of pixel groups. 第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
前記第１マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて所定像面の第１部分被写体像を合成する第１画像合成部と、
前記第２マイクロレンズを通過した光を受光した画素群からの受光出力に基づいて前記所定像面の第２部分被写体像を合成する第２画像合成部と、
前記第１画像合成部による前記第１部分被写体像と、前記第２画像合成部による前記第２部分被写体像とから前記所定像面の被写体像を合成する第３画像合成部と、
を備える光学装置。 A plurality of microlenses arranged at least two-dimensionally, including at least a first microlens having a first size and a second microlens having a second size larger than the first size;
An image sensor that has a plurality of pixel groups including a plurality of pixels, and that receives light that has passed through each microlens of each of the plurality of microlenses, and each pixel group;
A first image synthesizing unit that synthesizes a first partial subject image on a predetermined image plane based on a light reception output from a pixel group that has received light that has passed through the first microlens;
A second image synthesizing unit that synthesizes a second partial subject image of the predetermined image plane based on a light reception output from a pixel group that has received light that has passed through the second microlens;
A third image synthesizing unit that synthesizes a subject image of the predetermined image plane from the first partial subject image by the first image synthesizing unit and the second partial subject image by the second image synthesizing unit;
An optical device comprising: 第１のサイズを有する第１マイクロレンズと、前記第１のサイズよりも大きい第２のサイズを有する第２マイクロレンズとを少なくとも含み、二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサとを備え、
前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離とが等しい光学装置。 A plurality of microlenses arranged at least two-dimensionally, including at least a first microlens having a first size and a second microlens having a second size larger than the first size;
A plurality of pixel groups including a plurality of pixels, and an image sensor that receives light that has passed through each of the microlenses of each of the plurality of microlenses.
An optical device in which a focal length of the first microlens is equal to a focal length of the second microlens.
JP2016101275A 2016-05-20 2016-05-20 Optical device Pending JP2017207695A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016101275A JP2017207695A (en) 2016-05-20 2016-05-20 Optical device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016101275A JP2017207695A (en) 2016-05-20 2016-05-20 Optical device

Publications (1)

Publication Number Publication Date
JP2017207695A true JP2017207695A (en) 2017-11-24

Family

ID=60415441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016101275A Pending JP2017207695A (en) 2016-05-20 2016-05-20 Optical device

Country Status (1)

Country Link
JP (1) JP2017207695A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107465A1 (en) * 2019-11-25 2021-06-03 엘지이노텍 주식회사 Distance measuring camera apparatus
JP2021087199A (en) * 2019-11-29 2021-06-03 株式会社リコー Information acquisition device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007103590A (en) * 2005-10-03 2007-04-19 Nikon Corp Image pick-up device, focus detector and image pick-up system
WO2015115452A1 (en) * 2014-01-28 2015-08-06 株式会社ニコン Focal point detection device, focal point adjustment device, and camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007103590A (en) * 2005-10-03 2007-04-19 Nikon Corp Image pick-up device, focus detector and image pick-up system
WO2015115452A1 (en) * 2014-01-28 2015-08-06 株式会社ニコン Focal point detection device, focal point adjustment device, and camera

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107465A1 (en) * 2019-11-25 2021-06-03 엘지이노텍 주식회사 Distance measuring camera apparatus
CN114762308A (en) * 2019-11-25 2022-07-15 Lg伊诺特有限公司 Range camera apparatus
CN114762308B (en) * 2019-11-25 2023-12-01 Lg伊诺特有限公司 Distance measuring camera device
JP2021087199A (en) * 2019-11-29 2021-06-03 株式会社リコー Information acquisition device
JP7380146B2 (en) 2019-11-29 2023-11-15 株式会社リコー Information acquisition device

Similar Documents

Publication Publication Date Title
JP6593396B2 (en) Detection device and imaging device
JP4946059B2 (en) Imaging device
JP5388544B2 (en) Imaging apparatus and focus control method thereof
JP5219865B2 (en) Imaging apparatus and focus control method
JP5157128B2 (en) Focus detection apparatus and imaging apparatus
US7767946B2 (en) Focus detection device and image pick-up device
JP2008209761A (en) Focus detecting device and imaging apparatus
JP6220148B2 (en) Imaging apparatus and control method thereof
JP2009175680A (en) Light receiving device, focal point detecting device and imaging device
JP2007004471A (en) Image synthesis method and image pickup apparatus
JP2010049209A (en) Imaging sensing apparatus, image sensing system, and focus detection method
JP2015194706A5 (en)
JP2012037551A (en) Focus detecting device and imaging apparatus
US11297271B2 (en) Image sensor and image capture apparatus
US9554054B2 (en) Imaging apparatus and its control method and program
US9967451B2 (en) Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
JP5784395B2 (en) Imaging device
JP5968359B2 (en) IMAGING DEVICE, IMAGING SYSTEM, AND IMAGING DEVICE CONTROL METHOD
JP2010128205A (en) Imaging apparatus
JP2017207695A (en) Optical device
JP6302512B2 (en) IMAGING DEVICE, IMAGING SYSTEM, AND IMAGING DEVICE CONTROL METHOD
JP7292123B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
JP7171331B2 (en) Imaging device
JP2010109921A (en) Image synthesizing apparatus
JP2016057402A (en) Imaging device and method for controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200225