WO2012043211A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2012043211A1
WO2012043211A1 PCT/JP2011/070796 JP2011070796W WO2012043211A1 WO 2012043211 A1 WO2012043211 A1 WO 2012043211A1 JP 2011070796 W JP2011070796 W JP 2011070796W WO 2012043211 A1 WO2012043211 A1 WO 2012043211A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light receiving
image
subject
pupil
Prior art date
Application number
PCT/JP2011/070796
Other languages
English (en)
French (fr)
Inventor
小野　修司
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012536328A priority Critical patent/JP5466766B2/ja
Priority to CN201180047741.XA priority patent/CN103155543B/zh
Priority to EP11828771.3A priority patent/EP2624540B1/en
Publication of WO2012043211A1 publication Critical patent/WO2012043211A1/ja
Priority to US13/851,599 priority patent/US8605197B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to an imaging apparatus, and more particularly to a technique for simultaneously acquiring images having different focal lengths.
  • Patent Document 1 discloses a parallax in which image information that has passed through different positions in an image imaging unit that forms an image of the outside world is selectively captured and converted into an image data sequence, and the converted image data sequence is recorded. An image input device is described. According to the technique of Patent Document 1, a plurality of images from different viewpoints can be acquired.
  • Patent Document 2 an incident light beam is deflected in two directions by a deflecting unit, two images of the light beam are detected by an image sensor, and a subject image by an imaging lens is calculated based on an image shift amount determined by the detected image position. Describes a digital camera that calculates the focus adjustment state of the lens and moves the imaging lens to the in-focus position. According to the technique of Patent Document 2, it is possible to quickly perform focus adjustment by one-time image detection.
  • Patent Document 1 a pupil is spatially divided by a microlens and a light receiving cell with a light beam incident on a normal imaging lens, and there is only one focal point. Therefore, in order to acquire images with different focal lengths, a focus adjustment mechanism is required. Similarly, Patent Document 2 also requires a focus adjustment mechanism.
  • the focus adjustment mechanism is incorporated in the imaging lens in order to capture images with different focal lengths, there is a problem that the drive device becomes large.
  • Patent Document 3 discloses that one or two lens surfaces in the imaging lens system have different curvatures in the inner region and the outer region coaxial with the optical axis, An imaging optical system satisfying 0.3 ⁇ f 2 / f 1 ⁇ 0.9 is described, where f 1 ⁇ is the focal length of the entire system due to curvature and f 2 ⁇ is the focal length of the entire system due to the curvature of the inner region.
  • Patent Document 4 describes a technique for switching the focus of a multifocal lens having two lens regions having different focal lengths using a fluid prism.
  • Non-Patent Document 1 The restoration process is described in Non-Patent Document 1 and Non-Patent Document 2, for example (see Patent Document 5).
  • Patent Document 6 The outline emphasis is described in Patent Document 6, for example.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of simultaneously acquiring a plurality of images having different focal lengths.
  • an imaging device includes an imaging lens having a different focal length for each region, a light receiving unit including a plurality of light receiving elements, and a plurality of light receiving elements.
  • a plurality of optical elements that are provided correspondingly and cause the corresponding light receiving elements to receive subject light that has passed through a predetermined pupil region in the exit pupil of the imaging lens, and the imaging signals of the plurality of light receiving elements, And a plurality of first optical elements out of the plurality of optical elements pass through a region having a first focal length of the imaging lens and a first pupil region in the exit pupil.
  • Subject light is incident on a corresponding light receiving element, and a plurality of second optical elements among the plurality of optical elements pass through a region having a second focal length of the imaging lens and a second pupil region in the exit pupil. subject And is incident to the corresponding light receiving element.
  • the image generator selects which pupil region of the exit pupil should generate the subject image using the subject light, and uses imaging signals of a plurality of light receiving elements that receive the subject light that has passed through the selected pupil region. Thus, an image of the subject may be generated.
  • the image generation unit selects a subject distance and a focal length corresponding to each of the plurality of pupil regions of the exit pupil when selecting which subject region of the exit pupil is to generate the subject image. Based on this, at least one pupil region through which the subject light imaged at the position of the light receiving unit passes may be selected.
  • the image generation unit may select a plurality of pupil regions through which the subject light imaged at the position of the light receiving unit passes based on the range of the subject distance and the focal length corresponding to each of the plurality of pupil regions.
  • Each of the plurality of optical elements may be a prism element that causes a corresponding light receiving element to receive subject light that has passed through a predetermined pupil region.
  • the prism element is a liquid prism element in which a prism interface is formed at the liquid interface between the first liquid and the second liquid having different refractive indexes, and the imaging device has an inclination of the prism interface with respect to the optical axis of the imaging lens.
  • a control unit that controls the direction of the light beam received by the light receiving element corresponding to each of the plurality of prism elements.
  • the control unit may control the inclination of the prism interface based on the subject distance so as to direct the direction of the light beam received by the corresponding light receiving element to the pupil region through which the subject light imaged at the position of the light receiving unit passes.
  • a prism housing that holds the first liquid and the second liquid, and the interior of the prism housing is divided along the optical axis into a first region that is filled with the first liquid and a second region that is filled with the second liquid.
  • a plurality of through-holes corresponding to positions where the plurality of liquid prism elements are formed, and the control unit includes a first side surface portion of each of the plurality of through-holes. The inclination of the prism interface with respect to the optical axis may be controlled by controlling the position of the liquid interface and the position of the liquid interface on the second side surface facing the first side surface.
  • the control unit causes the liquid interface to be substantially orthogonal to the optical axis and the pupil region not including the optical axis in the exit pupil.
  • the liquid interface may be inclined with respect to the optical axis.
  • the control unit tilts the liquid interface to the first inclination with respect to the optical axis,
  • the liquid interface may be inclined to the second inclination with respect to the optical axis.
  • At least one of the plurality of through holes has a first side surface portion and a second side surface portion having different thicknesses, and the control unit is in a region surrounded by the first side surface portion and the second side surface portion.
  • the liquid interface with respect to the optical axis may be switched to a different inclination by switching between the state in which the first liquid is filled and the state in which the region is filled with the second liquid.
  • the plurality of light receiving elements are arranged in a matrix, and the partition plate is formed by alternately providing a first partition portion extending in the column direction and a second partition portion extending in the column direction in the row direction.
  • the one partition has side portions with a first thickness along the optical axis direction on both sides
  • the second partition has side portions with a second thickness along the optical axis direction on both sides.
  • the plurality of through holes are respectively formed by the side surface portion of the first partition portion and the side surface portion of the second partition portion adjacent to the first partition portion, and the first liquid side of the first partition portion and the second partition portion Form substantially the same plane, and the control unit fills the first liquid in a region surrounded by the first side surface portion and the second side surface portion so that the inclination of the liquid interface with respect to the optical axis differs in the column direction. You may control to the state.
  • the control unit may control the inclination of the interface with respect to the optical axis by controlling the internal pressure of the region holding the first liquid.
  • Each of the plurality of optical elements is a microlens provided with an optical axis biased with respect to a light receiving opening of the light receiving element so that subject light passing through a predetermined pupil region is received by the corresponding light receiving element. Good.
  • Each of the plurality of optical elements may be a light shielding element in which an opening having directivity to a predetermined pupil region with respect to a corresponding light receiving element is formed.
  • the plurality of optical elements includes a first polarizing filter that transmits different polarization components in a plurality of pupil regions, and a second polarization filter that is provided corresponding to each of the plurality of light receiving elements and transmits different polarization components. You can do it.
  • the plurality of optical elements includes a plurality of first wavelength filters that transmit different wavelength components in a plurality of pupil regions, and a plurality of second filters that are provided corresponding to the plurality of light receiving elements and transmit different wavelength components, respectively. Good.
  • Each optical element of the plurality of optical elements is a microlens provided for each of a plurality of light receiving element units, and passes through a region having a first focal length of the imaging lens and a first pupil region in the exit pupil. Subject light entering the first light receiving element, and subject light passing through the second pupil region of the exit pupil and the region having the second focal length of the imaging lens is incident on the second light receiving element. Good.
  • the imaging lens has a different focal length for each of the circular region and the annular region divided by the distance from the center of the imaging lens, and the plurality of optical elements are microlenses having different focal lengths. It may be a light shielding element that forms an annular opening.
  • the image generation unit is configured such that an image signal of a light receiving element that receives subject light that has passed through a specific area of the imaging lens is the specific area of the imaging lens among areas where the light receiving element is disposed. Processing that compensates for the influence on the image quality of the image of the subject due to the loss of the portion of the subject light that has passed through the other region may be performed.
  • the image generation unit performs a process of removing an influence on the image quality of the image of the subject caused by the subject light entering a light receiving element other than the light receiving element corresponding to the predetermined pupil region. It may be.
  • the processing for removing the influence on the image quality may include at least one of blur correction, contrast correction, and edge enhancement of the image of the subject.
  • an image with a desired focal length can be selected.
  • pixels can be selected and synthesized according to the subject distance, a wide range of subject distances can be handled.
  • a plurality of images with different focal lengths can be acquired as image data separated simultaneously and independently. As a result, it is possible to perform synchronous shooting and moving image shooting, which has been impossible in the past.
  • FIG. 1 is a diagram schematically illustrating an example of a block configuration of an imaging apparatus 10.
  • FIG. FIG. 3 is a diagram schematically illustrating an example of the configuration of a deflection unit 140, a micro lens unit 150, and a light receiving unit 160. It is a figure which shows the schematic cross section which cut
  • FIG. 20 is a diagram illustrating an example of another block configuration of the imaging apparatus 1010.
  • FIG. 10 is a schematic diagram illustrating an enlarged light receiving unit of the imaging apparatus 1010.
  • FIG. 25 is a diagram illustrating an example of another block configuration of the imaging apparatus 1110.
  • FIG. 20 is a diagram illustrating a modification of the imaging device 1110. It is a figure which shows typically another example of a lens system.
  • the perspective view which shows the shape of the light shielding mask 2262-1 The perspective view which shows the shape of the light shielding mask 2262-2
  • the perspective view which shows the shape of the light shielding mask 2262-3 A bird's-eye view schematically showing the lens system, microlens, light-shielding and light-receiving elements
  • a diagram schematically showing an example of a light receiving unit A diagram schematically showing an example of a light receiving unit
  • FIG. 1 schematically illustrates an example of a block configuration of the imaging apparatus 10.
  • the imaging device 10 according to the present embodiment provides a function of capturing images with different focal lengths.
  • the optical configuration according to the imaging apparatus 10 provides an imaging apparatus that can implement the function in a compact manner using a fixed imaging lens.
  • the imaging apparatus 10 includes a lens system 100, a light receiving unit 20, an image generation unit 170, a control unit 180, and an image recording unit 190.
  • the light receiving unit 20 includes an optical device 115 and a light receiving unit 160.
  • the lens system 100 is a single imaging lens system.
  • the lens system 100 includes one or more lenses 110.
  • the subject light that has passed through the lens system 100 passes through the optical device 115 and is received by the light receiving unit 160.
  • the lens system 100 is a lens system having a different focal length for each region.
  • the lens system 100 may include a lens system 100a that is a progressive power lens.
  • the objective-side optical surface of the lens 110a gives different focal lengths for each region.
  • the lens system 100 only needs to have optical paths that provide different focal lengths in the entire lens system, and the difference in focal length may not be provided by a specific optical surface of a specific lens.
  • the lens 110 can have different refractive power depending on the refractive index distribution.
  • the optical device 115 causes light that has passed through the pupil region 122a of the exit pupil 120 of the lens system 100, light that has passed through the pupil region 122b, and light that has passed through the pupil region 122c to be received by different regions on the light receiving unit 160.
  • the light receiving unit 160 supplies a signal based on the light received in the different areas to the image generation unit 170 as an image signal.
  • the image generation unit 170 generates images with different focal lengths from the image signal.
  • the image recording unit 190 records the image generated by the image generation unit 170.
  • the image recording unit 190 may record the image in a nonvolatile memory.
  • the non-volatile memory may be included in the image recording unit 190. Further, the nonvolatile memory may be an external memory that is detachably provided to the imaging device 10.
  • the image recording unit 190 may output an image outside the imaging apparatus 10.
  • the optical device 115 includes a deflection unit 140 and a microlens unit 150.
  • the deflecting unit 140 includes a plurality of prism elements 142a to 142c as an example of a deflecting optical element.
  • the microlens unit 150 includes a plurality of microlenses 152a to 152c.
  • the light receiving unit 160 includes a plurality of light receiving elements 162a to 162c. In this figure, for the sake of easy understanding, three light receiving elements 162a to 162c, three microlenses 152a to c, and three prism elements 142a to 142c are illustrated. It does not indicate that each has only three. Needless to say, each optical element has an arbitrary number for imaging a subject.
  • the plurality of microlenses 152a to 152c may be collectively referred to as the microlens 152 or the plurality of microlenses 152.
  • the plurality of light receiving elements 162a to 162c may be collectively referred to as the light receiving element 162 or the plurality of light receiving elements 162.
  • other optical elements may be collectively referred to as optical elements by omitting the subscripts.
  • the plurality of light receiving elements 162 may form a MOS type image pickup element.
  • the plurality of light receiving elements 162 may form a solid-state imaging element such as a CCD type imaging element in addition to a MOS type imaging element.
  • the microlens 152 is provided corresponding to each of the plurality of light receiving elements 162.
  • the plurality of microlenses 152 re-image the subject light imaged by the lens system 100 and cause the corresponding light receiving elements 162 to receive the light.
  • the illustrated microlenses 152a to 152c are provided corresponding to the light receiving elements 162a to 162c, respectively.
  • the micro lens 152a re-images the subject light imaged by the lens system 100 and causes the light receiving element 162a to receive the light.
  • the micro lenses 152b and c re-image the subject light imaged by the lens system 100 and cause the light receiving elements 162b and c to receive the light, respectively.
  • the microlens 152 limits the size of the exit pupil 120 through which the light flux to each of the light receiving elements 162 passes.
  • the microlens 152 has a refractive power large enough to cause each light receiving element 162 to receive light that has passed through a partial region of the exit pupil 120.
  • the microlens 152 can have a refractive power that causes each light receiving element 162 to receive light that has passed through a region having an area of 1 ⁇ 4 or less of the exit pupil 120.
  • the prism element 142 is provided corresponding to the plurality of light receiving elements 162.
  • the prism element 142, the micro lens 152, and the light receiving element 162 are provided in a one-to-one correspondence with each other.
  • the prism element 142a is provided corresponding to the microlens 152a and the light receiving element 162a.
  • a set of optical elements corresponding to each other among the prism element 142, the microlens 152, and the light receiving element 162 is distinguished by subscripts a to c.
  • the prism element 142 is an example of an optical element that causes a corresponding light receiving element 162 to receive subject light that has passed through a predetermined pupil region 122.
  • the prism element 142a causes the light receiving element 162a to receive the subject light 130a that has passed through the pupil region 122a in the exit pupil 120 of the lens system 100 via the microlens 152a.
  • the prism element 142b causes the light receiving element 162b to receive the subject light 130b that has passed through the pupil region 122b of the exit pupil 120 of the lens system 100 via the microlens 152b.
  • the prism element 142c causes the light receiving element 162c to receive the subject light 130c that has passed through the pupil region 122c in the exit pupil 120 of the lens system 100 via the microlens 152c.
  • the prism elements 142a to 142c have prism angles that cause the light receiving elements 162a to 162c to receive the subject lights 130a to 130c that have passed through the pupil regions 122a to 122c, respectively.
  • Subject light 130a passing through the pupil region 122a and entering the light receiving element 162a, subject light 130b passing through the pupil region 122b and entering the light receiving element 162b, and subject light 130c passing through the pupil region 122c and entering the light receiving element 162c are The lens 110a passes through different optical surfaces. For this reason, the light receiving elements 162a to 162c receive light that has passed through regions of the lens system 100 having different focal lengths.
  • the prism element 142 causes the corresponding light receiving element 162 among the plurality of light receiving elements 162 to receive the subject light that has passed through the predetermined pupil region 122 in the exit pupil 120 of the lens 110.
  • the plurality of first prism elements including the prism element 142a among the plurality of prism elements 142 receive light corresponding to the subject light passing through the region having the first focal length of the lens 110 and the pupil region 122a. The light is incident on the element 162.
  • the plurality of second prism elements including the prism element 142b among the plurality of prism elements 142 correspond to the light receiving element corresponding to the subject light passing through the pupil region 122b in the region having the second focal length of the lens 110 and the exit pupil 120. 162 is incident.
  • the plurality of third prism elements including the prism element 142c among the plurality of prism elements 142 cause subject light passing through the region having the third focal length of the lens 110 and the pupil region 122c to enter the corresponding light receiving element 162. .
  • the light receiving element 162 outputs an imaging signal having an intensity corresponding to the amount of received light to the image generating unit 170.
  • the image generation unit 170 generates an image of the subject from the imaging signals of the plurality of light receiving elements 162. Specifically, the image generation unit 170 generates an image signal indicating images with different focal lengths from the imaging signal supplied from the light receiving element 162.
  • light that can be received by the light receiving elements 162a to 162c is limited to light that has passed through the pupil regions 122a to 122c, respectively. Therefore, the image generation unit 170 generates an image signal of the first focal length from the imaging signals of a part of the light receiving elements 162 that receive the light that has passed through the pupil region 122a.
  • the image generation unit 170 generates an image signal of the second focal length from the imaging signals of a part of the light receiving elements 162 that receive the light that has passed through the pupil region 122b. In addition, the image generation unit 170 generates an image signal of the third focal length from the imaging signals of some of the light receiving elements 162 that receive the light that has passed through the pupil region 122c. These image signals may be referred to as a long focal length image, a middle focal length image, and a short focal length image, respectively, using the length of the focal length.
  • the image generation unit 170 may generate one image by combining images with different focal lengths. According to the optical device 115, it is possible to provide a clear image of an object located within the depth of field of the lens element corresponding to any of the pupil regions 122a to 122c. For this reason, the imaging apparatus 10 can generate
  • the imaging device 10 may be an imaging device such as a mobile phone with a camera function or a digital camera.
  • you may provide the functional block of the image generation part 170 of the lens system 100, the optical apparatus 115, and the light-receiving part 160, and the control part 180 as an imaging device for imaging devices.
  • the imaging device may be an imaging module incorporated in an imaging device.
  • the pupil of the exit pupil 120 is shown for the purpose of easily showing that the light receiving element 162 receives light that has passed through a specific partial region of the exit pupil 120 by the action of the microlens 152.
  • Regions 122a-c are shown in white. Regions other than the pupil regions 122a to 122c are indicated by hatching. This does not indicate that subject light does not pass through regions other than the pupil regions 122a to 122c.
  • the control unit 180 controls the direction in which the deflecting unit 140 deflects the subject light.
  • the control unit 180 controls the prism angle of the prism element 142.
  • the control unit 180 controls the direction of deflection by the deflecting unit 140 by the control unit 180, for example, it is possible to control which light receiving element receives light passing through which pupil region. Specific control contents by the control unit 180 will be described later.
  • FIG. 2 schematically shows an example of the configuration of the deflecting unit 140, the microlens unit 150, and the light receiving unit 160.
  • the plurality of prism elements 142 included in the deflecting unit 140 are liquid prism elements formed at liquid interfaces having different refractive indexes.
  • the prism angle of the prism element 142 is determined by the angle of the liquid interface.
  • the deflection unit 140 includes a housing 200 that holds the first liquid and the second liquid, a partition plate 242, and a drive unit 290.
  • the partition plate 242 divides the interior of the housing 200 into a first liquid region 210 filled with the first liquid and a second liquid region 220 filled with the second liquid along the optical axis of the lens system 100.
  • the first liquid and the second liquid have a refractive index different from each other and do not mix with each other in a contact state like water and oil.
  • Examples of the combination of the first liquid and the second liquid include PDMS (Poly-Dimethyl-Siloxane) and pure water.
  • PDMS Poly-Dimethyl-Siloxane
  • pure water pure water.
  • the refractive index of the first liquid is larger than the refractive index of the second liquid.
  • the density of each of the first liquid and the second liquid is substantially equal.
  • a plurality of through holes 250a to 250d are formed corresponding to positions where the plurality of prism elements 142a to 142d are formed.
  • the prism elements 142a to 142c illustrated in FIG. 1 are formed at positions where the through holes 250a to 250c are formed, respectively.
  • the shape of the through-hole 250 viewed from the object-side surface or the image-side surface of the housing 200 may be a square, a rectangle, a trapezoid, a circle, an ellipse, or the like, and may be various other shapes.
  • a light-transmitting portion made of a light-transmitting material such as glass is formed.
  • the light transmitting part is formed at a position corresponding to the through hole 250, the micro lens 152, and the light receiving element 162, and the subject light is formed on the light transmitting part, the through hole 250, and the image side surface formed on the object side surface. Then, the light passes through the transparent portion and enters the corresponding microlens 152.
  • the object side surface and the entire image side surface of the housing 200 may be formed of a transparent material such as glass.
  • the partition plate 242 includes partition portions 240-1 to 240-5.
  • the through hole 250 is formed in a space between the opposing partitioning portions 240.
  • the partition part 240 does not contact the first liquid and the second liquid.
  • the first liquid and the second liquid come into contact with each other in the through hole 250 to form an interface that becomes the prism element 142.
  • the through-hole 250a has a side part 252a (corresponding to the first side part) and a side part 254a (corresponding to the second side part).
  • the side surface portion 252a and the side surface portion 254a are side surface portions that face the partition portion 240-1 and the partition portion 240-2, respectively.
  • the side surface portion 252a has a first thickness along the optical axis direction of the lens system 100
  • the side surface portion 254a has a second thickness along the optical axis direction of the lens system 100. That is, the through hole 250a is formed so as to be surrounded by side surfaces including the side surface portion 252a and the side surface portion 254a of the partition plate 242 having different thicknesses.
  • the through hole 250a has a rectangular opening
  • the through hole 250a is surrounded and formed by the side surface portion 252a, the side surface portion 254a, and the two side surface portions that couple the side surface portion 252a and the side surface portion 254a.
  • the second thickness is larger than the first thickness.
  • the through-hole 250b has a side part 252b and a side part 254b.
  • the side surface portion 252b and the side surface portion 254b are side surface portions that face the partition portion 240-2 and the partition portion 240-3, respectively.
  • the side surface portion 252b has a second thickness along the optical axis direction of the lens system 100, and the side surface portion 254b has a third thickness along the optical axis direction of the lens system 100.
  • the third thickness is assumed to be larger than the first thickness and smaller than the second thickness.
  • the through-hole 250b has a side surface portion 252b having a first thickness and a side surface portion 254b having a third thickness in order in the direction in which the plurality of through-holes 250 are arranged. Since other points are the same as those of the through hole 250a, description thereof is omitted.
  • the through-hole 250c has a side part 252c and a side part 254c.
  • the side surface portion 252c and the side surface portion 254c are side surface portions that face the partition portion 240-3 and the partition portion 240-4, respectively.
  • the through hole 250c is formed by a side surface portion 252c having a third thickness and a side surface portion 254c having a fourth thickness.
  • the fourth thickness is assumed to be smaller than the first thickness. Here, it is assumed that the difference between the second thickness and the third thickness is different from the difference between the third thickness and the fourth thickness.
  • the through hole 250d has the same shape as the through hole 250a.
  • the through hole 250d is formed by a side surface portion 252d having a first thickness and a side surface portion 254d having a second thickness.
  • the side surface portion 252d and the side surface portion 254d are provided by the partition portion 240-4 and the partition portion 240-5, respectively.
  • the partition portion 240-4 has a side surface portion 254c having a fourth thickness on one side and a side surface portion 252d having a first thickness on the other side.
  • the partition plate 242 is formed with a through-hole 250a, a through-hole 250b, and a through-hole 250c that are repeated in this order at equal intervals in a row.
  • a planar interface is formed so that the pressure difference of the liquid and the surface tension are balanced according to the pressure.
  • a liquid interface indicated by a broken line in this figure is formed like the prism element 282.
  • the partition plate 242 has a substantially planar end surface on the first liquid side. That is, the first liquid side of each partition 240 forms substantially the same plane. Since the end face is parallel to the image side of the housing 200, the liquid interface indicated by a broken line has substantially no prism effect.
  • the position of the liquid interface is the second liquid.
  • the liquid interface shown by the solid line in this figure is formed like the prism element 281.
  • the liquid interface is carried on the end portion of the side surface portion 252 on the second liquid region 220 side and the end portion of the side surface portion 254 on the second liquid region 220 side.
  • the inclination of this liquid interface becomes an inclination according to the thickness of the side part which forms each through-hole 250.
  • FIG. Therefore, in this state, a prism row is formed in which prisms having prism angles of three different angles are sequentially formed.
  • the configuration of the microlens unit 150 and the light receiving unit 160 will be described.
  • the plurality of microlenses 152 are provided on the transparent substrate corresponding to the plurality of through holes 250.
  • the light receiving unit 160 includes a plurality of color filters 260, a light shielding unit 262, and a plurality of light receiving elements 162.
  • the plurality of color filters 260 and the plurality of light receiving elements 162 are provided corresponding to the through holes 250. That is, the microlens 152, the color filter 260, and the light receiving element 162 are respectively provided corresponding to the plurality of through holes 250.
  • the color filter 260 selectively transmits light in a predetermined wavelength region out of subject light that has passed through the corresponding through hole 250 and the microlens 152 and causes the corresponding light receiving elements 162 to receive the light.
  • the color filter 260 may be one of a color filter that transmits light in the wavelength range belonging to red, a color filter that transmits light in the wavelength range that belongs to green, and a color filter that transmits light in the wavelength range that belongs to blue. .
  • the color filter 260 is arranged on the light receiving element 162 in a predetermined pattern in order to capture a color image.
  • openings 264 that define the light receiving openings of the plurality of light receiving elements 162 are formed at positions corresponding to the plurality of light receiving elements 162, respectively, in order to prevent interference with adjacent pixels.
  • Subject light travels to the light receiving element 162 through the through hole 250, the microlens 152, and the color filter 260.
  • the plurality of light receiving elements 162 respectively receive light that has passed through the corresponding openings 264, and generate voltage signals that form imaging signals by photoelectric conversion.
  • the liquid interface indicated by the broken line in the figure does not have a prism effect.
  • the light receiving element 162 receives light that has passed through a region of the exit pupil 120 centered on the optical axis. Therefore, the image formed by the plurality of light receiving elements 162 is an image of the focal length of the region near the optical axis of the lens system 100. In this case, although shooting is performed at one focal length, a high-resolution image can be obtained.
  • liquid interfaces having different prism angles are formed in the through holes 250a to 250c. Accordingly, in this state, the directions of the light beams received by the light receiving elements 162a to 162c are directed to different pupil regions 122 of the exit pupil 120.
  • the liquid interface formed in the through hole 250a, the liquid interface formed in the through hole 250b, and the liquid interface formed in the through hole 250c are respectively the prism element 142a, the prism element 142b, and the prism element illustrated in FIG. 142c is formed.
  • images captured at a plurality of focal lengths can be obtained.
  • the prism element 142 is a liquid prism element in which a prism interface is formed at the liquid interface between the first liquid and the second liquid having different refractive indexes.
  • the control unit 180 controls the inclination of the prism interface with respect to the optical axis of the lens system 100 in order to control the direction of the light beam received by the light receiving element 162 corresponding to each of the plurality of prism elements 142. Specifically, the control unit 180 controls the position of the liquid interface in the side surface part 252 of the through-hole 250 and the position of the liquid interface in the side surface part 254 facing the side surface part 252, thereby tilting the prism interface with respect to the optical axis. To control.
  • the control unit 180 controls the pressure of the first liquid by controlling the pressure in the liquid region 230 communicating with the first liquid region 210.
  • the housing 200 has an elastic surface 280 that contacts the first liquid in the liquid region 230.
  • the deflecting unit 140 includes a driving unit 290 that displaces the elastic surface 280 to control the volume of the liquid region 230.
  • the driving unit 290 can include a piezoelectric element.
  • the piezoelectric element may be a piezo element.
  • the control unit 180 controls the voltage applied to the piezoelectric element to change the shape of the piezoelectric element, thereby displacing the tip part contacting the elastic surface 280 in the left-right direction on the paper surface.
  • the tip of the driving unit 290 decreases in the direction in which the volume of the liquid region 230 decreases. Displace the part. As a result, the internal pressure of the first liquid increases, and the liquid interface moves in the direction of the object side.
  • the controller 180 displaces the tip of the drive unit 290 in the direction in which the volume of the liquid region 230 increases. As a result, the internal pressure of the first liquid decreases, and the liquid interface moves in the direction of the image side.
  • the control unit 180 controls the internal pressure of the liquid region 210, so that the position of the liquid interface at the side surface 252 of the through hole 250 and the side surface 254 facing the side surface 252.
  • the position of the liquid interface is controlled, and therefore the inclination of the liquid interface with respect to the optical axis is controlled. That is, the control unit 180 can control the inclination of the prism element 142 by controlling the internal pressure of the liquid region 210.
  • the liquid interface with respect to the optical axis is switched to a different inclination.
  • the control unit 180 substantially reduces the liquid interface with respect to the optical axis.
  • subject light 130 that is orthogonal and passes through a pupil region 122 that does not include the optical axis in the exit pupil 120 is received by the light receiving element 162
  • the liquid interface can be inclined with respect to the optical axis.
  • FIG. 3 shows a schematic cross section in which the deflection unit 140 is cut along a plane perpendicular to the optical axis.
  • This figure illustrates a schematic cross section of the partition plate 242 of FIG.
  • the subject light travels toward the paper surface, and the position of the light receiving element 162 is schematically shown by a broken line for reference.
  • the partition plate 242 has through holes 250 formed in a matrix.
  • the light receiving element 162 is also provided at a position corresponding to the through hole 250. That is, the through holes 250 and the plurality of light receiving elements 162 are arranged in a matrix.
  • the through holes 250 and the light receiving elements 162 are provided at substantially equal intervals in the row direction 350 and the column direction 360.
  • the partition part 240-1, the partition part 240-2, the partition part 240-3, and the partition part 240-4 are members extending in the column direction 360. These rows are partitioned by a member extending in the row direction 350. Thereby, in addition to the through holes 250a to 250d, a plurality of columns of through holes arranged in the row direction 350 are formed. For example, a row of through holes arranged in the row direction 350 is formed in a row starting from the through hole 250a, a row starting from the through hole 250e, and a row starting from the through hole 250f.
  • the partition portion 240-1 has a side surface portion having a first thickness on the side portion along the optical axis direction of the lens system 100.
  • the partitioning portion 240-2 has side portions having a second thickness on both sides along the optical axis direction of the lens system 100.
  • the partition portion 240-3 has side portions having a third thickness on both sides along the optical axis direction of the lens system 100.
  • the partition portion 240-4 has a side surface portion with a fourth thickness and a side surface portion with a first thickness on the side along the optical axis direction of the lens system 100. That is, the partition plate 242 has a partition portion that exhibits a difference in thickness between the opposing side surface portions.
  • two or more types of partition portions are sequentially formed so that the thickness difference is different between adjacent through holes 250.
  • the through holes 250 that provide different prism angles in the row direction 350 are sequentially arranged in a plurality of rows.
  • a partition plate 242 that forms three types of partition portions to simultaneously form prism angles having three types of inclinations is illustrated.
  • two types of partitioning portions may be formed alternately. That is, the first partition portion having side portions having a first thickness along both sides along the optical axis direction of the lens system 100 and the side portions having a second thickness along both sides along the optical axis direction.
  • the through hole 250 may be formed by the second partition portion. Specifically, the through hole 250 is formed by a side surface portion of the first partition portion and a side surface portion of the second partition portion adjacent to the first partition portion.
  • the control unit 180 controls the state surrounded by the side portion of the partition unit 240 so that the first liquid is filled, whereby the inclination of the liquid interface with respect to the optical axis can be made different in the column direction 360. it can.
  • the through holes 250a to 250d communicate with each other through the liquid region 210.
  • the liquid region 210 may be partitioned into a plurality of regions, but may not be partitioned.
  • a driving unit is provided corresponding to each of the partitioned liquid regions 210, and each driving unit controls the pressure of the first liquid in the corresponding liquid region 210.
  • a drive unit 290, a drive unit 291 and a drive unit 292 are provided for each row.
  • a plurality of drive units may be provided. That is, the internal pressure of the first liquid region 210 may be controlled by a plurality of driving units.
  • FIG. 4 schematically shows an imaging relationship between the light receiving unit 160 and the object.
  • P1, P2, and P3 be the positions of the near-distance subject, medium-distance subject, and far-distance subject, respectively.
  • the light from P3 passes through the third optical surface that provides the long focal length of the lens 110a and the pupil region 122a, and forms an image on the image plane 400 that is the position of the light receiving unit 160.
  • the light from P2 passes through the second optical surface and the pupil region 122b that provide the medium focal length of the lens 110a, and forms an image on the image plane 400.
  • the light from P1 passes through the first optical surface that provides the short focal length of the lens 110a and the pupil region 122c and forms an image on the image plane 400.
  • the imaging device 10 includes the depth of field of the lens system 100 with respect to the light beam passing through the pupil region 122a, the depth of field of the lens system 100 with respect to the light beam passing through the pupil region 122b, and the pupil region 122c.
  • An in-focus image can be generated for a subject located in at least one of the depth of field of the lens system 100 with respect to a passing light beam.
  • the front end of the depth of field of the lens system 100 for the light beam passing through the pupil region 122b is present on the imaging device 10 side from the rear end of the depth of field of the lens system 100 for the light beam passing through the pupil region 122c.
  • the imaging device 10 can generate a focused image for a subject existing from the front end of the depth of field for P1 to the rear end of the depth of field for P3. Therefore, according to the lens system 100 and the optical device 115, the effective depth of field can be expanded.
  • FIG. 5 schematically shows an example of processing for generating the composite image 550.
  • the short-focus image 510, the medium-focus image 520, and the long-focus image 530 are examples of images with different focal lengths generated by the image generation unit 170.
  • An image is obtained by light passing through the surface and the third optical surface having a long focal length.
  • the short focus image 510 includes a short-distance subject image 512 that is an image of a short-distance subject existing at a short-distance position P1 from the imaging device 10, and an intermediate-distance subject image that exists at a medium-distance position P2 from the imaging device 10.
  • a medium-distance subject image 514 and a long-distance subject image 516 that is an image of a long-distance subject existing at a position P3 far from the imaging device 10 are included.
  • the first optical surface with a short focal length can image subject light from the short distance position P1 on the light receiving unit 160. Therefore, the short-distance subject image 512 is the clearest image among the short-distance subject image 512, the medium-distance subject image 514, and the long-distance subject image 516.
  • the medium focus image 520 includes a short-distance subject image 522 that is an image of a short-distance subject, a medium-distance subject image 524 that is an image of a medium-distance subject, and a long-distance subject image 526 that is an image of a long-distance subject.
  • the second optical surface with the intermediate focal length can image the subject light from the intermediate distance position P2 on the light receiving unit 160. For this reason, among the short-distance subject image 522, the middle-distance subject image 524, and the long-distance subject image 526, the middle-distance subject image 524 is the clearest image.
  • the long focus image 530 includes a short-distance subject image 532 that is an image of a short-distance subject, a medium-distance subject image 534 that is an image of a medium-distance subject, and a long-distance subject image 536 that is an image of a long-distance subject. .
  • the third optical surface with a far focal distance can form an image of subject light from the far distance position P3 on the light receiving unit 160. Therefore, the long-distance subject image 536 is the clearest image among the short-distance subject image 532, the medium-distance subject image 534, and the long-distance subject image 536. In this figure, the sharpness of the subject image is represented by the fineness of the line.
  • the image generation unit 170 generates a composite image 550 using the short-distance subject image 512, the medium-distance subject image 524, and the long-distance subject image 536. As a result, it is possible to generate a composite image 550 including a clear short-distance subject image 552, a medium-distance subject image 554, and a long-distance subject image 556, respectively. For this reason, it is possible to provide the haze composite image 550 in which the depth of field is expanded. Of the short focus image 510, the medium focus image 520, and the long focus image 530, the long focus image 530 by the third optical surface having the longest focal length is the image with the highest magnification.
  • the image generation unit 170 synthesizes each subject image by correcting the magnification according to the focal length of each optical surface.
  • the image generation unit 170 may synthesize the short-distance subject image 512 and the medium-distance subject image 524 with the long-focus image 530 by correcting the magnification according to the magnification of the long-focus image 530.
  • the image generation unit 170 selects which pupil region 122 of the exit pupil 120 should generate the subject image, and receives a plurality of subject lights that have passed through the selected pupil region 122.
  • the image of the subject is generated using the imaging signal of the light receiving element 162.
  • the image generation unit 170 selects which of the pupil regions 122 of the exit pupil 120 to generate the subject image using the subject light that has passed through, the image generation unit 170 applies the subject distance and the plurality of pupil regions 122 of the exit pupil 120 respectively. Based on the corresponding focal length, the pupil region 122 through which the subject light imaged at the position of the light receiving unit 160 passes may be selected.
  • the image generation unit 170 may select two or more pupil regions 122.
  • the image generation unit 170 has at least one pupil region 122 through which the subject light imaged at the position of the light receiving unit 160 passes based on the range of the subject distance and the focal length corresponding to each of the plurality of pupil regions 122. Select one.
  • FIG. 6 schematically shows another example of the configuration of the deflecting unit 140.
  • the deflection unit 140 illustrated in FIG. 2 can capture images with light beams that pass through three different pupil regions of the exit pupil 120 in the first state, and pass through one pupil region of the exit pupil 120 in the second state. Images can be taken with a light beam.
  • the deflecting unit 140 of this example has three states as the liquid interface state, and has a configuration capable of imaging with light beams that pass through three different pupil regions in each state.
  • the surface shape of the partition plate 242 on the first liquid side and the second liquid side and the configuration of the side surface portion forming the through hole 250 are different from the partition plate 242 illustrated in FIG.
  • the difference will be mainly described.
  • the through hole 250a of this example is formed by the first thickness side surface portion 642a of the partition portion 640-1 and the fourth thickness side surface portion 644a of the partition portion 640-2.
  • the fourth thickness is thicker than the second thickness.
  • the interface connecting the end points on the second liquid side of both side surfaces has the same prism angle as the interface formed on the second liquid side of the through hole 250a illustrated in FIG. Therefore, the prism element formed at the interface restricts the light received by the light receiving element 162a to the light that has passed through the pupil region 122a.
  • the interface connecting the end points on the first liquid side of both side surfaces in the through hole 250a of this example has a prism angle inclined from the plane perpendicular to the optical axis.
  • the prism element 142a having the prism angle restricts the light received by the light receiving element 162a to the light passing through the pupil region between the vicinity of the optical axis and the pupil region 122c in the exit pupil 120.
  • the through hole 250b in this example is formed by the fourth thickness side surface portion 642b included in the partition portion 640-2 and the fourth thickness side surface portion 644b included in the partition portion 640-3.
  • the partition unit 640-2 and the partition unit 640-3 are located at the same position in the optical axis direction. For this reason, an interface perpendicular to the optical axis is formed at both the end point on the second liquid side and the end point on the first liquid side. Therefore, the interface formed in the through hole 250b restricts the light received by the light receiving unit 160b to the light passing through the region near the optical axis of the exit pupil 120.
  • the through hole 250c in this example is formed by the fourth thickness side surface portion 642c included in the partition portion 640-3 and the first thickness side surface portion 644b included in the partition portion 640-4.
  • the interface connecting the end points on the second liquid side of both side surfaces is assumed to have the same prism angle as the interface formed on the second liquid side of the through hole 250c illustrated in FIG. Therefore, the prism element formed at the interface restricts the light received by the light receiving element 162c to the light that has passed through the pupil region 122c.
  • the interface connecting the end points on the first liquid side of both side surfaces in the through hole 250c of this example has a prism angle inclined from the plane perpendicular to the optical axis.
  • the prism element 142c having the prism angle restricts the light received by the light receiving element 162c to the light passing through the pupil region between the vicinity of the optical axis and the pupil region 122a in the exit pupil 120.
  • the through hole 250d is formed by a first thickness side surface 642d included in the partition portion 640-3 and a fourth thickness side surface portion 644d included in the partition portion 640-5.
  • the partition portion 640-5 is the same member as the partition portion 640-2. For this reason, the prism elements formed in the through hole 250d are the same as the prism elements formed in the through hole 250a, and thus the description thereof is omitted.
  • a prism element indicated by a one-dot chain line in the figure is formed like the prism element 680-2.
  • the prism element indicated by the alternate long and short dash line has a smaller inclination than the prism angle indicated by the solid line such as the prism element 680-1 and has a larger inclination than the prism angle indicated by the broken line such as the prism element 680-3. have.
  • a configuration for stably holding the prism element indicated by the alternate long and short dash line in this figure will be described with reference to FIG.
  • the control unit 180 can control the inclination of the liquid interface to any one of the solid line, the broken line, and the alternate long and short dash line in this example by controlling the internal pressure of the liquid region 210. That is, when the light receiving element 162 receives the subject light 130 that has passed through the pupil region 122 that does not include the optical axis in the exit pupil 120, the control unit 180 tilts the liquid interface with the first inclination with respect to the optical axis. When the subject light 130 that has passed through another pupil region 122 that does not include the optical axis in the exit pupil 120 is received by the light receiving element 162, the liquid interface is inclined to the second inclination with respect to the optical axis.
  • the liquid interface can be controlled to three states as shown by the solid line, the alternate long and short dash line, and the broken line in the figure. For this reason, it is possible to capture images with different combinations of prism angles.
  • the depth of field obtained in the three states of the liquid interface will be described with reference to FIG.
  • FIG. 7 shows a modification of the partition plate 242. A modification of the partition plate 242 will be described with reference to the partition plate 242 illustrated in FIG.
  • a protrusion 700 and a protrusion 701 are formed on the side surface 642a toward the inside of the through hole 250a.
  • a protrusion 702, a protrusion 703, and a protrusion 704 are formed on the side surface 644a toward the inside of the through hole 250a.
  • Each of the protrusions has such a thickness that the liquid interface is trapped.
  • the protrusion 703 is located closer to the liquid region 220 than the protrusion 700 in the optical axis direction.
  • an interface is formed between the tip of the projection 700 at the end on the liquid region 220 side and the tip of the projection 702 at the end on the liquid region 220 side to form the prism element 680-1.
  • an interface is formed between the tip of the projection 701 at the end on the liquid region 210 side and the tip of the projection 704 at the end on the liquid region 210 side to form the prism element 680-3.
  • an interface is formed between the tip of the projection 700 at the end on the liquid region 220 side and the tip of the projection 703 of the side surface 644a to form the prism element 680-2.
  • the side surface portion 642a and the side surface portion 644a have the protrusions, the liquid interface is easily trapped at the tip of the protrusion. Therefore, the prism angle can be controlled stably.
  • the portion B in FIG. 6 is taken up and the protrusion formed in the through hole 250a has been described.
  • Projections may be formed to trap the interface at the intended positions in all the through holes 250 of the partition plate 242, and the through holes 250 of the partition plate 242 described with reference to FIGS. Needless to say, a protrusion may be formed to trap the interface.
  • FIG. 8 schematically shows an example of object positions that can be imaged in the three states of the prism element 142.
  • the focal length with respect to the light beam that can be received by the light receiving element 162 is determined by the interfaces formed in the through hole 250a, the through hole 250b, and the through hole 250c, and thus the object position that can form an image on the light receiving unit 160 is determined. Therefore, in this drawing, the object positions that can be imaged are indicated by using the subscripts of the through holes 250.
  • the image capturing apparatus 10 captures images using the three states of the prism elements 142 described in relation to FIGS. 6 and 7 as image capturing modes with different depths of field under the control of the control unit 180. Specifically, it is used as a large depth mode, a medium depth mode, and a narrow depth mode. As described in relation to FIG. 6, according to the interface formed in the through hole 250b, in any state, the subject image is formed by the light flux that has passed through the pupil region centered on the optical axis. Therefore, in any mode, the object position that can be imaged does not change.
  • the large depth mode corresponds to the state in which the interface shown by the solid line in FIG. 6 is formed.
  • the interface formed in the through hole 250a and the through hole 250c has a prism angle with a relatively large inclination. Therefore, according to the prism element formed in the through hole 250 a, subject light from a relatively far object position a is imaged on the light receiving unit 160. In addition, according to the prism element formed in the through hole 250 c, subject light from a relatively close object position c is imaged on the light receiving unit 160.
  • the medium depth mode corresponds to a state in which the interface indicated by the alternate long and short dash line in FIG. 6 is formed.
  • the interface formed in the through hole 250a and the through hole 250c has a prism angle whose inclination is smaller than that in the large depth mode. Therefore, the object position a is closer to the imaging device 10 than the object position a in the large depth mode. Further, the object position c is a position farther than the object position c in the large depth mode.
  • the narrow depth mode corresponds to the state where the interface indicated by the dotted line in FIG. 6 is formed.
  • the interface formed in the through-hole 250a and the through-hole 250c has a prism angle with a smaller inclination than in the medium depth mode while the direction of the inclination is reversed. Therefore, the object position c is closer to the imaging device 10 than the object position a in the medium depth mode. Further, the object position a is a position farther than the object position c in the large depth mode.
  • the imaging device 10 captures an image in the large depth mode, and obtains a clear subject image by performing the synthesis processing illustrated in FIG. Can do.
  • the imaging device 10 can obtain a clear subject image by imaging in the narrow depth mode and performing the synthesis processing illustrated in FIG.
  • the imaging device 10 can obtain a clear subject image by capturing the image in the medium depth mode and performing the combining process illustrated in FIG. it can.
  • the imaging apparatus 10 can select one of the imaging modes based on the distance to the subject that needs to be resolved.
  • the imaging device 10 may select one of the imaging modes based on an instruction from the user of the imaging device 10, or may select one of the imaging modes based on distance measurement information of the subject.
  • the imaging device 10 may switch a plurality of modes among the large depth mode, the medium depth mode, and the narrow depth mode and perform imaging a plurality of times.
  • the imaging device 10 switches modes as illustrated in FIG.
  • the most focused subject image may be selected from a plurality of images obtained by imaging and synthesized. Thereby, it is possible to provide a subject image focused by fine distance resolution.
  • control unit 180 selects a combination of the pupil regions 122 that the light receiving unit 160 receives light so that the subject light forms an image on the light receiving unit 160 based on the subject distance and the focal length of the lens 110a. Specifically, the control unit 180 is based on the subject distance so as to direct the direction of the light beam received by the corresponding light receiving element 162 toward the pupil region 122 through which the subject light imaged at the position of the light receiving unit 160 passes. Controls the tilt of the prism interface. Further, as illustrated in the figure, the control unit 180 can control which pupil region 122 is used for imaging based on the distance range in which the subject exists and the focal length of the lens 110a. it can.
  • FIG. 9 schematically shows an example of the light receiving unit 20 including another deflecting optical element.
  • the light receiving unit 20 of this example includes a microlens unit 150 and a light receiving unit 160.
  • the micro lens unit 150 includes a plurality of micro lenses 952.
  • the light receiving unit 160 includes a plurality of color filters 260, a plurality of light receiving elements 162, and a light shielding unit 262.
  • the light receiving unit 20 of this example has a micro lens 952 as a deflection optical element instead of the prism element 142 as the deflection optical element described with reference to FIGS.
  • the difference from the light receiving unit 20 described with reference to FIGS. 1 to 8 will be mainly described.
  • the microlens 952 has a refractive power that is large enough to cause each light receiving element 162 to receive light that has passed through a partial region of the exit pupil 120. Therefore, the size of the light beam that can be received by the light receiving element 162 is limited to that passing through a partial range of the exit pupil 120.
  • the optical axis of the micro lens 952 is provided so as to be deviated from the center position of the light receiving element 162 in a plane perpendicular to the optical axis of the lens system 100.
  • the center position of the light receiving element 162 is the center position of a region through which light received by the light receiving element 162 and used for photoelectric conversion passes.
  • the center position of the light receiving element 162 may be the center of the light receiving opening formed in the light shielding portion 262 located in the vicinity of the light receiving element 162.
  • the microlens 952 is designed to have a deviation amount so that the light having passed through the predetermined pupil region 122 is received by the corresponding light receiving element 162.
  • the light beam that can be received by the light receiving element 162 is limited to a light beam that has passed through a partial region of the exit pupil 120 due to the refractive power and deviation of the micro lens 952.
  • the microlens 952a limits the light that can be received by the light receiving element 162a through the light receiving opening to those that have passed through the pupil region 122a.
  • the microlenses 952b and c limit the light that can be received by the corresponding light receiving elements 162a and 162c through the light receiving openings to those that have passed through the pupil regions 122b and c, respectively. Similar to the microlens 952a, the microlens 952d restricts light that can be received by the light receiving element 162d through the light receiving opening to those that have passed through the pupil region 122a. As described above, the plurality of microlenses 952 are configured such that the optical axis is biased with respect to the light receiving opening of the light receiving element 162 in order to cause the corresponding light receiving element 162 to receive the subject light that has passed through the predetermined pupil region 122. Provided.
  • the control unit 180 may control the refractive power of the microlens 152 so as to limit the width of the pupil so that the difference in focal length can be ignored. At this time, the control unit 180 may control the refractive power of the microlens 152 so as to limit the size of the pupil to a different size for each focal length.
  • FIG. 10 schematically shows an example of a light receiving unit including another deflecting optical element.
  • the light receiving unit 20 of this example includes a microlens unit 150 and a light receiving unit 160.
  • the micro lens unit 150 includes a plurality of micro lenses 1052.
  • the light receiving unit 160 includes a plurality of color filters 260, a light shielding unit 1060 and a light shielding unit 1070, a plurality of light receiving elements 162 and a light shielding unit 262.
  • the light receiving unit 20 of this example includes a light shielding unit 1060 and a light shielding unit 1070 as deflection optical elements instead of the prism element 142 as the deflection optical element described with reference to FIGS.
  • the difference from the light receiving unit 20 described with reference to FIGS. 1 to 8 will be mainly described.
  • the light that has passed through substantially the entire surface of the exit pupil 120 is incident on the microlens 1052.
  • the microlens 1052 has a refractive power that is large enough to collect light that has passed through substantially the entire surface of the exit pupil 120 toward the light receiving element 162.
  • the refractive power of the microlens 1052 may be smaller than the refractive power of the microlens 152 or the microlens 952 described with reference to FIGS.
  • an opening 1062 and an opening 1072 are formed in the light shielding part 1060 and the light shielding part 1070, respectively. Of the light condensed toward the light receiving element 162 by the micro lens 1052, a part of the light that has passed through the opening 1062 and the opening 1072 enters the light receiving element 162 through the light receiving opening formed in the light shielding portion 262.
  • the opening 1062 and the opening 1072 are provided so as to be deviated from each other in a plane perpendicular to the optical axis of the lens system 100.
  • the positions of the openings 1062 and 1072 are designed so that the corresponding light receiving elements 162 receive the light that has passed through the predetermined pupil region 122. Due to the deviation of the opening 1062 and the opening 1072, the light beam that can be received by the light receiving element 162 is limited to that that has passed through a partial region of the exit pupil 120.
  • the opening 1062 and the opening 1072 limit the light that can be received by the light receiving element 162a through the light receiving opening to those that have passed through the pupil region 122a.
  • the light shielding unit 1060 and the light shielding unit 1070 have an opening having directivity to the pupil region 122 determined in advance with respect to the corresponding light receiving element 162.
  • the light shielding unit 262 may have an opening having directivity to the pupil region 122 that is predetermined with respect to the corresponding light receiving element 162.
  • FIG. 11 schematically shows an example of the light receiving unit of this example.
  • the light receiving unit 20 of this example has an opening 1264 of the light shielding portion 262 as a deflecting optical element instead of the prism element 142 as the deflecting optical element described with reference to FIGS.
  • the light that has passed through substantially the entire surface of the exit pupil 120 is incident on the microlens 1052.
  • the microlens 1052 has a refractive power that is large enough to collect light that has passed through substantially the entire surface of the exit pupil 120 toward the light receiving element 162.
  • the refractive power of the microlens 1052 may be smaller than the refractive power of the microlens 152 or the microlens 952 described with reference to FIGS.
  • the opening 1264 of the light shielding portion 262 is provided so as to be deviated from the center position of the light receiving element 162 in a plane perpendicular to the optical axis of the lens system 100.
  • the center position of the light receiving element 162 is a center position of a region through which light received by the light receiving element 162 and used for photoelectric conversion passes.
  • Each opening 1264 is designed to have a deviation amount so that the light having passed through a predetermined pupil region 122 is received by the corresponding light receiving element 162. Due to the deviation of the opening 1264, the light beam that can be received by the light receiving element 162 is limited to that that has passed through a partial region of the exit pupil 120.
  • the opening 1264a limits the light that can be received by the light receiving element 162a to the light that has passed through the pupil region 122a.
  • openings 1264b and c limit the light that can be received by corresponding light receiving elements 162a and c to those that have passed through pupil regions 122b and c, respectively.
  • the opening 1264d restricts light that can be received by the light receiving element 162d to light that has passed through the pupil region 122a.
  • the plurality of openings 1264 of the light shielding unit 262 are provided so as to be deviated from the center position of the light receiving element 162 so that the subject light passing through the predetermined pupil region 122 is received by the corresponding light receiving element 162. It is done.
  • the light shielding portion 262 has an opening having directivity to the pupil region 122 that is predetermined with respect to the corresponding light receiving element 162.
  • FIG. 12 shows an example of another block configuration of the imaging apparatus 1010.
  • the imaging apparatus 1010 of this example includes a lens system 100, a light receiving unit 20, an image generation unit 170, and an image recording unit 190.
  • the lens system 100 has the same configuration as the lens system 100 described with reference to FIGS. 1 to 8, and includes, for example, a lens system 100a that is a progressive power lens.
  • the light receiving unit 20 includes a microlens unit 150 and a light receiving unit 160.
  • the light receiving unit 20 of this example has a deflecting optical element in the light receiving unit 160 in place of the deflecting unit 140 described with reference to FIGS.
  • the microlens unit 150 includes a plurality of microlenses 152 and a light receiving element group 1162 corresponding to one microlens 152 as a deflection optical element. That is, a light receiving element group 1162a is provided corresponding to the micro lens 152a, a light receiving element group 1162b is provided corresponding to the micro lens 152b, and a light receiving element group 1162c is provided corresponding to the micro lens 152c.
  • FIG. 13 is a schematic diagram showing an example of a microlens 152 viewed from the lens system 100 side and a light receiving element group 1162 provided corresponding to the microlens 152. As shown in the figure, one light receiving element group 1162 is arranged corresponding to one microlens 152, and the light receiving element group 1162 includes nine light receiving elements 1162-1a, 1b, 1c, and 1162. -2a, 2b, 2c, 1162-3a, 3b, 3c.
  • the number of light receiving elements constituting the light receiving element group is not limited to nine, and may be determined as appropriate.
  • the microlens 152 is provided for each of a plurality of light receiving element units.
  • the microlens 152 has a refractive power large enough to cause the corresponding light receiving elements 1162-1a to 3c to receive the light that has passed through each region of the exit pupil 120.
  • FIG. 14 is a schematic diagram showing the light receiving unit of the imaging apparatus 1010 in an enlarged manner. As shown in the figure, the light that has passed through the pupil region 122a of the exit pupil 120 of the lens system 100 is received by the light receiving element 1162-1 (corresponding to the first light receiving element) by the micro lens 152.
  • the light that has passed through the pupil region 122b is received by the light receiving element 1162-2 (corresponding to the second light receiving element) by the microlens 152.
  • the light passing through the pupil region 122c is received by the light receiving element 1162-3 by the microlens 152.
  • the microlens forms an imaging relationship between the pupil of the progressive addition lens and the plurality of light receiving cells, so that the light received by each light receiving element is a predetermined pupil in the exit pupil 120 of the lens 110. It is limited to those that have passed through region 122.
  • Each light receiving element of the light receiving element group 1162 outputs an imaging signal having an intensity corresponding to the amount of received light to the image generation unit 170.
  • the image generation unit 170 generates an image of the subject from the imaging signals of the plurality of light receiving element groups 1162. Specifically, the image generation unit 170 generates an image signal indicating an image having a different focal length from the imaging signal supplied from the light receiving element group 1162.
  • the light that can be received by each of the light receiving elements 1162-1, 2 and 3 of the light receiving element group 1162 is limited to the light that has passed through the pupil regions 122a to 122c.
  • the image generation unit 170 generates an image signal of the first focal length from the imaging signal of the light receiving element 1162-1 that receives the light that has passed through the pupil region 122a. Further, the image generation unit 170 generates an image signal of the second focal length from the imaging signal of the light receiving element 1162-2 that receives the light that has passed through the pupil region 122b. Further, the image generation unit 170 generates an image signal of the third focal length from the imaging signal of the light receiving element 1162-3 that receives the light that has passed through the pupil region 122c.
  • This example shows an example in which light that has passed through three regions of the exit pupil of the microlens is incident on three light receiving elements in the vertical direction.
  • the three areas of the exit pupil to which the microlens is directed correspond to imaging lens areas having different focal lengths. For this reason, images of three different focal lengths can be obtained simultaneously and independently in parallel.
  • FIG. 15 shows an example of another block configuration of the imaging apparatus 1110.
  • the imaging device 1110 of this example includes a lens system 100, a light receiving unit 20, an image generation unit 170, and an image recording unit 190.
  • the light receiving unit 20 includes a microlens unit 150, a polarization filter unit 1140, and a light receiving unit 160.
  • the light receiving unit 20 of this example includes a polarizing filter unit 1140 as a deflecting optical element instead of the deflecting unit 140 described with reference to FIGS.
  • the light receiving unit 160 has the same configuration as the light receiving unit 160 described with reference to FIGS. Here, it demonstrates centering on the difference with the imaging device 10 demonstrated over FIGS.
  • the lens system 100 includes a lens 110 and a polarization filter unit 1130.
  • the polarizing filter unit 1130 is provided in the vicinity of the exit pupil.
  • the polarizing filter unit 1130 includes a first polarizing filter 1132 and a second polarizing filter 1134 that are provided corresponding to different pupil regions in the exit pupil of the lens system 100.
  • Light that has passed through the corresponding pupil regions is incident on the first polarizing filter 1132 and the second polarizing filter 1134.
  • the first polarizing filter 1132 and the second polarizing filter 1134 selectively pass polarized components that are orthogonal to each other. Examples of combinations of orthogonal polarization components include linear polarization components whose polarization directions are orthogonal to each other. Other examples of combinations of orthogonal polarization components include a combination of a clockwise circularly polarized component and a counterclockwise circularly polarized component.
  • the micro lens unit 150 has a plurality of micro lenses 152.
  • the microlens 152 has a refractive power that is large enough to condense light that has passed through substantially the entire surface of the exit pupil toward the light receiving element 162.
  • the refractive power of the microlens 152 may be smaller than the refractive power of the microlens described with reference to FIGS.
  • the polarization filter unit 1140 has a plurality of polarization filters 1142 provided corresponding to the plurality of light receiving elements 162. Among the polarizing filters 1142, the polarizing filter 1142 a passes the polarization component transmitted by the second polarizing filter 1134 and does not pass the polarization component transmitted by the first polarizing filter 1132.
  • the polarizing filter 1142 b allows the polarization component transmitted by the first polarization filter 1132 to pass, and does not allow the polarization component transmitted by the second polarization filter 1134 to pass.
  • the polarizing filter unit 1140 includes a plurality of sets of polarizing filters 1142a and polarizing filters 1142b.
  • the light receiving element 162 receives the light that has passed through the corresponding polarizing filter 1142. Specifically, the light receiving element 162a receives light that has passed through the polarizing filter 1142a. The light receiving element 162b receives the light that has passed through the polarizing filter 1142b. Therefore, the light received by the light receiving element 162a is limited to the light that has passed through the second polarizing filter 1134. The light received by the light receiving element 162 b is limited to the light that has passed through the first polarizing filter 1132. Therefore, the light receiving element 162a and the light receiving element 162b receive light that has passed through optical surfaces having different focal lengths of the lens system 100.
  • the image generation unit 170 generates an image at the first focal length from the light receiving element 162 that has received the light that has passed through the second polarizing filter 1134 such as the light receiving element 162a. In addition, the image generation unit 170 generates an image at the second focal length from the light receiving element 162 that has received the light that has passed through the first polarizing filter 1132 such as the light receiving element 162b.
  • the imaging apparatus 1110 of this example can also capture images with different focal lengths.
  • the imaging device 1110 of this example is provided corresponding to the first and second polarizing filters 1132 and 1134 that transmit different polarization components in the plurality of pupil regions, and the plurality of light receiving elements 162, and is different.
  • a plurality of polarizing filters 1142a and 114b each transmitting the polarization component are provided.
  • FIG. 16 shows a modification of the imaging device 1110.
  • the imaging device 1110 illustrated in FIG. 15 can capture images with two types of focal lengths, whereas the imaging device 1110 of this example has a configuration that can capture images with four types of focal lengths.
  • the configuration of the imaging apparatus 1110 of this example will be described mainly focusing on differences in the configuration of the lens system 100.
  • the lens system 100 includes a polarizing filter unit 1230 provided in the vicinity of the exit pupil 1220 of the lens system 100 instead of the polarizing filter unit 1130 of FIG.
  • the polarizing filter unit 1230 includes a first polarizing filter 1232a, a first polarizing filter 1232b, a second polarizing filter 1234a, and a second polarizing filter 1234b.
  • the first polarizing filter 1232a and the second polarizing filter 1234a are provided corresponding to different regions in the pupil region 1222a in the exit pupil 1220.
  • the light that has passed through the corresponding regions is incident on the first polarizing filter 1232a and the second polarizing filter 1234a.
  • the first polarizing filter 1232a and the second polarizing filter 1234a selectively pass polarized components that are orthogonal to each other.
  • the first polarizing filter 1232b and the second polarizing filter 1234b are provided corresponding to different regions in the pupil region 1222b in the exit pupil 1220. Light that has passed through the corresponding regions is incident on the first polarizing filter 1232b and the second polarizing filter 1234b.
  • the first polarizing filter 1232b and the second polarizing filter 1234b selectively pass polarized components that are orthogonal to each other.
  • the light beam traveling toward the light receiving unit 160 included in the imaging device 1110 of this example is limited to the light beam that has passed through either the pupil region 1222a or the pupil region 1222b.
  • the light flux toward the light receiving unit 160 can be limited by the prism element 142 and the microlens 152.
  • the light flux toward the light receiving unit 160 can be limited by the deviation of the microlens 152.
  • the light beam traveling toward the light receiving unit 160 can be limited by the light blocking unit.
  • the light beam incident on the light receiving unit 160 is limited by a plurality of light receiving elements of the light receiving element group 1162 provided corresponding to one microlens 152. can do.
  • the light receiving element 162 provided in correspondence with the polarizing filter 1142a can receive the light that has passed through the first polarizing filter 1232a. Therefore, the light received by the light receiving element 162 is limited to the light that has passed through the first polarizing filter 1232a.
  • the light receiving element 162 provided corresponding to the polarizing filter 1142b can receive the light that has passed through the second polarizing filter 1234a. Therefore, the light received by the light receiving element 162 is limited to the light that has passed through the second polarizing filter 1234a.
  • the light receiving element 162 that is provided corresponding to the polarizing filter 1142a can receive the light that has passed through the first polarizing filter 1232b. Therefore, the light received by the light receiving element 162 is limited to the light that has passed through the first polarizing filter 1232b.
  • the light receiving element 162 that is provided corresponding to the polarizing filter 1142b can receive the light that has passed through the second polarizing filter 1234b. Therefore, the light received by the light receiving element 162 is limited to the light that has passed through the second polarizing filter 1234b.
  • the optical element is divided into two or more pupil areas such as a pupil area 1222a and a pupil area 1222b by the deflecting optical element.
  • the divided pupil area at least one of the pupil areas is further divided by a polarizing filter. That is, the imaging device 1110 can separately capture images through three or more different pupil regions by a combination of the deflection optical element and the polarization filter. For this reason, it is possible to capture images at three or more different focal lengths.
  • the imaging device 1110 includes a first wavelength filter that transmits different wavelength components in a plurality of pupil regions and a second wavelength filter that is provided corresponding to the plurality of light receiving elements 162 and transmits different wavelength components, respectively. You may have more than one.
  • the wavelength filter two or more wavelength filters that respectively transmit light of two or more partial wavelength regions belonging to the red wavelength region, two or more wavelength filters that respectively transmit two or more partial wavelength regions belonging to the green wavelength region, Two or more wavelength filters that respectively transmit two or more partial wavelength ranges belonging to the blue wavelength range may be used.
  • the image of each focal length can be formed by light of three partial wavelength ranges selected from the red wavelength range, the green wavelength range, and the blue wavelength range. In this way, a color image can be captured while limiting the pupil region also by the wavelength filter.
  • FIG. 17 is a diagram schematically showing another example of the lens system.
  • This example is another example of the lens system 100 described with reference to FIGS.
  • the lens 110a included in the lens system 100 is an asymmetric progressive power lens.
  • the lens 1310a included in the lens system 1300 of this example has a spherical aberration type (rotationally symmetric) that gives an equal focal length to optical surfaces that are equidistant from the optical axis, although the focal length varies depending on the distance from the optical axis. It can be said that the lens system 1300 is distributed concentrically in terms of refractive power.
  • the lens system 1300 of this example has a short focal length at the center of the optical axis, and the focal length increases as the distance from the optical axis increases.
  • the subject light received by the light receiving element 162 passes through any one of the pupil areas 1322a to 1322c located at different distances from the optical axis in the exit pupil 1320 of the lens system 1300. It is limited to what you did.
  • the restriction of the pupil region is realized by a deflection optical element as described in connection with FIGS.
  • the light flux toward the light receiving unit 160 can be limited by the prism element 142 and the microlens 152.
  • the light flux toward the light receiving unit 160 can be limited by the deviation of the microlens 152. Further, as described with reference to FIGS.
  • the light beam traveling toward the light receiving unit 160 can be limited by the light blocking unit. Further, as described with reference to FIG. 14, in the light receiving unit 160, the light beam incident on the light receiving unit 160 is limited by a plurality of light receiving elements of the light receiving element group 1162 provided corresponding to one microlens 152. can do.
  • the light beam incident on the light receiving unit 160 can be limited by the light shielding mask shown in FIG.
  • FIGS. 18A to 18C are perspective views showing the shapes of the light shielding mask 2262-1, the light shielding mask 2262-2, and the light shielding mask 2262-3, which are formed on the light receiving surface of each light receiving element, respectively.
  • the opening portion of the light shielding mask 2262-1 has a shape similar to that of the pupil region 1322a, and has a shape in which only the center portion of the light receiving element 162 receives light.
  • the opening of the light shielding mask 2262-2 has a shape similar to that of the pupil region 1322b, and the light is received only by the annular portion corresponding to the peripheral portion of the opening of the light shielding mask 2262-1.
  • the opening of the light shielding mask 2262-3 has a shape similar to that of the pupil region 1322c, and light is received only by the annular portion corresponding to the peripheral portion of the opening of the light shielding mask 2262-2.
  • FIG. 19 is an overhead view schematically showing the lens system 1300, the microlenses 1052a to 1052c, the light shielding masks 2262-1 to 2262-3, and the light receiving elements 162a to 162c.
  • FIG. 20 is a cross-sectional view schematically showing an example of the light receiving unit of this example.
  • the light receiving unit 20 of this example includes one light receiving element corresponding to one microlens.
  • a light receiving element 162a corresponding to the microlens 1052a
  • a light receiving element 162b corresponding to the microlens 1052b
  • a light receiving element 162c corresponding to the microlens 1052c
  • a light receiving element 162d corresponding to the microlens 1052d.
  • Each is arranged.
  • the center position of each microlens 1052 and the center position of each light receiving element 162 are arranged to coincide.
  • a light shielding portion 2262a is formed on the light receiving surface of the light receiving element 162a, a light shielding portion 2262b is formed on the light receiving surface of the light receiving device 162b, and a light shielding portion 2262c is formed on the light receiving surface of the light receiving element 162c.
  • the light shielding portion 2262a is the shape of the light shielding mask 2262-1
  • the light shielding portion 2262b is the shape of the light shielding mask 2262-2
  • the light shielding portion 2262c is the light shielding portion of the shape of the light shielding mask 2262-3.
  • a light shielding portion 2262d is formed on the light receiving surface of the light receiving element 162d.
  • the light shielding portion 2262d has the shape of a light shielding mask 2262-1, similar to the light shielding portion 2262a.
  • the light shielding masks 2262-1 to 2262-3 are repeatedly arranged on the light receiving surface of each light receiving element 162 according to a predetermined rule.
  • each microlens 1052 The light that has passed through substantially the entire surface of the exit pupil 1320 is incident on each microlens 1052.
  • light that has passed through the microlens 1052a is limited to light that has passed through the pupil region 1322a by the light shielding portion 2262a having the shape of the light shielding mask 2262-1, and only light that has passed through the pupil region 1322a is incident on the light receiving element 162a. Received light. Therefore, only the subject light having the focal length corresponding to the pupil region 1322a is received by the light receiving element 162a.
  • the light that has passed through the microlens 1052b only the light that has passed through the pupil region 1322b is received by the light receiving element 162b by the light shielding portion 2262b having the shape of the light shielding mask 2262-2. Further, only the light that has passed through the pupil region 1322c among the light that has passed through the microlens 1052c is received by the light receiving element 162c by the light shielding portion 2262c having the shape of the light shielding mask 2262-3. Accordingly, only the subject light having a focal length corresponding to the pupil region 1322b is received by the light receiving element 162b, and only the subject light having a focal length corresponding to the pupil region 1322c is received by the light receiving element 162c.
  • the plurality of light shielding masks 2262 of the light shielding unit 262 are provided in a similar shape to the pupil regions of the respective focal lengths so that the subject light that has passed through the predetermined pupil region 1322 is received by the corresponding light receiving element 162. It is done. Thereby, the image generation unit 170 can obtain a long focal length image, a middle focal length image, and a short focal length image from the imaging signal of each light receiving element 162.
  • FIG. 21 schematically shows an example of the light receiving unit of this example.
  • the light receiving unit 20 of this example includes one light receiving element corresponding to one microlens.
  • the light receiving element 162a corresponding to the micro lens 1252a
  • the light receiving element 162b corresponding to the micro lens 1252b
  • the light receiving element 162c corresponding to the micro lens 1252c
  • the light receiving element 162d corresponding to the micro lens 1252d.
  • Each is arranged. Note that the center position of each microlens 1252 and the center position of each light receiving element 162 are arranged to coincide with each other.
  • a light shielding portion 2362 is disposed on the light receiving surface of each light receiving element 162.
  • the light shielding portion 2362 includes a circular light shielding mask and an annular light shielding mask, and has an annular opening. The width of the opening can be determined as appropriate so that the luminous flux can be appropriately limited.
  • each microlens 1252 has a different focal length.
  • the focal length of the microlens 1252a is the first focal length f 1, and has a focal position on the light receiving surface of the light receiving element 162a.
  • the focal length of the microlens 1252b the first is the focal length focal length f 2 shorter second than f 1, having a focal position in front (micro lens side) of the light receiving surface of the light receiving element 162b.
  • the focal length of the microlens 1252c is located a third focal length f 3 of shorter than the second focal length f 2, having a focal position further forward than the focal position of the microlens 1252b (micro lens side).
  • microlenses 1252d is configured similarly to the microlens 1252a, focal length of the microlens 1252d has a focal length f 1 of the first.
  • focal length of the microlens 1252d has a focal length f 1 of the first.
  • FIG. 22A ⁇ 22C the light receiving element 162a incident on the microlens 1252a having a first focal length f 1 is a diagram showing the relationship between the light received.
  • the light that has passed through substantially the entire surface of the exit pupil 1320 is incident on the microlens 1252a.
  • light passing through the pupil region 1322a in the exit pupil 1320 is limited by the circular light shielding mask at the center of the light shielding portion 2362 and does not enter the light receiving element 162a, as shown in FIG. 22A.
  • light that has passed through the pupil region 1322b in the exit pupil 1320 is limited by the circular light shielding mask at the center of the light shielding portion 2362 and does not enter the light receiving element 162a, as shown in FIG. 22B.
  • the light that has passed through the microlens 1252a is limited to only the light that has passed through the pupil region 1322c by the microlens 1252a and the light shielding portion 2362, and only the light that has passed through the pupil region 1322c is received by the light receiving element 162a. Accordingly, only the subject light having the focal length corresponding to the pupil region 1322c is received by the light receiving element 162a.
  • the light that has passed through substantially the entire surface of the exit pupil 1320 is incident on the microlens 1252b.
  • the light passing through the pupil region 1322a in the exit pupil 1320 is limited by the circular light shielding mask at the center of the light shielding portion 2362 and does not enter the light receiving element 162b, as shown in FIG. 23A.
  • the light that has passed through the pupil region 1322b in the exit pupil 1320 enters the light receiving element 162b through the opening of the light shielding portion 2362 as shown in FIG. 23B.
  • light that has passed through the pupil region 1322c in the exit pupil 1320 is limited by the annular light shielding mask of the light shielding portion 2362 and does not enter the light receiving element 162b, as shown in FIG. 23C.
  • the light that has passed through the microlens 1252b is limited to only the light that has passed through the pupil region 1322b by the microlens 1252b and the light shielding portion 2362, and only the light that has passed through the pupil region 1322b is received by the light receiving element 162b. Accordingly, only the subject light having the focal length corresponding to the pupil region 1322b is received by the light receiving element 162b.
  • 24A to 24C are diagrams showing the relationship between the light incident on the microlens 1252c having the third focal length f3 and the light received by the light receiving element 162c.
  • the light that has passed through substantially the entire surface of the exit pupil 1320 is incident on the microlens 1252c.
  • the light that has passed through the pupil region 1322a in the exit pupil 1320 enters the light receiving element 162c through the opening of the light shielding portion 2362 as shown in FIG. 24A.
  • the light passing through the pupil region 1322b in the exit pupil 1320 is limited by the annular light shielding mask of the light shielding portion 2362 and does not enter the light receiving element 162c as shown in FIG. 24B.
  • light passing through the pupil region 1322c in the exit pupil 1320 is limited by the annular light shielding mask of the light shielding portion 2362 and does not enter the light receiving element 162c, as shown in FIG. 24C.
  • the light that has passed through the microlens 1252c is limited to only the light that has passed through the pupil region 1322a by the microlens 1252c and the light shielding portion 2362, and only the light that has passed through the pupil region 1322a is received by the light receiving element 162c. Therefore, only the subject light having the focal length corresponding to the pupil region 1322a is received by the light receiving element 162c.
  • the focal length of each microlens 1252 is set and the light shielding portion 2362 is arranged so that the subject light that has passed through the predetermined pupil region 1322 is received by the corresponding light receiving element 162.
  • the image generation unit 170 can obtain a long focal length image, a middle focal length image, and a short focal length image from the imaging signal of each light receiving element 162.
  • the lens system 1300 of this example having different focal lengths for each of the circular region and the annular region divided by the distance from the center of the lens also has different focal lengths depending on the distance from the optical axis. Images with different focal lengths can be taken.
  • the lens system 1300 of this example has a short focal length at the center of the optical axis, and the focal length increases as the distance from the optical axis increases. Conversely, the focal length increases at the center of the optical axis, and the focal length increases from the optical axis. A lens that shortens the distance may be used.
  • FIGS. 1 to 17 the lens system in which the focal length changes continuously has been described, but a lens system in which the focal length changes discontinuously (for example, a bifocal lens in which the amount of refraction changes stepwise)
  • a multifocal lens or the like can also be employed as the lens system of the imaging apparatus described with reference to FIGS.
  • 25A to 25C are diagrams schematically showing how light incident on a lens is separated and taken out as an image signal.
  • FIG. 25A shows an asymmetric progressive-refraction lens
  • FIG. 25B shows a rotationally symmetric spherical aberration lens with a short focal length at the optical axis center
  • FIG. 25C uses a rotationally symmetric spherical aberration lens with a long focal length at the optical axis center. Shows the case.
  • each light receiving element receives subject light that has passed through a specific pupil region of the imaging lens (that is, subject light from a region having a specific focal length) by the action of an optical element such as a prism element or a light shielding element. ) Only. However, depending on the processing accuracy and control error of these optical elements, subject light that has passed through a pupil region other than the assumed pupil region may be incident on the light receiving element, and such incident light becomes an error component. Image quality such as blurring and contrast degradation may occur.
  • ⁇ Image processing 1 image blur correction>
  • a light receiving element that receives subject light from a specific pupil region of the imaging lens (that is, subject light having a specific focal length) receives subject light from other pupil regions (that is, other focal lengths).
  • the subject light from the other pupil region becomes a blur component, resulting in a blurred image (large dot image).
  • Such a blurred image can be restored to a high-resolution image (small point image) by performing a filtering process using a restoration filter as described below.
  • restoration gain data having a kernel size of 7 ⁇ 7 is stored in an imaging device (for example, a memory in the image generation unit 170), and R, G, and the like before restoration processing output from the AD conversion unit of the imaging element are stored.
  • a color signal of B which is a 7 ⁇ 7 pixel color signal centered on a color signal of a target pixel to be processed and a color signal of a pixel of the same color within a predetermined area centered on the target pixel;
  • the restoration processing is performed by performing deconvolution processing (deconvolution processing) with the restored gain data of the 7 ⁇ 7 kernel, and the color signal after the restoration processing is replaced with the color signal of the target pixel before the processing. Is output.
  • the point image (optical image) transmitted through the photographing lens is mixed with a signal from a pupil region other than a specific pupil region (a signal from a pupil region having a different focal length).
  • a large point image (blurred image) is formed on the image sensor, but is restored to a small point image (high resolution image) as shown in FIG. 26B by the deconvolution process.
  • FIG. 27 is a flowchart showing an embodiment of a restoration gain data generation method according to the present invention.
  • a point image (point light source) is imaged by the imaging lens and blurred.
  • the acquired image is acquired (step S10).
  • an image acquired by capturing a point image is g (x, y)
  • an original point image is f (x, y)
  • a point spread function (PSF) is h (x, y).
  • the image g (x, y) can be expressed by the following equation.
  • Equation (1) Based on the blurred image g (x, y) acquired by capturing the point image in step S10, h (x, y) (that is, the point image distribution function (PSF)) of Equation (1) is obtained ( Step S12).
  • step S14 an inverse function of the obtained point spread function (PSF) is obtained (step S14).
  • this inverse function is R (x, y)
  • the image g (x, y) blurred as shown in the following equation is subjected to convolution processing with R (x, y), thereby obtaining the original image f (x, y).
  • a restored image corresponding to y) is obtained.
  • the restoration filter is composed of, for example, a 7 ⁇ 7 filter value (restoration gain data), and in step S16, the restoration gain data is generated.
  • a least square filter Wiener filter
  • a limited deconvolution filter a recursive filter
  • a homomorphic filter a homomorphic filter, or the like.
  • the restoration gain data generated in step S16 is stored in a memory in the imaging device (step S18).
  • the difference between a bright part and a dark part may be enhanced by image processing as follows.
  • the RGB signal is converted into a YCrCb signal, and after obtaining information on the light and dark difference, the Y signal is processed.
  • the distribution of the Y signal that is, the brightness difference can be expanded by expanding the value of the Y signal at a certain ratio. For example, when the value of the Y signal is represented by 8 bits (0-255), if the original Y signal is distributed in the range of (96-156), the contrast is 60, but the value of each Y signal Is doubled in the range of (192-312), and the contrast is 120, which is twice the original range.
  • the conversion can be performed using the following linear expression.
  • contour enhancement As a countermeasure against image quality degradation caused by subject light from other pupil regions entering a light receiving element that receives subject light from a specific pupil region of the imaging lens, contour enhancement may be performed as follows. Here, there are various methods for contour enhancement.
  • One aspect of the image processing apparatus described in the above publication includes an input unit that inputs image data obtained by photoelectrically converting a subject imaged via an imaging lens by an imaging element, and a distance to the subject. And a contour emphasis processing unit that performs an edge emphasis process of intensity corresponding to the distance calculated by the distance calculation unit on the image data input by the input unit.
  • distance information indicating the distance to the subject in the peripheral area is calculated for each peripheral region.
  • the distance difference is less than a predetermined threshold
  • the strength of the contour component represented by the contour component data of the predetermined focus area and the strength of the contour component represented by the contour component data of the peripheral area where the distance difference is less than the predetermined threshold Conversion is performed based on the first conversion characteristic information, and edge enhancement is performed on these regions.
  • the strength of the contour component represented by the contour component data of the peripheral region where the distance difference is equal to or larger than the predetermined threshold is converted based on the second conversion characteristic information. Emphasize.
  • the image processing apparatus based on the difference between the distance to the focused subject in the predetermined focus area and the distance to the subject in each peripheral area other than the predetermined focus area, Since the degree of emphasis is changed, it is possible to prevent excessive outline emphasis on an out-of-focus subject and obtain a natural image.
  • the main subject when subject light that has passed through a region other than a specific pupil region of the imaging lens is incident on the light receiving element due to problems such as processing accuracy, the main subject is in focus as described above, and the background is in focus.
  • a natural image appropriately contour-enhanced can be obtained by using the above method.
  • the imaging lens has three regions of short focus, middle focus, and long focus, and a light receiving element 162a configured to receive subject light from one of these three regions, An example in which 162b and 162c are arranged every three columns as shown in FIG. 19 will be described.
  • the weight for data of the light receiving element 162a in the left adjacent column of the light receiving element 162b is 1, and the weight for the data of the light receiving element 162a in the column (not shown) on the right side of the light receiving element 162c is (1 / Interpolation may be performed by adding at the ratio of 2), or interpolation may be performed by weighting and adding the data of the light receiving elements 162a for four columns in the same manner.
  • the data of the light receiving element 162a in the row where the light receiving element 162c exists can be similarly obtained by interpolation.
  • the number of columns used for interpolation and the weighting mode are not limited to those described above, and may be appropriately selected.
  • SYMBOLS 10, 1010, 1110 ... Imaging device, 20 Light receiving unit, 100, 1300 ... Lens system, 110, 1310 ... Lens, 115 ... Optical device, 120, 1220, 1320 ... Exit pupil, 122 ... Pupil region, 130 ... Subject light DESCRIPTION OF SYMBOLS 140 ... Deflection part 142 ... Prism element 150 ... Micro lens part 152, 952, 1052, 1252 ... Micro lens 160 ... Light receiving part 162, 1162-1, 2, 3 ... Light receiving element 170 ... Image generation , 180 ... control unit, 190 ... image recording unit, 200 ... housing, 210, 220, 230 ... liquid region, 240,640 ...
  • partition unit 242 ... partition plate, 250 ... through hole, 252, 254, 642, 644 ... side part, 260 ... color filter, 262 ... light shielding part, 264, 1264 ... opening, 281, 282, 680 ... Rhythm element, 290, 291, 292 ... drive unit, 280 ... elastic surface, 350 ... row direction, 360 ... column direction, 400 ... image plane, 510 ... short focus image, 520 ... medium focus image, 530 ... long focus image, 550 ... Composite image, 512, 522, 532, 552 ... Short-distance subject image, 514, 524, 534, 554 ... Medium-distance subject image, 516, 526, 536, 556 ...

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　領域毎に異なる焦点距離を持つ結像レンズと、受光素子を複数有する受光部と、複数の前記受光素子にそれぞれ対応して設けられ、前記結像レンズの射出瞳における予め定められた瞳領域を通過した被写体光を、対応する受光素子にそれぞれ受光させる複数の光学要素と、前記複数の受光素子の撮像信号から、被写体の画像を生成する画像生成部とを備え、前記複数の光学要素のうちの複数の第１光学要素は、前記結像レンズの第１の焦点距離を持つ領域および前記射出瞳における第１瞳領域を通過する被写体光を、対応する受光素子へ入射させ、前記複数の光学要素のうちの複数の第２光学要素は、前記結像レンズの第２の焦点距離を持つ領域および前記射出瞳における第２瞳領域を通過する被写体光を、対応する受光素子へ入射させる撮像装置。

Description

撮像装置
　本発明は、撮像装置に関し、特に焦点距離が異なる画像を同時に取得する技術に関する。
　撮像素子の近傍に設けられた光学素子に関して、例えば下記特許文献１および２に記載の技術が知られている。
　特許文献１には、外界の映像を結像する画像結像手段における異なる位置を通過した画像情報を選択的に撮像して画像データ列に変換し、変換された前記画像データ列を記録する視差画像入力装置が記載されている。特許文献１の技術によれば、異なる視点からの複数の画像を獲得することができる。
　また、特許文献２には、偏向手段によって入射光束を２方向に偏向し、その光束による２つの像を撮像素子において検出し、検出した像位置によって求められる像ずれ量により、撮像レンズによる被写体像の焦点調節状態を演算し、撮像レンズを合焦位置に移動するデジタルカメラが記載されている。特許文献２の技術によれば、１回の像検出によって素早く焦点調節を行うことができる。
　しかしながら、特許文献１の技術では、通常の結像レンズに入射した光束をマイクロレンズと受光セルによって瞳の空間分割をしており、焦点はただ一つである。したがって、焦点距離が異なる画像を取得するためには、焦点調節機構が必要となる。また、特許文献２においても同様に、焦点調節機構が必要となる。
　焦点距離が異なる画像を撮影するために、焦点調節機構を撮像レンズに組み込むと、駆動装置が大型化してしまうという問題点がある。
　このような課題に対し、特許文献３には、結像レンズ系中のレンズ面の１面または２面が、光軸と同軸の内側領域と外側領域とで異なる曲率を有し、外側領域の曲率による全系の焦点距離をｆ1 、内側領域の曲率による全系の焦点距離をｆ2 としたとき、０．３≦ｆ2 ／ｆ1 ≦０．９を満たす撮像光学系が記載されている。
　また、特許文献４には、焦点距離が異なる２つのレンズ領域を有する多焦点レンズの焦点を、流体プリズムを用いて切り替える技術が記載されている。
　特許文献３、４の技術によれば、焦点調節機構を用いることなく、焦点距離の異なる画像を撮像することができる。
　復元処理については、例えば非特許文献１や、非特許文献２に記載されている（特許文献５参照）。
　輪郭強調については、例えば特許文献６に記載されている。
特許第３７５３２０１号明細書 特開２００５－１６４９８３号公報 特開２００３－２７０５２６号公報 特開２００７－１９３０２０号公報 特願平８－３２９５４９号公報、段落［００２３］、［００２４］ 特開２０１１－１２４７１２号公報
電子通信学会論文誌、１９８４年１１月、Vol.J67-D No10 「Ｏ plus Ｅ」誌別冊、１９８６年１１月
　しかしながら、特許文献３の技術においても、絞りによって瞳制限する場合は、時分割で撮像しなければならず、焦点距離が異なる画像を同時に撮像することができない。また、瞳制限しない場合には、フレア光を伴って撮像されてしまうという問題点があった。
　また特許文献４の技術においても、長い焦点距離で撮像する場合と、短い焦点距離で撮像する場合とで、時分割で撮像する必要がある。
　本発明はこのような事情に鑑みてなされたもので、複数の異なる焦点距離の画像を同時に取得することができる撮像装置を提供することを目的とする。
　上記課題を解決するために、本発明の一態様においては、撮像装置であって、領域毎に異なる焦点距離を持つ結像レンズと、受光素子を複数有する受光部と、複数の受光素子にそれぞれ対応して設けられ、結像レンズの射出瞳における予め定められた瞳領域を通過した被写体光を、対応する受光素子にそれぞれ受光させる複数の光学要素と、複数の受光素子の撮像信号から、被写体の画像を生成する画像生成部とを備え、複数の光学要素のうちの複数の第１光学要素は、結像レンズの第１の焦点距離を持つ領域および射出瞳における第１瞳領域を通過する被写体光を、対応する受光素子へ入射させ、複数の光学要素のうちの複数の第２光学要素は、結像レンズの第２の焦点距離を持つ領域および射出瞳における第２瞳領域を通過する被写体光を、対応する受光素子へ入射させる。
　画像生成部は、射出瞳のいずれの瞳領域を通過した被写体光により被写体の画像を生成すべきかを選択し、選択した瞳領域を通過した被写体光を受光する複数の受光素子の撮像信号を用いて、被写体の画像を生成してよい。
　画像生成部は、射出瞳のいずれの瞳領域を通過した被写体光により被写体の画像を生成するかを選択する場合に、被写体距離、および、射出瞳の複数の瞳領域にそれぞれ対応する焦点距離に基づいて、受光部の位置に結像する被写体光が通過する瞳領域を少なくとも１つ選択してよい。
　画像生成部は、被写体距離の範囲、および、複数の瞳領域にそれぞれ対応する焦点距離に基づいて、受光部の位置に結像する被写体光が通過する瞳領域を複数選択してよい。
　複数の光学要素はそれぞれ、予め定められた瞳領域を通過した被写体光を対応する受光素子に受光させるプリズム要素であってよい。
　プリズム要素は、屈折率が互いに異なる第１液体と第２液体との間の液体界面でプリズム界面が形成される液体プリズム要素であり、撮像装置は、結像レンズの光軸に対するプリズム界面の傾きを制御することにより、複数のプリズム要素にそれぞれ対応する受光素子の受光する光束の向きを制御する制御部をさらに備えてよい。
　制御部は、対応する受光素子が受光する光束の向きを、受光部の位置に結像する被写体光が通過する瞳領域に指向させるべく、被写体距離に基づいてプリズム界面の傾きを制御してよい。
　第１液体および第２液体を保持するプリズムハウジングと、プリズムハウジングの内部を、光軸に沿って第１液体が充填される第１領域と第２液体が充填される第２領域とに分割する仕切板とをさらに有し、仕切板には、複数の液体プリズム要素が形成される位置に対応して複数の貫通孔が形成され、制御部は、複数の貫通孔のそれぞれの第１側面部における液体界面の位置および第１側面部に対向する第２側面部における液体界面の位置を制御することにより、光軸に対するプリズム界面の傾きを制御してよい。
　制御部は、射出瞳における光軸を含む瞳領域を通過した被写体光を受光素子に受光させる場合に、光軸に対して液体界面を略直交させ、射出瞳における光軸を含まない瞳領域を通過した被写体光を受光素子に受光させる場合に、光軸に対して液体界面を傾斜させてよい。
　制御部は、射出瞳における光軸を含まない瞳領域を通過した被写体光を受光素子に受光させる場合に、光軸に対して液体界面を第１の傾きに傾斜させ、射出瞳における光軸を含まない他の瞳領域を通過した被写体光を受光素子に受光させる場合に、光軸に対して液体界面を第２の傾きに傾斜させてよい。
　複数の貫通孔のうち少なくともいずれかの貫通孔は、互いに厚さが異なる第１側面部および第２側面部を持ち、制御部は、第１側面部と第２側面部とで囲まれる領域内に第１液体が充填された状態と、当該領域内に第２液体が充填された状態との間で切り替えることにより、光軸に対する液体界面を異なる傾きに切り替えてよい。
　複数の受光素子はマトリクス状に配置され、仕切板は、列方向に延伸する第１仕切部と、列方向に延伸する第２仕切部とが、行方向に交互に設けられて形成され、第１仕切部は、光軸方向に沿って第１の厚さの側面部を両側部に持ち、第２仕切部は、光軸方向に沿って第２の厚さの側面部を両側部に持ち、複数の貫通孔は、第１仕切部の側面部と、第１仕切部に隣り合う第２仕切部の側面部とによりそれぞれ形成され、第１仕切部および第２仕切部の第１液体側は略同一平面を形成し、制御部は、光軸に対する液体界面の傾きを列方向に互いに異ならせるべく、第１側面部と第２側面部とで囲まれる領域内に第１液体が充填された状態に制御してよい。
　制御部は、第１液体を保持する領域の内圧を制御することにより、光軸に対する界面の傾きを制御してよい。
　複数の光学要素は、それぞれ予め定められた瞳領域を通過した被写体光を、対応する受光素子に受光させるべく光軸を受光素子の受光開口に対して偏倚して設けられたマイクロレンズであってよい。
　複数の光学要素はそれぞれ、対応する受光素子に対し予め定められた瞳領域への指向性を持つ開口が形成された遮光要素であってよい。
　複数の光学要素は、複数の瞳領域において互いに異なる偏光成分を透過する第１偏光フィルタと、複数の受光素子にそれぞれ対応して設けられ、異なる偏光成分をそれぞれ透過する第２偏光フィルタとを有してよい。
　複数の光学要素は、複数の瞳領域において互いに異なる波長成分を透過する第１波長フィルタと、複数の受光素子に対応して設けられ、異なる波長成分をそれぞれ透過する第２フィルタを複数有してよい。
　前記複数の光学要素の各光学要素は、複数の受光素子単位毎に設けられたマイクロレンズであり、前記結像レンズの第１の焦点距離を持つ領域および前記射出瞳における第１瞳領域を通過する被写体光を第１の受光素子へ入射させ、前記結像レンズの第２の焦点距離を持つ領域および前記射出瞳における第２瞳領域を通過する被写体光を第２の受光素子へ入射させてよい。
　前記結像レンズは、該結像レンズの中心からの距離により区分された円形領域および円環形状領域毎に焦点距離が異なり、前記複数の光学要素は、焦点距離をそれぞれ異ならせたマイクロレンズと円環形状の開口を形成する遮光要素であってもよい。
　前記画像生成部は、前記結像レンズの特定の領域を通過した被写体光を受光する受光素子の画像信号が、前記受光素子が配設された領域のうち、前記結像レンズの前記特定の領域以外の領域を通過した被写体光が存在する部分で欠落することによる前記被写体の画像の画質への影響を補う処理を行ようにしてもよい。
　前記画像生成部は、前記被写体光が前記予め定められた瞳領域に対応する受光素子以外の受光素子に入射することに起因する、前記被写体の画像の画質への影響を除去する処理を行うようにしてもよい。
　前記画質への影響を除去する処理は、前記被写体の画像のボケ補正、コントラスト補正、輪郭強調のうち少なくとも一つを含んでいてよい。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
　本発明によれば、所望の焦点距離の像を選択することができる。特に、被写体距離に応じて画素を選択して合成できるので、幅広い被写体距離に対応することができる。さらに、複数の異なる焦点距離の画像を、同時に、かつ独立に分離した画像データとして取得することができる。これにより、従来は不可能であった同期撮影や動画撮影が可能となる。
撮像装置１０のブロック構成の一例を模式的に示す図である。 偏向部１４０、マイクロレンズ部１５０および受光部１６０の構成の一例を模式的に示す図である。 光軸に垂直な面で偏向部１４０を切断した模式断面を示す図である。 受光部１６０と物体との結像関係を模式的に示す図である。 被写界深度が拡大された合成画像５５０を生成する処理の一例を模式的に示す図である。 偏向部１４０の構成の他の一例を模式的に示す図である。 仕切板２４２の変形例を示す図である。 プリズム要素１４２の三の状態でそれぞれ結像され得る物***置の一例を模式的に示す図である。 他の偏向光学要素を備える受光ユニットの一例を模式的に示す図である。 他の偏向光学要素を備える受光ユニットの一例を模式的に示す図である。 他の偏向光学要素を備える受光ユニットの一例を模式的に示す図である。 撮像装置１０１０の他のブロック構成の一例を示す図である。 マイクロレンズ１５２ａと、マイクロレンズ１５２ａに対応して設けられた複数の受光素子群１１６２の一例を示す模式図である。 撮像装置１０１０の受光ユニットを拡大して示した模式図である。 撮像装置１１１０の他のブロック構成の一例を示す図である。 撮像装置１１１０の変形例を示す図である。 レンズ系の他の一例を模式的に示す図である。 遮光マスク２２６２－１の形状を示す斜視図 遮光マスク２２６２－２の形状を示す斜視図 遮光マスク２２６２－３の形状を示す斜視図 レンズ系、マイクロレンズ、遮光および受光素子を模式的に示す俯瞰図 受光ユニットの一例を模式的に示す図 受光ユニットの一例を模式的に示す図 瞳領域１３２２ａを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｂを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｃを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ａを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｂを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｃを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ａを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｂを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 瞳領域１３２２ｃを通過しマイクロレンズに入射した光と受光素子が受光する光の関係を示す図 非対称の累進屈折レンズに入射した光を分離して画像信号として取り出す様子を模式的に示した図である。 光軸中心で焦点距離が短い回転対称の球面収差型レンズに入射した光を分離して画像信号として取り出す様子を模式的に示した図である。 光軸中心で焦点距離が長い回転対称の球面収差型レンズに入射した光を分離して画像信号として取り出す様子を模式的に示した図である。 デコンボリューション処理により復元される点像の様子を示す図である。 復元ゲインデータ作成方法の実施の形態を示すフローチャートである。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、撮像装置１０のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１０は、焦点距離が異なる画像を撮像する機能を提供する。特に、撮像装置１０に係る光学構成は、固定の撮像レンズを用いて当該機能をコンパクトに実装できる撮像装置を提供する。撮像装置１０は、レンズ系１００、受光ユニット２０、画像生成部１７０、制御部１８０および画像記録部１９０を備える。受光ユニット２０は、光学装置１１５および受光部１６０を有する。
　レンズ系１００は、単一の撮像用のレンズ系である。レンズ系１００は、１以上のレンズ１１０を備える。レンズ系１００を通過した被写体光は、光学装置１１５を通過して、受光部１６０によって受光される。
　レンズ系１００は、領域毎に異なる焦点距離を持つレンズ系である。例えば、レンズ系１００は、累進屈折力レンズであるレンズ系１００ａを有してよい。本図では、焦点距離の違いを分かり易く例示するため、レンズ１１０ａの対物側の光学面が、領域毎に異なる焦点距離を与えるとした。レンズ系１００は、レンズ系全体で異なる焦点距離を与える光路が存在すればよく、焦点距離の違いが特定のレンズの特定の光学面によって提供されなくてよい。また、レンズ１１０は屈折率分布によって異なる屈折力を持つことができる。
　光学装置１１５は、レンズ系１００の射出瞳１２０の瞳領域１２２ａを通過した光、瞳領域１２２ｂを通過した光および瞳領域１２２ｃを通過した光を、受光部１６０上の異なる領域に受光させる。受光部１６０は、当該異なる領域で受光した光による信号を画像信号として画像生成部１７０に供給する。画像生成部１７０は、当該画像信号から、異なる焦点距離の画像を生成する。画像記録部１９０は、画像生成部１７０が生成した画像を記録する。画像記録部１９０は、不揮発性メモリに当該画像を記録してよい。当該不揮発性メモリは、画像記録部１９０が有してよい。また、当該不揮発性メモリは、撮像装置１０に対して着脱可能に設けられた外部メモリであってよい。画像記録部１９０は、撮像装置１０の外部に画像を出力してもよい。
　光学装置１１５は、偏向部１４０およびマイクロレンズ部１５０を有する。偏向部１４０は、偏向光学要素の一例としての複数のプリズム要素１４２ａ～ｃを含む。マイクロレンズ部１５０は、複数のマイクロレンズ１５２ａ～ｃを含む。受光部１６０は、複数の受光素子１６２ａ～ｃを有する。本図では、説明を分かり易くするために、３個の受光素子１６２ａ～ｃ、３個のマイクロレンズ１５２ａ～ｃ、３個のプリズム要素１４２ａ～ｃを図示しているが、これらの光学要素をそれぞれ３個しか有さないことを示しているわけではない。被写体を撮像すべく任意の数を各光学要素が有することはいうまでもない。複数のマイクロレンズ１５２ａ～ｃを、マイクロレンズ１５２または複数のマイクロレンズ１５２と総称する場合がある。また、複数の受光素子１６２ａ～ｃを、受光素子１６２または複数の受光素子１６２と総称する場合がある。他の光学要素も同様に、符号の添え字を省略することで光学要素を総称する場合がある。
　複数の受光素子１６２は、ＭＯＳ型撮像素子を形成してよい。複数の受光素子１６２は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子を形成してよい。
　マイクロレンズ１５２は、複数の受光素子１６２にそれぞれ対応して設けられる。複数のマイクロレンズ１５２は、レンズ系１００により結像された被写体光をそれぞれ再結像して、対応する受光素子１６２にそれぞれ受光させる。例示したマイクロレンズ１５２ａ～ｃは、それぞれ受光素子１６２ａ～ｃに対応して設けられる。マイクロレンズ１５２ａは、レンズ系１００により結像された被写体光を再結像して、受光素子１６２ａに受光させる。同様に、マイクロレンズ１５２ｂ、ｃは、レンズ系１００により結像された被写体光をそれぞれ再結像して、それぞれ受光素子１６２ｂ、ｃに受光させる。マイクロレンズ１５２は、受光素子１６２のそれぞれへの光束が通過する射出瞳１２０の大きさを制限する。例えば、マイクロレンズ１５２は、射出瞳１２０の一部領域を通過した光を各受光素子１６２に受光させる大きさの屈折力を持つ。例えばマイクロレンズ１５２は、射出瞳１２０の１／４以下の面積の領域を通過した光を各受光素子１６２に受光させる屈折力を有することができる。
　プリズム要素１４２は、複数の受光素子１６２に対応して設けられる。プリズム要素１４２、マイクロレンズ１５２、および、受光素子１６２は、互いに一対一に対応して設けられる。例えば、プリズム要素１４２ａは、マイクロレンズ１５２ａおよび受光素子１６２ａに対応して設けられる。プリズム要素１４２、マイクロレンズ１５２および受光素子１６２のうちの互いに対応する光学要素の組は、符号の添え字ａ～ｃで区別される。
　プリズム要素１４２は、予め定められた瞳領域１２２を通過した被写体光を、対応する受光素子１６２にそれぞれ受光させる光学要素の一例である。具体的には、プリズム要素１４２ａは、レンズ系１００の射出瞳１２０における瞳領域１２２ａを通過した被写体光１３０ａを、マイクロレンズ１５２ａを介して受光素子１６２ａに受光させる。また、プリズム要素１４２ｂは、レンズ系１００の射出瞳１２０における瞳領域１２２ｂを通過した被写体光１３０ｂを、マイクロレンズ１５２ｂを介して受光素子１６２ｂに受光させる。一方、プリズム要素１４２ｃは、レンズ系１００の射出瞳１２０における瞳領域１２２ｃを通過した被写体光１３０ｃを、マイクロレンズ１５２ｃを介して受光素子１６２ｃに受光させる。
　具体的には、プリズム要素１４２ａ～ｃは、それぞれ瞳領域１２２ａ～ｃを通過した被写体光１３０ａ～ｃを、それぞれ受光素子１６２ａ～ｃに受光させるプリズム角を持つ。瞳領域１２２ａを通過し受光素子１６２ａに入射する被写体光１３０ａ、瞳領域１２２ｂを通過し受光素子１６２ｂに入射する被写体光１３０ｂ、および、瞳領域１２２ｃを通過し受光素子１６２ｃに入射する被写体光１３０ｃは、レンズ１１０ａの互いに異なる光学面を通過する。このため、受光素子１６２ａ～ｃは、レンズ系１００のうちの焦点距離が互いに異なる領域を通過した光を受光する。
　このように、プリズム要素１４２は、レンズ１１０の射出瞳１２０における予め定められた瞳領域１２２を通過した被写体光を、複数の受光素子１６２のうちの対応する受光素子１６２にそれぞれ受光させる。具体的には、複数のプリズム要素１４２のうちのプリズム要素１４２ａを含む複数の第１プリズム要素は、レンズ１１０の第１焦点距離を持つ領域および瞳領域１２２ａを通過する被写体光を、対応する受光素子１６２へ入射させる。複数のプリズム要素１４２のうちのプリズム要素１４２ｂを含む複数の第２プリズム要素は、レンズ１１０の第２焦点距離を持つ領域および射出瞳１２０における瞳領域１２２ｂを通過する被写体光を、対応する受光素子１６２へ入射させる。複数のプリズム要素１４２のうちのプリズム要素１４２ｃを含む複数の第３プリズム要素は、レンズ１１０の第３焦点距離を持つ領域および瞳領域１２２ｃを通過する被写体光を、対応する受光素子１６２へ入射させる。
　受光素子１６２は、受光量に応じた強度の撮像信号を、画像生成部１７０に出力する。画像生成部１７０は、複数の受光素子１６２の撮像信号から、被写体の画像を生成する。具体的には、画像生成部１７０は、受光素子１６２から供給された撮像信号から、異なる焦点距離の画像を示す画像信号を生成する。本例では、受光素子１６２ａ～ｃが受光できる光は、それぞれ瞳領域１２２ａ～ｃを通過したものに制限される。したがって、画像生成部１７０は、瞳領域１２２ａを通過した光を受光する一部の受光素子１６２の撮像信号から、第１焦点距離の画像の信号を生成する。また、画像生成部１７０は、瞳領域１２２ｂを通過した光を受光する一部の受光素子１６２の撮像信号から、第２焦点距離の画像の信号を生成する。また、画像生成部１７０は、瞳領域１２２ｃを通過した光を受光する一部の受光素子１６２の撮像信号から、第３焦点距離の画像の信号を生成する。これらの画像の信号を、焦点距離の長さを用いてそれぞれ長焦点距離画像、中焦点距離画像および短焦点距離画像と呼ぶ場合がある。
　画像生成部１７０は、異なる焦点距離の画像を組み合わせて１つの画像を生成してもよい。光学装置１１５によれば、瞳領域１２２ａ～ｃのいずれかに対応するレンズ要素の被写界深度内に位置する被写体については、その鮮明な像を提供することができる。このため、異なる焦点距離の画像を組み合わせて１つの画像を生成することで、撮像装置１０は被写界深度が実効的に深い画像を生成することができる。なお、画像生成部１７０は、異なる焦点距離の画像をそれぞれ別個の画像として生成してもよい。例えば、焦点距離の異なる画像を倍率の異なる画像として生成してもよい。このように、光学装置１１５によれば、単一のレンズ系１００を用いて、焦点距離が異なる画像をワンショットで得ることができる。また、レンズ系１００を駆動させないので、コンパクトな撮像装置を提供できる。
　撮像装置１０は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。なお、レンズ系１００、光学装置１１５および受光部１６０の、画像生成部１７０および制御部１８０の機能ブロックを、撮像機器用の撮像デバイスとして提供してよい。例えば、撮像デバイスは、撮像機器に組み込まれる撮像モジュールであってよい。
　なお、本図では、受光素子１６２がマイクロレンズ１５２の作用により射出瞳１２０のうちの特定の部分領域を通過した光を受光することを分かり易く示すことを目的として、射出瞳１２０のうちの瞳領域１２２ａ～ｃを白ヌキで示した。そして、瞳領域１２２ａ～ｃ以外の領域を、斜線で示した。このことは、瞳領域１２２ａ～ｃ以外の領域を被写体光が通過しないことを示すものではない。
　なお、制御部１８０は、偏向部１４０が被写体光を偏向させる向きを制御する。例えば、制御部１８０は、プリズム要素１４２のプリズム角を制御する。偏向部１４０による偏向の向きを制御部１８０が制御することより、例えば、各受光素子にいずれの瞳領域を通過する光を受光させるかを制御することができる。制御部１８０による具体的な制御内容については後述する。
　図２は、偏向部１４０、マイクロレンズ部１５０および受光部１６０の構成の一例を模式的に示す。本例において、偏向部１４０が有する複数のプリズム要素１４２は、屈折率が互いに異なる液体の界面で形成される液体プリズム要素である。プリズム要素１４２のプリズム角は、液体界面の角度で定まる。
　偏向部１４０は、第１液体および第２液体を保持するハウジング２００、仕切板２４２、駆動部２９０を有する。仕切板２４２は、ハウジング２００の内部を、レンズ系１００の光軸に沿って第１液体が充填される第１液体領域２１０と第２液体が充填される第２液体領域２２０とに分割する。第１液体と第２液体は、屈折率が互いに異なり、かつ、水と油のように接触状態において互いに混合しない性質を持つ。第１液体および第２液体の組み合わせとして、ＰＤＭＳ（Ｐｏｌｙ－Ｄｉｍｅｔｈｙｌ－Ｓｉｌｏｘａｎｅ）および純水を例示することができる。ここでは第２液体の屈折率よりも第１液体の屈折率の方が大きいとする。また、第１液体および第２液体のそれぞれの密度は実質的に等しいことが好ましい。
　仕切板２４２には、複数のプリズム要素１４２ａ～ｄが形成される位置に対応して複数の貫通孔２５０ａ～ｄが形成される。図１に例示したプリズム要素１４２ａ～ｃは、それぞれ貫通孔２５０ａ～ｃが形成された位置に形成される。ハウジング２００の物体側の面または像側の面から見た貫通孔２５０の形状は、正方形、長方形、台形、円または楕円等であってよく、その他の種々の形状であってよい。
　ハウジング２００の物体側の面および像側の面には、ガラスなどの透光性の材料で形成された透光部が形成される。透光部は、貫通孔２５０、マイクロレンズ１５２および受光素子１６２に対応する位置に形成され、被写体光は物体側の面に形成された透光部、貫通孔２５０、像側の面に形成された透光部を通過して、対応するマイクロレンズ１５２に入射する。なお、ハウジング２００の物体側の面および像側の全面が、ガラスなどの透明な材料から形成されてもよい。
　仕切板２４２は、仕切部２４０－１～５を含む。貫通孔２５０は、対向する仕切部２４０の間の空間で形成される。仕切部２４０は第１液体と第２液体とを接触させない。第１液体および第２液体は、貫通孔２５０内で互いに接触して、プリズム要素１４２となる界面を形成する。
　貫通孔２５０ａは、側面部２５２ａ（第１側面部に相当）および側面部２５４ａ（第２側面部に相当）を持つ。側面部２５２ａおよび側面部２５４ａは、それぞれ仕切部２４０－１および仕切部２４０－２の対向する側面部である。側面部２５２ａは、レンズ系１００の光軸方向に沿って第１の厚さを持ち、側面部２５４ａは、レンズ系１００の光軸方向に沿って第２の厚さを持つ。つまり、貫通孔２５０ａは、厚さの異なる仕切板２４２の側面部２５２ａおよび側面部２５４ａを含む側面に包囲されて形成される。例えば、貫通孔２５０ａが四角形の開口を持つ場合、貫通孔２５０ａは、側面部２５２ａと、側面部２５４ａと、側面部２５２ａおよび側面部２５４ａを結合する２の側面部とにより包囲されて形成される。ここでは第２の厚さが第１の厚さより大きいとする。
　貫通孔２５０ｂは、側面部２５２ｂおよび側面部２５４ｂを持つ。側面部２５２ｂおよび側面部２５４ｂは、それぞれ仕切部２４０－２および仕切部２４０－３の対向する側面部である。側面部２５２ｂは、レンズ系１００の光軸方向に沿って第２の厚さを持ち、側面部２５４ｂは、レンズ系１００の光軸方向に沿って第３の厚さを持つ。第３の厚さは、第１の厚さより大きく第２の厚さより小さいとする。貫通孔２５０ａとは異なり、貫通孔２５０ｂは、複数の貫通孔２５０が並ぶ方向に、第１の厚さの側面部２５２ｂ、第３の厚さの側面部２５４ｂを順に有する。その他の点は、貫通孔２５０ａと同様であるので説明を省略する。
　貫通孔２５０ｃは、側面部２５２ｃおよび側面部２５４ｃを持つ。側面部２５２ｃおよび側面部２５４ｃは、それぞれ仕切部２４０－３および仕切部２４０－４の対向する側面部である。貫通孔２５０ｃは、第３の厚さを有する側面部２５２ｃと、第４の厚さを有する側面部２５４ｃとにより形成される。第４の厚さは、第１の厚さより小さいとする。ここで、第２の厚さと第３の厚さとの差は、第３の厚さと第４の厚さとの差とは異なるとする。
　貫通孔２５０ｄは、貫通孔２５０ａと同様の形状を持つ。貫通孔２５０ｄは、第１の厚さを有する側面部２５２ｄと、第２の厚さを有する側面部２５４ｄとにより形成される。側面部２５２ｄおよび側面部２５４ｄは、それぞれ仕切部２４０－４および仕切部２４０－５によって提供される。仕切部２４０－４は、一方の側に第４の厚さの側面部２５４ｃを持ち、他方の側に第１の厚さの側面部２５２ｄを持つ。本例では貫通孔２５０ｄまでしか例示していないが、仕切板２４２には、貫通孔２５０ａ、貫通孔２５０ｂ、貫通孔２５０ｃがこの順で等間隔に繰り返して一列に形成される。
　第１液体領域２１０に充填された第１液体の圧力を特定の圧力にすると、当該圧力に応じて、液体の圧力差と表面張力とが釣り合うように平面状の界面が形成される。各貫通孔２５０内において第２液体が充填された状態で釣り合った状態となるよう第１液体の圧力を第１圧力にすると、プリズム要素２８２のように本図の破線で示す液体界面が形成される。具体的には、各貫通孔２５０において、側面部２５２の第１液体領域２１０側の端部と側面部２５４の第１液体領域２１０側の端部で液体界面が担持される。仕切板２４２は第１液体側において略平面状の端面を持つ。すなわち、仕切部２４０のそれぞれの第１液体側は略同一平面を形成する。当該端面はハウジング２００の像側と平行であるので、破線で示す液体界面は、プリズム効果を実質的に有さない。
　一方、各貫通孔２５０内において第１液体が充填された状態で釣り合った状態となるよう、第１液体の圧力を第１圧力より高めて第２圧力にすると、液体界面の位置は第２液体側に移動して、プリズム要素２８１のように本図の実線で示す液体界面が形成される。例えば、各貫通孔２５０において、側面部２５２の第２液体領域２２０側の端部および側面部２５４の第２液体領域２２０側の端部に液体界面が担持される。この液体界面の傾きは、各貫通孔２５０を形成する側面部の厚さに応じた傾きになる。したがって、この状態では、異なる３種類の角度のプリズム角を持つプリズムが順に繰り返し形成されたプリズム列が形成される。
　マイクロレンズ部１５０および受光部１６０の構成について説明する。複数のマイクロレンズ１５２は、複数の貫通孔２５０に対応して透明基板上に設けられる。受光部１６０は、複数のカラーフィルタ２６０、遮光部２６２、および、複数の受光素子１６２を有する。複数のカラーフィルタ２６０および複数の受光素子１６２は、貫通孔２５０に対応して設けられる。すなわち、マイクロレンズ１５２、カラーフィルタ２６０および受光素子１６２は、複数の貫通孔２５０に対応してそれぞれ設けられる。
　カラーフィルタ２６０は、対応する貫通孔２５０およびマイクロレンズ１５２を通過した被写体光のうち、予め定められた波長域の光を選択的に透過して対応する受光素子１６２にそれぞれ受光させる。カラーフィルタ２６０は、赤に属する波長域の光を透過するカラーフィルタ、緑に属する波長域の光を透過するカラーフィルタ、青に属する波長域の光を透過するカラーフィルタのいずれかであってよい。カラーフィルタ２６０は、カラー画像を撮像すべく、予め定められたパターンで受光素子１６２に配列される。
　遮光部２６２は、隣接画素との間の干渉を防ぐべく、複数の受光素子１６２のそれぞれの受光開口を画定する開口２６４が、複数の受光素子１６２のそれぞれに対応する位置に形成されている。被写体光は、貫通孔２５０、マイクロレンズ１５２、カラーフィルタ２６０を通じて受光素子１６２に向かう。複数の受光素子１６２は、対応する開口２６４を通過した光をそれぞれ受光して、光電変換により撮像信号を形成する電圧信号をそれぞれ生成する。
　本図の破線で示した液体界面が形成されている状態では、当該液体界面はプリズム効果を有しない。このため、この状態では、受光素子１６２は、射出瞳１２０のうちの光軸を中心とする領域を通過した光を受光する。したがって、複数の受光素子１６２によって形成される画像は、レンズ系１００の光軸近傍領域が持つ焦点距離の画像となる。この場合、１つの焦点距離での撮影となるが、高解像度の画像を得ることができる。
　本図の実線で示した液体界面が形成されている状態では、貫通孔２５０ａ～ｃには、異なるプリズム角を持つ液体界面が形成される。したがって、この状態では、受光素子１６２ａ～ｃが受光する光束の向きは、射出瞳１２０の互いに異なる瞳領域１２２に向けられる。ここでは、貫通孔２５０ａに形成される液体界面、貫通孔２５０ｂに形成される液体界面および貫通孔２５０ｃに形成される液体界面が、それぞれ図１で例示したプリズム要素１４２ａ、プリズム要素１４２ｂおよびプリズム要素１４２ｃを形成する。この状態では、複数の焦点距離で撮像した画像を得ることができる。
　このように、プリズム要素１４２は、屈折率が互いに異なる第１液体と第２液体との間の液体界面でプリズム界面が形成される液体プリズム要素である。制御部１８０は、複数のプリズム要素１４２にそれぞれ対応する受光素子１６２の受光する光束の向きを制御すべく、レンズ系１００の光軸に対するプリズム界面の傾きを制御する。具体的には、制御部１８０は、貫通孔２５０の側面部２５２における液体界面の位置および側面部２５２に対向する側面部２５４における液体界面の位置を制御することにより、光軸に対するプリズム界面の傾きを制御する。
　例えば、制御部１８０は、第１液体領域２１０に連通する液体領域２３０内の圧力を制御することにより、第１液体の圧力を制御する。具体的には、ハウジング２００は、液体領域２３０内の第１液体に接する弾性面２８０を持つ。また、偏向部１４０は、液体領域２３０の体積を制御すべく弾性面２８０を変位させる駆動部２９０を有する。駆動部２９０としては、圧電素子を有することができる。圧電素子はピエゾ素子であってよい。制御部１８０は、圧電素子に印加する電圧を制御して圧電素子の形状を変化させ、それにより弾性面２８０に当接する先端部を紙面左右方向に変位させる。
　制御部１８０は、第１液体と第２液体の界面を貫通孔２５０の側面部に沿って物体側の方向に移動させる場合には、液体領域２３０の体積が減少する方向に駆動部２９０の先端部を変位させる。これにより、第１液体の内圧が高まり、液体界面は物体側の方向に移動する。制御部１８０は、貫通孔２５０の側面部に沿って像側方向に液体界面を移動させる場合には、液体領域２３０の体積が増加する方向に駆動部２９０の先端部を変位させる。これにより、第１液体の内圧が低下して、液体界面は像側の方向に移動する。
　本例の偏向部１４０のように、制御部１８０が液体領域２１０の内圧を制御することにより、貫通孔２５０の側面部２５２での液体界面の位置および当該側面部２５２に対向する側面部２５４での液体界面の位置が制御され、したがって光軸に対する液体界面の傾きが制御される。すなわち、制御部１８０は、液体領域２１０の内圧を制御することにより、プリズム要素１４２の傾きを制御することができる。特に本例の仕切板２４２のように、制御部１８０が仕切部２４０の両側面部で囲まれる領域内に第１液体が充填された状態と、当該領域内に第２液体が充填された状態との間で切り替えることにより、光軸に対する液体界面が異なる傾きに切り替えられる。本例の偏向部１４０によれば、制御部１８０は、射出瞳１２０における光軸を含む瞳領域を通過した被写体光１３０を受光素子１６２に受光させる場合に、光軸に対して液体界面を略直交させ、射出瞳１２０における光軸を含まない瞳領域１２２を通過した被写体光１３０を受光素子１６２に受光させる場合に、光軸に対して液体界面を傾斜させることができる。液体領域２１０の内圧を制御することにより受光素子１６２の受光する光束の向きを高速に制御することができるので、多焦点距離の撮影と高解像度の撮影とを高速に切り替えることができる。
　図３は、光軸に垂直な面で偏向部１４０を切断した模式断面を示す。本図は、図２の仕切板２４２を切断した模式断面を例示する。被写体光は紙面に向かって進行するとし、参照のために受光素子１６２の位置を破線で模式的に示した。図示されるように、仕切板２４２には貫通孔２５０がマトリクス状に形成される。受光素子１６２も貫通孔２５０に対応する位置に設けられる。すなわち、貫通孔２５０および複数の受光素子１６２はマトリクス状に配置される。貫通孔２５０および受光素子１６２は、行方向３５０および列方向３６０に略等間隔で設けられる。
　具体的には、仕切部２４０－１、仕切部２４０－２、仕切部２４０－３および仕切部２４０－４は、列方向３６０に延伸する部材である。これらの行の間は、行方向３５０に延伸する部材で仕切られる。これにより、貫通孔２５０ａ～ｄの他に、行方向３５０に並ぶ貫通孔の列が、複数形成される。例えば、貫通孔２５０ａを先頭とする行、貫通孔２５０ｅを先頭とする行、貫通孔２５０ｆを先頭とする行に、行方向３５０に並ぶ貫通孔の列が形成される。
　図２に関連して説明したように、仕切部２４０－１は、レンズ系１００の光軸方向に沿って第１の厚さの側面部を側部に持つ。また、仕切部２４０－２は、レンズ系１００の光軸方向に沿って第２の厚さの側面部を両側部に持つ。仕切部２４０－３は、レンズ系１００の光軸方向に沿って第３の厚さの側面部を両側部に持つ。仕切部２４０－４は、レンズ系１００の光軸方向に沿って第４の厚さの側面部と第１の厚さの側面部とを側部に持つ。つまり、仕切板２４２は、対向する側面部の間で厚さの差を呈する仕切部を持つ。また、隣り合う貫通孔２５０の間で当該厚さの差が異なるよう、２種類以上の仕切部が順次に形成される。これにより、行方向３５０に互いに異なるプリズム角を提供する貫通孔２５０が複数の行に順次に配置される。
　本図では３種類の傾きを持つプリズム角を同時に形成すべく３種類の仕切部を形成する仕切板２４２を例示した。２種類以上のプリズム角度を同時に形成する場合は、２種類の仕切部が交互に形成されるようにすればよい。つまり、レンズ系１００の光軸方向に沿って第１の厚さの側面部を両側部に持つ第１仕切部と、光軸方向に沿って第２の厚さの側面部を両側部に持つ第２仕切部とによって、貫通孔２５０が形成されればよい。具体的には、貫通孔２５０は、第１仕切部の側面部と、第１仕切部に隣り合う第２仕切部の側面部とによりそれぞれ形成される。そして、制御部１８０が、仕切部２４０の側面部で囲まれる領域内に第１液体が充填された状態に制御することで、光軸に対する液体界面の傾きを列方向３６０に互いに異ならせることができる。
　また、貫通孔２５０ａ～ｄは、液体領域２１０を介して連通している。液体領域２１０は複数の領域に区画されていてもよいが、区画されていなくてもよい。液体領域２１０が区画されている場合、区画された複数の液体領域２１０に対応してそれぞれ駆動部が設けられ、各駆動部は対応する液体領域２１０内の第１液体の圧力を制御する。本図の例では、行毎に駆動部２９０、駆動部２９１、駆動部２９２が設けられる。これにより、１の駆動部で第１液体領域の内圧を制御する場合と比較して、速やかにプリズム要素を制御することができる。なお、液体領域２１０が複数の領域に区画されておらず全貫通孔が液体領域２１０で連通している場合でも、駆動部を複数設けてもよい。すなわち、第１液体領域２１０の内圧を、複数の駆動部で制御してもよい。
　図４は、受光部１６０と物体との結像関係を模式的に示す。Ｐ１、Ｐ２およびＰ３は、それぞれ近距離被写体、中距離被写体および遠距離被写体の位置とする。Ｐ３からの光は、レンズ１１０ａの長焦点距離を提供する第３光学面および瞳領域１２２ａを通過して、受光部１６０の位置である像面４００に結像する。Ｐ２からの光は、レンズ１１０ａの中焦点距離を提供する第２光学面および瞳領域１２２ｂを通過して、像面４００に結像する。Ｐ１からの光は、レンズ１１０ａの短焦点距離を提供する第１光学面および瞳領域１２２ｃを通過して、像面４００に結像する。
　このため、撮像装置１０は、瞳領域１２２ａを通過する光束に対するレンズ系１００の被写界深度内、瞳領域１２２ｂを通過する光束に対するレンズ系１００の被写界深度内、および、瞳領域１２２ｃを通過する光束に対するレンズ系１００の被写界深度内の少なくともいずれかの中に位置する被写体につき、合焦した像を生成することができる。瞳領域１２２ｂを通過する光束に対するレンズ系１００の被写界深度の前端が、瞳領域１２２ｃを通過する光束に対するレンズ系１００の被写界深度の後端より撮像装置１０側に存在し、瞳領域１２２ａを通過する光束に対するレンズ系１００の被写界深度の前端が、瞳領域１２２ｂを通過する光束に対するレンズ系１００の被写界深度の後端より撮像装置１０側に存在する場合、撮像装置１０は、Ｐ１に対する被写界深度の前端からＰ３に対する被写界深度の後端までに存在する被写体につき、合焦した像を生成することができる。このため、レンズ系１００および光学装置１１５によれば、実効的な被写界深度を拡大することができる。
　図５は、合成画像５５０を生成する処理の一例を模式的に示す。短焦点画像５１０、中焦点画像５２０、長焦点画像５３０は、画像生成部１７０が生成した異なる焦点距離の画像の一例であり、それぞれ短焦点距離の第１光学面、中焦点距離の第２光学面および長焦点距離の第３光学面を通過した光による画像とする。
　短焦点画像５１０には、撮像装置１０から近距離の位置Ｐ１に存在する近距離被写体の像である近距離被写体像５１２、撮像装置１０から中距離の位置Ｐ２に存在する中距離被写体の像である中距離被写体像５１４、および、撮像装置１０から遠距離の位置Ｐ３に存在する遠距離被写体の像である遠距離被写体像５１６が含まれる。短焦点距離の第１光学面は、近距離の位置Ｐ１からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像５１２、中距離被写体像５１４および遠距離被写体像５１６のうち、近距離被写体像５１２が最も鮮明な像となる。
　中焦点画像５２０には、近距離被写体の像である近距離被写体像５２２、中距離被写体の像である中距離被写体像５２４、および、遠距離被写体の像である遠距離被写体像５２６が含まれる。中焦点距離の第２光学面は、中距離の位置Ｐ２からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像５２２、中距離被写体像５２４および遠距離被写体像５２６のうち、中距離被写体像５２４が最も鮮明な像となる。
　長焦点画像５３０には、近距離被写体の像である近距離被写体像５３２、中距離被写体の像である中距離被写体像５３４、および、遠距離被写体の像である遠距離被写体像５３６が含まれる。遠焦点距離の第３光学面は、遠距離の位置Ｐ３からの被写体光を受光部１６０に結像することができる。このため、近距離被写体像５３２、中距離被写体像５３４および遠距離被写体像５３６のうち、遠距離被写体像５３６が最も鮮明な像となる。なお、本図では、被写体像の鮮明さを線の細さで表した。
　画像生成部１７０は、近距離被写体像５１２、中距離被写体像５２４および遠距離被写体像５３６を用いて合成画像５５０を生成する。これにより、それぞれ鮮明な近距離被写体像５５２、中距離被写体像５５４および遠距離被写体像５５６を含む合成画像５５０を生成することができる。このため、被写界深度が拡大された 合成画像５５０を提供することができる。なお、短焦点画像５１０、中焦点画像５２０および長焦点画像５３０のうち、最も長い焦点距離の第３光学面による長焦点画像５３０が、最も倍率が高い画像となる。画像生成部１７０は、各光学面の焦点距離に応じて各被写体像を倍率補正して合成する。画像生成部１７０は、近距離被写体像５１２および中距離被写体像５２４を、長焦点画像５３０の倍率に合わせて倍率補正して長焦点画像５３０に合成してよい。
　このように、画像生成部１７０は、射出瞳１２０のいずれの瞳領域１２２を通過した被写体光により被写体の画像を生成すべきかを選択し、選択した瞳領域１２２を通過した被写体光を受光する複数の受光素子１６２の撮像信号を用いて、被写体の画像を生成する。画像生成部１７０は、射出瞳１２０のいずれの瞳領域１２２を通過した被写体光により被写体の画像を生成するかを選択する場合に、被写体距離、および、射出瞳１２０の複数の瞳領域１２２にそれぞれ対応する焦点距離に基づいて、受光部１６０の位置に結像する被写体光が通過する瞳領域１２２を選択してよい。画像生成部１７０は、２以上の瞳領域１２２を選択してよい。すなわち、画像生成部１７０は、被写体距離の範囲、および、複数の瞳領域１２２にそれぞれ対応する焦点距離に基づいて、受光部１６０の位置に結像する被写体光が通過する瞳領域１２２を少なくとも１つ選択する。
　図６は、偏向部１４０の構成の他の一例を模式的に示す。図２に例示した偏向部１４０は、第１状態で射出瞳１２０の異なる３つの瞳領域を通過する光束でそれぞれ撮像することができ、第２状態では射出瞳１２０の１つの瞳領域を通過する光束で撮像することができる。本例の偏向部１４０は、液体界面の状態として三の状態を有し、それぞれの状態で異なる３つの瞳領域を通過する光束でそれぞれ撮像することができる構成を有する。特に、第１液体側および第２液体側における仕切板２４２の面形状および貫通孔２５０を形成する側面部の構成が、図２に例示した仕切板２４２とは異なる。ここでは、その差異を中心に説明する。
　本例の貫通孔２５０ａは、仕切部６４０－１が有する第１の厚さの側面部６４２ａと、仕切部６４０－２が有する第４の厚さの側面部６４４ａとによって形成される。第４の厚さは、第２の厚さよりも厚い。また、本例の貫通孔２５０ａにおいて、両側面部の第２液体側の端点を結ぶ界面は、図２に例示した貫通孔２５０ａの第２液体側で形成される界面と同じプリズム角を持つ。したがって、当該界面で形成されるプリズム要素は、受光素子１６２ａが受光する光を瞳領域１２２ａを通過したものに制限する。そして、本図の破線で示されるように、本例の貫通孔２５０ａにおいて両側面部の第１液体側の端点を結ぶ界面は、光軸に垂直面から傾斜したプリズム角を持つ。当該プリズム角を持つプリズム要素１４２ａは、受光素子１６２ａが受光する光を、射出瞳１２０において光軸近傍領域と瞳領域１２２ｃと間の瞳領域を通過したものに制限する。
　本例の貫通孔２５０ｂは、仕切部６４０－２が有する第４の厚さの側面部６４２ｂと、仕切部６４０－３が有する第４の厚さの側面部６４４ｂとによって形成される。仕切部６４０－２と仕切部６４０－３とは、光軸方向に同位置に位置する。このため、第２液体側の端点および第１液体側の端点の双方で、光軸に垂直な界面が形成される。したがって、貫通孔２５０ｂに形成される界面は、受光部１６０ｂが受光する光を、射出瞳１２０の光軸近傍領域を通過したものに制限する。
　本例の貫通孔２５０ｃは、仕切部６４０－３が有する第４の厚さの側面部６４２ｃと、仕切部６４０－４が有する第１の厚さの側面部６４４ｂとによって形成される。本例の貫通孔２５０ｃにおいて、両側面部の第２液体側の端点を結ぶ界面は、図２に例示した貫通孔２５０ｃの第２液体側で形成される界面と同じプリズム角を持つとする。したがって、当該界面で形成されるプリズム要素は、受光素子１６２ｃが受光する光を瞳領域１２２ｃを通過したものに制限する。そして、本図の破線で示されるように、本例の貫通孔２５０ｃにおいて両側面部の第１液体側の端点を結ぶ界面は、光軸に垂直面から傾斜したプリズム角を持つ。当該プリズム角を持つプリズム要素１４２ｃは、受光素子１６２ｃが受光する光を、射出瞳１２０において光軸近傍領域と瞳領域１２２ａと間の瞳領域を通過したものに制限する。
　貫通孔２５０ｄは、仕切部６４０－３が有する第１の厚さの側面部６４２ｄと、仕切部６４０－５が有する第４の厚さの側面部６４４ｄとによって形成される。仕切部６４０－５は、仕切部６４０－２と同様の部材とする。このため、貫通孔２５０ｄに形成されるプリズム要素は、貫通孔２５０ａに形成されるプリズム要素と同様となるので、説明を省略する。
　また、本例の仕切板２４２によれば、プリズム要素６８０－２のように本図の一点鎖線で示したプリズム要素が形成される。一点鎖線で示したプリズム要素は、プリズム要素６８０－１のような実線で示したプリズム角よりも傾斜が小さく、プリズム要素６８０－３のような破線で示したプリズム角よりも傾斜が大きいプリズム角を持つ。本図の一点鎖線で示したプリズム要素を安定して保持する構成については、図７に関連して説明する。
　制御部１８０は、液体領域２１０の内圧を制御することにより、本例の実線、破線、一点鎖線のいずれかの状態に液体界面の傾きを制御することができる。すなわち、制御部１８０は、射出瞳１２０における光軸を含まない瞳領域１２２を通過した被写体光１３０を受光素子１６２に受光させる場合に、光軸に対して液体界面を第１の傾きに傾斜させ、射出瞳１２０における光軸を含まない他の瞳領域１２２を通過した被写体光１３０を受光素子１６２に受光させる場合に、光軸に対して液体界面を第２の傾きに傾斜させる。
　本例の偏向部１４０によれば、本図の実線、一点鎖線および破線で示したように、液体界面は三の状態に制御することができる。このため、異なる組み合わせのプリズム角で撮像することができる。液体界面の三の状態で得られる被写界深度については、図８に関連して説明する。
　図７は、仕切板２４２の変形例を示す。図６に例示した仕切板２４２の、特に図６のＢ部を取り上げて、仕切板２４２の変形例を説明する。
　側面部６４２ａには、貫通孔２５０ａの内側に向かう突起部７００および突起部７０１が形成される。側面部６４４ａには、貫通孔２５０ａの内側に向かう突起部７０２、突起部７０３および突起部７０４が形成される。いずれの突起部も、液体界面がトラップされる程度の厚みを有する。突起部７０３は、光軸方向において、突起部７００よりも液体領域２２０側に位置する。
　第１状態では、液体領域２２０側の端部の突起部７００の先端と、液体領域２２０側の端部の突起部７０２の先端との間に界面が形成されて、プリズム要素６８０－１となる。第２状態では、液体領域２１０側の端部の突起部７０１の先端と、液体領域２１０側の端部の突起部７０４の先端との間に界面が形成されて、プリズム要素６８０－３となる。第３状態では、液体領域２２０側の端部の突起部７００の先端と、側面部６４４ａの突起部７０３の先端との間に界面が形成されて、プリズム要素６８０－２となる。
　本例によると、側面部６４２ａおよび側面部６４４ａが突起部を有しているので、液体界面が当該突起部の先端にトラップされやすくなる。そのため、プリズム角の制御を安定して行うことができる。
　本例では、図６のＢ部を取り上げて、貫通孔２５０ａに形成される突起部を説明した。仕切板２４２が有する全ての貫通孔２５０に意図した位置に界面をトラップさせるべく突起部を形成してよく、図１から図６にかけて説明した仕切板２４２の貫通孔２５０にも、意図した位置に界面をトラップさせるべく突起部を形成してよいことはいうまでもない。
　図８は、プリズム要素１４２の三の状態でそれぞれ結像され得る物***置の一例を模式的に示す。貫通孔２５０ａ、貫通孔２５０ｂおよび貫通孔２５０ｃに形成された界面によって、受光素子１６２が受光できる光束に対する焦点距離が定まり、したがって受光部１６０に結像し得る物***置が定まる。そこで、本図では、結像し得る物***置を、貫通孔２５０の符号の添え字を用いて示す。
　撮像装置１０は、制御部１８０の制御により、図６および図７に関連して述べたプリズム要素１４２の三の状態を、被写界深度の異なる撮像モードとして使用して撮像する。具体的には、大深度モード、中深度モードおよび狭深度モードとして使用する。図６に関連して述べたように、貫通孔２５０ｂに形成される界面によれば、いずれの状態においても、光軸を中心とする瞳領域を通過した光束によって被写体像が形成される。したがって、いずれのモードにおいても、結像し得る物***置は変化しない。
　大深度モードは、図６の実線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、比較的に傾斜が大きいプリズム角を持つ。したがって、貫通孔２５０ａに形成されたプリズム要素によれば、比較的に遠い物***置ａからの被写体光が、受光部１６０に結像される。また、貫通孔２５０ｃに形成されたプリズム要素によれば、比較的に近い物***置ｃからの被写体光が、受光部１６０に結像される。
　中深度モードは、図６の一点鎖線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、大深度モードよりも傾斜が小さいプリズム角を持つ。したがって、物***置ａは、大深度モードでの物***置ａよりも撮像装置１０に近い位置となる。また、物***置ｃは、大深度モードでの物***置ｃよりも遠い位置となる。
　狭深度モードは、図６の点線で示した界面が形成された状態に対応する。貫通孔２５０ａおよび貫通孔２５０ｃに形成される界面は、傾斜の向きが反転しつつも中深度モードよりもさらに傾斜が小さいプリズム角を持つ。したがって、物***置ｃは、中深度モードでの物***置ａよりも撮像装置１０に近い位置となる。また、物***置ａは、大深度モードでの物***置ｃよりも遠い位置となる。 
　このため、比較的に広い距離範囲にわたって被写体が存在している場合、撮像装置１０は、大深度モードで撮像して、図５に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。一方、狭い距離範囲に被写体が集中して存在している場合、撮像装置１０は、狭深度モードで撮像し図５に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。また、ある程度の距離範囲にわたって被写体が存在していると判断された場合、撮像装置１０は、中深度モードで撮像し図５に例示した合成処理をすることによって、鮮明な被写体像を得ることができる。撮像装置１０は、解像する必要がある被写体までの距離に基づいて、いずれかの撮像モードを選択することができる。撮像装置１０は、撮像装置１０のユーザからの指示に基づいていずれかの撮像モードを選択してよく、被写体の測距情報に基づきいずれかの撮像モードを選択してもよい。
　また、撮像装置１０は、大深度モード、中深度モードおよび狭深度モードのうちの複数のモードを切り替えて複数回撮像してよい、撮像装置１０は、図５に例示したように、モードを切り替えて撮像して得られた複数の画像の中から最も合焦した被写体像を選択して合成してよい。これにより、細やかな距離分解で合焦した被写体像を提供することができる。
　このように、制御部１８０は、被写体距離およびレンズ１１０ａが有する焦点距離に基づいて、被写体光が受光部１６０に結像するよう、受光部１６０に受光させる瞳領域１２２の組み合わせを選択する。具体的には、制御部１８０は、対応する受光素子１６２が受光する光束の向きを、受光部１６０の位置に結像する被写体光が通過する瞳領域１２２に指向させるべく、被写体距離に基づいてプリズム界面の傾きを制御する。また、本図に例示したように、制御部１８０は、被写体が存在する距離範囲およびレンズ１１０ａが有する焦点距離に基づいて、いずれの瞳領域１２２を通過した光で撮像するかを制御することができる。
　図９は、他の偏向光学要素を備える受光ユニット２０の一例を模式的に示す。本例の受光ユニット２０は、マイクロレンズ部１５０および受光部１６０を有する。マイクロレンズ部１５０は、複数のマイクロレンズ９５２を含む。受光部１６０は、複数のカラーフィルタ２６０、複数の受光素子１６２および遮光部２６２を含む。本例の受光ユニット２０は、図１から８にかけて説明した偏向光学要素としてのプリズム要素１４２に替えて、マイクロレンズ９５２を偏向光学要素として有する。ここでは、図１から８にかけて説明した受光ユニット２０との差異を中心に説明する。
　マイクロレンズ９５２には、射出瞳１２０の略全面を通過した光が入射する。本例においても、マイクロレンズ９５２は、射出瞳１２０の一部領域を通過した光を各受光素子１６２に受光させる大きさの屈折力を持つ。したがって、受光素子１６２が受光することができる光束の大きさは、射出瞳１２０の一部範囲を通過するものに制限される。本例の受光ユニット２０では、マイクロレンズ９５２の光軸が、レンズ系１００の光軸に垂直な面内において受光素子１６２の中心位置に対し偏倚して設けられる。受光素子１６２の中心位置とは、受光素子１６２が受光し光電変換に利用できる光が通過する領域の中心位置とする。本例において、受光素子１６２の中心位置とは、受光素子１６２の近傍に位置する遮光部２６２に形成された受光開口の中心であってよい。
　マイクロレンズ９５２は、予め定められた瞳領域１２２を通過した光を対応する受光素子１６２に受光させるべく、それぞれの偏倚量が設計されている。マイクロレンズ９５２の屈折力および偏倚により、受光素子１６２が受光することができる光束は、射出瞳１２０の一部領域を通過したものに制限される。本例では、マイクロレンズ９５２ａは、受光素子１６２ａが受光開口を通じて受光できる光を瞳領域１２２ａを通過したものに制限する。同様に、マイクロレンズ９５２ｂおよびｃは、対応する受光素子１６２ａおよびｃが受光開口を通じて受光できる光を、それぞれ瞳領域１２２ｂおよびｃを通過したものに制限する。マイクロレンズ９５２ｄは、マイクロレンズ９５２ａと同様、受光素子１６２ｄが受光開口を通じて受光できる光を瞳領域１２２ａを通過したものに制限する。このように、複数のマイクロレンズ９５２は、それぞれ予め定められた瞳領域１２２を通過した被写体光を対応する受光素子１６２に受光させるべく、光軸を受光素子１６２の受光開口に対して偏倚して設けられる。
　なお、図１から図９にかけて説明したマイクロレンズ１５２またはマイクロレンズ９５２は、焦点距離の差が無視できる程度に瞳の広さを制限できればよい。したがって、制御部１８０は、焦点距離の差が無視できる程度に瞳の広さを制限するべく、マイクロレンズ１５２の屈折力を制御してよい。このとき、制御部１８０は、焦点距離毎に瞳の広さを異なる広さに制限すべく、マイクロレンズ１５２の屈折力を制御してよい。
　図１０は、他の偏向光学要素を備える受光ユニットの一例を模式的に示す。本例の受光ユニット２０は、マイクロレンズ部１５０および受光部１６０を有する。マイクロレンズ部１５０は、複数のマイクロレンズ１０５２を含む。受光部１６０は、複数のカラーフィルタ２６０、遮光部１０６０および遮光部１０７０、複数の受光素子１６２および遮光部２６２を含む。本例の受光ユニット２０は、図１から８にかけて説明した偏向光学要素としてのプリズム要素１４２に替えて、遮光部１０６０および遮光部１０７０を偏向光学要素として有する。ここでは、図１から８にかけて説明した受光ユニット２０との差異を中心に説明する。
　マイクロレンズ１０５２には、射出瞳１２０の略全面を通過した光が入射する。本例では、マイクロレンズ１０５２は、射出瞳１２０の略全面を通過した光を受光素子１６２に向けて集光する大きさの屈折力を持つ。マイクロレンズ１０５２が有する屈折力は、図１から９に関連して説明したマイクロレンズ１５２またはマイクロレンズ９５２が有する屈折力よりも小さくてよい。本例の受光ユニット２０では、遮光部１０６０および遮光部１０７０にはそれぞれ開口１０６２および開口１０７２が形成されている。マイクロレンズ１０５２により受光素子１６２に向けて集光される光のうち、開口１０６２および開口１０７２を通過した一部の光が、遮光部２６２に形成された受光開口を通じて受光素子１６２に入射する。
　開口１０６２および開口１０７２は、レンズ系１００の光軸に垂直な面内において互いに偏倚して設けられる。開口１０６２および開口１０７２は、予め定められた瞳領域１２２を通過した光を対応する受光素子１６２に受光させるべく、それぞれの位置が設計されている。開口１０６２および開口１０７２の偏倚により、受光素子１６２が受光することができる光束は、射出瞳１２０の一部領域を通過したものに制限される。本例では、開口１０６２および開口１０７２は、受光素子１６２ａが受光開口を通じて受光できる光を瞳領域１２２ａを通過したものに制限する。受光素子１６２ｂ～ｄに対応する開口も同様であるので、説明を省略する。このように、遮光部１０６０および遮光部１０７０は、対応する受光素子１６２に対し予め定められた瞳領域１２２への指向性を持つ開口を有する。
　遮光部１０６０および遮光部１０７０ではなく、遮光部２６２が、対応する受光素子１６２に対し予め定められた瞳領域１２２への指向性を持つ開口を有していてもよい。
　図１１は、本例の受光ユニットの一例を模式的に示す。本例の受光ユニット２０は、図１から８にかけて説明した偏向光学要素としてのプリズム要素１４２に替えて、遮光部２６２の開口１２６４を偏向光学要素として有する。
　マイクロレンズ１０５２には、射出瞳１２０の略全面を通過した光が入射する。本例では、マイクロレンズ１０５２は、射出瞳１２０の略全面を通過した光を受光素子１６２に向けて集光する大きさの屈折力を持つ。マイクロレンズ１０５２が有する屈折力は、図１から９に関連して説明したマイクロレンズ１５２またはマイクロレンズ９５２が有する屈折力よりも小さくてよい。
　本例の受光ユニット２０では、遮光部２６２の開口１２６４が、レンズ系１００の光軸に垂直な面内において受光素子１６２の中心位置に対し偏倚して設けられる。ここでは、受光素子１６２の中心位置とは、受光素子１６２が受光し光電変換に利用できる光が通過する領域の中心位置とする。
　開口１２６４は、予め定められた瞳領域１２２を通過した光を対応する受光素子１６２に受光させるべく、それぞれの偏倚量が設計されている。開口１２６４の偏倚により、受光素子１６２が受光することができる光束は、射出瞳１２０の一部領域を通過したものに制限される。本例では、開口１２６４ａは、受光素子１６２ａが受光できる光を瞳領域１２２ａを通過したものに制限する。同様に、開口１２６４ｂおよびｃは、対応する受光素子１６２ａおよびｃが受光できる光を、それぞれ瞳領域１２２ｂおよびｃを通過したものに制限する。開口１２６４ｄは、開口１２６４ａと同様、受光素子１６２ｄが受光できる光を瞳領域１２２ａを通過したものに制限する。このように、遮光部２６２の複数の開口１２６４は、それぞれ予め定められた瞳領域１２２を通過した被写体光を対応する受光素子１６２に受光させるべく、受光素子１６２の中心位置に対し偏倚して設けられる。
　このように、遮光部２６２は、対応する受光素子１６２に対し予め定められた瞳領域１２２への指向性を持つ開口を有する。
　図１２は、撮像装置１０１０の他のブロック構成の一例を示す。本例の撮像装置１０１０は、レンズ系１００、受光ユニット２０、画像生成部１７０および画像記録部１９０を備える。
　レンズ系１００は、図１から図８にかけて説明したレンズ系１００と同様の構成を有し、例えば、累進屈折力レンズであるレンズ系１００ａを有している。
　受光ユニット２０は、マイクロレンズ部１５０および受光部１６０を有する。本例の受光ユニット２０は、図１から図８にかけて説明した偏向部１４０に替えて、受光部１６０に偏向光学要素を有する。マイクロレンズ部１５０は、複数のマイクロレンズ１５２を有するとともに、偏向光学要素として１つのマイクロレンズ１５２に対して受光素子群１１６２が対応して設けられている。すなわち、マイクロレンズ１５２ａに対応して受光素子群１１６２ａが、マイクロレンズ１５２ｂに対応して受光素子群１１６２ｂが、マイクロレンズ１５２ｃに対応して受光素子群１１６２ｃが設けられている。
　図１３は、レンズ系１００側から見たマイクロレンズ１５２と、マイクロレンズ１５２に対応して設けられた受光素子群１１６２の一例を示す模式図である。同図に示すように、１つのマイクロレンズ１５２には、１つの受光素子群１１６２が対応して配置されており、受光素子群１１６２は、９個の受光素子１１６２－１ａ、１ｂ、１ｃ、１１６２－２ａ、２ｂ、２ｃ、１１６２－３ａ、３ｂ、３ｃから構成されている。
　なお、受光素子群を構成する受光素子の数は９個に限定されるものではなく、適宜決めればよい。このように、複数の受光素子単位毎にマイクロレンズ１５２が設けられている。マイクロレンズ１５２は、射出瞳１２０の各領域を通過した光を、対応する受光素子１１６２－１ａ～３ｃにそれぞれ受光させる大きさの屈折力を持つ。
　図１４は、撮像装置１０１０の受光ユニットを拡大して示した模式図である。同図に示すように、レンズ系１００の射出瞳１２０の瞳領域１２２ａを通過した光は、マイクロレンズ１５２により、受光素子１１６２－１（第１の受光素子に相当）に受光される。
　また、瞳領域１２２ｂを通過した光は、マイクロレンズ１５２により、受光素子１１６２－２（第２の受光素子に相当）に受光される。
　同様に、瞳領域１２２ｃを通過した光は、マイクロレンズ１５２により、受光素子１１６２－３に受光される。
　このように、マイクロレンズが累進屈折力レンズの瞳と複数の受光セルとを結像関係を結ぶことで、各々の受光素子が受光する光は、レンズ１１０の射出瞳１２０における予め定められた瞳領域１２２を通過したものに制限される。
　受光素子群１１６２の各受光素子は、受光量に応じた強度の撮像信号を、画像生成部１７０に出力する。画像生成部１７０は、複数の受光素子群１１６２の撮像信号から、被写体の画像を生成する。具体的には、画像生成部１７０は、受光素子群１１６２から供給された撮像信号から、異なる焦点距離の画像を示す画像信号を生成する。本例では、受光素子群１１６２の各受光素子１１６２－１、２、３が受光できる光は、それぞれ瞳領域１２２ａ～ｃを通過したものに制限される。したがって、画像生成部１７０は、瞳領域１２２ａを通過した光を受光する受光素子１１６２－１の撮像信号から、第１焦点距離の画像の信号を生成する。また、画像生成部１７０は、瞳領域１２２ｂを通過した光を受光する受光素子１１６２－２の撮像信号から、第２焦点距離の画像の信号を生成する。また、画像生成部１７０は、瞳領域１２２ｃを通過した光を受光する受光素子１１６２－３の撮像信号から、第３焦点距離の画像の信号を生成する。
　本例では、マイクロレンズが射出瞳の３つの領域を通過した光を、縦方向に３つの受光素子に入射させる例を示している。マイクロレンズが指向する射出瞳の３つの領域は、焦点距離が異なる結像レンズ領域に対応する。このため、３つの異なる焦点距離の画像を、同時に、独立に、並列に得ることができる。
　図１５は、撮像装置１１１０の他のブロック構成の一例を示す。本例の撮像装置１１１０は、レンズ系１００、受光ユニット２０、画像生成部１７０および画像記録部１９０を備える。受光ユニット２０は、マイクロレンズ部１５０、偏光フィルタ部１１４０および受光部１６０を有する。本例の受光ユニット２０は、図１から図８にかけて説明した偏向部１４０に替えて、偏光フィルタ部１１４０を偏向光学要素として有する。受光部１６０は、図１から図８にかけて説明した受光部１６０と同様の構成を持つので、説明を省略する。ここでは、図１から８にかけて説明した撮像装置１０との差異を中心に説明する。
　本例の撮像装置１１１０では、レンズ系１００は、レンズ１１０および偏光フィルタ部１１３０を有する。偏光フィルタ部１１３０は、射出瞳の近傍に設けられる。偏光フィルタ部１１３０は、レンズ系１００の射出瞳における異なる瞳領域に対応して設けられた第１偏光フィルタ１１３２および第２偏光フィルタ１１３４を持つ。第１偏光フィルタ１１３２および第２偏光フィルタ１１３４には、それぞれ対応する瞳領域を通過した光が入射する。第１偏光フィルタ１１３２および第２偏光フィルタ１１３４は、それぞれ互いに直交する偏光成分を選択的に通過する。直交する偏光成分の組み合わせとしては、偏光方位が互いに直交する直線偏光成分を例示することができる。直交する偏光成分の組み合わせとして、他にも右回り円偏光成分と左回り円偏光成分との組み合わせを例示することができる。
　マイクロレンズ部１５０は複数のマイクロレンズ１５２を有する。本例では、マイクロレンズ１５２は、射出瞳の略全面を通過した光を受光素子１６２に向けて集光する大きさの屈折力を持つ。マイクロレンズ１５２が有する屈折力は、図１から図９に関連して説明したマイクロレンズが有する屈折力よりも小さくてよい。偏光フィルタ部１１４０は、複数の受光素子１６２に対応して設けられた複数の偏光フィルタ１１４２を持つ。偏光フィルタ１１４２のうち、偏光フィルタ１１４２ａは、第２偏光フィルタ１１３４が透過する偏光成分を通過させ、第１偏光フィルタ１１３２が通過する偏光成分を通過させない。偏光フィルタ１１４２のうち、偏光フィルタ１１４２ｂは、第１偏光フィルタ１１３２が透過する偏光成分を通過させ、第２偏光フィルタ１１３４が通過する偏光成分を通過させない。偏光フィルタ部１１４０は、偏光フィルタ１１４２ａおよび偏光フィルタ１１４２ｂの組を複数有する。
　受光素子１６２は、対応する偏光フィルタ１１４２が通過した光を受光する。具体的には、受光素子１６２ａは、偏光フィルタ１１４２ａが通過した光を受光する。受光素子１６２ｂは、偏光フィルタ１１４２ｂが通過した光を受光する。したがって、受光素子１６２ａが受光する光は、第２偏光フィルタ１１３４を通過したものに制限される。受光素子１６２ｂが受光する光は、第１偏光フィルタ１１３２を通過したものに制限される。このため、受光素子１６２ａと受光素子１６２ｂとは、レンズ系１００の互いに異なる焦点距離を持つ光学面を通過した光を受光する。画像生成部１７０は、受光素子１６２ａなど第２偏光フィルタ１１３４を通過した光を受光した受光素子１６２から第１焦点距離の画像を生成する。また、画像生成部１７０は、受光素子１６２ｂなど第１偏光フィルタ１１３２を通過した光を受光した受光素子１６２から第２焦点距離の画像を生成する。本例の撮像装置１１１０によっても、焦点距離が異なる画像を撮像することができる。
　このように、本例の撮像装置１１１０は、複数の瞳領域において互いに異なる偏光成分を透過する第１偏光フィルタ１１３２および第２偏光フィルタ１１３４と、複数の受光素子１６２に対応して設けられ、異なる偏光成分をそれぞれ透過する偏光フィルタ１１４２ａおよびｂをそれぞれ複数有する。
　図１６は、撮像装置１１１０の変形例を示す。図１５で例示した撮像装置１１１０では２種類の焦点距離で撮像することができるのに対して、本例の撮像装置１１１０は、４種類の焦点距離で撮像することができる構成を有する。ここでは本例の撮像装置１１１０の構成を、主としてレンズ系１００の構成の相違を中心に説明する。
　レンズ系１００は、図１５の偏光フィルタ部１１３０に替えて、レンズ系１００の射出瞳１２２０の近傍に設けられた偏光フィルタ部１２３０を有する。偏光フィルタ部１２３０は、第１偏光フィルタ１２３２ａ、第１偏光フィルタ１２３２ｂ、第２偏光フィルタ１２３４ａおよび第２偏光フィルタ１２３４ｂを有する。
　第１偏光フィルタ１２３２ａおよび第２偏光フィルタ１２３４ａは、射出瞳１２２０における瞳領域１２２２ａにおける異なる領域に対応して設けられる。第１偏光フィルタ１２３２ａおよび第２偏光フィルタ１２３４ａには、それぞれ対応する領域を通過した光が入射する。第１偏光フィルタ１２３２ａおよび第２偏光フィルタ１２３４ａは、それぞれ互いに直交する偏光成分を選択的に通過する。
　第１偏光フィルタ１２３２ｂおよび第２偏光フィルタ１２３４ｂは、射出瞳１２２０における瞳領域１２２２ｂにおける異なる領域に対応して設けられる。第１偏光フィルタ１２３２ｂおよび第２偏光フィルタ１２３４ｂには、それぞれ対応する領域を通過した光が入射する。第１偏光フィルタ１２３２ｂおよび第２偏光フィルタ１２３４ｂは、それぞれ互いに直交する偏光成分を選択的に通過する。
　本例の撮像装置１１１０が有する受光部１６０に向かう光束は、瞳領域１２２２ａおよび瞳領域１２２２ｂのいずれか一方を通過したものに制限される。例えば、図１から図８に関連して説明したように、プリズム要素１４２およびマイクロレンズ１５２によって、受光部１６０に向かう光束を制限することができる。また、図９に関連して説明したように、マイクロレンズ１５２の偏倚によって、受光部１６０に向かう光束を制限することができる。また、図１０に関連して説明したように、受光部１６０に向かう光束を遮光部によって制限することができる。また、図１４に関連して説明したように、受光部１６０において、1つのマイクロレンズ１５２に対応して設けられた受光素子群１１６２の複数の受光素子によって、受光部１６０に入射した光束を制限することができる。
　瞳領域１２２２ａを通過した光を受光する受光素子１６２のうち、偏光フィルタ１１４２ａに対応して設けられた受光素子１６２は、第１偏光フィルタ１２３２ａを通過した光を受光することができる。したがって、当該受光素子１６２が受光する光は、第１偏光フィルタ１２３２ａを通過したものに制限される。一方、瞳領域１２２２ａを通過した光を受光する受光素子１６２のうち、偏光フィルタ１１４２ｂに対応して設けられた受光素子１６２は、第２偏光フィルタ１２３４ａを通過した光を受光することができる。したがって、当該受光素子１６２が受光する光は、第２偏光フィルタ１２３４ａを通過したものに制限される。
　また、瞳領域１２２２ｂを通過した光を受光する受光素子１６２のうち、偏光フィルタ１１４２ａに対応して設けられた受光素子１６２は、第１偏光フィルタ１２３２ｂを通過した光を受光することができる。したがって、当該受光素子１６２が受光する光は、第１偏光フィルタ１２３２ｂを通過したものに制限される。一方、瞳領域１２２２ｂを通過した光を受光する受光素子１６２のうち、偏光フィルタ１１４２ｂに対応して設けられた受光素子１６２は、第２偏光フィルタ１２３４ｂを通過した光を受光することができる。したがって、当該受光素子１６２が受光する光は、第２偏光フィルタ１２３４ｂを通過したものに制限される。
　本例では、偏向光学要素によって、瞳領域１２２２ａと瞳領域１２２２ｂのように２以上の瞳領域に分割される。そして、分割された瞳領域は、少なくとも一方の瞳領域が偏光フィルタでさらに分割される。つまり、撮像装置１１１０は、偏向光学要素および偏光フィルタの組み合わせにより３以上の異なる瞳領域を通じて別個に撮像することができる。このため、３以上の異なる焦点距離で撮像することができる。
　図１５および図１６に関連して、偏光フィルタによって瞳領域を分割する形態を説明したが、図１５および図１６に例示した偏光フィルタに替えて波長フィルタを用いることができる。すなわち、撮像装置１１１０は、複数の瞳領域において互いに異なる波長成分を透過する第１波長フィルタと、複数の受光素子１６２に対応して設けられ、異なる波長成分をそれぞれ透過する第２波長フィルタをそれぞれ複数有してよい。波長フィルタとして、赤の波長域に属する２以上の部分波長域の光をそれぞれ透過する２以上の波長フィルタ、緑の波長域に属する２以上の部分波長域をそれぞれ透過する２以上の波長フィルタ、青の波長域に属する２以上の部分波長域をそれぞれ透過する２以上の波長フィルタを用いてよい。この場合、各焦点距離の画像は、赤の波長域、緑の波長域および青の波長域のそれぞれから選択された３つの部分波長域の光により形成し得る。このように、波長フィルタによっても瞳領域を制限しつつカラー画像を撮像することができる。
　図１７は、レンズ系の他の一例を模式的に示す図である。本例は、図１から１２に関連して説明したレンズ系１００の他の一例である。レンズ系１００が有するレンズ１１０ａは、一例として非対称の累進屈折力レンズとした。本例のレンズ系１３００が有するレンズ１３１０ａは、光軸からの距離に応じて焦点距離が異なるが、光軸から等距離の光学面は等しい焦点距離を与える球面収差型（回転対称）とする。レンズ系１３００は、屈折力がいわば同心円状に分布しているといえる。本例のレンズ系１３００は、光軸中心で焦点距離が短く、光軸からはなれるほど焦点距離が長くなる。
　本例のレンズ系１３００では、受光素子１６２が受光する被写体光は、レンズ系１３００の射出瞳１３２０のうち、光軸から異なる距離に位置する部分瞳領域１３２２ａ～ｃのいずれかの瞳領域を通過したものに制限される。瞳領域の制限は、図１から図１６に関連して説明したような偏向光学要素によって実現される。例えば、図１から図８に関連して説明したように、プリズム要素１４２およびマイクロレンズ１５２によって、受光部１６０に向かう光束を制限することができる。また、図９に関連して説明したように、マイクロレンズ１５２の偏倚によって、受光部１６０に向かう光束を制限することができる。また、図１０、１１に関連して説明したように、受光部１６０に向かう光束を遮光部によって制限することができる。また、図１４に関連して説明したように、受光部１６０において、1つのマイクロレンズ１５２に対応して設けられた受光素子群１１６２の複数の受光素子によって、受光部１６０に入射した光束を制限することができる。
　また、図１８に示す遮光マスクによって、受光部１６０に入射した光束を制限することもできる。
　図１８Ａ～１８Ｃは、それぞれ各受光素子の受光面上に形成される遮光マスク２２６２－１、遮光マスク２２６２－２、および遮光マスク２２６２－３の形状を示す斜視図である。遮光マスク２２６２－１の開口部は、瞳領域１３２２ａと相似形状となっており、受光素子１６２の中心部のみに受光させる形状となっている。また遮光マスク２２６２－２の開口部は、瞳領域１３２２ｂと相似形状となっており、遮光マスク２２６２－１の開口部の周辺部分に相当する円環形状部のみに受光させる形状となっている。さらに遮光マスク２２６２－３の開口部は、瞳領域１３２２ｃと相似形状となっており、遮光マスク２２６２－２の開口部の周辺部分に相当する円環形状部のみに受光させる形状となっている。
　図１９は、レンズ系１３００、各マイクロレンズ１０５２ａ～１０５２ｃ、各遮光マスク２２６２－１～２２６２－３、および各受光素子１６２ａ～１６２ｃを模式的に示す俯瞰図である。また図２０は、本例の受光ユニットの一例を模式的に示す断面図である。
　本例の受光ユニット２０は、１つのマイクロレンズに対応して１つの受光素子が備えられている。図２０の例では、マイクロレンズ１０５２ａに対応して受光素子１６２ａ、マイクロレンズ１０５２ｂに対応して受光素子１６２ｂ、マイクロレンズ１０５２ｃに対応して受光素子１６２ｃ、マイクロレンズ１０５２ｄに対応して受光素子１６２ｄがそれぞれ配置されている。なお、各マイクロレンズ１０５２の中心位置と各受光素子１６２の中心位置とは、一致するように配置されている。
　また、受光素子１６２ａの受光面上には遮光部２２６２ａが、受光素子１６２ｂの受光面上には遮光部２２６２ｂが、受光素子１６２ｃの受光面上には遮光部２２６２ｃが、対応して形成されている。ここで、遮光部２２６２ａは遮光マスク２２６２－１の形状、遮光部２２６２ｂは遮光マスク２２６２－２の形状、遮光部２２６２ｃは遮光マスク２２６２－３の形状の遮光部となっている。
　さらに受光素子１６２ｄの受光面上には、遮光部２２６２ｄが形成されている。この遮光部２２６２ｄは、遮光部２２６２ａと同様に遮光マスク２２６２－１の形状となっている。図では省略されているが、遮光マスク２２６２－１～２２６２－３は、各受光素子１６２の受光面上に所定の規則に従って繰り返して配置される。
　各マイクロレンズ１０５２には、射出瞳１３２０の略全面を通過した光が入射する。ここで、マイクロレンズ１０５２ａを通過した光は、遮光マスク２２６２－１の形状を有する遮光部２２６２ａにより瞳領域１３２２ａを通過した光のみに制限され、瞳領域１３２２ａを通過した光のみが受光素子１６２ａに受光される。したがって、受光素子１６２ａには、瞳領域１３２２ａに対応する焦点距離の被写体光のみが受光される。
　同様に、遮光マスク２２６２－２の形状の遮光部２２６２ｂにより、マイクロレンズ１０５２ｂを通過した光のうち、瞳領域１３２２ｂを通過した光のみが受光素子１６２ｂに受光される。また遮光マスク２２６２－３の形状の遮光部２２６２ｃにより、マイクロレンズ１０５２ｃを通過した光のうち、瞳領域１３２２ｃを通過した光のみが受光素子１６２ｃに受光される。したがって、受光素子１６２ｂには瞳領域１３２２ｂに対応する焦点距離の被写体光のみが受光され、受光素子１６２ｃには、瞳領域１３２２ｃに対応する焦点距離の被写体光のみが受光される。
　このように、遮光部２６２の複数の遮光マスク２２６２は、それぞれ予め定められた瞳領域１３２２を通過した被写体光を対応する受光素子１６２に受光させるべく、各焦点距離の瞳領域と相似形状に設けられる。これにより、画像生成部１７０は、各受光素子１６２の撮像信号から、長焦点距離画像、中焦点距離画像、短焦点距離画像を得ることができる。
　さらに、それぞれ焦点距離の異なるマイクロレンズを用いて、受光部１６０に入射した光束を制限することもできる。
　図２１は、本例の受光ユニットの一例を模式的に示す。本例の受光ユニット２０は、１つのマイクロレンズに対応して１つの受光素子が備えられている。図２１の例では、マイクロレンズ１２５２ａに対応して受光素子１６２ａ、マイクロレンズ１２５２ｂに対応して受光素子１６２ｂ、マイクロレンズ１２５２ｃに対応して受光素子１６２ｃ、マイクロレンズ１２５２ｄに対応して受光素子１６２ｄがそれぞれ配置されている。なお、各マイクロレンズ１２５２の中心位置と各受光素子１６２の中心位置とは、一致するように配置されている。
　また、各受光素子１６２の受光面上には、遮光部２３６２が配置されている。遮光部２３６２は、図１８Ｂに示す遮光マスク２２６２－２と同様に、円形状の遮光マスクおよび円環形状の遮光マスクからなり、円環形状の開口部を有している。この開口部の幅は、適切に光束を制限できるように、適宜決定することができる。
　ここで、各マイクロレンズ１２５２は、それぞれ異なる焦点距離を有している。図２１の例では、マイクロレンズ１２５２ａの焦点距離は第１の焦点距離ｆ１であり、受光素子１６２ａの受光面上に焦点位置を有している。また、マイクロレンズ１２５２ｂの焦点距離は、第１の焦点距離ｆ１よりも短い第２の焦点距離ｆ２であり、受光素子１６２ｂの受光面よりも手前（マイクロレンズ側）に焦点位置を有する。また、マイクロレンズ１２５２ｃの焦点距離は、第２の焦点距離ｆ２よりも短い第３の焦点距離ｆ３あり、マイクロレンズ１２５２ｂの焦点位置よりもさらに手前（マイクロレンズ側）に焦点位置を有する。
　さらにマイクロレンズ１２５２ｄは、マイクロレンズ１２５２ａと同様に構成されており、マイクロレンズ１２５２ｄの焦点距離は第１の焦点距離ｆ１となっている。図では省略されているが、第１の焦点距離ｆ１、第２の焦点距離ｆ２、および第３の焦点距離ｆ３を有する各マイクロレンズ１２５２は、所定の規則に従って繰り返して配置される。
　次に、各マイクロレンズ１２５２に入射した光と対応する受光素子１６２が受光する光の関係について説明する。図２２Ａ～２２Ｃは、第１の焦点距離ｆ１を有するマイクロレンズ１２５２ａに入射した光と受光素子１６２ａが受光する光の関係を示す図である。
　マイクロレンズ１２５２ａには、射出瞳１３２０の略全面を通過した光が入射する。ここで、射出瞳１３２０のうち瞳領域１３２２ａを通過した光は、図２２Ａに示すように、遮光部２３６２の中央の円形状の遮光マスクにより制限され、受光素子１６２ａには入射しない。同様に、射出瞳１３２０のうち瞳領域１３２２ｂを通過した光も、図２２Ｂに示すように、遮光部２３６２の中央の円形状の遮光マスクにより制限され、受光素子１６２ａには入射しない。
　これに対し、射出瞳１３２０のうち瞳領域１３２２ｃを通過した光は、図２２Ｃに示すように、遮光部２３６２の開口部から受光素子１６２ａに入射する。
　このように、マイクロレンズ１２５２ａを通過した光は、マイクロレンズ１２５２ａおよび遮光部２３６２により瞳領域１３２２ｃを通過した光のみに制限され、瞳領域１３２２ｃを通過した光のみが受光素子１６２ａに受光される。したがって、受光素子１６２ａには、瞳領域１３２２ｃに対応する焦点距離の被写体光のみが受光される。
　図２３Ａ～２３Ｃは、第２の焦点距離ｆ２有するマイクロレンズ１２５２ｂに入射した光と受光素子１６２ｂが受光する光の関係を示す図である。
　マイクロレンズ１２５２ｂには、射出瞳１３２０の略全面を通過した光が入射する。ここで、射出瞳１３２０のうち瞳領域１３２２ａを通過した光は、図２３Ａに示すように、遮光部２３６２の中央の円形状の遮光マスクにより制限され、受光素子１６２ｂには入射しない。
　これに対し、射出瞳１３２０のうち瞳領域１３２２ｂを通過した光は、図２３Ｂに示すように、遮光部２３６２の開口部から受光素子１６２ｂに入射する。
　また、射出瞳１３２０のうち瞳領域１３２２ｃを通過した光は、図２３Ｃに示すように、遮光部２３６２の円環形状の遮光マスクにより制限され、受光素子１６２ｂには入射しない。
　このように、マイクロレンズ１２５２ｂを通過した光は、マイクロレンズ１２５２ｂおよび遮光部２３６２により瞳領域１３２２ｂを通過した光のみに制限され、瞳領域１３２２ｂを通過した光のみが受光素子１６２ｂに受光される。したがって、受光素子１６２ｂには、瞳領域１３２２ｂに対応する焦点距離の被写体光のみが受光される。
　図２４Ａ～２４Ｃは、第３の焦点距離ｆ３するマイクロレンズ１２５２ｃに入射した光と受光素子１６２ｃが受光する光の関係を示す図である。
　マイクロレンズ１２５２ｃには、射出瞳１３２０の略全面を通過した光が入射する。ここで、射出瞳１３２０のうち瞳領域１３２２ａを通過した光は、図２４Ａに示すように、遮光部２３６２の開口部から受光素子１６２ｃに入射する。
　これに対し、射出瞳１３２０のうち瞳領域１３２２ｂを通過した光は、図２４Ｂに示すように、遮光部２３６２の円環形状の遮光マスクにより制限され、受光素子１６２ｃには入射しない。同様に、射出瞳１３２０のうち瞳領域１３２２ｃを通過した光も、図２４Ｃに示すように、遮光部２３６２の円環形状の遮光マスクにより制限され、受光素子１６２ｃには入射しない。
　このように、マイクロレンズ１２５２ｃを通過した光は、マイクロレンズ１２５２ｃおよび遮光部２３６２により瞳領域１３２２ａを通過した光のみに制限され、瞳領域１３２２ａを通過した光のみが受光素子１６２ｃに受光される。したがって、受光素子１６２ｃには、瞳領域１３２２ａに対応する焦点距離の被写体光のみが受光される。
　以上のように、それぞれ予め定められた瞳領域１３２２を通過した被写体光を対応する受光素子１６２に受光させるべく、各マイクロレンズ１２５２の焦点距離が設定され、遮光部２３６２が配置される。これにより、画像生成部１７０は、各受光素子１６２の撮像信号から、長焦点距離画像、中焦点距離画像、短焦点距離画像を得ることができる。
　このように、レンズの中心からの距離により区分された円形領域および円環形状領域毎に焦点距離が異なる本例のレンズ系１３００によっても、光軸からの距離に応じて異なる焦点距離を持つので焦点距離が異なる画像を撮像することができる。
　なお、本例のレンズ系１３００は、光軸中心で焦点距離が短く、光軸からはなれるほど焦点距離が長くなるが、逆に光軸中心で焦点距離が長く、光軸からはなれるほど焦点距離が短くなるレンズであってもよい。
　さらに、図１から図１７において、焦点距離が連続的に変化するレンズ系を取り上げて説明したが、焦点距離が不連続に変化するレンズ系（例えば屈折量がステップ的に変わる二重焦点レンズや多重焦点レンズ等）を、図１から図１７にかけて説明した撮像装置のレンズ系として採用することもできる。
　図２５Ａ～２５Ｃは、レンズに入射した光を分離して画像信号として取り出す様子を模式的に示した図であり、各レンズ１００、１３００と、焦点距離毎に光束を制限して受光する受光ユニット２０と、焦点距離毎の画像信号から異なる焦点距離の画像を生成可能な画像生成部１７０を示している。
　図２５Ａは、非対称の累進屈折レンズ、図２５Ｂは光軸中心で焦点距離が短い回転対称の球面収差型レンズ、図２５Ｃは光軸中心で焦点距離が長い回転対称の球面収差型レンズを用いた場合を示している。
　＜本発明特有の画像処理＞
　上記実施形態では、各受光素子は、プリズム要素や遮光要素等の光学要素の作用により、結像レンズの特定の瞳領域を通過した被写体光（即ち、特定の焦点距離を有する領域からの被写体光）のみを受光するようになっている。しかしながら、これら光学要素の加工精度や制御誤差等によっては、想定される瞳領域以外の瞳領域を通過した被写体光が受光素子に入射することも考えられ、そのような入射光が誤差成分となってボケ劣化、コントラスト劣化などの画質低下が生じる可能性がある。
　また、複数の瞳領域の各領域への指向性を有する受光素子が一面に配列されているため、特定の瞳領域に対する受光素子に着目した場合、他の瞳領域に対する受光素子が存在する画素についてはデータが欠落することになる。
　そこで以下では、これらの点に対する画像処理について説明する。なおこのような画像処理は、画像生成部１７０で行うことができる。
　＜画像処理その１：画像ボケの補正＞
　上述のように、結像レンズの特定の瞳領域からの被写体光(即ち、特定の焦点距離の被写体光)を受光する受光素子に他の瞳領域からの被写体光（即ち、他の焦点距離の被写体光）が入射すると、当該他の瞳領域からの被写体光がボケ成分となりボケた画像（大きな点像）となってしまう。このようなボケ画像に対しては、以下のように復元フィルタによるフィルタリング処理を行うことにより高解像度の画像（小さな点像）に復元することが可能である。
　例えば、７×７のカーネルサイズの復元ゲインデータを撮像装置（例えば、画像生成部１７０内のメモリ）に記憶しておき、撮像素子のＡＤ変換部から出力される復元処理前のＲ、Ｇ、Ｂの色信号であって、処理対象の注目画素の色信号およびその注目画素を中心とする所定領域内の同じ色の画素の色信号を中心とする７×７画素の色信号と、上記記憶されている７×７のカーネルの復元ゲインデータとのデコンボリューション処理（逆畳み込み演算処理）を行うことにより復元処理を行い、処理前の注目画素の色信号に替えて上記復元処理後の色信号を出力する。
　図２６（Ａ）に示すように、撮影レンズを透過した点像（光学像）は、特定の瞳領域以外の瞳領域からの信号（焦点距離が異なる瞳領域からの信号）が混入することにより大きな点像（ボケた画像）として撮像素子に結像されるが、上記デコンボリューション処理により、図２６（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。
　＜復元ゲインデータ生成方法＞
　次に、上記デコンボリューション処理で用いる復元ゲインデータの生成方法について説明する。
　図２７は本発明に係る復元ゲインデータ生成方法の実施の形態を示すフローチャートである。
　まず、撮像装置の出荷前等の調整時に、その撮像装置の撮影レンズの点像分布関数（ＰＳＦ：Point spread function）を測定するために、撮影レンズにより点像（点光源）を撮像し、ボケた画像を取得する（ステップＳ１０）。
　続いて、点像の撮像により取得した画像をｇ（ｘ，ｙ）、元の点像をｆ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、ボケた画像ｇ（ｘ，ｙ）は、次式で表すことができる。
　［数１］
　ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
　ただし、＊はコンボリューションを示す。
　上記ステップＳ１０での点像の撮像により取得したボケた画像ｇ（ｘ，ｙ）に基づいて［数１］式のｈ（ｘ，ｙ）（即ち、点像分布関数（ＰＳＦ））を求める（ステップＳ１２）。
　次に、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める（ステップＳ１４）。この逆関数をＲ（ｘ，ｙ）とすると、次式のようにボケた画像ｇ（ｘ，ｙ）を、Ｒ（ｘ，ｙ）によりコンボリューション処理することにより、元の画像ｆ（ｘ，ｙ）に対応する復元画像が得られる。
　［数２］
　ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
　このＲ（ｘ，ｙ）を復元フィルタという。復元フィルタは、上述したように例えば７×７のフィルタ値（復元ゲインデータ）から構成され、ステップＳ１６では、この復元ゲインデータを生成する。なお、この種の復元フィルタとしては、原画像と復元画像との２乗平均誤差を最小にする最小２乗フィルタ（ウィナーフィルタ）、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。また、復元処理については、例えば非特許文献１や、非特許文献２に記載されている（特許文献５参照）。
　ステップＳ１６で生成された復元ゲインデータは、撮像装置内のメモリに記憶させる（ステップＳ１８）。
　＜画像処理その２：コントラストの補正＞
　上述した画像ボケの場合と同様に、結像レンズの特定の瞳領域からの被写体光を受光する受光素子に他の瞳領域からの被写体光が入射すると、当該他の瞳領域からの被写体光により画像中の明暗差が目立たなくなり、コントラストを低下させる要因となる。このようなコントラストの低下に対しては、以下のように補正することが考えられる。
　上述のように、コントラストの低い画像は画像中の明暗差が小さい状態になっているから、例えば以下のように画像処理で明るい部分と暗い部分の差を強調してやればよい。
　まずＲＧＢ信号をＹＣｒＣｂ信号に変換し、明暗差の情報を得た上で、このＹ信号に対して処理を行う。具体的には、Ｙ信号の値を一定の比率で拡大することで、Ｙ信号の分布すなわち明度差を拡大することができる。例えば、Ｙ信号の値を８ビット（０－２５５）で表す場合、元のＹ信号が（９６－１５６）の範囲で分布しているとすると明暗差は６０であるが、各Ｙ信号の値を２倍すると（１９２－３１２）の範囲で分布することとなり、明暗差は元の範囲の２倍の１２０となる。
　ただしこの場合明度分布の上限が２５５を超えているため信号が飽和して白とび現象が生じるとともに、Ｙ信号が１９２以下の範囲が使われておらずコントラストを高くするとの観点からは効率的でない。したがって処理後に（０－２５５）の範囲で分布するように変換することが望ましい。
　このような変換の方法には様々な手法があるが、例えば以下のような一次式を用いて変換することができる。
　［数３］
　　Ｙ'＝Ｙ*［２５５／(ＭＡＸ－ＭＩＮ)］－ＭＩＮ
　　　　　ただし、Ｙ　　：変換前のＹ信号の値
　　　　　　　　　Ｙ' 　：変換後のＹ信号の値
　　　　　　　　　ＭＩＮ：変換前のＹ信号の最小値
　　　　　　　　　ＭＡＸ：変換後のＹ信号の最大値
　＜画像処理その３：輪郭強調＞
　結像レンズの特定の瞳領域からの被写体光を受光する受光素子に他の瞳領域からの被写体光が入射することによる画質低下の対策として、以下のように輪郭強調を行うことも考えられる。ここで、輪郭強調の手法は従来より種々存在するが、画面全体、検出された顔、主要被写体などに一律に輪郭強調を適用する手法では、例えば、主要被写体にピントがあっており背景にはピントがあってない場合であっても、背景に輪郭強調が施され、その結果ぼやけた部分の輪郭が強調され、所望の画像が得られない可能性がある。このような観点から、被写体距離を考慮した輪郭強調を行うことが望ましい。具体的には、特許文献６に記載される手法を用いることができる。
　上記公報に記載された画像処理装置の一態様は、撮像レンズを介して結像された被写体を撮像素子により光電変換することで得られた画像データを入力する入力部と、前記被写体までの距離を算出する距離算出部と、前記距離算出部の算出した距離に応じた強度の輪郭強調処理を、前記入力部の入力した画像データに対して実施する輪郭強調処理部と、を備える。
　そして上記態様の画像処理装置では、所定のフォーカス領域内における主要位相差情報から当該所定のフォーカス領域内の被写体までの距離を示す主要距離情報、および周辺領域内の被写体までの距離を示す距離情報を取得し、これらの情報に基づき、前記所定のフォーカス領域内の被写体である合焦被写体と各周辺領域内の被写体である周辺被写体との距離差を周辺領域毎に算出する。距離差が所定の閾値未満である場合は所定のフォーカス領域の輪郭成分データが表す輪郭成分の強度と、上記距離差が所定の閾値未満の周辺領域の輪郭成分データが表す輪郭成分の強度とを第１の変換特性情報に基づいて変換し、これらの領域に輪郭強調を施す。
　一方、上記距離差が所定の閾値以上である場合は第２の変換特性情報に基づいて、上記距離差が所定の閾値以上の周辺領域の輪郭成分データが表す輪郭成分の強度を変換し、輪郭強調を施す。
　上記態様の画像処理装置ではこのような処理により、所定のフォーカス領域内の合焦被写体までの距離と、所定のフォーカス領域以外の各周辺領域内の被写体までの距離との差に基づいて、輪郭強調の度合いを変化させるため、ピントの合っていない被写体に過剰に輪郭強調が施されることが防がれ、自然な画像を得ることができる。
　本発明において、加工精度等の問題により結像レンズの特定の瞳領域以外の領域を通過した被写体光が受光素子に入射すると、上述したように主要被写体にピントがあっており背景にはピントがあってない場合が生じうるが、このような場合に上記手法を用いることにより適切に輪郭強調が施された自然な画像を得ることができる。
　＜画像処理その４：データ欠落の補間＞
　以下欠落データの補間に関し、結像レンズが短焦点・中焦点・長焦点の３領域を有し、これら３領域のうち一の領域からの被写体光を受光するように構成された受光素子１６２ａ，１６２ｂ，１６２ｃが図１９のように３列毎に配列されている場合の例について説明する。
　この場合例えば受光素子１６２ａに着目すると、受光素子１６２ｂ，１６２ｃが存在する列のデータが欠落することになるので、受光素子１６２ｂが存在する列における受光素子１６２ａのデータは、受光素子１６２ａの列２列分のデータを用い、補間対象となる列からの距離に応じて重みづけ加算して求めることが考えられる。例えば図１９で受光素子１６２ｂの列の左隣りの列の受光素子１６２ａのデータに対する重みを１、受光素子１６２ｃの右側に存在する列（不図示）の受光素子１６２ａのデータに対する重みを（１／２）とした比率で加算して補間してもよいし、受光素子１６２ａのデータを４列分用いて、同様に重みづけ加算して補間してもよい。
　受光素子１６２ｃが存在する列における受光素子１６２ａのデータ等も同様にして補間により求めることができる。なお補間に用いる列数や重みづけの態様は上記のものに限定されず、適宜選択してよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１０、１０１０、１１１０…撮像装置、２０…受光ユニット、１００、１３００…レンズ系、１１０、１３１０…レンズ、１１５…光学装置、１２０、１２２０、１３２０…射出瞳、１２２…瞳領域、１３０…被写体光、１４０…偏向部、１４２…プリズム要素、１５０…マイクロレンズ部、１５２、９５２、１０５２、１２５２…マイクロレンズ、１６０…受光部、１６２、１１６２－１、２、３…受光素子、１７０…画像生成部、１８０…制御部、１９０…画像記録部、２００…ハウジング、２１０、２２０、２３０…液体領域、２４０、６４０…仕切部、２４２…仕切板、２５０…貫通孔、２５２、２５４、６４２、６４４…側面部、２６０…カラーフィルタ、２６２…遮光部、２６４、１２６４…開口、２８１、２８２、６８０…プリズム要素、２９０、２９１、２９２…駆動部、２８０…弾性面、３５０…行方向、３６０…列方向、４００…像面、５１０…短焦点画像、５２０…中焦点画像、５３０…長焦点画像、５５０…合成画像、５１２、５２２、５３２、５５２…近距離被写体像、５１４、５２４、５３４、５５４…中距離被写体像、５１６、５２６、５３６、５５６…遠距離被写体像、７００、７０１、７０２、７０３、７０４…突起部、１０６０、１０７０…遮光部、１０６２、１０７２…開口、１１３０、１１４０…偏光フィルタ部、１１３２…第１偏光フィルタ、１１３４…第２偏光フィルタ、１１４２…偏光フィルタ、１１６２…受光素子群、１２３２…第１偏光フィルタ、１２３４…第２偏光フィルタ、１２３０…偏光フィルタ部、１３２２…部分瞳領域、２２６２、２２６３…遮光部

Claims (8)

  1. 　領域毎に異なる焦点距離を持つ結像レンズと、
    　受光素子を複数有する受光部と、
    　複数の前記受光素子にそれぞれ対応して設けられ、前記結像レンズの射出瞳における予め定められた瞳領域を通過した被写体光を、対応する受光素子にそれぞれ受光させる複数の光学要素と、
    　前記複数の受光素子の撮像信号から、被写体の画像を生成する画像生成部と
    を備え、
    　前記複数の光学要素のうちの複数の第１光学要素は、前記結像レンズの第１の焦点距離を持つ領域および前記射出瞳における第１瞳領域を通過する被写体光を、対応する受光素子へ入射させ、
    　前記複数の光学要素のうちの複数の第２光学要素は、前記結像レンズの第２の焦点距離を持つ領域および前記射出瞳における第２瞳領域を通過する被写体光を、対応する受光素子へ入射させる撮像装置。
  2. 　前記画像生成部は、前記射出瞳のいずれの瞳領域を通過した被写体光により前記被写体の画像を生成すべきかを選択し、選択した瞳領域を通過した被写体光を受光する複数の受光素子の撮像信号を用いて、前記被写体の画像を生成する請求項１に記載の撮像装置。
  3. 　前記画像生成部は、前記射出瞳のいずれの瞳領域を通過した被写体光により前記被写体の画像を生成するかを選択する場合に、被写体距離、および、前記射出瞳の複数の瞳領域にそれぞれ対応する焦点距離に基づいて、前記受光部の位置に結像する被写体光が通過する前記瞳領域を少なくとも１つ選択する請求項２に記載の撮像装置。
  4. 　前記画像生成部は、被写体距離の範囲、および、前記複数の瞳領域にそれぞれ対応する焦点距離に基づいて、前記受光部の位置に結像する被写体光が通過する前記瞳領域を複数選択する請求項３に記載の撮像装置。
  5. 　前記複数の光学要素はそれぞれ、前記予め定められた瞳領域を通過した被写体光を対応する受光素子に受光させるプリズム要素である請求項１から４のいずれか一項に記載の撮像装置。
  6. 　前記プリズム要素は、屈折率が互いに異なる第１液体と第２液体との間の液体界面でプリズム界面が形成される液体プリズム要素であり、
    　前記撮像装置は、
    　前記結像レンズの光軸に対する前記プリズム界面の傾きを制御することにより、複数の前記プリズム要素にそれぞれ対応する前記受光素子の受光する光束の向きを制御する制御部をさらに備える請求項５に記載の撮像装置。
  7. 　前記制御部は、対応する前記受光素子が受光する光束の向きを、前記受光部の位置に結像する被写体光が通過する瞳領域に指向させるべく、被写体距離に基づいて前記プリズム界面の傾きを制御する請求項６に記載の撮像装置。
  8. 　前記第１液体および前記第２液体を保持するプリズムハウジングと、
    　前記プリズムハウジングの内部を、前記光軸に沿って前記第１液体が充填される第１領域と前記第２液体が充填される第２領域とに分割する仕切板と
    をさらに有し、
    　前記仕切板には、複数の前記液体プリズム要素が形成される位置に対応して複数の貫通孔が形成され、
    　前記制御部は、前記複数の貫通孔のそれぞれの第１側面部における前記液体界面の位置および第１側面部に対向する第２側面部における前記液体界面の位置を制御することにより、前記光軸に対する前記プリズム界面の傾きを制御する請求項６または７に記載の撮像装置。
PCT/JP2011/070796 2010-10-01 2011-09-13 撮像装置 WO2012043211A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012536328A JP5466766B2 (ja) 2010-10-01 2011-09-13 撮像装置
CN201180047741.XA CN103155543B (zh) 2010-10-01 2011-09-13 成像设备
EP11828771.3A EP2624540B1 (en) 2010-10-01 2011-09-13 Imaging device
US13/851,599 US8605197B2 (en) 2010-10-01 2013-03-27 Imaging apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010224234 2010-10-01
JP2010-224234 2010-10-01
JP2011-116180 2011-05-24
JP2011116180 2011-05-24
JP2011-176229 2011-08-11
JP2011176229 2011-08-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/851,599 Continuation US8605197B2 (en) 2010-10-01 2013-03-27 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2012043211A1 true WO2012043211A1 (ja) 2012-04-05

Family

ID=45892682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070796 WO2012043211A1 (ja) 2010-10-01 2011-09-13 撮像装置

Country Status (5)

Country Link
US (1) US8605197B2 (ja)
EP (1) EP2624540B1 (ja)
JP (1) JP5466766B2 (ja)
CN (1) CN103155543B (ja)
WO (1) WO2012043211A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010734A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 撮像装置
JP2014062748A (ja) * 2012-09-20 2014-04-10 Fujifilm Corp 移動物体の位置検出装置及び方法
JP2015014686A (ja) * 2013-07-04 2015-01-22 オリンパス株式会社 撮像装置
JP2015056729A (ja) * 2013-09-11 2015-03-23 ソニー株式会社 立体視画像生成装置、立体視画像生成方法
CN104520745A (zh) * 2012-08-06 2015-04-15 富士胶片株式会社 摄像装置
JP2015154386A (ja) * 2014-02-18 2015-08-24 富士フイルム株式会社 自動追尾撮像装置
US10244166B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US10244165B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
JP2019056618A (ja) * 2017-09-21 2019-04-11 富士ゼロックス株式会社 多焦点レンズ、計測装置および計測方法
WO2020044835A1 (ja) * 2018-08-30 2020-03-05 ソニー株式会社 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
WO2020071253A1 (ja) * 2018-10-03 2020-04-09 富士フイルム株式会社 撮像装置
WO2021085368A1 (ja) * 2019-10-30 2021-05-06 富士フイルム株式会社 撮像装置、撮像光学系及び撮像方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176355A1 (ja) 2011-06-23 2012-12-27 パナソニック株式会社 撮像装置
JP5507764B2 (ja) * 2011-08-24 2014-05-28 富士フイルム株式会社 撮像装置
WO2013080551A1 (ja) 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
CN103403494B (zh) 2011-11-30 2016-08-24 松下知识产权经营株式会社 摄像装置
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
JP6159097B2 (ja) * 2013-02-07 2017-07-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
JP6253365B2 (ja) * 2013-11-22 2017-12-27 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置
JP6151632B2 (ja) * 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
JP6269387B2 (ja) * 2014-08-21 2018-01-31 セイコーエプソン株式会社 表示装置及び電子機器
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
CN107211099A (zh) 2014-12-17 2017-09-26 光实验室股份有限公司 用于实施并使用摄像机装置的方法及设备
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
EP3407592B1 (en) * 2016-01-18 2020-01-29 Fujifilm Corporation Image capture device and image data generation method
JP6585195B2 (ja) * 2016-01-26 2019-10-02 富士フイルム株式会社 撮像装置、及び、画像データ生成方法
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US10270947B2 (en) * 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
EP3701417A1 (en) * 2017-10-27 2020-09-02 3M Innovative Properties Company Optical sensor systems
CN111258166B (zh) * 2018-12-03 2021-11-05 宁波舜宇光电信息有限公司 摄像模组及其潜望式摄像模组和图像获取方法及工作方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329549A (ja) 1995-05-31 1996-12-13 Sony Corp 情報記録再生装置
JP2000356751A (ja) * 1999-06-16 2000-12-26 Canon Inc 光スイッチ
JP2003270526A (ja) 2002-03-19 2003-09-25 Olympus Optical Co Ltd 撮像光学系
JP2005164983A (ja) 2003-12-03 2005-06-23 Nikon Corp デジタルカメラ
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
JP2007193020A (ja) 2006-01-18 2007-08-02 Toyota Motor Corp 流体プリズム
WO2009070213A1 (en) * 2007-11-27 2009-06-04 Eastman Kodak Company Dual focal length lens system
JP2011124712A (ja) 2009-12-09 2011-06-23 Fujifilm Corp 画像処理装置、方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449081B1 (en) 1999-06-16 2002-09-10 Canon Kabushiki Kaisha Optical element and optical device having it
CN1574894A (zh) * 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
JP2007206967A (ja) * 2006-02-01 2007-08-16 Matsushita Electric Ind Co Ltd 撮像装置およびその画像処理方法ならびに情報端末装置
US7865076B2 (en) * 2006-04-21 2011-01-04 Panasonic Corporation Compound eye-camera module
WO2007132717A1 (ja) * 2006-05-16 2007-11-22 Panasonic Corporation 撮像装置及び半導体回路素子
CN101861542B (zh) * 2007-08-04 2016-04-20 全视技术有限公司 多区域成像***
US8390729B2 (en) * 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
WO2009087974A1 (ja) * 2008-01-11 2009-07-16 Panasonic Corporation 複眼カメラモジュール
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
DE102008054438A1 (de) * 2008-12-09 2010-06-24 Seereal Technologies S.A. Optisches Bauteil zum Ablenken von das optische Bauteil durchlaufende Lichtstrahlen

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329549A (ja) 1995-05-31 1996-12-13 Sony Corp 情報記録再生装置
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
JP2000356751A (ja) * 1999-06-16 2000-12-26 Canon Inc 光スイッチ
JP2003270526A (ja) 2002-03-19 2003-09-25 Olympus Optical Co Ltd 撮像光学系
JP2005164983A (ja) 2003-12-03 2005-06-23 Nikon Corp デジタルカメラ
JP2007193020A (ja) 2006-01-18 2007-08-02 Toyota Motor Corp 流体プリズム
WO2009070213A1 (en) * 2007-11-27 2009-06-04 Eastman Kodak Company Dual focal length lens system
JP2011124712A (ja) 2009-12-09 2011-06-23 Fujifilm Corp 画像処理装置、方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INSTITUTE OF ELECTRONICS AND COMMUNICATION ENGINEERS ACADEMIC JOURNAL, vol. J67-D, no. O, November 1984 (1984-11-01)
See also references of EP2624540A4

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838618B2 (en) 2012-07-12 2017-12-05 Nikon Corporation Image processing device configured to correct output data based upon a point spread function
WO2014010734A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 撮像装置
JPWO2014010734A1 (ja) * 2012-07-12 2016-06-23 株式会社ニコン 撮像装置
JP2018186508A (ja) * 2012-07-12 2018-11-22 株式会社ニコン 画像処理装置
CN104471924A (zh) * 2012-07-12 2015-03-25 株式会社尼康 拍摄装置
CN108337419A (zh) * 2012-07-12 2018-07-27 株式会社尼康 图像处理装置
CN104471924B (zh) * 2012-07-12 2018-05-01 株式会社尼康 拍摄装置
US10341580B2 (en) 2012-07-12 2019-07-02 Nikon Corporation Image processing device configured to correct an image so as to decrease output data
CN104520745A (zh) * 2012-08-06 2015-04-15 富士胶片株式会社 摄像装置
US9723292B2 (en) 2012-08-06 2017-08-01 Fujifilm Corporation Imaging device
EP2881775A4 (en) * 2012-08-06 2016-02-24 Fujifilm Corp IMAGING DEVICE
JP2014062748A (ja) * 2012-09-20 2014-04-10 Fujifilm Corp 移動物体の位置検出装置及び方法
JP2015014686A (ja) * 2013-07-04 2015-01-22 オリンパス株式会社 撮像装置
US9571728B2 (en) 2013-07-04 2017-02-14 Olympus Corporation Image acquisition apparatus
JP2015056729A (ja) * 2013-09-11 2015-03-23 ソニー株式会社 立体視画像生成装置、立体視画像生成方法
US10574968B2 (en) 2013-09-11 2020-02-25 Sony Corporation Stereoscopic picture generation apparatus and stereoscopic picture generation method
WO2015125388A1 (ja) * 2014-02-18 2015-08-27 富士フイルム株式会社 自動追尾撮像装置
US9924084B2 (en) 2014-02-18 2018-03-20 Fujifilm Corporation Auto-tracking imaging apparatus including wide-angle and telephoto optical systems
JP2015154386A (ja) * 2014-02-18 2015-08-24 富士フイルム株式会社 自動追尾撮像装置
US10244165B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US10244166B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
JP2019056618A (ja) * 2017-09-21 2019-04-11 富士ゼロックス株式会社 多焦点レンズ、計測装置および計測方法
JP7039902B2 (ja) 2017-09-21 2022-03-23 富士フイルムビジネスイノベーション株式会社 多焦点レンズ、計測装置および計測方法
JPWO2020044835A1 (ja) * 2018-08-30 2021-08-26 ソニーグループ株式会社 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
WO2020044835A1 (ja) * 2018-08-30 2020-03-05 ソニー株式会社 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
US11792534B2 (en) 2018-08-30 2023-10-17 Sony Corporation Signal processing device, signal processing method, and image capture device
JP7415929B2 (ja) 2018-08-30 2024-01-17 ソニーグループ株式会社 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
WO2020071253A1 (ja) * 2018-10-03 2020-04-09 富士フイルム株式会社 撮像装置
JPWO2020071253A1 (ja) * 2018-10-03 2021-09-09 富士フイルム株式会社 撮像装置
CN112805992A (zh) * 2018-10-03 2021-05-14 富士胶片株式会社 摄像装置
US11457202B2 (en) 2018-10-03 2022-09-27 Fujifilm Corporation Imaging device
JP7169363B2 (ja) 2018-10-03 2022-11-10 富士フイルム株式会社 撮像装置
CN112805992B (zh) * 2018-10-03 2024-04-23 富士胶片株式会社 摄像装置
WO2021085368A1 (ja) * 2019-10-30 2021-05-06 富士フイルム株式会社 撮像装置、撮像光学系及び撮像方法
JP7220302B2 (ja) 2019-10-30 2023-02-09 富士フイルム株式会社 撮像装置、撮像光学系及び撮像方法
US11930256B2 (en) 2019-10-30 2024-03-12 Fujifilm Corporation Imaging device, imaging optical system, and imaging method
JPWO2021085368A1 (ja) * 2019-10-30 2021-05-06

Also Published As

Publication number Publication date
JPWO2012043211A1 (ja) 2014-02-06
EP2624540A1 (en) 2013-08-07
CN103155543A (zh) 2013-06-12
CN103155543B (zh) 2014-04-09
US8605197B2 (en) 2013-12-10
JP5466766B2 (ja) 2014-04-09
EP2624540A4 (en) 2014-08-06
US20130222676A1 (en) 2013-08-29
EP2624540B1 (en) 2016-11-09

Similar Documents

Publication Publication Date Title
JP5466766B2 (ja) 撮像装置
JP5480393B2 (ja) 撮像デバイス
JP4807131B2 (ja) 撮像素子および撮像装置
JP5634946B2 (ja) 撮像装置
KR100875938B1 (ko) 광학기기 및 빔 스플리터
CN103703413B (zh) 使用颜色相关波前编码扩展透镜***中景深的***和方法
CN102713713B (zh) 焦点调节设备和焦点调节方法
US20120140097A1 (en) Method and apparatus for image capturing capable of effectively reproducing quality image and electronic apparatus using the same
CN109981945B (zh) 摄像光学***
US20120206637A1 (en) Solid-state image pickup element and image pickup apparatus
JP2008177903A (ja) 撮像装置
JP6712362B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5756721B2 (ja) 撮像装置
WO2006106737A1 (ja) 撮像装置および撮像方法
JP2011028177A (ja) 撮像装置
JP4823169B2 (ja) 撮像装置
US11889186B2 (en) Focus detection device, focus detection method, and image capture apparatus
JP5650055B2 (ja) 撮像装置
KR102057160B1 (ko) 제어장치, 촬상장치, 및 제어방법
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP5978570B2 (ja) 撮像装置
JP2009025454A (ja) 光学機器
JP2013090265A (ja) 画像処理装置および画像処理プログラム
JP2017097142A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180047741.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828771

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012536328

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2011828771

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011828771

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE