WO2011152531A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2011152531A1 WO2011152531A1 PCT/JP2011/062828 JP2011062828W WO2011152531A1 WO 2011152531 A1 WO2011152531 A1 WO 2011152531A1 JP 2011062828 W JP2011062828 W JP 2011062828W WO 2011152531 A1 WO2011152531 A1 WO 2011152531A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- microlens
- pixel
- image
- composite image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Definitions
- the present invention relates to an imaging device that generates a composite image.
- the generated image has the same resolution as the number of microlens arrays, and the resolution of the generated image is significantly lower than the array density of the imaging pixels. Furthermore, there is a problem that the calculation processing when generating the composite image becomes very cumbersome.
- an imaging apparatus includes a plurality of microlenses arranged two-dimensionally in the vicinity of a focal plane of an imaging optical system, and a microlens that emits a light beam from a subject that has passed through the imaging optical system.
- An image sensor that includes a plurality of photoelectric conversion elements that receive light and output image signals via two-dimensionally arranged corresponding to each of the microlenses, and arbitrary imaging of the imaging optical system In order to generate composite image data corresponding to a plurality of imaging regions on a surface, based on information for specifying the position of a photoelectric conversion element that outputs an image signal used to generate composite image data for each imaging region And a synthesizing unit that synthesizes image signals output from the plurality of photoelectric conversion elements.
- the plurality of imaging regions are provided in the same number or more as the microlenses, and the arrangement intervals of the imaging regions are respectively the plurality of microlenses.
- the imaging device in the imaging device according to the first or second aspect, the information specifying the position of the photoelectric conversion element that outputs the image signal used for generating the composite image data for each imaging region Is preferably constituted by a table for specifying the position of a photoelectric conversion element that outputs an image signal used for generating composite image data for each imaging region.
- the imaging apparatus includes a creation unit that creates a table for each arbitrary imaging plane.
- the table normalizes the position where the photoelectric conversion element is arranged for each imaging region with reference to the pseudo optical axis of the microlens. It is preferable that the position where the microlens corresponding to the position where the photoelectric conversion element is disposed is relatively specified with reference to the microlens corresponding to the imaging region.
- the table is a value obtained by dividing the focal length of the microlens by the aperture value of the composite image data with the imaging region as a reference.
- each of the plurality of microlenses has a hexagonal shape on a plane orthogonal to the optical axis of the photographing optical system. It is preferable that the honeycomb arrangement is two-dimensionally arranged. According to the eighth aspect of the present invention, it is preferable that the imaging apparatus according to the seventh aspect further includes conversion means for converting the ratio of the horizontal direction and the vertical direction of the combined image data generated by the combining unit to 1.
- a table for specifying the position of the photoelectric conversion element for generating each synthesized image data of a plurality of imaging regions for each imaging plane is created, and the synthesized image data is generated based on the table. Since it is generated, it is possible to generate composite image data with high resolution at high speed.
- FIG. 6 It is a figure explaining the structure of the digital camera by embodiment of this invention.
- positioning of a micro lens and an image pick-up element 6A and 6B illustrate a positional relationship between a microlens and a base pixel in an embodiment.
- the digital camera according to the present embodiment uses the fact that an image signal acquired by photographing through a microlens array has wavefront information such as depth information, and the depth of field desired by the user through numerical processing. And image data having a focal position.
- the subject luminous flux incident through the photographing lens forms an image near the microlens array.
- the position at which the light beam forms an image according to the position of the subject differs in the optical axis direction of the photographing lens.
- the subject is a three-dimensional object, the subject light beam does not form an image on the same plane.
- the digital camera according to the present embodiment generates an image that reproduces an image of a subject that is imaged at an imaging position in the optical axis direction desired by the user.
- the digital camera of the present embodiment is configured to generate a composite image having a resolution larger than the number of microlenses included in the microlens array as the image. That is, a plurality of imaging pixels (base pixels) that output image signals serving as pixels of the composite image are provided corresponding to one microlens. Then, the digital camera adds the image signal output from the imaging pixels arranged in the periphery to the image signal output from the base pixel so that a composite image of the focal position according to the user's selection is obtained. Then, a composite image signal corresponding to an imaging region for one pixel of the composite image is generated, and a composite image in which the focal position can be changed is created. Details will be described below.
- FIG. 1 is a diagram illustrating a configuration of a digital camera according to an embodiment.
- the digital camera 1 is configured so that an interchangeable lens 2 having a photographing lens L1 can be attached and detached.
- the digital camera 1 includes an imaging unit 100, a control circuit 101, an A / D conversion circuit 102, a memory 103, an operation unit 108, a display 109, an LCD drive circuit 110, and a memory card interface 111.
- the imaging unit 100 includes a microlens array 12 and an imaging element 13 in which a large number of microlenses 120 are arranged two-dimensionally.
- the Z axis is set to be parallel to the optical axis of the photographic lens L1
- the X axis and the Y axis are set to be orthogonal to each other in a plane orthogonal to the Z axis.
- the photographing lens L1 is composed of a plurality of optical lens groups, and forms an image of a light beam from a subject near the focal plane.
- the taking lens L1 is represented by a single lens for convenience of explanation.
- the microlens array 12 and the image sensor 13 are arranged in order.
- the image sensor 13 is configured by a CCD or CMOS image sensor including a plurality of photoelectric conversion elements.
- the image sensor 13 captures a subject image formed on the imaging surface, and outputs a photoelectric conversion signal (image signal) corresponding to the subject image to the A / D conversion circuit 102 under the control of the control circuit 101.
- the details of the imaging unit 100 will be described later.
- the A / D conversion circuit 102 is a circuit that performs analog processing on the image signal output from the image sensor 13 and then converts it to a digital image signal.
- the control circuit 101 includes a CPU, a memory, and other peripheral circuits. Based on the control program, the control circuit 101 performs a predetermined calculation using signals input from each unit constituting the digital camera 1 and sends a control signal to each unit of the digital camera 1 to control the photographing operation. .
- the control circuit 101 determines the aperture value of the composite image selected by the user based on the operation signal input from the operation unit 108 in response to the operation of the aperture value input button 108a as will be described later. As will be described later, the control circuit 101 determines the focus position of the composite image based on the operation signal input from the operation unit 108 in response to the operation of the focus position input button 108b.
- the control circuit 101 functionally includes a table generation unit 105, an image integration unit 106, and an image normalization unit 107.
- the table generation unit 105 creates a composite pixel affiliation table using the composite image aperture value determined in accordance with the operation of the aperture value input button 108a.
- the image integration unit 106 uses the focus position of the composite image determined in accordance with the operation of the focus position input button 108b and the composite pixel affiliation table created by the table generation unit 105 to output composite image data from the image signal. Generate.
- the image normalization unit 107 corrects the aspect ratio (ratio between the horizontal direction and the vertical direction) of the composite image corresponding to the composite image data generated by the image integration unit 106 to be 1: 1. Details of the table creation unit 105, the image integration unit 106, and the image normalization unit 107 will be described later.
- the memory 103 is used to temporarily store the image signal digitally converted by the A / D conversion circuit 102, and data during or after the image processing, image compression processing, and display image data creation processing. It is a volatile storage medium.
- the memory card interface 111 is an interface to which the memory card 111a can be attached and detached.
- the memory card interface 111 is an interface circuit that writes image data to the memory card 111a and reads image data recorded on the memory card 111a in accordance with the control of the control circuit 101.
- the memory card 111a is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.
- the LCD drive circuit 110 is a circuit that drives the display 109 based on a command from the control circuit 101.
- the display 109 is composed of, for example, a liquid crystal or the like, and displays display data created by the control circuit 101 based on image data recorded on the memory card 111a in the reproduction mode.
- the display 109 displays a menu screen for setting various operations of the digital camera 1.
- the operation unit 108 receives a user operation and outputs various operation signals corresponding to the operation content to the control circuit 101.
- the operation unit 108 includes an aperture value input button 108a, a focus position input button 108b, a power button, a release button, other setting menu display switching buttons, a setting menu determination button, and the like.
- the aperture value input button 108a is operated by the user when inputting the aperture value F of the composite image.
- the operation unit 108 outputs an operation signal to the control circuit 101.
- the focus position input button 108b is operated by the user when inputting the focus position y of the composite image. When the user operates the focus position input button 108 b and selects the focus position y, the operation unit 108 outputs an operation signal to the control circuit 101.
- the imaging unit 100 includes the microlens array 12 and the imaging element 13 as described above.
- the microlens array 12 includes a plurality of microlenses 120 arranged in a two-dimensional manner.
- a pixel array 130 that receives light that has passed through each of the microlenses 120 is arranged in an arrangement pattern corresponding to the microlens 120.
- Each pixel array 130 includes a plurality of photoelectric conversion elements 131 (hereinafter referred to as imaging pixels 131) arranged in a two-dimensional manner.
- FIG. 2A shows a plan view of the microlenses 120 arranged in the microlens array 12 on the XY plane.
- the microlens array 12 has a plurality of microlenses 120 formed in a hexagonal shape on the XY plane, for example, in a honeycomb arrangement.
- FIG. 2A shows some of the microlenses 120 among the plurality of microlenses 120 provided in the microlens array 12.
- FIG. 2B is a diagram for explaining the positional relationship among the photographing lens L1, the microlens array 12, and the imaging element 13 in the optical axis direction (Z-axis direction) of the photographing lens L1. As shown in FIG.
- the image sensor 13 is arranged at a position separated by the focal length f of the microlens 120. That is, the pixel array 130 having a plurality of imaging pixels 131 is provided at a position separated by the focal length f of the microlens 120 corresponding to each pixel array 130. 2B shows a plurality of microlenses 120 provided in the microlens array 12, a plurality of pixel arrays 130 provided in the imaging element 13, and a part of the plurality of imaging pixels 131.
- the image accumulating unit 106 uses the image signal output from the image sensor 13 having the above-described configuration to create composite image data.
- the image integration unit 106 is output from a predetermined imaging pixel 131 (hereinafter referred to as a base pixel 132 (FIG. 3)) among the imaging pixels 131 included in the pixel array 130 provided corresponding to a certain microlens 120.
- An image signal (hereinafter referred to as a base point signal), an image signal output from the imaging lens 131 included in the pixel array 130 corresponding to the micro lens 120 corresponding to the base pixel 132 and the micro lens 120 provided in the vicinity thereof, and Is synthesized.
- the image integration unit 106 generates a composite image signal corresponding to one pixel.
- the image integrating unit 106 performs the above-described processing on all the base point pixels corresponding to the microlenses 120, and adds the generated composite image signals to generate composite image data.
- the image integration unit 106 refers to the composite pixel affiliation table created by the table creation unit 105 when generating the composite image signal as described above.
- the combined pixel affiliation table indicates in which position of the pixel array 130 corresponding to which microlens 120 the imaging pixel 131 that outputs an image signal to be combined with the base point signal.
- a process in which the image integration unit 106 generates a composite image signal using the image signal output from the imaging pixel 131 and a process in which the table creation unit 105 creates a composite image affiliation table will be described.
- FIG. 3 shows the base pixel provided corresponding to each microlens 120, that is, each pixel array 130. Also in FIG. 3, some of the microlenses 120 are shown. As shown in FIG. 3, in this embodiment, for example, four base pixels 132a to 132d are provided for one microlens 120. By using a plurality of base point pixels 132, it is possible to reduce a region where the focal position cannot be changed. That is, when there is one base pixel 132, the size of the above region is ⁇ 2f (f is the focal length of the microlens 120). The minimum value can be ⁇ f. Furthermore, the number of pixels of the composite image data can be increased by increasing the number of base pixels 132. Therefore, in the case shown in FIG. 3, the number of pixels of the composite image data is four times the number of microlenses 120 arranged in the microlens array 12.
- the base pixel 132a is arranged corresponding to the pseudo optical axis of the microlens 120.
- the pseudo optical axis will be described as the intersection of the center of the light beam incident from the pupil of the photographing lens L1 and the main surface of the microlens 120.
- FIG. 3 shows a case where the geometric center of the microlens 120 and the pseudo optical axis coincide with each other.
- the base pixels 132b and 132d are disposed in the vicinity of the adjacent microlens 120, and the base pixel 132c is disposed on the boundary line with the adjacent microlens 120.
- the microlens 120 corresponding to the base pixel 132 is referred to as a base microlens 121.
- the principle of generating a composite image when the subject image shown in FIG. 4A is formed at the apex of the microlens 120, that is, when the focal plane S exists at the apex of the microlens 120 will be described.
- the luminous flux from the subject enters the imaging pixel 131 of the pixel array 130 provided corresponding to the microlens 120.
- the image integration unit 106 integrates the image signals output from the imaged pixels 131 that are shaded among the imaged pixels 131 shown in FIG. 4A, thereby obtaining a composite image signal corresponding to one pixel of the composite image data. Generate.
- the image accumulating unit 106 generates composite image data by performing this process on the pixel array 130 corresponding to all the microlenses 120.
- the image integrating unit 106 needs to also use the image signal from the imaging pixel 131 arranged corresponding to the microlens 120 arranged in the vicinity of the base microlens 121 in order to generate the composite image signal. is there.
- a plurality of base pixel 132 is set for one base micro lens 121, that is, the base pixel 132 is provided at a position different from the position corresponding to the pseudo optical axis of the micro lens 120. It has been.
- the image integration unit 106 integrates all image signals output from the imaging pixels 131 included in the integration region determined according to the aperture value of the composite image, thereby obtaining one pixel in the composite image data (image formation region of the composite image). ) Is generated.
- the integrated area is represented by a circle having a diameter D.
- FIG. 5 shows the relationship between the integration region Rs and the imaging pixel 131.
- the image integration unit 106 integrates the image signals output from all the imaging pixels 131 covered by the integration region Rs represented as a circular region.
- the imaging pixel 131 that outputs the integrated image signal is indicated by hatching.
- the microlens 120 is one of the lenses constituting the microlens array 12
- the integrated region Rs cannot be made larger than the diameter of each microlens 120 allowed by the arrangement of the microlenses 120. Therefore, the maximum aperture value Fmax allowed in the composite image data is expressed by the following equation (2).
- “s” indicates the size of one side of the imaging pixel 131.
- the minimum aperture value Fmin in the composite image data is the F value of the microlens 120.
- Fmax f / s (2)
- the composite image signal obtained by integrating the image signals output from the pixel array 130 including the base pixel 132 by the image integration unit 106, that is, the integrated value is expressed by the following equation (3).
- P indicates the output value of the image signal output from the imaging pixel 131.
- “i” in Expression (3) indicates the imaging pixel 131 covered by the integration region Rs when the aperture value F of the composite image is “0”, and “0” corresponds to the pixel array 130 including the base pixel 132. This indicates that the microlens 120 is arranged, that is, the base microlens 121.
- the image integration unit 106 performs integration using the image signal output from the imaging pixel 131 included in the pixel array 130 corresponding to the microlens 120 provided in the vicinity of the base microlens 121. That is, the image integration unit 106 includes all the imaging pixels 131 included in the set F ⁇ i ⁇ of imaging pixels 131 covered by the integration region Rs determined by the aperture value F of the composite image, and includes the base microlens 121. The output values of the pixel signals from the imaging pixels 131 arranged corresponding to the neighboring microlens 120 are integrated. In this case, the output value P is expressed by the following equation (4). Note that “t” in Expression (4) represents the neighboring microlens 120 including the base microlens 121.
- FIG. 6 shows the relationship between the imaging pixel 131 that has output an image signal used when generating one composite image signal by the image integration unit 106, the base microlens 121, and the adjacent microlenses 120a to 120f. Show. FIG. 6 shows a case where a composite image signal is generated for the base point signal output from the base point pixel 132a.
- the imaging pixels 131 dispersed in the microlenses 120a to 120f adjacent to the base microlens 121 shown in FIG. 6 are collected, they are covered with an area defined by the aperture value F of the composite image shown in FIG.
- a plurality of imaging pixels 131 are configured.
- the imaging pixel 131 that outputs the image signal to be added to the base signal is arranged at which position of the pixel array 130 corresponding to any microlens 120. It is important that Therefore, a table that is information indicating the microlens 120a to 120f corresponding to which microlens 120a to 120f is provided with the imaging pixel 131 indicated by “i” in the equations (3) and (4), is synthesized. It is stored in a predetermined storage area as a pixel affiliation table.
- FIG. 10 shows an optical cross section LFD of a light beam LF emitted from the light spot LP and cut off by the light receiving surface of the imaging pixel 131 in the microlens array 12.
- the light beam LF that spreads from the light spot LP is limited by the spread angle by the preceding imaging lens L1. Therefore, the light beam LF incident on each microlens 120 does not protrude outside the covered area of the microlens 120 (in FIG. 10, the optical cross sections LFDc and LFDe partially protrude outside the covered area).
- Drawing shows an optical cross section LFD of a light beam LF emitted from the light spot LP and cut off by the light receiving surface of the imaging pixel 131 in the microlens array 12.
- the light receiving surface of the imaging pixel 131 is optically conjugate with the pupil of the imaging lens L1.
- a photographing pupil image that is, a light boundary is formed in an area covered by the microlens 120, and the light beam LF is not incident on the outside thereof.
- the image integration unit 105 only has to calculate the optical section LFD of the light receiving element surface of the imaging pixel 131 with respect to the z-axis direction coordinate of the light spot LP when integrating the image signal.
- the light beam LF always travels in the same direction as the incident, and thus the “light spot LP” is the light beam LF. It becomes the accumulation point of.
- the angle of the light beam LF spreading from the light spot LP is determined by the pupil of the photographing lens L1, that is, the F value of the imaging lens L1.
- the maximum aperture is defined by the F value of the microlens 120. Therefore, if only the central part of the covering region of the microlens 120 is used, the opening can be limited.
- FIG. 11 shows a case where the microlenses 120 are in a square array for convenience of explanation.
- the light beam LF spreading from the light spot LP shows the case where the position of the light spot LP in the z-axis direction is the focal length f of the microlens 120 and the double of 2f.
- the spread of the light beam LF when the position of the light spot LP is f is indicated by a broken line, and the case of 2f is indicated by a one-dot chain line.
- the spread of the light beam LP is defined by the microlens 120 (the optical cross section LFD is a circle, but the microlens 120 is optically extended to the end of the square. Therefore, the light beam LF is incident on one microlens 120. As described above, the microlens 120 corresponding to one light spot LP is determined.
- the light beam LF spreads as light of a circular opening over the entire region immediately below the microlens 120. For this reason, it is only necessary to select image signals from all the imaging pixels 131 included in a circle inscribed in the square area.
- the absolute value of the position of the light spot LP is smaller than the focal length f, the light beam LF spreads without converging in the region immediately below the microlens 120.
- the spread angle of the incident light beam LF is limited, the light section LFD remains in the covered region.
- FIG. 12 shows a microlens 120 related to this case.
- the related microlens 120 is itself, that is, the base microlens 121 and the eight microlenses 120 adjacent thereto.
- the optical cross section LFD exists in the covered region indicated by the oblique lines in FIG.
- the optical cross section LFD by each microlens 120 is a region indicated by the oblique lines in FIG.
- the covering region of one base microlens 121 is divided and distributed to the adjacent microlens 120.
- the total area when the divided and distributed covering areas (partial areas) are integrated becomes an opening area of one microlens 120. Therefore, the size of the entire area of the light section LFD is the same at any position of the light spot LP. Therefore, when calculating the total area by adding the partial areas, the microlens to which each partial area belongs. 120 should be decided.
- FIG. 11 shows the relationship between the position of the light spot LP and the magnification, that is, the number of microlenses 120 adjacent to the base microlens 121, and this is applied to a virtual aperture region.
- a method is used in which an aperture region is divided by an array of microlenses 120 reduced in magnification, and fragments of the aperture region are arranged at the same position in the microlens 120 defined by this.
- a case will be described as an example where a square circumscribing the opening area is reduced by a magnification of 2 and the opening area is divided (area division) by the arrangement of the microlenses 120.
- FIG. 13 shows an optical cross-section LFD when the above-mentioned area division is developed on the base microlens 121.
- a pattern of the optical section LFD with respect to the magnification that is, the light spot LP is obtained.
- the diameter of the microlens 120 the size of one side of the microlens
- the opening area is divided by a grid having a g / m width.
- There is also a negative sign in the ratio m When the sign of the ratio m is negative, it is assumed that there is a light spot LP on the image sensor 13 side from the microlens 120.
- the light spot LP exists on the pseudo optical axis which is the lens central axis of a certain microlens 120, but there is no problem in calculation even if it is actually decentered. If it is possible to calculate only on the center of the lens, the two-dimensional resolution of the composite image is equal to the number of microlenses 120, but this is usually not sufficient. The reason is that if the number of imaging pixels 131 covered by the microlens 120 is 100, the resolution of the composite image is 1/100 of the number of pixels. For this reason, in order to obtain a composite image of 1 million pixels, 100 million imaging pixels 131 are required. Therefore, synthesis at an eccentric position is performed so that a plurality of light spots LP can be accommodated in the microlens 120.
- the product of the area covered by the microlens 120 and the number of the microlenses 120 is substantially equal to the total number of pixels of the imaging pixel 131, synthesis is performed based on each of a plurality of eccentric points within one microlens 120. This is equivalent to using the image signal from the imaging pixel 131 superimposed. That is, the light beam LF from each decentered light spot LP is superimposed on the imaging pixel 131.
- magnification is 1, this calculation is merely an interpolation operation and does not substantially contribute to the resolution improvement. This indicates that if the image is formed near the apex of the microlens 120, information in the depth direction is optically lost.
- FIG. 14 illustrates a divided region for the light spot LP decentered to the left with respect to the pseudo optical axis of the base microlens 121. Described below is the case where the height (position) of the light spot LP is 2f by decentering from the center of the base microlens 121 (with the lens diameter g), that is, the pseudo optical axis by p in the left direction in FIG.
- a point O1 indicates an eccentric light point LP
- a point O2 indicates a pseudo optical axis.
- the divided region shown in FIG. 14 can be obtained.
- the microlens 120 is divided into 16, the coordinates of the lens center (pseudo optical axis) are (0, 0), and ⁇ g / 2, ⁇ g / 4, 0, If the pattern of the position of g / 4, g / 2, the divided area by the pattern, and the total of the whole area are integrated, 16 light spot groups can be obtained for one microlens 120.
- the image integration unit 106 refers to the composite pixel affiliation table when integrating image signals.
- the imaging pixel 131 that outputs an image signal to be synthesized with the base point signal is the pixel array 130 corresponding to the base microlens 121 and the microlens 120 provided in the vicinity. Determine if it is placed in position.
- the table generation unit 105 When the focus position y of the composite image and the aperture value F (depth of field) of the composite image are determined, the table generation unit 105 combines the image pickup pixels 131 that output an image signal to be combined with the base point signal. Create a pixel affiliation table. As described above, which image signal from which imaging pixel 131 corresponding to which microlens 120 is added to the base point signal is determined by the focal position of the composite image.
- FIG. 6A shows a case where the focus position (focal plane) y of the composite image exists on the subject side with respect to the microlens array 12.
- FIG. 6B shows a case where the focus position (focal plane) y of the composite image exists on the image sensor 13 side with respect to the microlens array 12.
- the imaging pixel 131 corresponding to the microlens 120a the arrangement of the imaging pixel 131 that outputs an image signal integrated with the base point signal according to the position of the focal plane. Is different.
- the other microlenses 120b to 120f and the base microlens 121 are similarly different.
- the table creation unit 105 creates a composite pixel affiliation table for each base pixel 132 when there are a plurality of base pixels 132 in the base microlens 121 (for example, base pixels 132a to 132d in FIG. 3). However, if the plurality of base point pixels 132 are symmetric with respect to the pseudo optical axis of the base point micro lens 121, the image integration unit 106 combines the composite pixel affiliation table of a base point pixel 132 with another base point pixel 132. Can be used as a pixel affiliation table. For example, the image integrating unit 106 can use the combined pixel belonging table of the base pixel 132 b in FIG. 3 as the combined pixel belonging table of the base pixel 132 d that is symmetric with respect to the pseudo optical axis of the base microlens 121.
- the synthetic pixel affiliation table creation process by the table creation unit 105 will be described in detail.
- the imaging pixel 131 receives the light beam formed by the corresponding microlens 120
- the light from the subject from the focal position y of the composite image is irradiated by each microlens 120 on the imaging surface of the imaging device 13.
- the light width l is expressed by a ring-shaped region having a width l (hereinafter referred to as a ring zone) on the two-dimensional plane of the image sensor 13. Therefore, in the microlens 120 arranged at the nth position from the base microlens 121, the light beam defined by the aperture value F of the composite image enters the region indicated by the annular zone l. As shown in Expression (7), the width of the annular zone l decreases as the focal position y of the composite image increases.
- each microlens 120 in the xy plane is a hexagon as shown in FIG. 3, and is arranged on the microlens array 12 in a honeycomb configuration.
- the image integration unit 106 calculates the output value Pi, s of the image signal from the imaging pixel 131 included in each of the partial regions Rpa to Rpg of the annular zone 11. Similarly, the image integration unit 106 may perform integration over the integration region Rs, that is, all the annular zones l.
- the table creation unit 105 determines which partial region Rp an imaging pixel 131 belongs to for each imaging pixel 131 included in each of the partial regions Rpa to Rpg constituting the annular zone l1.
- the focal position (focal length) of the composite image is set to y with the virtual bent surface of the microlens 120 as a reference.
- each microlens 120 in the microlens array 12 is multiplied by the projection magnification f / y and projected onto the integration region Rs, the partial region in which the annular zone l is divided by each microlens 120. It corresponds to each of Rp.
- the table creating unit 105 associates the position of the imaging pixel 131 included in the partial region Rp with the microlens 120 corresponding to the partial region Rp, and creates a composite pixel affiliation table of the base pixel 132a.
- the table creation unit 105 creates a composite pixel affiliation table in the same manner for the other base pixels 132b to 132d. Note that the position of the microlens 120 corresponding to the partial region Rp is specified as a relative position based on the position of the base microlens 121.
- the table creation unit 105 creates a composite pixel affiliation table in the same manner for the base point pixels 132b to 132d when the base point pixel 132 is not arranged on the pseudo optical axis of the base point microlens 121.
- the table creation unit 105 enlarges or reduces the arrangement pitch d of the microlens 120 by the projection magnification around the base pixel 132c that is eccentric from the pseudo optical axis of the base microlens 121. And projecting onto the integration region Rs.
- the positional relationship between the microlens 120 and the imaging pixel 131 that is, the size (arrangement interval) of the microlens 120 and the arrangement pitch of the imaging pixel 131 are proportional.
- the table creation unit 105 performs the same calculation for each microlens 120.
- the control circuit 101 causes the image sensor 13 to start capturing a subject image and output an image signal.
- the image signal output from the image sensor 13 is converted into a digital image signal by the A / D conversion circuit 102 and stored in the memory 103.
- the image integrating unit 106 generates composite image data using the image signal stored in the memory 103.
- the table creation unit 105 When the control circuit 101 determines the aperture value F and the focus position y of the composite image according to the operation of the aperture value input button 108a and the focus position input button 108b by the user, the table creation unit 105, as described above, the composite pixel affiliation table. Create Since the integrated region Rs is determined by the aperture value F of the composite image, the table creation unit 105 calculates the projection magnification based on the determined focal position y of the composite image, and determines the partial region Rp of the integrated region Rs. Then, the table creation unit 105 creates a composite pixel affiliation table based on the imaging pixels 131 included in the determined partial region Rp, and stores it in a predetermined storage region.
- the image accumulating unit 106 generates composite image data for the image signal stored in the memory 103 using the stored composite pixel affiliation table.
- the image integration unit 106 may generate a composite image signal by generating a composite image signal for each pixel array 130 corresponding to each microlens 120, or may perform a composite image data generation process according to the array order of the base pixel 132.
- a composite image data may be generated by generating a signal.
- the image integration unit 106 selects the base point microlens 121 from each of the microlenses 120 and determines the integration region Rs around the pseudo optical axis of the base point microlens 121.
- the pseudo optical axis is the intersection of the center of the light beam incident from the pupil of the photographing lens L1 and the main surface of the microlens 120.
- the pseudo-optical axis is shifted from the geometric center of the microlens 120 in the peripheral portion of the microlens array 12, that is, the microlens 120 arranged corresponding to the position where the image height of the subject image is high. Therefore, when the pupil position of the photographic lens L1 is fixed, the microlens 120 is designed so that each imaging pixel 131 of the imaging element 13 and the pseudo optical axis of the microlens 120 are in a proportional relationship. Is preferred.
- the table creation unit 105 performs normalization by interpolating the position of the imaging pixel 131 for each micro lens 120 with respect to the pseudo optical axis.
- a normalization method for example, a known bicubic method or a nearest neighbor method is used.
- the composite pixel affiliation table is created by the table creation unit 105 based on the normalized position of the imaging pixel 131 as described above. Therefore, the image integration unit 106 refers to the composite pixel affiliation table, integrates the image signals output from the imaging pixels 131 in the integration region Rs determined by the aperture value F of the composite image, and obtains composite image data. Generate.
- the image normalization unit 107 performs normalization processing on the composite image data. Since the pitch of the composite image data generated by the image integration unit 106 is determined based on the proportional relationship between the array of the microlens 120 and the array of the imaging pixels 131, the horizontal and vertical pixels of the composite image data are determined. The pitch is different. As shown in FIG. 3, when the microlens 120 has a honeycomb array having a hexagonal shape and each pixel array 130 includes four base pixel 132, the ratio between the horizontal direction and the vertical direction is expressed by the following formula (8). It becomes like this.
- the image normalization unit 107 performs normalization by performing an interpolation operation in the vertical direction or the horizontal direction using, for example, a known nearest neighbor method or a bicubic method. As a result, the image normalization unit 107 converts the ratio of the composite image data between the horizontal direction and the vertical direction to 1: 1.
- a plurality of microlenses 120 are two-dimensionally arranged in the vicinity of the focal plane of the photographic lens L1, and the image sensor 13 receives the light flux from the subject that has passed through the photographic lens L1 via the microlens 120 and receives an image.
- a pixel array 130 including a plurality of imaging pixels 131 that output signals is two-dimensionally arranged corresponding to each of the microlenses 120.
- the image integrating unit 106 is used for generating a composite image signal for each imaging region in order to generate a composite image signal corresponding to an arbitrary focal position of the photographing lens L1, that is, a plurality of imaging regions on the imaging surface.
- the image signal output from the imaging pixel 131 is synthesized based on the information specifying the position of the imaging pixel 131 that outputs the image signal to be output, that is, the synthesized pixel affiliation table.
- the image signal output corresponding to the light beam that has passed the coordinates corresponding to the center position of the microlens 120 is combined, and the composite image data A composite image signal corresponding to one pixel is generated. That is, the number of pixels of the composite image data, that is, the resolution is equal to the number of arrangement of the microlenses 120. It is assumed that the diameter of one microlens 120 corresponds to 10 pixels of the imaging pixel 131, that is, the imaging pixels 131 of 10 ⁇ 10 pixels are arranged corresponding to one microlens 120. In this case, since the number of pixels of the composite image data is equal to the number of arrangement of the microlenses 120, the image density is 1/100. That is, even if the imaging device 13 has the imaging pixel 131 of 10 million pixels, the generated composite image data is 100,000 pixels.
- the digital camera 1 of the present embodiment is provided with four base pixels 132 for generating a composite image signal corresponding to one pixel of the composite image data for one microlens 120.
- the resolution can be increased as compared with the synthesized image data generated by the digital camera according to the conventional technique, that is, the resolution can be increased more than the number of the arrangement of the microlenses 120, so that the quality of the synthesized image is improved.
- the table creation unit 105 creates a synthesized pixel affiliation table indicating the position of the imaging pixel 131 that outputs an image signal to be synthesized with the base point signal from the base point pixel 132. That is, the synthesized image data can be generated without using a complicated calculation using Fourier transform as in the conventional technique. As a result, even when the shape of the microlens 120 on the xy plane is not a rectangular array (for example, a honeycomb array) and the computation by Fourier transform is troublesome, the processing load is reduced and a composite image is generated at high speed. it can.
- the table creation unit 105 creates a composite pixel affiliation table every time the focus position y of the composite image is determined, a vast amount corresponding to each of the focus positions y of the plurality of composite images and the plurality of base point pixels 132. Since it is not necessary to store a large number of tables in advance, a memory capacity can be secured.
- the arrangement intervals of the plurality of base pixels 132 are proportional to the arrangement intervals of the plurality of microlenses 120. That is, the arrangement pitch of the imaging pixels 131 is determined so that the size of the microlens 120 is an integral multiple of the arrangement pitch of the imaging pixels 131.
- the image integrating unit 106 applies the same process as the composite image generation process performed on the base pixel 132 corresponding to a certain microlens 120 to a base pixel 132 corresponding to another microlens 120. By doing so, composite image data can be generated. Therefore, the load required for the composite image generation process can be reduced, and the composite image data can be generated at high speed.
- the table creation unit 105 creates a composite pixel affiliation table for each of the plurality of base point pixels 132a to 132d.
- this combined pixel affiliation table the position where the imaging pixel 131 corresponding to the base pixel 132 is arranged is normalized with reference to the pseudo optical axis of the microlens 120.
- the position where the microlens 120 corresponding to the position where the imaging pixel 131 is disposed is relatively specified with reference to the base microlens 121.
- the image integration unit 106 can select the imaging pixel 131 that outputs an image signal to be combined with the base image signal from the base pixel 132 with reference to the composite pixel affiliation table, so that the composite image data generation processing can be speeded up. realizable.
- the image normalization unit 107 normalizes the composite image data generated by the image integration unit 106 and converts the ratio between the horizontal direction and the vertical direction to 1. Therefore, even when the shape of the microlens 120 on the xy plane is not rectangular, it is possible to generate composite image data in which the ratio between the horizontal direction and the vertical direction is matched, and to prevent deterioration in the image quality of the composite image.
- the digital camera 1 of the embodiment described above can be modified as follows.
- the four base pixels 132 a to 132 d corresponding to one microlens 120 may be arranged at a position eccentric from the pseudo optical axis of the microlens 120.
- FIG. 9A shows an arrangement example of the base pixel 132 in this case.
- the base pixels 132 a to 132 d are arranged at positions that are symmetrical (symmetric) with respect to the pseudo optical axis of the microlens 120.
- the image integrating unit 106 uses the composite pixel affiliation table corresponding to one base pixel 132 as a composite pixel corresponding to the other three base pixels 132.
- the image accumulating unit 106 may use the synthesized pixel affiliation table corresponding to the base pixel 132a as a synthesized pixel affiliation table corresponding to each of the base pixels 132b, 132c, and 132d by rotating by 60 degrees. That is, the table creation unit 105 may create one composite pixel affiliation table for one microlens 120.
- FIG. 9B shows an arrangement example of the microlens 120 and the base pixel 132 in this case.
- the table creation unit 105 creates a composite pixel affiliation table corresponding to the four base pixel 132a to 132d by the same method as the embodiment, and the image integration unit 106 refers to the composite pixel affiliation table.
- Composite image data is generated.
- the ratio between the horizontal direction and the vertical direction of the composite image data is 1, so that the processing by the image normalization unit 107 is not necessary.
- the composite pixel affiliation table is created for the four base pixel 132, but it may be n (n is an integer of 1 or more).
- n is an integer of 1 or more.
- the unit 105 may create 16 types of synthesized pixel affiliation tables. Note that when the number of base pixel 132 corresponding to the base microlens 121 is one, the resolution of the composite image data is equal to the number of arrangement of the microlenses 120.
- the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included.
- the embodiments and modifications used in the description may be configured by appropriately combining them.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、結像光学系を通過した被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定する情報に基づいて、複数の光電変換素子から出力された画像信号を合成する合成部と、を備える。
Description
本発明は、合成画像を生成する撮像装置に関する。
従来から、1つのマイクロレンズに対応して複数の撮像画素を備え、1回の撮影により取得された画像データを撮影後に合成して、任意の焦点位置の画像を生成する撮像装置が知られている(たとえば、特許文献1、2、および非特許文献1)。
Light Field Photography with a Handheld Plenoptic camera, Stanford tech report CTSR2005-02
しかしながら、生成された画像はマイクロレンズの配列数と同じ解像度となり、生成される画像の解像度は撮像画素の配列密度よりも大幅に低下するという問題がある。さらには、合成画像を生成する際の演算処理が非常に煩瑣となるという問題がある。
本発明の第1の態様によると、撮像装置は、結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、結像光学系を通過した被写体からの光束をマイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定する情報に基づいて、複数の光電変換素子から出力された画像信号を合成する合成部と、を備える。
本発明の第2の態様によると、第1の態様の撮像装置において、複数の結像領域は、マイクロレンズと同数以上設けられ、結像領域のそれぞれの配置間隔は、複数のマイクロレンズのそれぞれの配置間隔と比例関係を有することが好ましい。
本発明の第3の態様によると、第1または第2の態様の撮像装置において、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定する情報は、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定するテーブルにより構成されることが好ましい。
本発明の第4の態様によると、第3の態様の撮像装置において、任意の結像面ごとにテーブル作成する作成部を備えることが好ましい。
本発明の第5の態様によると、第3または第4の態様の撮像装置において、テーブルは、結像領域ごとに光電変換素子が配置された位置をマイクロレンズの擬似光軸を基準として正規化し、結像領域に対応するマイクロレンズを基準として、光電変換素子が配置された位置に対応するマイクロレンズが配置された位置を相対的に特定することが好ましい。
本発明の第6の態様によると、第3乃至第5のいずれかの態様の撮像装置において、テーブルは、結像領域を基準としてマイクロレンズの焦点距離を合成画像データの絞り値で除した値を直径とする領域に含まれる光電変換素子が配置された位置が、複数のマイクロレンズのうちのいずれのマイクロレンズに対応しているかを示すことにより、光電変換素子の位置を特定することが好ましい。
本発明の第7の態様によると、第1乃至第6のいずれかの態様の撮像装置において、複数のマイクロレンズのそれぞれは撮影光学系の光軸と直交する平面上で六角形形状を有し、二次元状にハニカム配列されていることが好ましい。
本発明の第8の態様によると、第7の態様の撮像装置において、合成部により生成された合成画像データの水平方向と垂直方向との比率を1に変換する変換手段を備えることが好ましい。
本発明の第2の態様によると、第1の態様の撮像装置において、複数の結像領域は、マイクロレンズと同数以上設けられ、結像領域のそれぞれの配置間隔は、複数のマイクロレンズのそれぞれの配置間隔と比例関係を有することが好ましい。
本発明の第3の態様によると、第1または第2の態様の撮像装置において、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定する情報は、結像領域ごとに合成画像データの生成に使用される画像信号を出力する光電変換素子の位置を特定するテーブルにより構成されることが好ましい。
本発明の第4の態様によると、第3の態様の撮像装置において、任意の結像面ごとにテーブル作成する作成部を備えることが好ましい。
本発明の第5の態様によると、第3または第4の態様の撮像装置において、テーブルは、結像領域ごとに光電変換素子が配置された位置をマイクロレンズの擬似光軸を基準として正規化し、結像領域に対応するマイクロレンズを基準として、光電変換素子が配置された位置に対応するマイクロレンズが配置された位置を相対的に特定することが好ましい。
本発明の第6の態様によると、第3乃至第5のいずれかの態様の撮像装置において、テーブルは、結像領域を基準としてマイクロレンズの焦点距離を合成画像データの絞り値で除した値を直径とする領域に含まれる光電変換素子が配置された位置が、複数のマイクロレンズのうちのいずれのマイクロレンズに対応しているかを示すことにより、光電変換素子の位置を特定することが好ましい。
本発明の第7の態様によると、第1乃至第6のいずれかの態様の撮像装置において、複数のマイクロレンズのそれぞれは撮影光学系の光軸と直交する平面上で六角形形状を有し、二次元状にハニカム配列されていることが好ましい。
本発明の第8の態様によると、第7の態様の撮像装置において、合成部により生成された合成画像データの水平方向と垂直方向との比率を1に変換する変換手段を備えることが好ましい。
本発明によれば、任意の結像面ごとに複数の結像領域のそれぞれの合成画像データを生成するための光電変換素子の位置を特定するテーブルを作成し、テーブルに基づいて合成画像データを生成するので、解像度の高い合成画像データを高速に生成できる。
本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する被写界深度と焦点位置とを有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像を生成する。
さらに、本実施の形態のデジタルカメラは、上記の画像として、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像を生成可能に構成されている。すなわち、1つのマイクロレンズに対応して、合成画像の各画素となる画像信号を出力する撮像画素(基点画素)が複数個設けられている。そして、デジタルカメラは、ユーザの選択に応じた焦点位置の合成画像となるように、基点画素から出力された画像信号に対して周辺に配置された撮像画素から出力された画像信号を加算して、合成画像の1画素分の結像領域に相当する合成画像信号を生成し、焦点位置を可変可能な合成画像を作成する。以下、詳細に説明する。
図1は、実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ1は、撮影レンズL1を有する交換レンズ2が着脱可能に構成されている。デジタルカメラ1は、撮像ユニット100,制御回路101,A/D変換回路102,メモリ103,操作部108,表示器109,LCD駆動回路110およびメモリカードインタフェース111を備える。撮像ユニット100は、多数のマイクロレンズ120が二次元状に配列されたマイクロレンズアレイ12および撮像素子13を備える。なお、以下の説明においては、Z軸を撮影レンズL1の光軸に平行となるように設定され、Z軸と直交する平面内でX軸とY軸とが互いに直交する方向に設定されているものとする。
撮影レンズL1は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図1では撮影レンズL1を説明の都合上1枚のレンズで代表して表している。撮影レンズL1の焦点面近傍に、マイクロレンズアレイ12と撮像素子13とが順に配置される。撮像素子13は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子13は、撮像面上に結像されている被写体像を撮像し、制御回路101により制御されて被写体像に応じた光電変換信号(画像信号)をA/D変換回路102へ出力する。なお、撮像ユニット100の詳細については説明を後述する。
A/D変換回路102は、撮像素子13が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路101は、CPUやメモリその他の周辺回路によって構成される。制御回路101は、制御プログラムに基づいて、デジタルカメラ1を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ1の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路101は、後述するように絞り値入力ボタン108aの操作に応じて操作部108から入力した操作信号に基づいて、ユーザにより選択された合成画像の絞り値を決定する。制御回路101は、後述するように焦点位置入力ボタン108bの操作に応じて操作部108から入力した操作信号に基づいて合成画像の焦点位置を決定する。
制御回路101は、テーブル生成部105、画像積算部106および画像正規化部107を機能的に備える。テーブル生成部105は、絞り値入力ボタン108aの操作に応じて決定された合成画像の絞り値を用いて合成画素所属テーブルを作成する。画像積算部106は、焦点位置入力ボタン108bの操作に応じて決定された合成画像の焦点位置と、テーブル生成部105で作成された合成画素所属テーブルとを用いて、画像信号から合成画像データを生成する。画像正規化部107は、後述するように画像積算部106で生成された合成画像データに対応する合成画像の縦横比(水平方向と垂直方向の比)が1:1となるように補正する。なお、テーブル作成部105,画像積算部106および画像正規化部107については詳細を後述する。
メモリ103は、A/D変換回路102によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース111は、メモリカード111aが着脱可能なインタフェースである。メモリカードインタフェース111は、制御回路101の制御に応じて、画像データをメモリカード111aに書き込んだり、メモリカード111aに記録されている画像データを読み出すインタフェース回路である。メモリカード111aはコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
LCD駆動回路110は、制御回路101の命令に基づいて表示器109を駆動する回路である。表示器109は、たとえば液晶等により構成され、再生モードにおいてメモリカード111aに記録されている画像データに基づいて制御回路101で作成された表示データの表示を行う。また、表示器109には、デジタルカメラ1の各種動作を設定するためのメニュー画面が表示される。
操作部108は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路101へ出力する。操作部108は、絞り値入力ボタン108a,焦点位置入力ボタン108b,電源ボタン,レリーズボタン,その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。絞り値入力ボタン108aは合成画像の絞り値Fを入力する際にユーザにより操作される。ユーザにより絞り値入力ボタン108aが操作され絞り値Fが選択されると、操作部108は操作信号を制御回路101へ出力する。焦点位置入力ボタン108bは合成画像の焦点位置yを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン108bが操作され焦点位置yが選択されると、操作部108は操作信号を制御回路101へ出力する。
次に、撮像ユニット100の構成について詳細に説明する。撮像ユニット100は、上述したようにマイクロレンズアレイ12と撮像素子13とを有する。マイクロレンズアレイ12は、二次元状に配列された複数のマイクロレンズ120により構成される。撮像素子13には、上記の各マイクロレンズ120を通過した光を受光する画素配列130が、マイクロレンズ120に対応した配置パターンで配置されている。各々の画素配列130は、二次元状に配列された複数の光電変換素子131(以下、撮像画素131と呼ぶ)により構成される。
図2(a)にマイクロレンズアレイ12に配列されるマイクロレンズ120のXY平面での平面図を示す。図2(a)に示すように、マイクロレンズアレイ12は、XY平面上で、たとえば六角形に形成された複数のマイクロレンズ120がハニカム配列されている。なお、図2(a)はマイクロレンズアレイ12に設けられた複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示す。図2(b)は、撮影レンズL1の光軸方向(Z軸方向)における、撮影レンズL1とマイクロレンズアレイ12と撮像素子13との位置関係を説明する図である。図2(b)に示すように、撮像素子13はマイクロレンズ120の焦点距離fだけ離れた位置に配置される。すなわち、複数の撮像画素131を有する画素配列130は、各画素配列130のそれぞれに対応するマイクロレンズ120の焦点距離fだけ離れた位置に設けられている。なお、図2(b)においては、マイクロレンズアレイ12に設けられた複数のマイクロレンズ120と、撮像素子13に設けられた複数の画素配列130および複数の撮像画素131の一部を示す。
上述した構成を有する撮像素子13から出力された画像信号を用いて、画像積算部106は合成画像データを作成する。画像積算部106は、あるマイクロレンズ120に対応して設けられた画素配列130に含まれる撮像画素131のうち、所定の撮像画素131(以後、基点画素132(図3)と呼ぶ)から出力される画像信号(以後、基点信号と呼ぶ)と、基点画素132に対応するマイクロレンズ120および近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力された画像信号とを合成する。その結果、画像積算部106は、1画素に相当する合成画像信号を生成する。画像積算部106は、各マイクロレンズ120に対応する基点画素の全てに対して上記の処理を行い、生成されたそれぞれの合成画像信号を加算して合成画像データを生成する。
画像積算部106は、上述したように合成画像信号を生成する際に、テーブル作成部105により作成された合成画素所属テーブルを参照する。合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、どのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを示している。以下、画像積算部106が、撮像画素131から出力された画像信号を用いて合成画像信号を生成する処理と、テーブル作成部105が合成画像所属テーブルを作成する処理について説明する。
図3に各マイクロレンズ120、すなわち各画素配列130に対応して設けられる基点画素を示す。図3においても、複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示す。図3に示すように、本実施の形態においては、1つのマイクロレンズ120に対して、たとえば4個の基点画素132a~132dが設けられている。基点画素132の個数を複数にすることにより、焦点位置が可変にできない領域を減ずることができる。すなわち、基点画素132が1個の場合は上記の領域の大きさは±2f(fはマイクロレンズ120の焦点距離)であるが、基点画素132を複数にすることにより上記の領域の大きさを最少で±fにすることができる。さらには、基点画素132の個数を増やすことにより、合成画像データの画素数を増やすことができる。したがって、図3に示す場合では、合成画像データの画素数はマイクロレンズアレイ12に配列されたマイクロレンズ120の個数の4倍となる。
図3では、基点画素132aはマイクロレンズ120の擬似光軸に対応して配置される。なお、本実施の形態では、擬似光軸を、撮影レンズL1の瞳から入射する光束の中心と、マイクロレンズ120の主面との交点として説明する。図3においては、マイクロレンズ120の幾何学的中心と擬似光軸とが一致している場合を示している。基点画素132b,132dは隣接するマイクロレンズ120の近傍付近に配置され、基点画素132cは隣接するマイクロレンズ120との境界線上に対応して配置される。また、以下の説明では、基点画素132に対応するマイクロレンズ120を基点マイクロレンズ121と呼ぶこととする。
-合成画像信号の生成-
まず、図4(a)に示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部106は、図4(a)に示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。
まず、図4(a)に示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部106は、図4(a)に示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。
次に、ある焦点面(結像面)に結像した被写体の像について合成画像信号を生成する場合の原理を説明する。図4(b)に示すように、焦点面Sがマイクロレンズ120の頂点から離れた位置に存在する場合、被写体からの光束は異なる複数のマイクロレンズ120に入射する。このため、画像積算部106は、合成画像信号を生成するために、基点マイクロレンズ121の近傍に配置されたマイクロレンズ120に対応して配置された撮像画素131からの画像信号をも用いる必要がある。本実施の形態においては、1つの基点マイクロレンズ121に対して複数の基点画素132が設定されている、すなわちマイクロレンズ120の擬似光軸に対応する位置とは異なる位置にも基点画素132が設けられている。
画像積算部106は、合成画像の絞り値に応じて決定される積算領域に含まれる撮像画素131から出力される画像信号を全て積算することにより合成画像データにおける1画素(合成画像の結像領域)に相当する合成画像信号を生成する。なお、積算領域は直径をDとする円で表される。積算領域の直径Dは、絞り値入力ボタン108aの操作に応じて決定された絞り値(合成画像データの絞り値)Fと、マイクロレンズ120の焦点距離fとを用いて以下の式(1)により表される。
D=f/F ・・・(1)
D=f/F ・・・(1)
図5は、積算領域Rsと撮像画素131との関係を示す。上述したように、画像積算部106は、円形領域として表された積算領域Rsに被覆される全ての撮像画素131から出力された画像信号を積算する。図5においては、積算される画像信号を出力する撮像画素131に斜線を付して示している。マイクロレンズ120は、マイクロレンズアレイ12を構成するレンズの1つなので、マイクロレンズ120の配列により許容される各マイクロレンズ120の直径よりも積算領域Rsを大きくすることはできない。したがって、合成画像データで許容される最大の絞り値Fmaxは、以下の式(2)で表される。なお、式(2)において「s」は撮像画素131の一辺の大きさを示す。また、合成画像データにおける最小の絞り値Fminはマイクロレンズ120のF値となる。
Fmax=f/s ・・・(2)
Fmax=f/s ・・・(2)
画像積算部106によって、基点画素132を含む画素配列130から出力された画像信号が積算された合成画像信号、すなわち積算値は以下の式(3)で表される。なお、式(3)においては、Pは撮像画素131から出力される画像信号の出力値を示す。また、式(3)の「i」は合成画像の絞り値Fのときに積算領域Rsに被覆される撮像画素131を示し、「0」は基点画素132が含まれる画素配列130に対応して配置されるマイクロレンズ120であること、すなわち基点マイクロレンズ121であることを表している。
上述したように、画像積算部106は、基点マイクロレンズ121の近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力される画像信号も用いて積算を行う。すなわち、画像積算部106は、合成画像の絞り値Fよって決まる積算領域Rsに被覆される撮像画素131の集合F{i}に含まれる全ての撮像画素131であって、基点マイクロレンズ121を含む近傍のマイクロレンズ120に対応して配置された撮像画素131からの画素信号の出力値を積算する。この場合、出力値Pは以下の式(4)で表される。なお、式(4)の「t」は、基点マイクロレンズ121を含む近傍のマイクロレンズ120を表す。
図6は、画像積算部106によって1つの合成画像信号を生成する際に用いられた画像信号を出力した撮像画素131と、基点マイクロレンズ121および近傍に隣接するマイクロレンズ120a~120fとの関係を示す。なお、図6では、基点画素132aから出力された基点信号に対して合成画像信号を生成した場合を示す。図6に示す基点マイクロレンズ121と隣接するマイクロレンズ120a~120fに分散する各撮像画素131を集めると、図5に示す合成画像の絞り値Fにより規定される領域、すなわち積算領域Rsで被覆される複数の撮像画素131を構成することになる。
画像積算部106が上述した処理を行って画像信号を積算する際には、基点信号に加える画像信号を出力する撮像画素131が何れのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかが重要となる。そのため、式(3)、(4)において「i」で示される撮像画素131がどのマイクロレンズ120a~120fに対応して設けられているか、すなわち撮像画素131の分散を示す情報であるテーブルが合成画素所属テーブルとして所定の格納領域に格納されている。そして、画像積算部106は合成画像信号を生成する際にこの合成画素所属テーブルを参照する。なお、合成画素所属テーブルは以下の式(5)で表されるものとする。
t=Td(i) ・・・(5)
t=Td(i) ・・・(5)
以下、合成画素所属テーブルの作成原理について説明する。
図10は、マイクロレンズアレイ12において、光点LPから発し、撮像画素131の受光面で切り取られる光束LFの光断面LFDを示す。図10に示すように、光点LPから広がる光束LFは、その前段の撮像レンズL1によって、広がり角の制限を受ける。そのため、各マイクロレンズ120にそれぞれ入射した光束LFは、マイクロレンズ120の被覆領域の外にはみ出すことはない(図10では、光断面LFDc、LFDeは一部被覆領域外にとび出しているように作図されている)。これは、撮像画素131の受光面が撮像レンズL1の瞳と光学的に共役であることによっても説明できる。撮像レンズL1を介して撮影をおこなう場合、マイクロレンズ120が被覆する領域の中に撮影瞳像、つまり光の境界ができ、その外側には光束LFは入射しない。
図10は、マイクロレンズアレイ12において、光点LPから発し、撮像画素131の受光面で切り取られる光束LFの光断面LFDを示す。図10に示すように、光点LPから広がる光束LFは、その前段の撮像レンズL1によって、広がり角の制限を受ける。そのため、各マイクロレンズ120にそれぞれ入射した光束LFは、マイクロレンズ120の被覆領域の外にはみ出すことはない(図10では、光断面LFDc、LFDeは一部被覆領域外にとび出しているように作図されている)。これは、撮像画素131の受光面が撮像レンズL1の瞳と光学的に共役であることによっても説明できる。撮像レンズL1を介して撮影をおこなう場合、マイクロレンズ120が被覆する領域の中に撮影瞳像、つまり光の境界ができ、その外側には光束LFは入射しない。
上記の点を前提として説明する。図10のマイクロレンズアレイ12で、光束LFの光断面LFDa~LFDe(総称する場合にはLFD)に対応する撮像画素131a~131eへの入射光量を積算すれば、光点LPからの光束LFのうち、撮影レンズL1の瞳に制限された光束LFの全輻射量が得られる。したがって、画像積算部105は、画像信号を積算する際に、光点LPのz軸方向の座標に対する、撮像画素131の受光素子面の光断面LFDを演算すればよいことになる。逆に、表示素子を設け光束LFの各光断面LFDに対応するそれぞれの表示素子から光を出射すれば、入射と同じ方向に進む光束LFは必ず存在するから、「光点LP」は光束LFの集積点となる。
上記のように、光点LPから広がる光束LFの角度は撮影レンズL1の瞳、すなわち、撮像レンズL1のF値で決まる。なお、表示系などのように、撮像レンズL1が存在しない場合には、マイクロレンズ120のF値で開口の最大(Fの最小)が規定される。したがって、マイクロレンズ120の被覆領域の中心部だけ使えば、開口を制限できる。
図11を用いて、いくつ、あるいは、どのマイクロレンズ120といずれの光断面LFDとが対応するかについて、光点LPからの光束LFの広がりをマイクロレンズ120上に投影することにより説明する。なお、図11においては、説明の都合上、マイクロレンズ120が正方配列の場合を示す。また、図11では、光点LPから広がる光束LFは、光点LPのz軸方向の位置がマイクロレンズ120の焦点距離fの場合と、その二倍の2fの場合とについて示している。図11においては、光点LPの位置がfの場合の光束LFの広がりを破線で示し、2fの場合を一点鎖線で示す。光点LPがマイクロレンズ120の焦点距離fの位置にあると、光束LPの広がりはマイクロレンズ120で規定されている(光断面LFDを円とするが、マイクロレンズ120が正方形の端まで光学的に有効ならば正方形になる)ので、ひとつのマイクロレンズ120内に光束LFが入射する。以上により、ひとつの光点LPに対応するマイクロレンズ120が決まる。
光点LPの位置がマイクロレンズ120の焦点距離fのときは、光束LFはそのマイクロレンズ120の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての撮像画素131からの画像信号を選択すればよい。光点LPの位置の絶対値が焦点距離fより小さい場合には、光束LFはマイクロレンズ120の直下の領域内で収束せずに広がる。しかし、入射光束LFの広がり角の制限を受けているために、光断面LFDは被覆領域にとどまる。
ここで光点LPの位置が2fにある場合について説明する。図12に、この場合に関係するマイクロレンズ120を示す。図12(a)に示すように、関係するマイクロレンズ120は自身、すなわち基点マイクロレンズ121とそれに隣接する8個のマイクロレンズ120である。マイクロレンズ120による開口の制限を考えるとしたとき、図12(a)において斜線で示す被覆領域のなかに光断面LFDは存在することになる。この場合、各マイクロレンズ120による光断面LFDは、図12(b)の斜線で示す領域となる。
図12(b)に示すように、ひとつの基点マイクロレンズ121の被覆領域が分割され、隣接するマイクロレンズ120に配分されている。分割され配分された被覆領域(部分領域)を積算した場合の全領域は、ひとつのマイクロレンズ120の開口領域になる。そのため、どのような位置の光点LPでも光断面LFDの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属するマイクロレンズ120が決まればよいことになる。
図11において、光点LPの位置と、倍率つまり基点マイクロレンズ121に隣接するマイクロレンズ120との個数と関係について示したが、これを仮想的な開口領域に適用する。本実施の形態では、倍率で縮小したマイクロレンズ120の配列で開口領域を分割し、これで定義されたマイクロレンズ120の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率2で縮小し、マイクロレンズ120の配列で開口領域を分割(領域分割)した場合を例に説明する。
図13は、上記の領域分割を基点マイクロレンズ121に展開した場合の光断面LFDを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点LPに対する光断面LFDのパターンが得られる。具体的には、マイクロレンズ120の径(マイクロレンズの一辺の大きさ)をgとするとき、g/m幅の格子で開口領域が分割される。倍率は、光点LPの高さ(位置)yとマイクロレンズの焦点距離fとの比m=y/fで表すことができる。比mには負の符号も存在する。比mの符合が負の場合には、マイクロレンズ120より撮像素子13側に光点LPがあるものとする。
上記の例では、光点LPはあるマイクロレンズ120のレンズ中心軸である疑似光軸上に存在するものとして説明したが、実際には偏心していても計算上問題はない。レンズ中心上しか演算できないとすると、合成画像の二次元的な分解能はマイクロレンズ120の個数と等しくなるが、通常これではまったく不十分である。その理由は、マイクロレンズ120に被覆される撮像画素131の数を100とすると、合成画像の分解能は画素数の1/100になるためである。このため、100万画素の合成画像を得るためには、1億個の撮像画素131が必要となる。そこで、偏心位置での合成を行い、マイクロレンズ120内に複数の光点LPが対応可能となるようにする。
マイクロレンズ120による被覆領域とマイクロレンズ120の個数との積は、ほぼ撮像画素131の全画素数に等しくなるから、ひとつのマイクロレンズ120内で偏心した複数の点のそれぞれを基点にして合成することは、撮像画素131からの画像信号を重畳して使用することに等しい。すなわち、各偏心した光点LPからの光束LFが重畳して撮像画素131上に存在している。ただし、倍率が1倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、マイクロレンズ120頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
図14は、基点マイクロレンズ121の疑似光軸に対して左に偏心した光点LPについての分割領域を表したものある。基点マイクロレンズ121(レンズ径をgとする)の中心、すなわち疑似光軸から図14の左方向へpだけ偏心して、光点LPの高さ(位置)が2fの場合について説明する。なお、図14において、点O1は偏心した光点LPを示し、点O2は疑似光軸を示す。この場合、図13に示すマイクロレンズ120を図中の右方向へpだけずらし、開口領域を分割すれば、図14に示す場合の分割領域が得られる。
マイクロレンズ120を16個に分割するとすれば、レンズ中心(疑似光軸)の座標を(0,0)として、x軸y軸に対して、それぞれ-g/2、-g/4、0、g/4、g/2の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ120に対して16点の光点群を得ることができる。
-合成画素所属テーブルの作成処理-
画像積算部106は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。
画像積算部106は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。
テーブル生成部105は、合成画像の焦点位置yと合成画像の絞り値F(被写界深度)とが決定されると、基点信号に合成するための画像信号を出力する撮像画素131についての合成画素所属テーブルを作成する。上述したように、何れのマイクロレンズ120に対応する何れの撮像画素131からの画像信号が基点信号に積算されるかは、合成画像の焦点位置により決定される。
図6(a)は、合成画像の焦点位置(焦点面)yがマイクロレンズアレイ12に対して被写体側に存在する場合を示している。また、図6(b)は、合成画像の焦点位置(焦点面)yがマイクロレンズアレイ12に対して撮像素子13側に存在する場合を示している。図6(a)および図6(b)に示すように、マイクロレンズ120aに対応する撮像画素131に関して、焦点面の位置に応じて基点信号に積算される画像信号を出力する撮像画素131の配置が異なっている。他のマイクロレンズ120b~120fおよび基点マイクロレンズ121についても同様に異なっている。
テーブル作成部105は、基点マイクロレンズ121に複数の基点画素132が存在する場合(たとえば図3の基点画素132a~132d)には、それぞれの基点画素132に対して合成画素所属テーブルを作成する。ただし、複数の基点画素132が基点マイクロレンズ121の擬似光軸に対して対称(シンメトリック)であれば、画像積算部106はある基点画素132の合成画素所属テーブルを他の基点画素132の合成画素所属テーブルとして利用できる。たとえば、画像積算部106は、図3の基点画素132bの合成画素所属テーブルを基点マイクロレンズ121の擬似光軸に対して対称な基点画素132dの合成画素所属テーブルとして利用できる。
以下、テーブル作成部105による合成画素所属テーブルの作成処理について詳細に説明する。以下の説明においては、代表して、基点マイクロレンズ121の擬似光軸に対応して配置された基点画素132aの合成画素所属テーブルの作成処理について行う。合成画像の焦点面がマイクロレンズアレイ12から距離yの位置に存在する、すなわち焦点距離がyであるとする。さらに、基点マイクロレンズ121からn番目のマイクロレンズ120の擬似光軸を通過する光束は、以下の式(6)で示すように、基点マイクロレンズ121の擬似光軸から距離xの位置に入射する。なお、「d」は各マイクロレンズ120の配列ピッチを示す。
x=fnd/y ・・・(6)
x=fnd/y ・・・(6)
撮像画素131が対応するマイクロレンズ120により結像される光束を受光することを考慮すると、合成画像の焦点位置yからの被写体からの光のうち撮像素子13の撮像面において各マイクロレンズ120により照射される光の幅lは、以下の式(7)により表される。
l=fd/y ・・・(7)
l=fd/y ・・・(7)
上記の光の幅lは、撮像素子13の二次元平面上においては、幅lの輪状の領域(以後、輪帯と呼ぶ)で表わされる。したがって、基点マイクロレンズ121からn番目の位置に配置されたマイクロレンズ120において、合成画像の絞り値Fにより規定された光束はこの輪帯lで示される領域内に入射する。式(7)に示すように、合成画像の焦点位置yが大きくなるほど輪帯lの幅は小さくなる。
本実施の形態においては、それぞれのマイクロレンズ120のxy平面における形状は図3に示すように六角形であり、マイクロレンズアレイ12上にハニカム配列されている。図7に、ある合成画像の絞り値Fに対応する積算領域Rsのうち、n=1の場合の輪帯l1およびn=2の場合の輪帯l2を示す。図7に示すように、n=1の場合の輪帯l1は基点マイクロレンズ121およびマイクロレンズ120a~120fにより区分されそれぞれ部分領域Rpa~Rpgを形成する。すなわち、各部分領域Rpa~Rpgはそれぞれ異なるマイクロレンズ120により被覆されている。したがって、画像積算部106は、輪帯l1の各部分領域Rpa~Rpgに含まれる撮像画素131からの画像信号の出力値Pi,sを算出する。そして、画像積算部106は、同様にして、積算領域Rs、すなわちすべての輪帯lについて積算すればよいことになる。
基点マイクロレンズ121および各マイクロレンズ120a~120fに関して、隣接するマイクロレンズ120の関係は基本的に同様である。したがって、テーブル作成部105は、輪帯l1を構成している部分領域Rpa~Rpgのそれぞれに含まれる各撮像画素131について、ある撮像画素131がいずれの部分領域Rpに属するかを決定する。
基点画素132aに対して、積算される画像信号を出力する撮像画素131が含まれる積算領域Rsの径を(D=f/F)とする。また、各マイクロレンズ120のx軸方向(水平方向)の配列ピッチd、換言すると六角形形状の各マイクロレンズ120のそれぞれに内接する円の径を、積算領域Rsの径の最大値Dmaxに等しいものとする。さらに、合成画像の焦点位置(焦点距離)をマイクロレンズ120の仮想屈曲面を基準としてyとする。この場合に、マイクロレンズアレイ12における各マイクロレンズ120の配列ピッチdを投射倍率であるf/y倍して積算領域Rs上に投影すると、各マイクロレンズ120によって輪帯lが分割された部分領域Rpのそれぞれに相当する。テーブル作成部105は、部分領域Rpに含まれる撮像画素131の位置と、部分領域Rpに対応するマイクロレンズ120とを対応付けして、基点画素132aの合成画素所属テーブルとして作成する。テーブル作成部105は、他の基点画素132b~132dについても同様にして合成画素所属テーブルを作成する。なお、部分領域Rpに対応するマイクロレンズ120の位置は、基点マイクロレンズ121の位置を基準とした相対位置として特定される。
なお、テーブル作成部105は、基点画素132が基点マイクロレンズ121の擬似光軸上に配置されていない場合、すなわち基点画素132b~132dについても同様にして合成画素所属テーブルを作成する。たとえば2つのマイクロレンズ120の境界線上に配置された基点画素132cのように基点マイクロレンズ121の擬似光軸から偏芯している場合について説明する。この場合、テーブル作成部105は、図8に示すように、基点マイクロレンズ121の擬似光軸から偏芯した基点画素132cを中心として、マイクロレンズ120の配列ピッチdを投射倍率で拡大または縮小して、積算領域Rs上に投影する。
なお、マイクロレンズ120と撮像画素131との位置関係、すなわちマイクロレンズ120の大きさ(配置間隔)と撮像画素131の配列ピッチとが比例関係であることが望ましい。図3に示すように、マイクロレンズ120の内部が撮像画素131の配列ピッチの整数倍となるように撮像画素131の配列ピッチを決定すると、テーブル作成部105は、マイクロレンズ120ごとに同一の演算を繰り返すことにより、式(5)で示す合成画素所属テーブルを作成することができる。
以上で説明したデジタルカメラ1の動作を説明する。ユーザによるレリーズスイッチの操作に応じて操作部108から操作信号が出力されると、制御回路101は撮像素子13に被写体像の撮像を開始させ、画像信号を出力させる。撮像素子13から出力された画像信号はA/D変換回路102によりデジタルの画像信号に変換されてメモリ103に格納される。画像積算部106は、このメモリ103に格納された画像信号を用いて合成画像データを生成する。
ユーザによる絞り値入力ボタン108aおよび焦点位置入力ボタン108bの操作に応じて制御回路101が合成画像の絞り値Fおよび焦点位置yを決定すると、テーブル作成部105は、上述したように合成画素所属テーブルを作成する。合成画像の絞り値Fにより積算領域Rsが決まるので、テーブル作成部105は、決定された合成画像の焦点位置yに基づいて投射倍率を算出し、積算領域Rsの部分領域Rpを決定する。そして、テーブル作成部105は、決定した部分領域Rpに含まれる撮像画素131に基づいて合成画素所属テーブルを作成して、所定の格納領域に格納する。
画像積算部106は、格納された合成画素所属テーブルを用いて、メモリ103に格納された画像信号に対して合成画像データの生成処理を行う。このとき、画像積算部106は、各マイクロレンズ120に対応する画素配列130ごとに合成画像信号を生成して合成画像データの生成処理を行ってもよいし、基点画素132の配列順序に従って合成画像信号を生成して合成画像データを生成してもよい。
画像積算部106は、各マイクロレンズ120の中から基点マイクロレンズ121を選択して、基点マイクロレンズ121の擬似光軸を中心として積算領域Rsを決定する。上述したように、本実施の形態では、擬似光軸を、撮影レンズL1の瞳から入射する光束の中心と、マイクロレンズ120の主面との交点としている。通常、マイクロレンズアレイ12の周辺部、すなわち被写体象の像高が高い位置に対応して配置されるマイクロレンズ120ほど、擬似光軸はマイクロレンズ120の幾何学上の中心からずれる。したがって、撮影レンズL1の瞳位置が固定されている場合には、撮像素子13の各撮像画素131とマイクロレンズ120の擬似光軸とが比例関係となるようにマイクロレンズ120を設計しておくことが好ましい。
撮像画素131とマイクロレンズ120の擬似光軸とが比例関係にない場合には、テーブル作成部105は擬似光軸を基準としてマイクロレンズ120ごとに撮像画素131の位置を内挿して正規化を行って、合成画素所属テーブルを作成する。正規化の手法としては、たとえば公知のバイキュービック法やニアレストネイバー法などを用いる。
合成画素所属テーブルは、上述したように正規化された撮像画素131の位置に基づいてテーブル作成部105により作成されている。したがって、画像積算部106は、この合成画素所属テーブルを参照して、合成画像の絞り値Fで決定される積算領域Rs内の撮像画素131から出力された画像信号を積算して合成画像データを生成する。画像積算部106により合成画像データが生成されると、画像正規化部107は合成画像データに対して正規化処理を施す。画像積算部106により生成された合成画像データのピッチは、マイクロレンズ120の配列と撮像画素131の配列との比例関係に基づいて決定されているので、合成画像データの水平方向と垂直方向の画素ピッチが異なる。図3に示すようにマイクロレンズ120が六角形形状を有するハニカム配列であり、各画素配列130に4つの基点画素132を含む場合には、水平方向と垂直方向の比が以下の式(8)ようになる。
したがって、画像正規化部107は、垂直方向または水平方向に対して、たとえば公知のニアレストネイバー法やバイキュービック法等を用いて内挿演算を行って正規化を行う。その結果、画像正規化部107により、合成画像データの水平方向と垂直方向の比が1:1に変換される。
以上で説明した実施の形態によるデジタルカメラ1によれば、以下の作用効果が得られる。
(1)複数のマイクロレンズ120を撮影レンズL1の焦点面近傍に二次元状に配置し、撮像素子13には撮影レンズL1を通過した被写体からの光束をマイクロレンズ120を介して受光して画像信号を出力する複数の撮像画素131を含む画素配列130が、マイクロレンズ120のそれぞれに対応して二次元状に配置される。画像積算部106は、撮影レンズL1の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素131の位置を特定する情報、すなわち合成画素所属テーブルに基づいて、撮像画素131から出力された画像信号を合成する。
(1)複数のマイクロレンズ120を撮影レンズL1の焦点面近傍に二次元状に配置し、撮像素子13には撮影レンズL1を通過した被写体からの光束をマイクロレンズ120を介して受光して画像信号を出力する複数の撮像画素131を含む画素配列130が、マイクロレンズ120のそれぞれに対応して二次元状に配置される。画像積算部106は、撮影レンズL1の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素131の位置を特定する情報、すなわち合成画素所属テーブルに基づいて、撮像画素131から出力された画像信号を合成する。
従来の技術では、ある焦点面における合成画像データを生成する場合に、マイクロレンズ120の中心位置に対応する座標を通過した光束に対応して出力された画像信号を合成して、合成画像データの1画素に相当する合成画像信号を生成していた。すなわち、合成画像データの画素数、すなわち解像度がマイクロレンズ120の配列数と等しいものとなっていた。1つのマイクロレンズ120の直径が撮像画素131の10画素分に相当する、すなわち1つのマイクロレンズ120に対応して10×10画素の撮像画素131が配列されているものと仮定する。この場合、合成画像データの画素数がマイクロレンズ120の配列数と等しいために、画像密度が1/100となる。すなわち、撮像素子13が1000万画素の撮像画素131を有していたとしても、生成される合成画像データは10万画素となる。
これに対して、本実施の形態のデジタルカメラ1は、合成画像データの1画素に相当する合成画像信号を生成するための基点画素132を、1つのマイクロレンズ120に対して4つ設けている。その結果、従来の技術によるデジタルカメラで生成される合成画像データと比べて解像度を増加させる、すなわちマイクロレンズ120の配列数よりも解像度を増やすことができるので、合成画像の画質が向上される。
(2)さらには、テーブル作成部105が基点画素132からの基点信号に合成する画像信号を出力する撮像画素131の位置を示す合成画素所属テーブルを作成している。すなわち、従来の技術のようにフーリエ変換を用いた複雑な演算を用いることなく合成画像データを生成できる。その結果、特にマイクロレンズ120のxy平面上での形状が矩形配列ではなく(たとえばハニカム配列)、フーリエ変換による演算が煩瑣となる場合であっても、処理負荷を低減し合成画像を高速に生成できる。また、テーブル作成部105は、合成画像の焦点位置yが決定されるごとに合成画素所属テーブルを作成するので、複数の合成画像の焦点位置yと複数の基点画素132とのそれぞれに対応した膨大な数のテーブルを予め記憶させておく必要がないので、メモリ容量を確保することができる。
(3)複数の基点画素132のそれぞれの配置間隔は、複数のマイクロレンズ120のそれぞれの配置間隔と比例関係を有するようにした。すなわち、マイクロレンズ120の大きさが撮像画素131の配列ピッチの整数倍となるように撮像画素131の配列ピッチを決定した。この結果、画像積算部106は、複数のうちのあるマイクロレンズ120に対応する基点画素132に対して行った合成画像生成処理と同一の処理を、他のマイクロレンズ120に対応する基点画素132に対して行うことにより合成画像データを生成できる。したがって、合成画像生成処理に要する負荷を軽くして、合成画像データを高速に生成できる。
(4)テーブル作成部105は、複数の基点画素132a~132dのそれぞれに対して合成画素所属テーブルを作成する。この合成画素所属テーブルでは、基点画素132に対応する撮像画素131が配置された位置は、マイクロレンズ120の擬似光軸を基準として正規化されている。そして、合成画素所属テーブルは、撮像画素131が配置された位置に対応するマイクロレンズ120が配置された位置を基点マイクロレンズ121を基準として相対的に指定している。したがって、画像積算部106は、基点画素132からの基点画像信号に合成する画像信号を出力する撮像画素131を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。
(5)テーブル作成部105によって作成される合成画素所属テーブルは、基点画素132を基点とした領域であって、マイクロレンズ120の焦点距離fを合成画像の絞り値Fで除した値を直径D(=f/F)とする積算領域Rsに含まれる撮像画素131が配置された位置が、複数のマイクロレンズ120のうちのいずれのマイクロレンズ120に対応しているかを示している。したがって、画像積算部106は、基点画素132からの基点信号に合成する画像信号、すなわち合成画像の絞り値Fに対応する画像信号を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。
(6)画像正規化部107は、画像積算部106により生成された合成画像データを正規化し、水平方向と垂直方向との比率を1に変換するようにした。したがって、マイクロレンズ120のxy平面上での形状が矩形ではない場合であっても、水平方向と垂直方向との比率が合致した合成画像データを生成して、合成画像の画質低下を防止できる。
以上で説明した実施の形態のデジタルカメラ1を、以下のように変形できる。
(1)1つのマイクロレンズ120に対応する4個の基点画素132a~132dが、マイクロレンズ120の擬似光軸から偏芯した位置に配置されるものでもよい。図9(a)にこの場合の基点画素132の配置例を示す。この場合、基点画素132a~132dは、マイクロレンズ120の擬似光軸に対して互いに対称(シンメトリック)となる位置に配置されている。基点画素132が図9(a)に示すように配置されている場合、画像積算部106は、1つの基点画素132に対応する合成画素所属テーブルを他の3つの基点画素132に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部106は、基点画素132aに対応する合成画素所属テーブルを60度ずつ回転させることにより基点画素132b、132c、132dのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部105は、1つのマイクロレンズ120について1つの合成画素所属テーブルを作成すればよい。
(1)1つのマイクロレンズ120に対応する4個の基点画素132a~132dが、マイクロレンズ120の擬似光軸から偏芯した位置に配置されるものでもよい。図9(a)にこの場合の基点画素132の配置例を示す。この場合、基点画素132a~132dは、マイクロレンズ120の擬似光軸に対して互いに対称(シンメトリック)となる位置に配置されている。基点画素132が図9(a)に示すように配置されている場合、画像積算部106は、1つの基点画素132に対応する合成画素所属テーブルを他の3つの基点画素132に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部106は、基点画素132aに対応する合成画素所属テーブルを60度ずつ回転させることにより基点画素132b、132c、132dのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部105は、1つのマイクロレンズ120について1つの合成画素所属テーブルを作成すればよい。
(2)マイクロレンズ120のxy平面における形状が六角形のハニカム構造であるものに代えて、たとえば正方形のような矩形形状でもよい。図9(b)にこの場合のマイクロレンズ120と基点画素132の配置例を示す。この場合についても、テーブル作成部105は、実施の形態と同様の手法により4つの基点画素132a~132dに対応する合成画素所属テーブルを作成し、画像積算部106は合成画素所属テーブルを参照しながら合成画像データを生成する。ただし、マイクロレンズ120がハニカム構造を有する場合とは異なり、合成画像データの水平方向と垂直方向の比率が1であるので、画像正規化部107による処理を行う必要はない。
(3)本実施の形態では、4つの基点画素132について合成画素所属テーブルを作成するものとしたが、n個(nは1以上の整数)であってもよい。たとえば、基点マイクロレンズ120に対応する画素配列130に16個の基点画素132が含まれる場合、すなわちマイクロレンズ120の配列に対して16倍の解像度の合成画像データを生成する場合には、テーブル生成部105は16種類の合成画素所属テーブルを作成すればよい。なお、基点マイクロレンズ121に対応する基点画素132の数が1個の場合には、合成画像データの解像度はマイクロレンズ120の配列数と等しくなる。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2010年第127825号(2010年6月3日出願)
日本国特許出願2010年第127825号(2010年6月3日出願)
Claims (8)
- 結像光学系の焦点面近傍に二次元状に配置された複数のマイクロレンズと、
前記結像光学系を通過した被写体からの光束を前記マイクロレンズを介して受光して画像信号を出力する複数の光電変換素子を含む素子群が、前記マイクロレンズのそれぞれに対応して二次元状に配置された撮像素子と、
前記結像光学系の任意の結像面における複数の結像領域に対応する合成画像データを生成するために、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定する情報に基づいて、前記複数の光電変換素子から出力された前記画像信号を合成する合成部と、を備える撮像装置。 - 請求項1に記載の撮像装置において、
前記複数の結像領域は、前記マイクロレンズと同数以上設けられ、前記結像領域のそれぞれの配置間隔は、複数の前記マイクロレンズのそれぞれの配置間隔と比例関係を有する撮像装置。 - 請求項1または2に記載の撮像装置において、
前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定する情報は、前記結像領域ごとに前記合成画像データの生成に使用される前記画像信号を出力する前記光電変換素子の位置を特定するテーブルにより構成される撮像装置。 - 請求項3に記載の撮像装置において、
前記任意の結像面ごとに前記テーブル作成する作成部を備える撮像装置。 - 請求項3または4に記載の撮像装置において、
前記テーブルは、前記結像領域ごとに前記光電変換素子が配置された位置を前記マイクロレンズの擬似光軸を基準として正規化し、前記結像領域に対応する前記マイクロレンズを基準として、前記光電変換素子が配置された位置に対応する前記マイクロレンズが配置された位置を相対的に特定する撮像装置。 - 請求項3乃至5のいずれか一項に記載の撮像装置において、
前記テーブルは、前記結像領域を基準として前記マイクロレンズの焦点距離を合成画像データの絞り値で除した値を直径とする領域に含まれる前記光電変換素子が配置された位置が、前記複数のマイクロレンズのうちのいずれの前記マイクロレンズに対応しているかを示すことにより、前記光電変換素子の位置を特定する撮像装置。 - 請求項1乃至6のいずれか一項に記載の撮像装置において、
前記複数のマイクロレンズのそれぞれは前記撮影光学系の光軸と直交する平面上で六角形形状を有し、二次元状にハニカム配列されている撮像装置。 - 請求項7に記載の撮像装置において、
前記合成部により生成された前記合成画像データの水平方向と垂直方向との比率を1に変換する変換手段を備える撮像装置。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201180016772.9A CN102844785B (zh) | 2010-06-03 | 2011-06-03 | 拍摄装置 |
US13/474,189 US8941771B2 (en) | 2010-06-03 | 2012-05-17 | Image-capturing device |
US14/575,164 US9494766B2 (en) | 2010-06-03 | 2014-12-18 | Image-capturing device |
US15/296,626 US9992393B2 (en) | 2010-06-03 | 2016-10-18 | Image-capturing device |
US15/971,269 US10511755B2 (en) | 2010-06-03 | 2018-05-04 | Image-capturing device |
US16/683,900 US10955661B2 (en) | 2010-06-03 | 2019-11-14 | Image-capturing device |
US17/181,176 US20210173205A1 (en) | 2010-06-03 | 2021-02-22 | Image-capturing device |
US17/527,896 US20220075184A1 (en) | 2010-06-03 | 2021-11-16 | Image-capturing device |
US17/948,830 US20230028137A1 (en) | 2010-06-03 | 2022-09-20 | Image-capturing device |
US18/135,783 US20230251484A1 (en) | 2010-06-03 | 2023-04-18 | Image-capturing device |
US18/615,146 US20240231083A1 (en) | 2010-06-03 | 2024-03-25 | Image-capturing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010127825A JP5671842B2 (ja) | 2010-06-03 | 2010-06-03 | 画像処理装置および撮像装置 |
JP2010-127825 | 2010-06-03 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/474,189 Continuation US8941771B2 (en) | 2010-06-03 | 2012-05-17 | Image-capturing device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011152531A1 true WO2011152531A1 (ja) | 2011-12-08 |
Family
ID=45066886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/062828 WO2011152531A1 (ja) | 2010-06-03 | 2011-06-03 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (10) | US8941771B2 (ja) |
JP (1) | JP5671842B2 (ja) |
CN (2) | CN102844785B (ja) |
WO (1) | WO2011152531A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013135363A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
JP2013134654A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
CN108337419A (zh) * | 2012-07-12 | 2018-07-27 | 株式会社尼康 | 图像处理装置 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5671842B2 (ja) | 2010-06-03 | 2015-02-18 | 株式会社ニコン | 画像処理装置および撮像装置 |
US20130135515A1 (en) * | 2011-11-30 | 2013-05-30 | Sony Corporation | Digital imaging system |
JP5917158B2 (ja) * | 2012-01-13 | 2016-05-11 | キヤノン株式会社 | 撮像装置、その制御方法及び撮像システム |
JP6102061B2 (ja) * | 2012-02-28 | 2017-03-29 | 株式会社ニコン | 画像処理装置 |
JP5968102B2 (ja) * | 2012-06-15 | 2016-08-10 | キヤノン株式会社 | 画像記録装置および画像再生装置 |
US9420158B2 (en) * | 2012-07-16 | 2016-08-16 | Sony Corporation | System and method for effectively implementing a lens array in an electronic device |
JP6029380B2 (ja) * | 2012-08-14 | 2016-11-24 | キヤノン株式会社 | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム |
US9414087B2 (en) | 2014-04-24 | 2016-08-09 | Lytro, Inc. | Compression of light field images |
US9712820B2 (en) | 2014-04-24 | 2017-07-18 | Lytro, Inc. | Predictive light field compression |
JP6351364B2 (ja) * | 2014-05-12 | 2018-07-04 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN105812623B (zh) * | 2014-12-30 | 2018-10-16 | 深圳超多维科技有限公司 | 微透镜阵列成像装置与成像方法 |
US10033986B2 (en) | 2015-05-26 | 2018-07-24 | Google Llc | Capturing light-field images with uneven and/or incomplete angular sampling |
JP6311771B2 (ja) * | 2016-10-31 | 2018-04-18 | 凸版印刷株式会社 | 固体撮像素子 |
CN106488148B (zh) * | 2016-11-01 | 2019-09-17 | 首都师范大学 | 一种超分辨率图像传感器及其构造方法 |
US9905143B1 (en) * | 2016-12-01 | 2018-02-27 | Varjo Technologies Oy | Display apparatus and method of displaying using image renderers and optical combiners |
US9990037B1 (en) | 2016-12-01 | 2018-06-05 | Varjo Technologies Oy | Display apparatus and method using portable electronic device |
CN107135341B (zh) * | 2017-05-03 | 2019-12-27 | Oppo广东移动通信有限公司 | 影像传感器、相机模组及电子装置 |
CN109348114A (zh) * | 2018-11-26 | 2019-02-15 | Oppo广东移动通信有限公司 | 成像装置和电子设备 |
CN112307822A (zh) * | 2019-07-30 | 2021-02-02 | 格科微电子(上海)有限公司 | 光学指纹器件及其实现方法 |
US20220343471A1 (en) * | 2019-11-12 | 2022-10-27 | Sony Semiconductor Solutions Corporation | Electronic apparatus |
CN115956256A (zh) * | 2020-06-09 | 2023-04-11 | 交互数字Vc控股法国有限公司 | 作为平面扫描体的替代方案的局部光场流 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2010114758A (ja) * | 2008-11-07 | 2010-05-20 | Nikon Corp | 画像合成装置および方法 |
JP2010113554A (ja) * | 2008-11-06 | 2010-05-20 | Sharp Corp | 画像処理装置および画像処理方法 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US230894A (en) * | 1880-08-10 | Painter s palette | ||
US7236304B2 (en) * | 2003-11-04 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Imaging Device |
EP1602347A1 (fr) * | 2004-06-04 | 2005-12-07 | Georges Magnin | Orthèse d'avancement mandibulaire |
JP2006135823A (ja) | 2004-11-09 | 2006-05-25 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
US8248515B2 (en) * | 2006-02-07 | 2012-08-21 | The Board Of Trustees Of The Leland Stanford Junior University | Variable imaging arrangements and methods therefor |
US7637462B2 (en) | 2006-04-28 | 2009-12-29 | Anadish Kumar Pal | Surface flow diverting and static charging ducted pores on wing or blade tip to reduce wake and BVI noise |
US7728902B2 (en) * | 2006-08-04 | 2010-06-01 | Hitachi Maxell, Ltd. | Imaging device and biometrics authentication apparatus |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP2009206922A (ja) * | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
JP4538766B2 (ja) * | 2008-08-21 | 2010-09-08 | ソニー株式会社 | 撮像装置、表示装置および画像処理装置 |
EP2175632A1 (en) * | 2008-10-10 | 2010-04-14 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
US8570427B2 (en) * | 2009-01-28 | 2013-10-29 | Nikon Corporation | Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function |
KR20110020519A (ko) * | 2009-08-24 | 2011-03-03 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 |
JP5499778B2 (ja) * | 2010-03-03 | 2014-05-21 | 株式会社ニコン | 撮像装置 |
JP2011239195A (ja) * | 2010-05-11 | 2011-11-24 | Sanyo Electric Co Ltd | 電子機器 |
JP5671842B2 (ja) * | 2010-06-03 | 2015-02-18 | 株式会社ニコン | 画像処理装置および撮像装置 |
JP6149339B2 (ja) * | 2010-06-16 | 2017-06-21 | 株式会社ニコン | 表示装置 |
JP5657343B2 (ja) * | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
CN102959960B (zh) * | 2011-06-23 | 2015-04-01 | 松下电器产业株式会社 | 摄像装置 |
JP6080417B2 (ja) * | 2011-08-19 | 2017-02-15 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
JP5898501B2 (ja) * | 2012-01-13 | 2016-04-06 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 |
US9838618B2 (en) * | 2012-07-12 | 2017-12-05 | Nikon Corporation | Image processing device configured to correct output data based upon a point spread function |
JP2014137468A (ja) * | 2013-01-17 | 2014-07-28 | Sony Corp | 撮像装置および撮像方法 |
US9106784B2 (en) * | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9420168B2 (en) * | 2013-09-20 | 2016-08-16 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP6320075B2 (ja) * | 2014-02-19 | 2018-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2015185998A (ja) * | 2014-03-24 | 2015-10-22 | 株式会社東芝 | 画像処理方法および撮像装置 |
JP6704349B2 (ja) * | 2014-11-07 | 2020-06-03 | ケイテック株式会社 | 表示装置及び表示方法 |
US10366478B2 (en) * | 2016-05-18 | 2019-07-30 | Interdigital Ce Patent Holdings | Method and device for obtaining a HDR image by graph signal processing |
KR102646437B1 (ko) * | 2016-11-25 | 2024-03-11 | 삼성전자주식회사 | 멀티 렌즈 기반의 촬영 장치 및 방법 |
US11375092B2 (en) * | 2018-10-04 | 2022-06-28 | Samsung Electronics Co., Ltd. | Image sensor and image sensing method |
US11070757B2 (en) * | 2019-05-02 | 2021-07-20 | Guangzhou Tyrafos Semiconductor Technologies Co., Ltd | Image sensor with distance sensing function and operating method thereof |
US11595575B2 (en) * | 2020-05-11 | 2023-02-28 | Samsung Electronics Co., Ltd. | Image sensor |
KR20220041351A (ko) * | 2020-09-25 | 2022-04-01 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
-
2010
- 2010-06-03 JP JP2010127825A patent/JP5671842B2/ja active Active
-
2011
- 2011-06-03 WO PCT/JP2011/062828 patent/WO2011152531A1/ja active Application Filing
- 2011-06-03 CN CN201180016772.9A patent/CN102844785B/zh active Active
- 2011-06-03 CN CN201610928674.7A patent/CN106842386B/zh active Active
-
2012
- 2012-05-17 US US13/474,189 patent/US8941771B2/en active Active
-
2014
- 2014-12-18 US US14/575,164 patent/US9494766B2/en active Active
-
2016
- 2016-10-18 US US15/296,626 patent/US9992393B2/en active Active
-
2018
- 2018-05-04 US US15/971,269 patent/US10511755B2/en active Active
-
2019
- 2019-11-14 US US16/683,900 patent/US10955661B2/en active Active
-
2021
- 2021-02-22 US US17/181,176 patent/US20210173205A1/en not_active Abandoned
- 2021-11-16 US US17/527,896 patent/US20220075184A1/en not_active Abandoned
-
2022
- 2022-09-20 US US17/948,830 patent/US20230028137A1/en not_active Abandoned
-
2023
- 2023-04-18 US US18/135,783 patent/US20230251484A1/en not_active Abandoned
-
2024
- 2024-03-25 US US18/615,146 patent/US20240231083A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2010113554A (ja) * | 2008-11-06 | 2010-05-20 | Sharp Corp | 画像処理装置および画像処理方法 |
JP2010114758A (ja) * | 2008-11-07 | 2010-05-20 | Nikon Corp | 画像合成装置および方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013135363A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
JP2013134654A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
CN108337419A (zh) * | 2012-07-12 | 2018-07-27 | 株式会社尼康 | 图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230028137A1 (en) | 2023-01-26 |
US20230251484A1 (en) | 2023-08-10 |
US20180255217A1 (en) | 2018-09-06 |
US20210173205A1 (en) | 2021-06-10 |
CN106842386A (zh) | 2017-06-13 |
CN106842386B (zh) | 2019-08-30 |
US20150103228A1 (en) | 2015-04-16 |
US20200084351A1 (en) | 2020-03-12 |
US9494766B2 (en) | 2016-11-15 |
US20240231083A1 (en) | 2024-07-11 |
US10511755B2 (en) | 2019-12-17 |
CN102844785B (zh) | 2016-11-23 |
US20220075184A1 (en) | 2022-03-10 |
CN102844785A (zh) | 2012-12-26 |
US20170041519A1 (en) | 2017-02-09 |
US8941771B2 (en) | 2015-01-27 |
JP2011253431A (ja) | 2011-12-15 |
US20120287331A1 (en) | 2012-11-15 |
US9992393B2 (en) | 2018-06-05 |
JP5671842B2 (ja) | 2015-02-18 |
US10955661B2 (en) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011152531A1 (ja) | 撮像装置 | |
JP6149339B2 (ja) | 表示装置 | |
JP6376206B2 (ja) | 画像処理装置および撮像装置 | |
JP2009244662A (ja) | 撮像装置 | |
JP6036799B2 (ja) | 画像処理装置 | |
US10341580B2 (en) | Image processing device configured to correct an image so as to decrease output data | |
JP2024012318A (ja) | 画像表示装置 | |
JP7307592B2 (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
WO2017126242A1 (ja) | 撮像装置、及び、画像データ生成方法 | |
JP6102061B2 (ja) | 画像処理装置 | |
JP2019003665A (ja) | 画像処理装置 | |
JP2016082325A (ja) | 撮像装置、画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201180016772.9 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11789932 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11789932 Country of ref document: EP Kind code of ref document: A1 |