WO2007013250A1 - 複眼方式の撮像装置 - Google Patents
複眼方式の撮像装置 Download PDFInfo
- Publication number
- WO2007013250A1 WO2007013250A1 PCT/JP2006/312773 JP2006312773W WO2007013250A1 WO 2007013250 A1 WO2007013250 A1 WO 2007013250A1 JP 2006312773 W JP2006312773 W JP 2006312773W WO 2007013250 A1 WO2007013250 A1 WO 2007013250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- image
- optical
- lens
- lenses
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B33/00—Colour photography, other than mere exposure or projection of a colour film
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
Definitions
- the present invention relates to a compound-eye imaging device that captures an image with a plurality of imaging optical lenses arranged on substantially the same plane.
- An imaging device used in a portable device is required to achieve both high resolution and small size.
- the size and focal length of the taking optical lens and the size of the image sensor often become obstacles.
- a compound-eye color image pickup device includes a lens that handles blue wavelength light, a lens that handles green wavelength light, and an optical system that arranges lenses that handle red wavelength light on the same plane, respectively. And an image sensor compatible with these lenses. Since the wavelength range of the light that each lens is responsible for is limited, it is possible to form a subject image on the image sensor with a single lens. Therefore, the thickness of the imaging device can be greatly reduced.
- FIG. 15 shows a perspective view of an example of a compound eye type imaging apparatus.
- a lens array 900 includes three integrally molded lenses 901a, 901b, and 901c.
- the lens 901a receives light having a red wavelength, and forms a subject image in the imaging region 902a.
- a red wavelength separation filter (color filter) is attached to the pixel (light receiving unit) of the imaging region 902a, and the imaging region 902a converts the formed red subject image into image information.
- Ren 901b is responsible for green wavelength light and forms a subject image in the imaging region 902b.
- a green wavelength separation filter (color filter) is attached to the pixel (light receiving unit) of the imaging area 902b, and the imaging area 902b converts the formed green subject image into image information.
- the lens 901c receives light having a blue wavelength, and forms a subject image in the imaging region 902c.
- a blue wavelength separation filter (color filter) is attached to the pixel (light receiving unit) of the imaging region 902c, and the imaging region 902c converts the formed blue subject image into image information.
- Color image information can be acquired by superimposing and combining the image information output from the imaging regions 902a, 902b, and 902c.
- a monocular imaging device light incident on an imaging device having a large number of pixels (light receiving portions) arranged on an image plane is converted into image information.
- each pixel is provided with a wavelength separation filter (color filter) in a Bayer array.
- wavelength separation filters that transmit green light are arranged in a checkered pattern corresponding to the arrangement of a large number of pixels arranged in the vertical and horizontal directions, and wavelength separation that transmits red light and blue light to the remaining pixels, respectively. Filters are arranged alternately.
- a color image having the same number of pixels as the number of pixels can be obtained.
- an image sensor with 1 million pixels 500,000 pixels detect green color information
- 250,000 pixels are red color
- color information with a resolution of 1 million pixels can be obtained for any color of red, green, and blue by the above interpolation process.
- each imaging region corresponding to each color acquires color information of red, green, or blue, so that the number of pixels equal to the number of pixels included in each imaging region is obtained.
- a color image is obtained. For example, when acquiring red, green, and blue color information with three imaging areas with 250,000 pixels, a total of 750,000 pixels are required, but the resolution of the color image obtained by superimposing is 250,000 pixels.
- the relative positional relationship between the optical system and the image sensor is shifted in time, or a light beam is separated into a plurality of parts by using a prism and made incident on a plurality of image sensors.
- a technique called “pixel shift” is known, in which a plurality of pieces of image information in which the positional relationship between the subject image and the pixels is shifted from each other is acquired, and a high-resolution image is acquired by combining these pieces of image information.
- the optimal amount of shift is determined by the shift direction and the number of pieces of image information to be acquired.
- the relative positional relationship between the subject image and the pixel is an odd multiple of half the pixel arrangement pitch (hereinafter referred to as “pixel pitch”). If it is shifted, the highest resolution image can be obtained.
- pixel pitch half the pixel arrangement pitch
- This technique can be used as long as a plurality of pieces of image information in which the relative positional relationship between the subject image formed by the lens and the pixels of the image sensor is shifted from each other can be obtained, and the method of shifting is not used.
- the relative positional relationship between the subject image and the pixels of the image sensor is called “pixel shifting arrangement”.
- Japanese Patent Application Laid-Open Publication No. 2002-209226 discloses a compound-eye imaging apparatus that forms a plurality of subject images on a plurality of imaging regions with a plurality of lenses. It is described that a high-resolution image is obtained by arranging a plurality of lenses and a plurality of imaging elements so that an image is shifted in the direction connecting the optical axes of the S lenses and a pixel-shifted arrangement is realized. Yes.
- the compound-eye imaging device it is possible to measure the distance to the subject using the parallax generated when the optical axes of the plurality of lenses are different from each other.
- FIG. 16A is a side view showing a positional relationship among a plurality of lenses, a subject, and a subject image
- FIG. 16B is a plan view of the compound-eye imaging device.
- FIG. 16A shows a state viewed along a direction perpendicular to the plane including the optical axis of a plurality of lenses
- FIG. 16B shows a state viewed along a direction parallel to the optical axis of the lens.
- Reference numerals 200a and 200b denote optical axes of the lenses 201a and 201b
- reference numerals 202a and 202b denote positions where the optical axes intersect with the imaging region 203.
- the subject 204 on the optical axis 200a is imaged as subject images 205a and 205b by the lenses 20la and 201b.
- the optical axes 200a and 200b of the lenses 201a and 201b are different, so if the distance from the lenses 201a and 201b to the subject 204 changes, the position of the subject image 205b On 203, it moves on a straight line 206 connecting the intersection 202a and the intersection 202b. This phenomenon is called “parallax”.
- the amount of deviation S from the intersection 202b of the subject image 205b is expressed as follows, assuming that the subject distance (distance from the lens 201a to the subject 204) is A, the distance between the optical axes 200a and 200b is d, and the imaging distance is f. It is expressed by a formula.
- the relative positional relationship between the subject image 205b and the pixels in the direction of the straight line 206 changes according to the subject distance A. Therefore, when the subject image displacement amount S in the straight line 206 direction is set to a predetermined relationship with respect to the pixel pitch, the resolution changes depending on the subject distance A, and a high-resolution image cannot always be obtained. There is a problem.
- the present invention is a compound eye system that can always obtain a high-resolution image regardless of the subject distance.
- An object is to provide an imaging device.
- the compound-eye imaging device of the present invention has a plurality of photographing optical lenses arranged on substantially the same plane, and each is disposed in a plane orthogonal to each optical axis of the plurality of photographing optical lenses.
- FIG. 1 is a perspective view showing a schematic configuration of a compound eye type imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 2 is a plan view showing a positional relationship between an optical axis of a lens and pixels in an imaging region in the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 3 is a plan view for explaining synthesis of image information in the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 4 is a plan view showing composition of image information when a far object is imaged.
- FIG. 5 is a plan view showing the composition of image information when a subject is imaged recently.
- FIG. 6A is a plan view of the image pickup apparatus according to Embodiment 1 of the present invention.
- 6B is a cross-sectional view taken along line 6B-6B in FIG. 6A.
- FIG. 7A is a plan view showing the lens arrangement of the imaging apparatus according to Embodiment 1 of the present invention.
- FIG. 7B is a plan view showing the lens arrangement of the imaging apparatus according to Embodiment 2 of the present invention.
- FIG. 8A is a plan view of the image pickup apparatus according to Embodiment 2 of the present invention.
- FIG. 8B is a cross-sectional view taken along line 8B-8B in FIG. 8A.
- FIG 9 A is a plan view showing a lens arrangement of the lens array of the image pickup apparatus of the second embodiment of the present invention.
- FIG. 9B is a plan view showing a lens arrangement in a state where the lens array is rotated from the state of FIG. 9A in the image pickup apparatus according to Embodiment 2 of the present invention.
- FIG. 10A is a plan view of the image pickup apparatus according to Embodiment 3 of the present invention.
- FIG. 10B is a cross-sectional view taken along line 10B-10B in FIG. 10A.
- FIG. 11A is a plan view of the image pickup apparatus according to Embodiment 4 of the present invention.
- FIG. 11B is a cross-sectional view taken along line 11B-11B in FIG. 11A.
- FIG. 12A is a plan view showing an arrangement of color filters provided on one imaging region in the imaging apparatus according to the fourth embodiment of the present invention.
- FIG. 12B is a plan view showing the arrangement of the color filters provided on the other imaging region in the imaging apparatus according to Embodiment 4 of the present invention.
- FIG. 13A is a plan view showing another arrangement of color filters provided on one imaging region in the imaging apparatus according to the fourth embodiment of the present invention.
- FIG. 13B is a plan view showing another arrangement of the color filters provided on the other imaging region in the imaging apparatus according to Embodiment 4 of the present invention.
- FIG. 14A is a plan view showing still another arrangement of the color filters provided on one imaging area in the imaging apparatus according to the fourth embodiment of the present invention.
- FIG. 14B is a plan view showing still another arrangement of the color filters provided on the other imaging region in the imaging apparatus according to the fourth embodiment of the present invention.
- FIG. 15 is a perspective view showing a schematic configuration of an example of a conventional compound eye type imaging apparatus.
- FIG. 16A is a side view showing a positional relationship among a plurality of lenses, a subject, and a subject image in a compound-eye imaging device.
- FIG. 16B shows the optical axes of a plurality of lenses and subject images in a compound-eye imaging device.
- the “pixel arrangement direction” is obtained as follows. Assume a plurality of first straight lines parallel to each other and a plurality of second straight lines parallel to each other included in a plane on which a large number of pixels are arranged. The inclinations of the plurality of first straight lines and the plurality of second straight lines are set so that all of the plurality of pixels are arranged at a plurality of intersections where the plurality of first straight lines and the plurality of second straight lines intersect. To do. The first direction and the second direction parallel to the plurality of first lines and the plurality of second lines set in this way are “pixel arrangement directions”.
- the “pixel arrangement direction” focused on in relation to a straight line connecting a pair of optical axes of a pair of photographing optical lenses is the front of the first direction and the second direction. Means the direction with the smaller angle (less than 90 °) to the straight line connecting the pair of optical axes.
- the term “inclined” with respect to the pixel arrangement direction means that the straight line and the pixel arrangement direction intersect at an angle other than 90 degrees in parallel. means.
- a pair of subject images formed by a pair of photographing optical lenses is formed in a pixel-shifted relationship in a direction perpendicular to the pixel arrangement direction.
- a pixel-shifted arrangement can always be realized regardless of the separation. That is, when viewed along a direction parallel to the optical axis of the lens, the angle ⁇ formed by the straight line connecting the pair of optical axes of the pair of photographing optical lenses and the pixel arrangement direction is adjusted to adjust the pair of light beams.
- pixel shifting direction! a direction perpendicular to the arrangement direction of the pixels forming an angle ⁇ with respect to the straight line connecting the axes
- the highest resolution image is obtained because the distance between the optical axes of the pair of photographic optical lenses is d, and the arrangement direction of the pixels
- the arrangement pitch of the pixels in the vertical direction is p and a positive integer is n
- a high-resolution image can be obtained by shifting pixels.
- Amin is a distance to the closest subject to be photographed (minimum value of subject distance A), and f is an imaging distance. If n satisfies the above relationship, the angle ⁇ becomes a very small value. Therefore, the moving direction of the subject image due to the change in the subject distance (that is, the linear direction connecting a pair of optical axes) and the pixel arrangement direction are almost the same It can be regarded as a direction. The component of the parallax pixel shifting direction can be almost ignored. Therefore, regardless of the subject distance, it is possible to always realize the pixel shift arrangement in the pixel shift direction.
- the refractive index of the lens material and the efficiency of the diffraction grating depend on the wavelength, the characteristics of the lens are improved if the wavelength is limited. Therefore, in the present invention, it is preferable that a filter that transmits light of a predetermined wavelength is installed on each optical path of the plurality of imaging optical lenses. As a result, the wavelength of the subject image formed on the imaging region is limited, so that a clear image can be obtained. Since the pre-combination image shifted by pixels is clear, the composite high-resolution image is also clear.
- a filter that transmits light of the wavelength in the same band may be provided on each optical path of the plurality of photographing optical lenses.
- the pixel shift arrangement is hardly affected. Therefore, the measurement accuracy of the subject distance hardly changes regardless of the subject distance, and it is possible to achieve both the measurement of the subject distance and the high resolution of the image.
- the pixel shift arrangement of the present invention it is necessary to appropriately set the pixel shift amount, that is, the value of “d X sin ⁇ ”.
- the angle ⁇ may be finely adjusted while keeping the optical axis interval d constant. Therefore, it is preferable that the plurality of photographing optical lenses is a lens array molded integrally. As a result, the entire lens array that does not adjust individual lenses is slightly rotated and adjusted in a plane parallel to the light receiving surfaces of the plurality of imaging areas with respect to the plurality of imaging areas. A pixel-shifted arrangement can be realized. Therefore, it is possible to easily realize the pixel shift arrangement without having to assemble or mold the lens array with high accuracy.
- the imaging apparatus of the present invention includes a mechanism that relatively rotates the plurality of imaging optical lenses and the plurality of imaging regions within a plane orthogonal to the optical axes of the plurality of imaging optical lenses. It is preferable to prepare further.
- the pixel shift amount that is, the angle ⁇ can be adjusted easily and accurately in the manufacturing process.
- the angle ⁇ is adjusted in the manufacturing process, and the rotation mechanism is fixed in the product state.
- the imaging apparatus of the present invention further includes a mechanism for adjusting the distances between the plurality of imaging optical lenses and the plurality of imaging regions.
- the imaging region can be reliably arranged on the imaging surface of each lens, and a plurality of clearer image information can be obtained. Therefore, a higher resolution image can be obtained by combining these pieces of image information.
- the number of the photographing optical lenses is at least three. In this case, when viewed along a direction parallel to the optical axis, the angle formed by the first straight line and the second straight line connecting the respective optical axes of the two pairs of the taking optical lenses is almost equal.
- the angle formed by the first straight line and the first arrangement direction of the pixels is 0 1, and the second straight line and the second arrangement of the pixels
- An angle between the direction and ⁇ 2 a distance between the optical axes of the pair of photographic optical lenses arranged along the first straight line, dl, and a pair of the photographic optical lenses arranged along the second straight line
- the optical axis interval is d2
- the pixel arrangement pitch along the direction perpendicular to the first arrangement direction is pi
- the pixel arrangement pitch along the direction perpendicular to the second arrangement direction is p2
- first arrangement direction the direction in which the angle (less than 90 °) to the first straight line is smaller among the two arrangement directions.
- first arrangement direction the direction in which the angle (less than 90 °) to the first straight line is smaller among the two arrangement directions.
- second arrangement direction the direction with the smaller angle (less than 90 °) with the second straight line.
- the optical axis interval dl and the optical axis interval d2 are different.
- the pixel shift amounts in each direction that is, dl X sin ⁇ 1 and d2 X sin ⁇ 2.
- the position of each lens cannot be adjusted independently.
- the lens position may include a molding error. If d l ⁇ d2, the adjustment range of the pixel shift amount in each direction when the lens array is rotated with respect to the imaging region is increased. Therefore, even if there is a molding error in the lens array, the pixel shift amount can be optimized in a plurality of directions, and the resolution can be improved in the plurality of directions.
- the arrangement pitch pi and the arrangement pitch p2 may be different. This place In this case, even if there is a molding error in the lens array, the pixel shift amount can be optimized in a plurality of directions, and the resolution can be improved in a plurality of directions.
- the number of the photographing optical lens and the number of the imaging areas is four.
- the optical axes of the four photographing optical lenses are arranged at the apexes of a substantially rectangular shape.
- a filter that transmits light in the blue wavelength band is provided on the optical path of light incident on one of the four imaging regions, and on the optical path of light incident on the other one. It is preferable that a filter that transmits light in the red wavelength band is provided, and a filter that transmits light in the green wavelength band is provided on the optical path of the light incident on the remaining two.
- the amount of parallax can be calculated using two pieces of green image information including a large amount of luminance information.
- the accuracy of the amount of parallax is improved.
- the amount of parallax of red and blue image information can be calculated respectively. Therefore, a color image with high resolution in two directions can be obtained.
- the subject distance may be calculated using this parallax amount. In this case, the accuracy of the subject distance is improved.
- the four imaging regions are formed on one common imaging device, and the substantially rectangular shape and the shape of the effective pixel region of the imaging device are substantially similar. .
- the pixels of the image sensor can be effectively used without waste.
- the compound-eye imaging device of this embodiment improves the spatial sampling characteristics in the vertical and horizontal directions compared to the conventional compound-eye imaging device.
- FIG. 1 is a perspective view of an example of a compound eye type imaging apparatus according to the first embodiment.
- Reference numeral 300 denotes a lens array made of a transparent resin in which three lenses 301a, 301b, and 301c are molded.
- the optical axes 300a, 300b, and 300ci of the three lenses 301a, 301b, and 301c are parallel to each other.
- the first straight line 211 connecting the optical axes 300a and 300b and the second straight line 212 connecting the optical axes 300b and 300c are perpendicular to each other.
- the three lenses 301a, 301b, and 301c are arranged on substantially the same plane.
- Each of the lenses 301a, 301b, and 301c forms a subject image on the imaging regions 302a, 302b, and 302c, respectively.
- the imaging regions 302a, 302b, and 302c each have a large number of pixels (light receiving portions) disposed in a plane orthogonal to the optical axes 300a, 300b, and 300c, and each pixel photoelectrically converts incident light.
- the imaging regions 302a, 302b, and 302c convert the subject images formed on the imaging regions 302a into image information and output them.
- the imaging regions 302a, 302b, and 302c are formed by dividing the effective pixel region of one common imaging device. Therefore, image information from the imaging regions 302a, 302b, and 302c is obtained by extracting pixel signals corresponding to each imaging region from the output signal from this one imaging device.
- FIG. 2 is a plan view showing the positional relationship between the optical axis of the lens and the pixels in the imaging region, viewed along a direction parallel to the optical axis.
- Reference numerals 100a, 100b, and 100c denote pixels arranged in the imaging regions 302a, 302b, and 302c.
- the effective pixel area of one image sensor is divided to form the force of the image areas 302a, 302b, 302c! /, So the pixels 100a, 100b, 100b in the image areas 302a, 302b, 302c,
- the arrangement direction and pixel pitch of 100c are the same between the imaging regions 302a, 302b, and 302c.
- illustration of pixels outside the imaging regions 302a, 302b, and 302c is omitted.
- the pixels 100a, 100b, 100c are arranged in a grid pattern in the vertical and horizontal directions, and the direction parallel to the vertical (vertical) arrangement direction (first arrangement direction) is the Y axis and the horizontal (horizontal) Direction) is the direction parallel to the array direction (second array direction).
- the direction parallel to the optical axes 300a, 300b, 300c is taken as the Z axis.
- the X, Y, and Z axes are orthogonal to each other.
- 101a, 101b, 101c are the intersections of the optical axes 300a, 300b, 300c of the lenses 301a, 301b, 301c and the imaging regions 302a, 302b, 302c.
- the angle formed by the first straight line 211 connecting the intersection point 101b and the intersection point 101a and the first arrangement direction (Y axis) of the pixels is 0 ( ⁇ 90 °;).
- Three lenses 301a, 301b, 301c in lens array 300 Assuming that is integrally molded without error, the angle formed by the second straight line 212 connecting the intersection point 101b and the intersection point 101c and the second arrangement direction (X axis) of the pixels is also ⁇ .
- intersection point 101b and the intersection point 101a that is, the distance between the optical axis 300b and the optical axis 300a
- the intersection point 101a is displaced by d X sin 0 in the X-axis direction with respect to the intersection point 101b.
- the amount of deviation is an odd multiple of half the pixel pitch pi in the X-axis direction of the image sensor
- the image information converted in the imaging area 302a is between pixels in the X-axis direction of the image information converted in the imaging area 302b. It becomes the information of the part 102b.
- 103a, 103b, and 103d are subject images formed by subject lenses 301a, 301b, and 301c located on the optical axis 300b.
- the positions of the subject images 103a, 103b, and 103c vary depending on the positions of the optical axes 300a, 300b, and 300c of the lens and the subject distance (subject distance A in FIG. 16A). Therefore, the subject image 103a formed by the lens 301a is displaced by the parallax along the direction of the first straight line 211 that connects the intersection 101b and the intersection 101a with respect to the intersection 101a away from the intersection 10 lb. Is imaged.
- the imaging position of the subject image 103a changes in the X axis direction and the Y axis direction according to the subject distance.
- the optical axis interval d is sufficiently large with respect to the pixel pitches pi and p2 in the X-axis direction and the Y-axis direction, as long as the angle ⁇ takes a sufficiently small value, The amount of change in the X axis direction of the image 103a is almost negligible.
- the pixel pitch in the Y-axis direction is p2, and the distance between the intersection 101b and the intersection 101c (that is, the distance between the optical axis 300b and the optical axis 300c).
- d2 (pl / p2) X d should be satisfied.
- the same relationship force as that in the pixel shift arrangement in the X-axis direction between the imaging region 302b and the imaging region 302a is established in the Y-axis direction between the imaging region 302b and the imaging region 302c.
- FIG. 2 shows an example in which the lens array 300 is rotated clockwise about the optical axis 300b by an angle ⁇ with respect to the image sensor, but this is for ease of understanding.
- the present invention is not limited to this. What is important is that the angle ⁇ is set so that the above-described pixel shift arrangement is realized in the X-axis direction and the Y-axis direction, and the position of the rotation center axis and the relative rotation direction are other than the above. good.
- the lens array 300 is thermally expanded (or thermally contracted).
- the lens array 300 expands almost isotropically, so that the optical axis distances d and d2 of the optical axes 300a, 300b, and 300c of the lens are expanded.
- the angle 0 does not change and the angle ⁇ is sufficiently small, the relationship of the pixel shift arrangement is maintained. Therefore, the pixel shift arrangement in the image pickup apparatus of the present invention is not easily affected by changes in the optical axis distances d and d2 of the lens due to temperature changes in the surrounding environment.
- the imaging regions 302a, 302b, and 302c convert subject images formed on the respective imaging regions into image information. After performing parallax correction on the obtained three pieces of image information, they are combined to obtain one piece of image information. This calculation process will be described below.
- the parallax amount deriving unit 303 obtains a parallax amount between image information (shift amount S in FIG. 16A) for performing parallax correction.
- the amount of parallax can be obtained if the subject distance is known. However, if a new sensor for measuring the subject distance is introduced, it will be difficult to reduce the size of the device. Therefore, in the present embodiment, the amount of parallax is obtained by directly comparing two pieces of image information and obtaining the amount of deviation between the two pieces of information. Comparison of image information is performed by obtaining the correlation between the image information.
- Image information is represented as a set of luminance information distributed in a matrix in the X-axis direction and Y-axis direction. The luminance of the first pixel in the X-axis direction and the first pixel in the Y-axis direction is I (k, 1). It is expressed. Since pixels are finite, k and 1 are integers.
- the luminance of the pixel in the reference image information (hereinafter referred to as “reference image information”) is II (k, 1), and the image information to be compared (hereinafter referred to as “to be compared”).
- the pixel brightness in the image information) is 12 (k + m, 1 + n)
- the reference image information, and the image information to be compared are image information shifted by m pixels in the X-axis direction and n pixels in the Y-axis direction.
- the correlation R (m, n) is obtained by the following equation.
- the reference image information is similar to the image information obtained by shifting the compared image information by m pixels in the X-axis direction and n pixels in the Y-axis direction, the value of the correlation R (m, n) approaches 1 Conversely, if they are different, the value of correlation R (m, n) will be small.
- R (m, n) m and n when closest to the force Si are parallax amounts (deviation amounts) between the reference image information and the compared image information. Note that m and n are not limited to integers.
- the amount of parallax can be obtained with high resolution up to a value after the decimal point.
- a pixel interpolation method many known methods such as bilinear interpolation, bicubic interpolation, and cubic convolution interpolation can be used.
- the image synthesizing means 304 synthesizes two pieces of image information. Prior to synthesis, one piece of image information is moved by the amount of parallax between the two pieces of image information obtained as described above in the X-axis direction and Y-axis direction (parallax correction).
- FIG. 3 shows the imaging regions 302b and 302a and the subject images 103b and 103a formed on the imaging regions 302b and 302a on the X axis so that the intersection points 101b and 101a are aligned on a straight line parallel to the Y axis. It is the top view shown moving in the direction.
- the subject image shift amount S due to parallax is inversely proportional to the subject distance A, but can be ignored if the subject distance A is sufficiently large.
- the subject on the optical axis 300b is imaged as the subject image 103b on the imaging region 302b, and is imaged at the position of the solid line 400 on the imaging region 302a. That is, the relative positional relationship of the subject image 103b with respect to the intersection 101b in the imaging region 302b and the relative positional relationship of the imaging position 400 of the subject image with respect to the intersection 101a in the imaging region 302a are substantially the same. In this case, as shown in FIG.
- the image information obtained from the imaging region 302b and the image information obtained from the imaging region 302a are overlapped so that the intersection point 101b and the intersection point 101a coincide.
- the subject image 103b on the imaging region 302b and the subject image 103a on the imaging region 302a can be superimposed with almost no deviation.
- the pixel 100b in the imaging region 302b and the pixel 100a in the imaging region 302a are shifted by an odd multiple of half the pixel pitch pi in the X-axis direction. Therefore, the resolution in the X-axis direction of the synthesized image is improved.
- the subject on the optical axis 300b is imaged as the subject image 103b on the imaging region 302b as shown in FIG. 3, and is connected to the position of the broken line 402 on the imaging region 302a. Imaged. That is, the relative positional relationship of the subject image 103b with respect to the intersection 101b in the imaging region 302b is different from the relative positional relationship of the subject image with respect to the intersection 101a in the imaging region 302a. As described in FIG. 2, the subject image 103a is formed at a position shifted from the intersection 101a toward the side away from the intersection 101b along the direction of the first straight line 211 connecting the intersection 101b and the intersection 101a. .
- a deviation (parallax) of the imaging position 402 of the subject image 103a when the subject distance force S is small with respect to the imaging position 400 of the subject image 103a when the subject distance is sufficiently large is represented by a vector 405.
- the intersection 101a is moved relative to the intersection 101b by the inverse vector 406 of the vector 405, and the image information obtained from the imaging region 302b and the image obtained from the imaging region 302a are obtained. Overlay image information. In this way, the subject image 103b on the imaging region 302b and the subject image 103a on the imaging region 302a can be superimposed with almost no deviation.
- the pixel 100b in the imaging region 302b and the pixel 100a in the imaging region 302a are shifted by an odd multiple of half the pixel pitch pi in the X-axis direction. Therefore, the resolution in the X-axis direction of the combined image is improved.
- the subject distance can be increased or decreased. Nevertheless, an image with improved resolution in the X-axis direction can be obtained.
- the force that may cause the Y-axis position of the pixels to be inconsistent may not be known, but in such a case, it can be corrected to an appropriate position by interpolation processing such as linear interpolation.
- the image information obtained from the imaging region 302a and the image information obtained from the imaging region 302c are combined with the image information obtained from the imaging region 302b in the X-axis direction and the Y-axis direction.
- a high resolution image can be obtained.
- the pixel pitch pi in the X-axis direction and the pixel pitch p2 in the Y-axis direction may be the same or different.
- a plurality of image sensors may be combined to form one image area, or a separate image sensor may be used for each image area.
- the pixel shift amount can be adjusted by relative rotation.
- FIG. 6A is a plan view seen along a direction parallel to the optical axis of the imaging apparatus of Embodiment 1
- FIG. 6B is a cross-sectional view taken along line 6B-6B in FIG. 6A
- 700 is a lens array having three lenses integrally molded using acrylic resin. As shown in FIG. 6A, the three lenses are arranged so that their optical axes are positioned at the three vertices of a square with a side d of 2 mm. All the lenses were designed to have the best optical characteristics for green wavelength light. In the Z-axis direction, the distance from the center of the lens to the imaging plane was 2.5 mm.
- the lens array 700 was held by a cylindrical lens barrel 701.
- Three openings 702 were provided on the surface of the lens barrel 701 facing the subject, corresponding to the position of the lens.
- An annular recess (groove) was formed in a portion of the base 703 that fits into the lens barrel 701.
- the lens barrel 701 is rotated with respect to the base 703 around the center axis of the lens barrel 701 along this recess, and the object image formed by each of the three lenses and the pixel of the image sensor 704 Adjust so that the pixel shift arrangement described above is realized did.
- the imaging element 704 was fixed on the base 703.
- a CCD with 2 / ⁇ and 2000 pixels (X axis direction) X 2000 pixels ( ⁇ axis direction) was used for both pixel pitch pi and p2 force S in the X axis direction and Y axis direction.
- the three lenses form the subject image, and three areas of 800 pixels (X-axis direction) X 600 pixels (Y-axis direction) are used as the imaging area. .
- the distance between the optical axes of the lenses is 2 mm and the pixel pitch pi, p2 is.
- a color filter 705 that transmits light in the green wavelength band is provided on the surface of the image sensor 704 on the subject side.
- a spacer 706 is interposed between the lens barrel 701 and the base 703 so that the lens imaging surface and the light receiving surface of the image sensor 704 are accurately aligned.
- a resolution chart was installed at the position of the subject distance lm, and the limit resolution was evaluated.
- the limit resolution of an 800-pixel (X-axis direction) X 600-pixel (Y-axis direction) image taken with only one lens was 550 TV lines in both the X-axis direction and the Y-axis direction.
- the limit resolution of the image obtained by synthesizing the three image information obtained in the three imaging areas by the method of the present invention is 1000 TVs in both the X-axis direction and the Y-axis direction, which is improved by about 1.8 times.
- the limit resolution was evaluated while changing the subject distance from 10 cm to 3 m, when combining three pieces of image information at any distance compared to shooting with only one lens, 1. There was an improvement in the resolution limit of 5 to 1.8 times.
- dX sin 0 is within the range of 0.5Xpl ⁇ 0.25Xpl.
- improvement in the critical resolution was observed in the X-axis direction, and when dX sin0 was within the range of 0.5Xp2 ⁇ 0.25 Xp2, the improvement in the critical resolution was observed in the Y-axis direction.
- the imaging apparatus using the lens array 300 in which the three lenses 301a, 301b, and 301c are integrally molded without any error in the relative positional relationship between them has been described.
- a molding error occurs in the relative positional relationship between multiple lenses, it is difficult to correct this.
- an imaging apparatus to which a function for compensating a molding error of the lens array is added to the first embodiment is provided.
- FIG. 7A is a plan view showing the arrangement of lenses of the imaging apparatus according to Embodiment 1.
- the distance between the optical axis of the lens 301b and the optical axis of the lens 301a, and the distance between the optical axis of the lens 301b and the optical axis of the lens 301c are both d, and X in the imaging region.
- the case where the pixel pitches pi and p2 in the time direction and the Y-axis direction are both p will be described.
- the angular force formed by the first straight line 211 connecting the optical axis of the lens 301b and the optical axis of the lens 301a and the second straight line 212 connecting the optical axis of the lens 301b and the optical axis of the lens 301c is molded. If the error is not exactly a right angle, the above two deviations will not be d X sin 0 at the same time. Therefore, the two subjects on which the lens 301b and the lens 301a form images respectively. It may be difficult to realize a pixel-shifted arrangement at the same time between the images and between the two subject images formed by the lens 30 lb and the lens 30 lc, respectively. In such a case, no matter how the angle ⁇ is changed, it is not possible to obtain a high-resolution image in both the X-axis direction and the Y-axis direction.
- FIG. 7B is a plan view showing the arrangement of the lenses of the imaging apparatus according to the second embodiment.
- the distance between the optical axis of the lens 301b and the optical axis of the lens 301a is dl
- the distance between the optical axis of the lens 301b and the optical axis of the lens 301c is d2 (d2 ⁇ dl).
- the displacement amount in the X-axis direction of the lens 301a relative to the optical axis of the lens 301b (that is, the pixel displacement amount in the X-axis direction) is dl X sin 0, and the lens 301b.
- the amount of deviation of the optical axis of the lens 301c with respect to the optical axis in the Y-axis direction (that is, the amount of pixel displacement in the negative axis direction) is d2 X sin 0.
- the pixel shift amount in each direction has the particularly high limit resolution described in Example 1. Improvements can be realized 0.5 X pl ⁇ 0. L X pl and 0.5 X p2 ⁇ 0.1 X p2 within the range of [Simultaneous adjustment]. In other words, even if a manufacturing error occurs, it is possible to create an imaging device that can easily and surely increase the resolution in both the X-axis direction and the Y-axis direction by adjusting the angle ⁇ , thereby facilitating manufacturing and improving yield. .
- the pitch p 2 may be different (p 1 ⁇ p 2).
- the angle of rotation of the optical axis of the lens 301a with respect to the optical axis of the lens 301b in the X-axis direction coincides with one pixel pitch p 1 in the X-axis direction.
- the amount of deviation of the optical axis of lens 301c in the Y axis direction relative to the optical axis of lens 301b is d X sin ⁇ , which does not match the one-pixel pitch ⁇ 2 in the negative axis direction. That is, as in FIG. 7B, the ratio of the pixel shift amount to the pixel pitch can be made different between the X axis direction and the X axis direction. Therefore, even if a molding error occurs in the lens array, the amount of pixel shift in each direction can achieve a high limit resolution improvement of 0.5 X pl ⁇ 0. L X pl and 0.5 ⁇ ⁇ 2 ⁇ 0. Within the range of 1 ⁇ ⁇ 2 It becomes easy to adjust so that it enters simultaneously.
- FIG. 8A is a plan view seen along a direction parallel to the optical axis of the image pickup apparatus of Embodiment 2, and FIG. 8B is a cross-sectional view taken along line 8B-8B in FIG. 8A.
- the second embodiment is different from the first embodiment (FIGS. 6A and 6B) in the following points.
- the diagonal color filters 800b and 800d transmit light in the green wavelength band
- the color filter 800a transmits light in the red wavelength band
- the color filter 800c transmits light in the blue wavelength band.
- Each lens was designed to have the best optical characteristics for light of the wavelength of light transmitted by the corresponding color filter.
- the effective pixel areas of the image sensor 704 four areas of 800 pixels (X-axis direction) X 600 pixels (Y-axis direction), where the four lenses each form a subject image, were used as the imaging area. In this way, an imaging device that combines color images was created. Except for the above, the configuration is the same as FIGS. 6A and 6B, and the same components are denoted by the same reference numerals, and detailed description thereof will be omitted.
- the parallax amount is obtained by comparing two pieces of image information obtained from two imaging regions corresponding to the two color filters 800b and 800d that are disposed at diagonal positions that transmit light in the green wavelength band. Was determined accurately.
- the X-axis component of this amount of parallax is the amount of parallax of the blue image information that also obtained the imaging area power corresponding to the color filter 800c
- the Y-axis component is the parallax of the red image information obtained from the imaging area corresponding to the color filter 800a. Amount.
- FIG. 9A shows the lens arrangement of the lens array 700.
- FIG. 9A only the three lenses corresponding to the power Raphino letter 800a, 800b, 800c (jl concealment, 401a, 401b, 4001c) are shown.
- the optical axis positions of these three lenses are precisely measured, if the straight line 212 connecting the optical axis of the lens 401b and the optical axis of the lens 401c is set parallel to the X axis, the lens 401a relative to the optical axis of the lens 401b is set.
- This condition forces et al, is rotated by 7. 5 X 10- 4 rad in the clockwise direction against the lens array 700 to the image pickup element 704, as shown in FIG. 9B, the light of the lens 401c with respect to the optical axis of the lens 4 01b
- the arrangement of the color filters is not limited to the above example.
- 800a and 800c are color filters that transmit light in the green wavelength band
- 800b are color filters that transmit light in the red wavelength band
- 800d are color filters that transmit light in the blue wavelength band.
- Luther may be used.
- Example 1 the four lenses in Example 2 described above were arranged so that their optical axes were approximately located at each vertex of a square whose side d was 2 mm. Other than this, the configuration of the imaging device and the processing of the image information were the same as in Example 2.
- the critical resolution was evaluated in the same manner as in Example 2.
- the limit resolution of the color image obtained by combining the four image information obtained in the four imaging areas is often different in the X-axis direction and the Y-axis direction.
- rotation of the lens array 700 relative to the image sensor 704 When the angle was a certain value, 900 TV lines in the X-axis direction and 600 TV lines in the Y-axis direction, high resolution was achieved in the Y-axis direction.
- an imaging apparatus in which measurement of subject distance and high resolution of an image are compatible.
- the amount of parallax is correlated with which part of an image (compared image) to which each block is compared by dividing a reference image (reference image) into a plurality of blocks.
- the maximum value is obtained by examining in the same manner as described in the first embodiment.
- the image to be compared moves in a direction perpendicular to the straight line connecting the optical axes of the pair of lenses with respect to the reference image. Therefore, similar to the distance measurement method in a normal compound eye imaging device, when searching for an image along a straight line connecting the optical axes of a pair of lenses, the amount of parallax with poor correlation is detected with high accuracy. It tends to be difficult.
- the influence of the pixel shift arrangement of the present invention is corrected.
- the detection accuracy of the amount of parallax can be improved. Therefore, the subject distance can be measured with high accuracy under the pixel shift arrangement of the present invention.
- the measurement of the subject distance and the photographing of the high resolution image are compatible.
- FIG. 10A is a plan view seen along a direction parallel to the optical axis of the imaging apparatus of Embodiment 3, and FIG. 10B is a cross-sectional view taken along line 10B-10B in FIG. 10A.
- a lens array 1000 having a pair of lenses 1000a and 1000b was integrally molded. The distance between the optical axes of the pair of lenses 1000a and 1000b was 3 mm.
- the lens array 1000 was held by a cylindrical lens barrel 1001. Two openings 1002 are provided on the surface of the lens barrel 1001 facing the subject, corresponding to the positions of the pair of lenses 1000a and 1000b. As shown in FIG.
- the shape of the outer periphery of the lens barrel 1001 viewed in a direction parallel to the optical axis is a pair of straight lines 1001a having a long side and a pair of arcs 1001b connecting both ends.
- a deformed rectangle with a short side was used.
- a recess (groove) having a curved surface 1003b having the same curvature as that of the pair of arcs 1001b is formed in a portion of the base 1003 that fits with the lens barrel 1001. Formed.
- the lens barrel 1001 is rotated with respect to the base 1003 around the central axis of the lens barrel 1001, and a pair of subject images formed by the pair of lenses 1000a and 1000b, the pixels of the image sensor 1004, and The adjustment was made so that the pixel shift arrangement was realized between the two.
- the image sensor 1004 was fixed on the base 1003. As the image sensor 1004, a CCD with pixel pitch pi and p2 force in the X-axis direction and Y-axis direction was used. A spacer 1006 is interposed between the lens barrel 1001 and the base 1003, so that the lens imaging surface and the light receiving surface of the image sensor 1004 are accurately aligned.
- a wavelength selection filter 1005 that transmits light in the green wavelength band is provided in each of the pair of openings 1002 of the lens barrel 1001. The subject distance was measured by comparing the two images formed by the pair of lenses 1000a and 1000b.
- the pair of image forces formed by the pair of lenses 1000a and 1000b on the image sensor 1004 was also obtained as follows. That is, first, the entire image (compared image) by the lens 1000b was moved in the Y-axis direction by an amount corresponding to half the pixel pitch by image conversion. Next, in the image to be compared, the position of the portion corresponding to the block in the image (reference image) by the lens 1000a was searched. The amount of deviation in the X-axis direction (that is, the amount of parallax) between this block in the reference image and the position of the portion corresponding to this block in the compared image was obtained, and the subject distance was obtained.
- An imaging device of Comparative Example 2 was created that was the same as Example 3 except that the pixel shifting arrangement in the Y-axis direction was not performed. As a result of comparing the imaging device of Example 3 and the imaging device of Comparative Example 2 with respect to the measurement accuracy of the subject distance, there was no significant difference between the two. On the other hand, as a result of comparison with regard to the limit resolution of the composite image, the high resolution image of 1.5 times that of Comparative Example 2 was obtained in Example 3.
- Example 3 the light in the green wavelength band is used as the pair of wavelength selective filters 1005.
- transmits was used.
- this is merely an example, and the present invention is not limited to this, and the same effect as described above can be obtained as long as the filter selectively transmits light in a specific wavelength band.
- a filter that transmits infrared light is used as the pair of wavelength selection filters 1005, an imaging apparatus capable of measuring the subject distance and capturing a high-resolution image even at night can be realized.
- FIG. 11A is a plan view seen along a direction parallel to the optical axis of the imaging apparatus of Embodiment 4, and FIG. 11B is a cross-sectional view taken along line 11B-11B in FIG. 11A.
- a lens array 1100 having a pair of lenses 1100a and 1100b having a diameter of 2.1 mm was integrally molded. The distance between the optical axes of the pair of lenses 1100a and 1100b was 3 mm.
- the lens array 1100 was held by a cylindrical lens barrel 1101. Two openings 1102 are provided on the surface of the lens barrel 1101 facing the subject, corresponding to the positions of the pair of lenses 1100a and 1100b. As shown in FIG.
- the planar shape of the outer peripheral surface of the lens barrel 1101 viewed along the direction parallel to the optical axis has a pair of straight lines 1101a as long sides and a pair of arcs 1101b connecting both ends as short sides. And a modified rectangle.
- a recess (groove) having a curved surface 1103b having the same curvature as that of the pair of arcs 1101b was formed in a portion of the base 1103 that fits into the lens barrel 1101.
- the lens barrel 1101 is rotated with respect to the base 1103 around the central axis of the lens barrel 1101, and a pair of subject images and a pixel of the image sensor 1104 are formed respectively. Adjustments were made so that a pixel shift arrangement was realized in between.
- the image sensor 1104 was fixed on the base 1103.
- a CCD of 2. was used for both the pixel pitch pi and p2 force S in the X-axis direction and the Y-axis direction.
- a spacer 1106 was interposed between the lens barrel 1101 and the base 1103 to accurately align the lens imaging surface and the light receiving surface of the image sensor 1104.
- the parallax due to the difference in subject distance occurs in the linear direction connecting the optical axes of the pair of lenses 1100a and 1100b, that is, in the X-axis direction. Therefore, it sets the pair of lenses 1100a, an angle ⁇ formed between one arrangement direction of the straight line and pixel connecting the optical axes of 1100b 3. in 6 X 10- 4 rad. to this As a result, a pixel shift arrangement in the Y-axis direction with a pixel shift amount of approximately 1.1 m was realized.
- Refractive diffraction lens with coating layer a lens in which a diffraction grating is formed on the surface of the refractive lens and a layer made of a material having a refractive index different from that of the lens material is applied on the diffraction grating.
- a color filter 1105 was formed on the image sensor 1104.
- Figure 12A shows the arrangement of the color filters on the pixels in the imaging area corresponding to lens 1100a, and Figure 12B shows the lens 11
- Example 4 The arrangement of the color filters on the pixels in the imaging area corresponding to OOb is shown. As shown in FIG. 12A and FIG. 12B, in Example 4, a filter that transmits light of any one of red R, green G, and blue B is used as the color filter 1105 corresponding to the pixel arrangement. An arrayed color filter was used.
- Each pixel of the image sensor 1104 cannot obtain any information power of red, green, and blue.
- information on the other two colors in a pixel with a filter of a certain color can be obtained from an image pickup device using an image sensor in which three color filters are arranged in a layer.
- color information interpolation processing can be performed by estimating the color information power of a pixel.
- color information of red, green, and blue was obtained for each pixel. Therefore, the pixel shift arrangement for each of the red, green, and blue colors was realized.
- single-color image information that also has two imaging area powers is synthesized to obtain a high-resolution image, and then a high-resolution image of red, green, and blue is further synthesized to produce a high-resolution image. A color image was obtained.
- the color arrangement of the color filter 1105 provided on the image sensor 1104 is not limited to the Bayer arrangement shown in FIGS. 12A and 12B. If image information of the three primary colors is obtained, color images can be taken.
- a color filter arranged in a bay as shown in FIG. 13A is provided in the imaging region corresponding to the lens 1100a, and a green filter is provided in the imaging region corresponding to the lens 1100b as shown in FIG. 13B. Only a filter that transmits light may be provided. This makes it possible to obtain more green information that is most sensitive to the human eye, so that an image with high resolution can be obtained. In this case, it is preferable to use the above-described refractive diffraction lens with a coating layer as the lens 1100a.
- a filter that transmits green light and a filter that transmits red light are arranged in a pine pattern corresponding to the pixel arrangement.
- a filter that transmits green light and a filter that transmits blue light correspond to the pixel arrangement in the imaging region corresponding to the lens 1100b.
- a color filter may be provided.
- the field of use of the imaging apparatus of the present invention is not particularly limited, but can be preferably used particularly for a camera mounted on a portable device and the like because it can capture a high-resolution image while being thin and small.
- the distance to the subject can be measured, it can also be used for input devices used in fields such as vehicle periphery monitoring, security, motion capture, and endoscopes.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Cameras In General (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
Abstract
複数の撮影光学レンズ(301a~301c)が複数の撮像領域(302a~302c)上に複数の被写体像をそれぞれ結像する。光軸に平行な方向に沿って見たとき少なくとも一対の撮影光学レンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少なくとも一本の直線は撮像領域の画素の配列方向に対して傾斜している。これにより、被写体距離によらず常に高解像度画像を得ることができる。
Description
明 細 書
複眼方式の撮像装置
技術分野
[0001] 本発明は、略同一平面上に配置された複数の撮影光学レンズによって画像を撮像 する複眼方式の撮像装置に関する。
背景技術
[0002] 携帯機器に用いられる撮像装置には、高解像度化と小型化の両立が必要とされて いる。小型化するためには、撮影光学レンズの大きさや焦点距離、撮像素子の大きさ が障害となることが多い。
[0003] 一般的に、材料の屈折率は光の波長に依存するため、全波長帯域の情報が含ま れる被写体からの光を単レンズで撮像面に結像することは困難である。その為、通常 の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するた め、光軸方向に複数のレンズが配置されている。このため、光学系が長くなり、撮像 装置が厚くなる。
[0004] そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短!、複 数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている (た とえば、特開 2002— 204462号公報参照)。複眼方式のカラー画像撮像装置は、青 色の波長の光を受け持つレンズ、緑色の波長の光を受け持つレンズ、及び赤色の波 長の光を受け持つレンズを同一平面上に並べた光学系と、それぞれのレンズに対応 した撮像素子とを備える。各レンズが受け持つ光の波長範囲が限定されるため、単レ ンズにより被写体像を撮像素子上に結像することが可能となる。従って、撮像装置の 厚さを大幅に小さく出来る。
[0005] 図 15に複眼方式の撮像装置の一例の斜視図を示す。 900は、一体成型された 3 つのレンズ 901a、 901b, 901cを含むレンズアレイである。レンズ 901aは、赤色の波 長の光を受け持ち、撮像領域 902aに被写体像を結像する。撮像領域 902aの画素( 受光部)には赤色の波長分離フィルター (カラーフィルター)が貼り付けられており、 撮像領域 902aは結像された赤色の被写体像を画像情報に変換する。同様に、レン
ズ 901bは、緑色の波長の光を受け持ち、撮像領域 902bに被写体像を結像する。撮 像領域 902bの画素(受光部)には緑色の波長分離フィルター (カラーフィルター)が 貼り付けられており、撮像領域 902bは結像された緑色の被写体像を画像情報に変 換する。また、レンズ 901cは、青色の波長の光を受け持ち、撮像領域 902cに被写 体像を結像する。撮像領域 902cの画素 (受光部)には青色の波長分離フィルター( カラーフィルター)が貼り付けられており、撮像領域 902cは結像された青色の被写体 像を画像情報に変換する。撮像領域 902a, 902b, 902cから出力された画像情報 を重ね合わせて合成することにより、カラー画像情報を取得することができる。
このような複眼方式の撮像装置によれば撮像装置の厚さを薄くすることができるが、 通常の単眼方式の撮像装置に比べて解像度が劣るという問題がある。単眼方式の 撮像装置では、結像面に配置された多数の画素 (受光部)を有する撮像素子が入射 した光を画像情報に変換する。各位置における色情報を取り出すために、各画素に は波長分離フィルター (カラーフィルター)がべィヤー配列で設けられている。すなわ ち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させる波長 分離フィルターが市松模様に配置され、残りの画素に赤色光及び青色光をそれぞれ 透過させる波長分離フィルターが交互に配置される。各画素からは、そこに設けられ た波長分離フィルターを透過した光の波長帯域に対応した色情報のみが得られ、波 長分離フィルターを透過しない光の波長帯域に対応した色情報を得ることができな い。し力しながら、画像の局所領域では 3色の色情報間に相関性があることが知られ ており(たとえば、小寺宏曄、他 2名、「色信号の相関を利用した単色画像からのフル カラー画像の表示方式」、昭和 63年度画像電子学会全国大会予稿 20、 p. 83 - 86 (1988)参照)、赤や青の色情報から緑の色情報を推測することができる。この特性 を利用し、波長分離フィルターがペイヤー配列された撮像素子では、不足している色 情報の補間処理が行われる。したがって、画素の数と同じ画素数の解像度のカラー 画像を得ることができる。たとえば、 100万個の画素を持つ撮像素子では、 50万個の 画素が緑色の色情報を検出し、 25万個の画素が青色の色情報を検出し、 25万個の 画素が赤色の色情報を検出するが、上記の補間処理により、赤、緑、青のいずれの 色についても 100万画素の解像度の色情報を得ることができる。
[0007] しかし、複眼方式の撮像装置では、各色に対応する各撮像領域が赤、緑、青の 、 ずれかの色情報を取得するため、各撮像領域が有する画素の数と同じ画素数のカラ 一画像が得られる。たとえば、赤、緑、青の各色情報を 25万個の画素を有する 3つの 撮像領域で取得する場合、合計 75万個の画素が必要となるが、重ね合わせて得ら れるカラー画像の解像度は 25万画素となる。
[0008] 画像の解像度を向上させる方法として、光学系と撮像素子との相対的位置関係を 時間的ずらしたり、プリズムを用いて光束を複数に分離して複数の撮像素子に入射さ せたりすることにより、被写体像と画素との位置関係が相互にずれた複数の画像情報 を取得し、これら複数の画像情報を合成することにより高解像度の画像を取得する「 画素ずらし」と呼ばれる技術が知られている(例えば、特開平 10— 304235号公報参 照)。この場合のずらし量は、ずらす方向と取得する画像情報の数により最適な値が 決まる。たとえば、 2つの画像情報を合成する場合は、被写体像と画素との相対的位 置関係が画素の配置ピッチ(以下、「画素ピッチ」と 、う)の半分の奇数倍だけ 2つの 画像情報間でずれていると、もっとも高解像度の画像を得ることができる。この技術は 、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いに ずれた複数の画像情報が得られれば利用可能であり、ずらす方法にはよらない。本 発明では、被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の 画像情報を取得でき、この複数の画像情報を合成して高解像度の画像を得ることが できるような、被写体像と撮像素子の画素との相対的位置関係を「画素ずらし配置」と いう。
[0009] 複眼方式の撮像装置にお!、ても、複数の画像情報間で被写体像と画素との相対 的位置関係がずれていれば、すなわち画素ずらし配置を実現できれば、高解像度の 画像を得ることができる。
[0010] たとえば、特開 2002— 209226号公報〖こは、複数のレンズで複数の被写体像を複 数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置にぉ ヽて、各被写体像 力 Sレンズの光軸を結ぶ方向にずれて結像されて画素ずらし配置が実現されるように、 複数のレンズと複数の撮像素子とを配置することにより、高解像度画像を得ることが 記載されている。
[0011] また、複眼方式の撮像装置では、複数のレンズの各光軸が互いに異なることにより 生じる視差を用いて被写体までの距離を測定することができる。
発明の開示
発明が解決しょうとする課題
[0012] し力しながら、画素ずらし技術により高解像度画像を得るためには、被写体像と画 素との相対的位置関係が常に画素ずらし配置である必要がある。図 16Aは、複眼方 式の撮像装置にぉ ヽて、複数のレンズと被写体と被写体像との位置関係を示した側 面図、図 16Bはその平面図である。図 16Aは、複数のレンズの光軸を含む面と直交 する方向に沿って見た状態を示し、図 16Bはレンズの光軸と平行な方向に沿って見 た状態を示す。 200a、 200bはレンズ 201a、 201bの光軸であり、 202a、 202bは光 軸が撮像領域 203と交わる位置である。光軸 200a上にある被写体 204は、レンズ 20 la、 201bにより、被写体像 205a、 205bとして結像される。複眼方式の撮像装置に お ヽて ίま、レンズ 201a、 201bの光軸 200a、 200b力 ^異なるため、レンズ 201a、 201 bから被写体 204までの距離が変わると、被写体像 205bの位置は撮像領域 203上 で、交点 202aと交点 202bとを結ぶ直線 206上を移動する。この現象は「視差」と呼 ばれる。被写体像 205bの交点 202bからのずれ量 Sは、被写体距離(レンズ 201aか ら被写体 204までの距離)を A、光軸 200a、 200b間の距離を d、結像距離を fとする と、次式で表される。
[0013] [数 1] s = l^
A
[0014] このように、直線 206の方向における被写体像 205bと画素との相対的位置関係は 、被写体距離 Aに応じて変化する。したがって、直線 206方向における被写体像の ずれ量 Sを画素ピッチに対して所定の関係に設定した場合には、被写体距離 Aによ つて解像度が変化し、常に高解像度画像を得ることができな 、と 、う問題がある。
[0015] 本発明は、被写体距離によらず常に高解像度画像を得ることができる複眼方式の
撮像装置を提供することを目的とする。
課題を解決するための手段
[0016] 本発明の複眼方式の撮像装置は、略同一平面上に配置された複数の撮影光学レ ンズと、それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配 置された多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の 被写体像を複数の画像情報に変換する複数の撮像領域とを備える。
[0017] そして、前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レ ンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を 結ぶ少なくとも一本の直線が前記画素の配列方向に対して傾斜して 、ることを特徴と する。
発明の効果
[0018] 本発明によれば、画素の配列方向に対して垂直な方向において画素ずらし配置を 実現することができる。この画素ずらし配置の関係は、被写体距離にほとんど影響を 受けない。従って、被写体距離によらず常に高解像度画像を得ることができる。 図面の簡単な説明
[0019] [図 1]図 1は、本発明の実施の形態 1に係る複眼方式の撮像装置の概略構成を示し た斜視図である。
[図 2]図 2は、本発明の実施の形態 1に係る撮像装置において、レンズの光軸と撮像 領域の画素との位置関係を示した平面図である。
[図 3]図 3は、本発明の実施の形態 1に係る撮像装置において、画像情報の合成を説 明するための平面図である。
[図 4]図 4は、遠 、被写体を撮像したときの画像情報の合成を示した平面図である。
[図 5]図 5は、近 、被写体を撮像したときの画像情報の合成を示した平面図である。
[図 6A]図 6Aは、本発明の実施例 1の撮像装置の平面図である。
[図 6B]図 6Bは、図 6Aの 6B— 6B線での矢視断面図である。
[図 7A]図 7Aは、本発明の実施の形態 1に係る撮像装置のレンズの配置を示した平 面図である。
[図 7B]図 7Bは、本発明の実施の形態 2に係る撮像装置のレンズの配置を示した平
面図である。
[図 8A]図 8Aは、本発明の実施例 2の撮像装置の平面図である。
[図 8B]図 8Bは、図 8Aの 8B— 8B線での矢視断面図である。
[図 9A]図9 Aは、本発明の実施例2の撮像装置のレンズアレイを構成するレンズ配置 を示した平面図である。
[図 9B]図 9Bは、本発明の実施例 2の撮像装置において、図 9Aの状態からレンズァ レイを回転させた状態でのレンズ配置を示した平面図である。
[図 10A]図 10Aは、本発明の実施例 3の撮像装置の平面図である。
[図 10B]図 10Bは、図 10Aの 10B— 10B線での矢視断面図である。
[図 11A]図 11Aは、本発明の実施例 4の撮像装置の平面図である。
[図 11B]図 11Bは、図 11Aの 11B—11B線での矢視断面図である。
圆 12A]図 12Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設 けられたカラーフィルターの配置を示した平面図である。
圆 12B]図 12Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設 けられたカラーフィルターの配置を示した平面図である。
圆 13A]図 13Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設 けられたカラーフィルターの別の配置を示した平面図である。
圆 13B]図 13Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設 けられたカラーフィルターの別の配置を示した平面図である。
圆 14A]図 14Aは、本発明の実施例 4の撮像装置において、一方の撮像領域上に設 けられたカラーフィルターの更に別の配置を示した平面図である。
圆 14B]図 14Bは、本発明の実施例 4の撮像装置において、他方の撮像領域上に設 けられたカラーフィルターの更に別の配置を示した平面図である。
[図 15]図 15は、従来の複眼方式の撮像装置の一例の概略構成を示した斜視図であ る。
圆 16A]図 16Aは、複眼方式の撮像装置において、複数のレンズと被写体と被写体 像との位置関係を示した側面図である。
[図 16B]図 16Bは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像
との位置関係を示した平面図である。
発明を実施するための最良の形態
[0020] 本発明において、「画素の配列方向」とは、以下のようにして求められる。多数の画 素が配置された平面に含まれる互いに平行な複数の第 1直線及び互いに平行な複 数の第 2直線を想定する。この複数の第 1直線と複数の第 2直線とが交差する複数の 交点上に前記多数の画素の全てが配置されるように、複数の第 1直線及び複数の第 2直線の各傾きを設定する。このようにして設定された複数の第 1直線及び複数の第 2直線にそれぞれ平行な第 1方向及び第 2方向が「画素の配列方向」である。
[0021] また、本発明において、一対の撮影光学レンズの一対の光軸を結ぶ直線との関係 において着目する「画素の配列方向」とは、上記の第 1方向及び第 2方向のうち、前 記一対の光軸を結ぶ直線となす角度(90° 未満)がより小さい方の方向を意味する
[0022] 更に、本発明において、直線が画素の配列方向に対して「傾斜している」とは、直 線と画素の配列方向とが、平行でなぐ 90度以外の角度で交差することを意味する。
[0023] 本発明では、一対の撮影光学レンズが結像した一対の被写体像が画素の配列方 向と垂直な方向にぉ 、て画素ずらし配置の関係で結像されるので、被写体までの距 離によらず常に画素ずらし配置を実現できる。即ち、レンズの光軸に平行な方向に沿 つて見たとき、一対の撮影光学レンズの一対の光軸を結ぶ直線と画素の配列方向と がなす角度 Θを調整することによって、この一対の光軸を結ぶ直線に対して角度 Θ をなす画素の配列方向に対して直角方向(以下、「画素ずらし方向」と!、う)にお!/、て 画素ずらし配置を実現する。
[0024] 複数の撮像領域から得た複数の画像情報を合成する場合に、最も高解像度の画 像が得られるのは、一対の撮影光学レンズの光軸間隔を d、前記画素の配列方向と 垂直な方向の前記画素の配置ピッチを p、正の整数を nとしたとき、
(2n- l) X p/2 = d X sin 0
を満足するときである。
[0025] 実際にこの等式を完全に満足する撮像装置を製造することは、製造上のばらつき により困難である。この等式を実質的に満足していれば、画素ずらしによる効果が得
られる。すなわち、不等式、
(2n- l) X p/2-p/4< d X sin 0 < (2n— 1) X p/2+p/4
を満足すれば、画素ずらしにより高解像度画像を得ることができる。
[0026] また、製造上のばらつきが生じても、角度 Θを調整することにより、容易且つ確実に 画素ずらし配置を実現することができる。従って、製造が容易で量産時の歩留まりが 向上する。
[0027] 本発明では、視差の画素ずらし方向の成分が極めて小さいことに着目して、被写体 距離によらず画素ずらしによる効果を得ている。しかし、視差の画素ずらし方向の成 分を完全にゼロにすることは困難である。上記のように、視差は被写体距離が小さく なると急激に大きくなる。また、視差の画素ずらし方向の成分は、角度 Θ (すなわち n )が大きいほど大きくなる。従って、 nは、
n<Amin/ (4 X f)
を満足することが好ましい。
[0028] ここで、 Aminは、撮影される最も近 ヽ被写体までの距離 (被写体距離 Aの最小値) 、 fは結像距離である。 nが上記関係を満足すれば、角度 Θが極めて小さな値になる ので、被写体距離の変化による被写体像の移動方向(すなわち、一対の光軸を結ぶ 直線方向)と画素の配列方向とをほぼ同一方向であるとみなすことができる。そして、 視差の画素ずらし方向の成分をほぼ無視することが可能となる。従って、被写体距離 によらず、画素ずらし方向にぉ 、て常に画素ずらし配置を実現することができる。
[0029] レンズ材料の屈折率や回折格子の効率は波長に依存するため、波長を限定すれ ばレンズの特性は向上する。そこで、本発明では、複数の撮像光学レンズの各光路 上に、所定の波長の光を透過するフィルターが設置されていることが好ましい。これ により、撮像領域上に結像される被写体像の波長が限定されるため、鮮明な画像が 得られる。画素ずらしされた合成前の画像が鮮明であることにより、合成された高解 像度画像も鮮明になる。
[0030] また、複数の撮影光学レンズの各光路上に、同じ帯域の波長の光を透過するフィ ルターを設置しても良い。これにより、同じ波長帯域の鮮明な複数の画像を用いるこ とで、視差による被写体距離の測定を行うことができる。前述のように被写体距離の
違いによる視差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本 発明では、一対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置を する。このように、本発明では、視差が生じる方向と画素ずらし配置の方向とが異なる ので、被写体距離 (即ち視差)が変化しても画素ずらし配置はほとんど影響を受けな い。従って、被写体距離によらず、被写体距離の測定精度はほとんど変化せず、被 写体距離の測定と画像の高解像度化とを両立することができる。
[0031] 本発明の画素ずらし配置を実現するためには、画素ずらし量、すなわち「d X sin θ 」の値を適切に設定する必要がある。このためには、光軸間隔 dを一定として、角度 Θ を微調整すればよい。従って、複数の撮影光学レンズが、一体に成型されたレンズァ レイであることが好ましい。これにより、個々のレンズを調整するのではなぐレンズァ レイ全体を複数の撮像領域に対して、複数の撮像領域の受光面に平行な面内でわ ずかに回転調整することで、本発明の画素ずらし配置を実現できる。従って、レンズ アレイを高精度に組み立てたり、成型したりする必要はなぐ容易に画素ずらし配置 を実現することができる。
[0032] 本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域とを、前 記複数の撮影光学レンズの光軸に対して直交する面内で相対的に回転させる機構 を更に備えることが好まし 、。
[0033] このような回転機構を備えることにより、製造工程において、容易に且つ精度よく画 素ずらし量、すなわち角度 Θの調整が可能となる。なお、角度 Θの調整は製造工程 にお 、て行われ、製品状態では回転機構は固定されて 、る。
[0034] 本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域との距 離を調整する機構を更に備えることが好ましい。
[0035] これにより、各レンズの結像面に撮像領域を確実に配置することが可能となり、より 鮮明な複数の画像情報を得ることが可能となる。従って、これら複数の画像情報を合 成することにより、より高解像度の画像を得ることができる。
[0036] 本発明の撮像装置において、前記撮影光学レンズの数が少なくとも 3個であること が好ましい。この場合において、前記光軸に平行な方向に沿って見たとき、二対の前 記撮影光学レンズのそれぞれの光軸を結ぶ第 1直線及び第 2直線がなす角度がほ
ぼ直角であり、前記光軸に平行な方向に沿って見たとき、前記第 1直線と前記画素 の第 1配列方向とがなす角度を 0 1、前記第 2直線と前記画素の第 2配列方向とがな す角度を Θ 2、前記第 1直線に沿って配置された一対の前記撮影光学レンズの光軸 間隔を dl、前記第 2直線に沿って配置された一対の前記撮影光学レンズの光軸間 隔を d2、前記第 1配列方向に垂直な方向に沿った前記画素の配置ピッチを pi、前 記第 2配列方向に垂直な方向に沿った前記画素の配置ピッチを p2、正の整数を m, nとしたとさ、
(2n- l) X p l/2-p l/4< dl X sin 0 1 < (2n— 1) X p l/2+p l/4 (2m- 1) X p2/2-p2/4< d2 X sin 0 2< (2m— 1) X p2/2+p2/4 を満足することが好ましい。
[0037] ここで、画素が 2つの方向に配列されている場合には、 2つの配列方向のうち、第 1 直線となす角度(90° 未満)がより小さい方の方向を「第 1配列方向」と定義し、第 2 直線となす角度(90° 未満)がより小さい方の方向を「第 2配列方向」と定義する。
[0038] これにより、複数の方向において画素ずらし配置を実現することができ、この複数の 方向において解像度を向上させることができる。また、少なくとも 3個のレンズを備える ので、各レンズを通じて赤、緑、青の各色の画像情報を得てこれらを合成すればカラ 一画像を得ることができる。なお、上記において、画素の配列ピッチ piと配列ピッチ p 2は、同じであっても良ぐその場合も同様の効果が得られる。
[0039] 上記において、前記光軸間隔 dlと前記光軸間隔 d2とが異なることが好ましい。
[0040] 複数の方向において解像度を向上させるためには、各方向における画素ずらし量 、すなわち dl X sin θ 1及び d2 X sin θ 2を調整する必要がある。ところが、複数のレ ンズがー体成型されたレンズアレイを用いる場合、個々のレンズの位置を独立して調 整することはできない。また、レンズの位置は成型誤差を含んでいる可能性がある。 d l≠d2であれば、レンズアレイを撮像領域に対して回転させたときの各方向における 画素ずらし量の調整範囲が大きくなる。従って、レンズアレイに成型誤差があった場 合でも、複数の方向において画素ずらし量を最適化することができ、複数の方向に おいて解像度を向上させることができる。
[0041] あるいは、前記配置ピッチ piと前記配置ピッチ p2とが異なっていても良い。この場
合も、レンズアレイに成型誤差があった場合でも、複数の方向において画素ずらし量 を最適化することができ、複数の方向において解像度を向上させることができる。
[0042] 本発明の撮像装置において、前記撮影光学レンズ及び前記撮像領域の数がいず れも 4個であることが好ましい。この場合、前記光軸に平行な方向に沿って見たとき、 前記 4個の撮影光学レンズの光軸が略長方形の頂点に配置されていることが好まし い。また、前記 4個の撮像領域のうち、 1つに入射する光の光路上には青色の波長帯 域の光を透過させるフィルターが設けられており、他の 1つに入射する光の光路上に は赤色の波長帯域の光を透過させるフィルターが設けられており、残りの 2つに入射 する光の光路上には緑色の波長帯域の光を透過させるフィルターが設けられている ことが好ましい。
[0043] これにより、輝度情報が多く含まれる緑色の 2つの画像情報を用いて、視差量を計 算することができる。同じ波長帯域の光を用いて視差量を計算することにより、視差 量の精度が向上する。この視差量を用いて、赤色及び青色の画像情報の視差量を それぞれ計算することができる。従って、 2方向に高解像度化されたカラー画像を得 ることができる。また、この視差量を用いて被写体距離を計算しても良い。この場合、 被写体距離の精度が向上する。
[0044] 前記 4個の撮像領域が共通する 1つの撮像素子上に形成されており、前記略長方 形と前記撮像素子の有効画素領域の形状とがほぼ相似形であることが好まし 、。こ れにより、撮像素子の画素を無駄なく有効利用することができる。
[0045] 以下に、本発明の実施の形態を図面に基づいて詳細に説明する。
[0046] (実施の形態 1)
本実施の形態の複眼方式の撮像装置は、従来の複眼方式の撮像装置に比べて、 垂直方向と水平方向の空間サンプリング特性を向上させる。
[0047] 図 1は本実施の形態 1に係るに複眼方式の撮像装置の一例の斜視図である。 300 は、 3つのレンズ 301a、 301b, 301cがー体成型された、透明榭脂よりなるレンズァ レイである。 3つのレンズ 301a、 301b, 301cの光軸 300a, 300b, 300ciま互!ヽ【こ 平行である。これらの光軸に平行な方向に沿って見たとき、光軸 300aと光軸 300bと を結ぶ第 1直線 211と、光軸 300bと光軸 300cとを結ぶ第 2直線 212とが直角となる
ように、 3つのレンズ 301a、 301b, 301cが略同一平面上に配置されている。各レン ズ 301a、 301b, 301cは、被写体像を撮像領域 302a、 302b, 302c上にそれぞれ 結像する。撮像領域 302a、 302b, 302cは、それぞれ光軸 300a, 300b, 300cに 対して直交する面内に配置された多数の画素(受光部)を有し、各画素は入射する 光を光電変換する。カゝくして、撮像領域 302a、 302b, 302cは、それぞれに結像さ れた被写体像を画像情報に変換して出力する。撮像領域 302a、 302b, 302cは、 共通する 1つの撮像素子の有効画素領域を分割することにより形成されている。従つ て、撮像領域 302a、 302b, 302cからの画像情報は、この 1つの撮像素子からの出 力信号から、各撮像領域に対応する画素信号を抽出することにより得られる。
[0048] 高解像度画像を得るために、レンズ 301a、 301b, 301cがそれぞれ形成する被写 体像と撮像領域 302a、 302b, 302cの画素との間に、画素の配列方向と垂直な方 向への画素ずらし配置が実現されるように、 3つのレンズ 301a、 301b, 301cと撮像 領域 302a、 302b, 302cとが配置されている。以下にこれを説明する。
[0049] 図 2は、レンズの光軸と撮像領域の画素との位置関係を示した、光軸と平行な方向 に沿って見た平面図である。
[0050] 100a, 100b, 100cは撮像領域 302a、 302b, 302c内に配置された画素である。
上述したように、 1つの撮像素子の有効画素領域を分割して撮像領域 302a、 302b, 302c力形成されて! /、るので、各撮像領域 302a、 302b, 302c内の画素 100a、 100 b、 100cの配列方向及び画素ピッチは、撮像領域 302a、 302b, 302c間で一致して いる。図 2では、撮像領域 302a、 302b, 302c外の画素の図示を省略している。図 示したように、画素 100a、 100b, 100cは縦横方向に碁盤目状に配置されており、 縦 (垂直方向)の配列方向(第 1配列方向)と平行な方向を Y軸、横 (水平方向)の配 列方向(第 2配列方向)と平行な方向を X軸とする。そして、光軸 300a, 300b, 300c と平行な方向を Z軸とする。 X軸と Y軸と Z軸とは相互に直交する。
[0051] 101a, 101b, 101cは、レンズ 301a、 301b, 301cの各光軸 300a, 300b, 300c と撮像領域 302a、 302b, 302cとの交点である。
[0052] 交点 101bと交点 101aとを結ぶ第 1直線 211と画素の第 1配列方向(Y軸)とがなす 角度を 0 ( Θ≤90° ;)とする。レンズアレイ 300内に 3つのレンズ 301a、 301b, 301c
が誤差なく一体成型されていると仮定すると、交点 101bと交点 101cとを結ぶ第 2直 線 212と画素の第 2配列方向(X軸)とがなす角度も Θとなる。
[0053] 交点 101bと交点 101aとの距離 (すなわち、光軸 300bと光軸 300aとの間隔)を dと すると、交点 101bに対して交点 101aは X軸方向に d X sin 0だけずれている。この ずれ量が撮像素子の X軸方向における画素ピッチ piの半分の奇数倍であれば、撮 影領域 302aで変換した画像情報は、撮像領域 302bで変換した画像情報の X軸方 向の画素間部分 102bの情報となる。
[0054] 103a, 103b, 103dま、光軸 300b上に位置する被写体のレンズ 301a、 301b, 3 01cにより結像された被写体像である。被写体像 103a, 103b, 103cの位置は、レン ズの光軸 300a, 300b, 300cの位置と被写体距離(図 16Aの被写体距離 A)とに応 じて変化する。従って、レンズ 301aにより形成される被写体像 103aは、視差により、 交点 101bと交点 101aとを結ぶ第 1直線 211の方向に沿って、交点 101aに対して交 点 10 lbから離れる側にずれた位置に結像される。第 1直線 211は Y軸に対して平行 ではないので、被写体距離に応じて、被写体像 103aの結像位置は、 X軸方向及び Y軸方向に変化する。本実施の形態では、光軸間隔 dが X軸方向及び Y軸方向の画 素ピッチ pi及び p2に対して十分に大きいので、角度 Θが十分に小さな値をとる限り 、被写体距離の変化による被写体像 103aの結像位置の X軸方向における変化量は ほとんど無視できるほどに小さい。従って、被写体像 103bに対する被写体像 103a の X軸方向におけるずれを利用することにより、被写体距離によらず、常に X軸方向 において画素ずらし配置を実現することができ、 X軸方向の高解像度化を実現するこ とがでさる。
[0055] 更に Y軸方向においても画素ずらし配置を実現するためには、 Y軸方向における 画素ピッチを p2、交点 101bと交点 101cとの距離(すなわち、光軸 300bと光軸 300c との間隔)を d2としたとき、 d2= (pl/p2) X dを満足すればよい。これにより、撮像領 域 302bと撮像領域 302aとの間の X軸方向における上記画素ずらし配置と同様の関 係力 撮像領域 302bと撮像領域 302cとの間に Y軸方向において成立する。従って 、 X軸方向及び Y軸方向において、被写体距離によらず高解像度化を実現すること ができる。
[0056] なお、図 2では、光軸 300bを中心にレンズアレイ 300を撮像素子に対して時計回り 方向に角度 Θだけ回転した例を示したが、これは理解を容易にするためであって、 本発明はこれに限定されない。重要なのは X軸方向及び Y軸方向に上記の画素ずら し配置が実現されるように角度 Θを設定することであって、回転中心軸の位置、相対 的な回転方向は上記以外であつても良い。
[0057] 撮影環境の温度が変化した場合、レンズアレイ 300は熱膨張 (又は熱収縮)する。
温度が室温から上昇すると、レンズアレイ 300はほぼ等方的に膨張するので、レンズ の光軸 300a, 300b, 300cの光軸間隔 d, d2が拡大する。し力し、上記の角度 0は 変化せず、且つ角度 Θは十分に小さいので、上記の画素ずらし配置の関係は維持 される。したがって、本発明の撮像装置における画素ずらし配置は、周辺環境の温 度変化によるレンズの光軸間隔 d, d2の変化の影響を受けにくい。
[0058] 撮像領域 302a、 302b, 302cは、それぞれに結像された被写体像を画像情報に 変換する。得られた 3つの画像情報に対して視差補正を行った後、これらを合成して 1つの画像情報を得る。この演算処理を以下に説明する。
[0059] まず、視差量導出手段 303は、視差補正を行うための、画像情報間の視差量 (図 1 6Aのずれ量 S)を求める。
[0060] 視差量は、被写体距離がわかれば求めることができる。しかし、被写体距離を測定 するためのセンサーを新たに導入すると、装置の小型化が難しくなる。そこで、本実 施の形態では、 2つの画像情報同士を直接比較し、両者間のずれ量を求めることに より視差量を求める。画像情報の比較は、画像情報同士の相関を求めることにより行 う。画像情報は X軸方向及び Y軸方向にマトリックス状に分布した輝度情報の集合と して表され、 X軸方向の k番目、 Y軸方向の 1番目の画素の輝度は I (k、 1)と表される。 画素は有限であるので、 k、 1は整数である。比較される 2つの画像情報のうち、基準と される画像情報 (以下、「基準画像情報」という)における画素の輝度を II (k、 1)、比 較される画像情報 (以下、「被比較画像情報」という)における画素の輝度を 12 (k+m 、 1+n)とし、基準画像情報と、被比較画像情報を X軸方向に m画素、 Y軸方向に n 画素ずらした画像情報との相関 R(m、 n)を次式により求める。
[0062] 基準画像情報と、被比較画像情報を X軸方向に m画素、 Y軸方向に n画素ずらした 画像情報とが似ている場合、相関 R(m、 n)の値は 1に近づき、逆に、異なる場合、相 関 R (m、 n)の値は小さくなる。 m、 nを順に変えながら R(m、 n)を求める。 R(m、 n) 力 Siに最も近くなる場合の m、 nが、基準画像情報と被比較画像情報との間の視差量 (ずれ量)である。なお、 m、 nは整数に限定されない。例えば、基準画像情報及び被 比較画像情報において、画素間の輝度をその周辺の画素の輝度に基づいて内挿し て求めれば、小数点以下の値まで視差量を高分解能で求めることができる。画素の 内挿方法としては、共 1次内挿法、共 3次内挿法、 3次たたみ込み内挿法など、周知 の多くの方法を利用できる。たとえば、共 1次内挿法を用いる場合は、画素間の X=u 、 Y=vの位置における輝度 I (u、 V)を次式によって求めることができる。
[0063] [数 3]
I(k, ) I(k + 1,/) (k + l) - u
I(k,/ + 1) I(k + 1,/ + 1) u - k
[0064] 次に、画像合成手段 304は、 2つの画像情報を合成する。合成に先立って、上記 によって得られた 2つの画像情報間の X軸方向及び Y軸方向の視差量だけ、一方の 画像情報を移動する (視差補正)。
[0065] 図 3は、撮像領域 302b, 302a及びこれらに結像された被写体像 103b, 103aを、 交点 101b, 101aが Y軸と平行な一直線上に並ぶように撮像領域 302b, 302aを X 軸方向に移動させて示した平面図である。
[0066] 図 16A及び図 16Bで説明したように、視差による被写体像のずれ量 Sは、被写体 距離 Aに反比例するが、被写体距離 Aが十分に大きいと無視できる。このような場合
、光軸 300b上の被写体は、図 3に示すように、撮像領域 302b上には被写体像 103 bとして結像され、撮像領域 302a上には実線 400の位置に結像される。すなわち、 撮像領域 302bにおける交点 101bに対する被写体像 103bの相対的位置関係と、 撮像領域 302aにおける交点 101aに対する被写体像の結像位置 400の相対的位置 関係とはほぼ同じである。この場合は、図 4に示すように、交点 101bと交点 101aとが 一致するように、撮像領域 302bから得た画像情報と撮像領域 302aから得た画像情 報とを重ね合わせる。こうすることにより、撮像領域 302b上の被写体像 103bと撮像 領域 302a上の被写体像 103aとをほとんどずれなく重ね合わせることができる。そし て、このとき、撮像領域 302b内の画素 100bと撮像領域 302a内の画素 100aとは、 X 軸方向に画素ピッチ piの半分の奇数倍だけずれている。従って、合成された画像の X軸方向の解像度が向上する。
[0067] 被写体距離が小さい場合、光軸 300b上の被写体は、図 3に示すように、撮像領域 302b上には被写体像 103bとして結像され、撮像領域 302a上には破線 402の位置 に結像される。すなわち、撮像領域 302bにおける交点 101bに対する被写体像 103 bの相対的位置関係と、撮像領域 302aにおける交点 101aに対する被写体像の結 像位置 402の相対的位置関係とは異なる。図 2で説明したように、被写体像 103aは 、交点 101bと交点 101aとを結ぶ第 1直線 211の方向に沿って、交点 101aに対して 交点 101bから離れる側にずれた位置に結像される。被写体距離が十分に大きな場 合の被写体像 103aの結像位置 400に対する、被写体距離力 S小さい場合の被写体 像 103aの結像位置 402のずれ (視差)をベクトル 405で表す。この場合は、図 5に示 すように、このベクトル 405の逆ベクトル 406分だけ、交点 101bに対して交点 101aを 相対移動させて、撮像領域 302bから得た画像情報と撮像領域 302aから得た画像 情報とを重ね合わせる。こうすること〖こより、撮像領域 302b上の被写体像 103bと撮 像領域 302a上の被写体像 103aとをほとんどずれなく重ね合わせることができる。そ して、このときも、撮像領域 302b内の画素 100bと撮像領域 302a内の画素 100aとは 、 X軸方向に画素ピッチ piの半分の奇数倍だけずれている。従って、合成された画 像の X軸方向の解像度が向上する。
[0068] 以上のように視差補正を行った上で合成を行うことにより、被写体距離の大小にか
かわらず、 X軸方向の解像度が向上した画像を得ることができる。なお、視差量によ つては画素の Y軸方向の位置が一致しない場合がある力も知れないが、このような場 合には線形補間などの補間処理によって適切な位置に修正することができる。
[0069] 上記と同様の視差補正及び合成を、撮像領域 302bから得た画像情報と撮像領域 302cから得た画像情報とについて行う。これにより、被写体距離の大小にかかわら ず、 Y軸方向の解像度が向上した画像を得ることができる。
[0070] 以上のようにして、撮像領域 302bから得た画像情報に、撮像領域 302aから得た 画像情報と撮像領域 302cから得た画像情報を合成することにより、 X軸方向及び Y 軸方向に高解像度化された画像が得られる。
[0071] 本発明では、 X軸方向の画素ピッチ pi及び Y軸方向の画素ピッチ p2は同一でも異 なっていても良い。例えば、複数の撮像素子を組み合わせて 1つの撮像領域を構成 したり、撮像領域ごとに別個の撮像素子を用いたりしても良い。いずれの場合であつ ても、画素の配列方向と垂直方向に画素ずらしを行うことで、被写体距離によらず、 高解像度画像を得ることができ、さら〖こ、複数の撮像領域とレンズアレイとの相対的な 回転により画素ずらし量の調整が可能である。
[0072] (実施例 1)
実施の形態 1に対応した実施例を示す。
[0073] 図 6Aは、実施例 1の撮像装置の光軸と平行な方向に沿って見た平面図、図 6Bは 図 6Aの 6B— 6B線での矢視断面図である。 700はアクリル榭脂を用いて一体成型さ れた 3つのレンズを有するレンズアレイである。図 6Aに示すように、 3つのレンズを、 その光軸が一辺 dが 2mmの正方形の 3つの頂点に位置するように配置した。レンズ は、いずれも緑色の波長の光に対して光学特性が最良となるように設計した。 Z軸方 向において、レンズの中心から結像面までの距離は 2. 5mmとした。レンズアレイ 70 0を円筒状の鏡筒 701で保持した。鏡筒 701の被写体に対向する側の面には、レン ズの位置に対応して 3個の開口 702を設けた。基台 703の鏡筒 701と嵌合する部分 には円環状の窪み (溝)を形成した。この窪みに沿って鏡筒 701の中心軸を中心とし て鏡筒 701を基台 703に対して回転させて、 3つのレンズがそれぞれ形成する被写 体像と撮像素子 704の画素との間に上述の画素ずらし配置が実現されるように調整
した。
[0074] 撮像素子 704を基台 703上に固定した。撮像素子 704として、 X軸方向及び Y軸方 向の画素ピッチ pi, p2力 Sともに 2/ζπι、 2000画素(X軸方向) X 2000画素(Υ軸方 向)の CCDを用いた。この撮像素子 704の有効画素領域のうち、 3つのレンズがそれ ぞれ被写体像を結像する、 800画素 (X軸方向) X 600画素 (Y軸方向)の 3つの領 域を撮像領域とした。レンズの光軸間隔が 2mm、画素ピッチ pi, p2が である ので、光軸と平行な方向に沿って見たとき、一対のレンズの光軸を結ぶ直線と画素の 配列方向とがなす角度 0 (図 2参照)を 5X10—4radに設定した。これにより、 3つのレ ンズがそれぞれ結像する 3つの被写体像と、これらの被写体像に対応する 3つの撮 像領域の画素との間に、いずれも画素ずらし配置を実現できた。
[0075] 緑色の画像情報のみを取り出すために、撮像素子 704の被写体側の面に緑色の 波長帯域の光を透過させるカラーフィルター 705を設けた。鏡筒 701と基台 703との 間にスぺーサー 706を介在させて、レンズの結像面と撮像素子 704の受光面とを正 確に位置合わせした。
[0076] このようにして作成した撮像装置を用いて、被写体距離 lmの位置に解像度チヤ一 トを設置して限界解像度の評価を行った。 1つのレンズのみで撮影した 800画素 (X 軸方向) X 600画素 (Y軸方向)の画像の限界解像度は、 X軸方向及び Y軸方向とも に 550TV本であった。一方、本発明の方法により 3つの撮像領域で得た 3つの画像 情報を合成して得た画像の限界解像度は、 X軸方向及び Y軸方向ともに 1000TV本 であり、約 1.8倍に向上した。被写体距離距を 10cmから 3mまで変えながら限界解 像度の評価を行ったところ、いずれの距離においても、 1つのレンズのみで撮影した 場合に比べて 3つの画像情報を合成した場合には 1. 5〜1.8倍の限界解像度の向 上がみられた。
[0077] また、上記角度 Θを変化させることにより、画素ずらし量 dX sin Θ (図 2参照)と限界 解像度との関係を調べたところ、 dX sin 0が 0. 5Xpl±0. 25Xplの範囲内のとき は、 X軸方向において限界解像度の向上が見られ、 dX sin0が 0. 5Xp2±0. 25 Xp2の範囲内のとき、 Y軸方向において限界解像度の向上が見られた。特に dXsin 0力 SO. 5Xpl±0. lXpl及び 0. 5Xp2±0. 1 Xp2の範囲内のとき安定して解像
度が向上した。
[0078] さらに、作製した撮像装置を恒温槽に入れて温度を変えた場合の特性を測定した ところ、 10度から 40度の間では、 1つのレンズのみで撮影した場合に比べて 3つの 画像情報を合成した場合には 1. 5倍以上の限界解像度の向上が認められ、温度変 化に対しても本発明が有効であることを確認した。
[0079] (実施の形態 2)
実施の形態 1では、 3つのレンズ 301a、 301b, 301cが、これらの間の相対的位置 関係に誤差がなく一体成型されたレンズアレイ 300を用いた撮像装置を説明した。し 力しながら、実際のレンズアレイの生産において、複数のレンズ間の相対的位置関係 に成型誤差が生じると、これを修正することは困難である。そのため、撮像領域の画 素ピッチ以下の精度でレンズアレイを成型する必要があり、非常に高い成型精度が 要求され、低コストで量産することが困難となる可能性がある。
[0080] 一方、複数のレンズを別個に作成し、所望の画素ずらし配置が実現されるように、 複数のレンズを対応する複数の撮像領域との位置関係を微調整して組み立てること は可能であるものの、調整工数が多ぐ量産には不向きである。
[0081] 本実施の形態 2では、実施の形態 1に対して、レンズアレイの成型誤差を補償する 機能が付加された撮像装置を提供する。
[0082] 図 7Aは実施の形態 1に係る撮像装置のレンズの配置を示した平面図である。説明 を簡単化するため、レンズ 301bの光軸とレンズ 301aの光軸との間隔、レンズ 301b の光軸とレンズ 301cの光軸との間隔は、いずれも dであり、且つ、撮像領域の X時方 向及び Y軸方向における画素ピッチ pi, p2はいずれも pである場合を説明する。従 つて、レンズアレイを角度 Θだけ回転させたとき、レンズ 301bの光軸に対するレンズ 301aの光軸の X軸方向のずれ量、レンズ 301bの光軸に対するレンズ 301cの光軸 の Y軸方向のずれ量は、いずれも d X sin 0となる。
[0083] しかしながら、レンズ 301bの光軸とレンズ 301aの光軸とを結ぶ第 1直線 211と、レ ンズ 301bの光軸とレンズ 301cの光軸とを結ぶ第 2直線 212とがなす角度力 成型 誤差により正確に直角ではなかった場合、上記の 2つのずれ量は同時に d X sin 0と はならない。従って、レンズ 301b及びレンズ 301aがそれぞれ結像する 2つの被写体
像の間と、レンズ 30 lb及びレンズ 30 lcがそれぞれ結像する 2つの被写体像の間と に、同時に画素ずらし配置を実現することが困難となる場合がある。このような場合、 角度 Θをどのように変えても、 X軸方向及び Y軸方向の両方向に高解像度化された 画像を得ることはできな 、。
[0084] 図 7Bは本実施の形態 2に係る撮像装置のレンズの配置を示した平面図である。図 7Aと同様に、撮像領域の X軸方向及び Y軸方向における画素ピッチ pi, p2はいず れも Pである場合を説明する。本実施の形態 2では、レンズ 301bの光軸とレンズ 301 aの光軸との間隔は dl、レンズ 301bの光軸とレンズ 301cの光軸との間隔は d2 (d2 ≠dl)である。従って、レンズアレイを角度 Θだけ回転させたとき、レンズ 301bの光 軸に対するレンズ 301aの光軸の X軸方向のずれ量(即ち、 X軸方向の画素ずらし量 )は dl X sin 0、レンズ 301bの光軸に対するレンズ 301cの光軸の Y軸方向のずれ 量(即ち、 Υ軸方向の画素ずらし量)は d2 X sin 0となる。このように画素ずらし量が X 軸方向と Y軸方向とで異なることにより、レンズアレイの成型誤差が生じても、各方向 の画素ずらし量が、実施例 1で説明した、特に高い限界解像度の向上を実現できる 0 . 5 X pl ±0. l X pl且つ 0. 5 X p2±0. 1 X p2の範囲内【こ同時【こ人るよう【こ調整す ることが容易になる。すなわち、製造誤差が生じた場合でも、角度 Θを調整すること により X軸方向及び Y軸方向の両方向に容易且つ確実に高解像度化できる撮像装 置を作成でき、製造が容易となり歩留まりを向上できる。
[0085] なお、図 7Bとは異なり、レンズの光軸間距離 dl, d2を等しくし(dl = d2 = d)し、撮 像領域の X軸方向の画素ピッチ p 1と Y軸方向の画素ピッチ p 2とを異ならせ (p 1≠ p 2 )ても良い。この場合、レンズ 301bの光軸に対するレンズ 301aの光軸の X軸方向の ずれ量 (即ち、 X軸方向の画素ずらし量)が X軸方向の 1画素ピッチ p 1と一致するた めの回転角度を 0 (即ち、 d X sin Q =pl)としたとき、レンズ 301bの光軸に対するレ ンズ 301cの光軸の Y軸方向のずれ量(即ち、 Y軸方向の画素ずらし量)は d X sin θ であり、これは Υ軸方向の 1画素ピッチ ρ2と一致しない。即ち、図 7Βと同様に、画素 ピッチに対する画素ずらし量の比を X軸方向と Υ軸方向とで異ならせることができる。 従って、レンズアレイの成型誤差が生じても、各方向の画素ずらし量が、高い限界解 像度の向上を実現できる 0. 5 X pl ±0. l X pl且つ 0. 5 Χ ρ2±0. 1 Χ ρ2の範囲内
に同時に入るように調整することが容易になる。
[0086] (実施例 2)
実施の形態 2に対応した実施例を示す。
[0087] 図 8Aは、実施例 2の撮像装置の光軸と平行な方向に沿って見た平面図、図 8Bは 図 8Aの 8B— 8B線での矢視断面図である。
[0088] 本実施例 2が実施例 1 (図 6A,図 6B)と相違するのは以下の点である。レンズァレ ィ 700には 4つのレンズを一体成型した。図 8Aに示すように、 4つのレンズを、その光 軸力 Y軸にほぼ平行な短辺(長さ dl = 1. 5mm)と X軸にほぼ平行な長辺(長さ d2 = 2mm)とを有する長方形の各頂点に位置するように配置した。撮像素子 704上に はカラーフィルターを設けな力 た。代わりに、鏡筒 701の 4つのレンズに対応して設 けた 4つの開口 702にカラーフイノレター 800a, 800b, 800c, 800dを設けた。対角 位置のカラーフィルター 800b, 800dは緑色の波長帯域の光を透過させ、カラーフィ ルター 800aは赤色の波長帯域の光を透過させ、カラーフィルター 800cは青色の波 長帯域の光を透過させる。各レンズは、対応するカラーフィルターが透過させる光の 波長の光に対して光学特性が最良となるように設計した。撮像素子 704の有効画素 領域のうち、 4つのレンズがそれぞれ被写体像を結像する、 800画素 (X軸方向) X 6 00画素 (Y軸方向)の 4つの領域を撮像領域とした。このようにしてカラー画像を合成 する撮像装置を作成した。上記以外は図 6A,図 6Bと同じであり、同一の構成要素に は同一の符号を付しており、それらについての詳細な説明を省略する。
[0089] 緑色の波長帯域の光を透過させる、対角位置に配置された 2つのカラーフィルター 800b, 800dに対応する 2つの撮像領域カゝら得た 2つの画像情報を比較して、視差 量を正確に求めた。この視差量の X軸成分がカラーフィルター 800cに対応する撮像 領域力も得た青色の画像情報の視差量であり、 Y軸成分がカラーフィルター 800aに 対応する撮像領域から得た赤色の画像情報の視差量である。
[0090] 前述のように画像の局所領域では、赤色 (R)、緑色 (G)、青色 (B)の各画像情報 間には相関性があることが知られている。 3色のカラーフィルターがべィヤー配列され た撮像素子を用いた撮像装置において、この特性を利用して、ある色のフィルターが 配された画素における他の 2つの色の情報を、この画素の色情報力 推測することで
、色情報の補間処理を行うことは公知である。本実施例では、 2つの緑色の画像情報 に対して赤色及び青色の各画像情報力 画素ピッチの半分の奇数倍にほぼ相当す る量だけずれているので、上記の色情報の補間処理を適用することができる。このよ うにして、各色情報を高解像度化した後に重ね合わせる (合成する)ことで、高解像 度のカラー画像を得た。
[0091] レンズアレイ 700のレンズ配置を図 9Aに示す。図 9Aでは、 4つのレンズのうち、力 ラーフイノレター 800a, 800b, 800c【こ対応する 3つのレンズ (jl匿【こ、 401a, 401b, 4 01cとする)のみを図示している。これら 3つのレンズの光軸位置を精密に測定したと ころ、レンズ 401bの光軸とレンズ 401cの光軸とを結ぶ直線 212を X軸と平行に設定 すると、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量は、 X軸 方向及び Y軸方向の画素ピッチ p 1 , p 2を 、ずれも p (p 1 = p2 = p = 2 m)としたとき 、 0. 4 X p ( = 0. 8 m)であった。この状態力ら、レンズアレイ 700を撮像素子 704に 対して時計回り方向に 7. 5 X 10—4radだけ回転させると、図 9Bに示すように、レンズ 4 01bの光軸に対するレンズ 401cの光軸の Y軸方向のずれ量は 1. 5 X p ( = 3. O ^ m )となり、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向のずれ量は 1. 5 25 X p ( = 3. 05 m)となった。すなわち、両ずれ量を、画素ピッチの半分の奇数倍 にほぼ設定することができた。
[0092] 100個のレンズアレイのレンズの光軸の位置をそれぞれ測定したところ、設計位置 に対して ± 2 mの範囲のバラツキがあった。これらのレンズアレイを撮像装置に組 み込みレンズアレイの撮像素子に対する回転角度を調整した。実施例 1と同様に限 界解像度の評価を行った。 1つのレンズのみで撮影した 800画素 (X軸方向) X 600 画素 (Y軸方向)の画像の限界解像度は、 X軸方向及び Y軸方向ともに 550TV本で あった。一方、 4つの撮像領域で得た 4つの画像情報を合成して得たカラー画像の 限界解像度は、 X軸方向及び Y軸方向ともに、いずれのレンズアレイを用いた場合で あっても常に 800〜900TV本であった。
[0093] なお、カラーフィルターの配置は上記の例に限定されない。たとえば、 800a, 800c を緑色の波長帯域の光を透過させるカラーフィルター、 800bを赤色の波長帯域の光 を透過させるカラーフィルター、 800dを青色の波長帯域の光を透過させるカラーフィ
ルターとしてもよい。
[0094] (比較例 1)
本比較例 1では、上記の実施例 2において、 4つのレンズを、その光軸が一辺 dが 2 mmの正方形の各頂点にほぼ位置するように配置した。これ以外は、撮像装置の構 成及び画像情報の処理は実施例 2と同一とした。
[0095] 図 9Aに示すように、レンズ 401bの光軸とレンズ 401cの光軸とを結ぶ直線 212を X 軸と平行に設定したとき、レンズ 401bの光軸に対するレンズ 401aの光軸の X軸方向 のずれ量が、 X軸方向及び Y軸方向の画素ピッチ pi, p2^ ^ ^¾p (pl =p2=p = 2 /ζ πι)としたとき、 0. 4 X p ( = 0. 8 /z m)であった。この場合、レンズアレイ 700を 撮像素子 704に対してどのように回転させても、レンズ 401bの光軸に対するレンズ 4 01 aの光軸の X軸方向のずれ量、及びレンズ 401bの光軸に対するレンズ 401cの光 軸の Y軸方向のずれ量力 ともに 0. 5 X p±0. 2 X pの範囲内に同時に入るように調 整することはできな力つた。
[0096] 実施例 2と同様に限界解像度の評価を行った。 4つの撮像領域で得た 4つの画像 情報を合成して得たカラー画像の限界解像度は、 X軸方向と Y軸方向とで異なる場 合が多ぐ例えば、撮像素子 704に対するレンズアレイ 700の回転角度がある値のと きに、 X軸方向で 900TV本、 Y軸方向で 600TV本と、 Y軸方向において高解像度 化が達成されて 、なかった。
[0097] これは、以下の理由による。本比較例 1ではレンズの光軸間隔 dl, d2が相等しいた めに、撮像素子 704に対してレンズアレイ 700をいくら回転させても、レンズ 401bの 光軸に対するレンズ 401aの光軸の X軸方向のずれ量、及びレンズ 401bの光軸に対 するレンズ 401cの光軸の Y軸方向のずれ量が同じになる。従って、レンズアレイの成 型誤差状態によっては両ずれ量を画素ピッチの半分の奇数倍にほぼ設定することが できな ヽ場合がある力 である。
[0098] (実施の形態 3)
本実施の形態では、被写体距離の測定と画像の高解像度化とが両立された撮像 装置を提供する。
[0099] 図 16Aで説明したように、複眼方式の撮像装置では、被写体距離の違いによる視
差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本発明では、一 対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置をして、画像の 高解像度化を実現している。このように、本発明では、視差が生じる方向と画素ずら し配置の方向とが異なるため、被写体距離 (即ち視差量)の測定と画像の高解像度 ィ匕とを両立することができる。
[0100] 本実施の形態では、視差量は、基準とされる画像 (基準画像)を複数のブロック〖こ 分割し、各ブロックが比較される画像 (被比較画像)内のどの部分と相関が最も大き いかを実施の形態 1で説明したのと同様に調べることによって求める。本発明の画素 ずらし配置によって、基準画像に対して被比較画像は、一対のレンズの光軸を結ぶ 直線に対して垂直な方向に移動する。従って、通常の複眼方式の撮像装置での距 離測定方法と同様に、一対のレンズの光軸を結ぶ直線に沿って画像の探索を行うと 、相関が悪ぐ視差量を高精度で検出することが困難となりやすい。しかし、画素ずら し配置による画素ずらし量だけ、一対のレンズの光軸を結ぶ直線に対して垂直方向 にずれた直線に沿って画像の探索を行えば、本発明の画素ずらし配置による影響が 補正され、視差量の検出精度を向上させることができる。従って、本発明の画素ずら し配置の下で、被写体距離を高精度に測定することができる。
[0101] (実施例 3)
実施の形態 3に対応した実施例を示す。本実施例 3は、被写体距離の測定と高解 像度画像の撮影とを両立させるものである。
[0102] 図 10Aは、実施例 3の撮像装置の光軸と平行な方向に沿って見た平面図、図 10B は図 10Aの 10B— 10B線での矢視断面図である。一対のレンズ 1000a, 1000bを 有するレンズアレイ 1000を一体成型した。一対のレンズ 1000a, 1000bの光軸間距 離は 3mmとした。レンズアレイ 1000を筒状の鏡筒 1001で保持した。鏡筒 1001の 被写体に対向する側の面には、一対のレンズ 1000a, 1000bの位置に対応して 2個 の開口 1002を設けた。図 10Aに示すように、光軸と平行な方向に沿って見た鏡筒 1 001の外周面の平面視形状は、一対の直線 1001aを長辺とし、この両端をつなぐ一 対の円弧 1001bを短辺とする変形長方形とした。基台 1003の鏡筒 1001と嵌合する 部分には、一対の円弧 1001bと同一の曲率を有する曲面 1003bを有する窪み (溝)
を形成した。この窪みに沿って鏡筒 1001の中心軸を中心として鏡筒 1001を基台 10 03に対して回転させて、一対のレンズ 1000a, 1000bがそれぞれ形成する一対の 被写体像と撮像素子 1004の画素との間に画素ずらし配置が実現されるように調整し た。
[0103] 撮像素子 1004を基台 1003上に固定した。撮像素子 1004として、 X軸方向及び Y 軸方向の画素ピッチ pi, p2力ともに 2. の CCDを用いた。鏡筒 1001と基台 10 03との間にスぺーサー 1006を介在させて、レンズの結像面と撮像素子 1004の受光 面とを正確に位置合わせした。
[0104] 被写体距離の違いによる視差は、一対のレンズ 1000a, 1000bの光軸を結ぶ直線 方向、即ち X軸方向に生じる。従って、一対のレンズ 1000a, 1000bの光軸を結ぶ 直線と画素の一方の配列方向とがなす角度 Θを 3. 6 X 10—4radに設定した。これに より、画素ずらし量が約 1. 1 mの Y軸方向の画素ずらし配置を実現した。
[0105] 距離測定に色情報は不要である。従って、鏡筒 1001の一対の開口 1002には緑 色の波長帯域の光を透過させる波長選択フィルター 1005をそれぞれ設けた。一対 のレンズ 1000a, 1000bが結像した 2つの画像を比較して、被写体距離を測定した。
[0106] 一対のレンズ 1000a, 1000bが撮像素子 1004上にそれぞれ形成した一対の画像 力も以下のようにして視差量を求めた。即ち、まず、レンズ 1000bによる画像 (被比較 画像)の全体を、画像変換により、画素ピッチの半分に相当する量だけ Y軸方向に移 動させた。次いで、被比較画像内において、レンズ 1000aによる画像 (基準画像)内 のブロックが対応する部分の位置を探索した。基準画像内におけるこのブロックと、 被比較画像内におけるこのブロックに対応する部分の位置との X軸方向におけるず れ量 (即ち、視差量)を求め、被写体距離を求めた。
[0107] Y軸方向の画素ずらし配置を行わない以外は本実施例 3と同じである比較例 2の撮 像装置を作成した。実施例 3の撮像装置と比較例 2の撮像装置とを、被写体距離の 測定精度に関して比較した結果、両者に有意な差は認められな力つた。一方、合成 画像の限界解像度に関して比較した結果、実施例 3では比較例 2に比べて 1. 5倍の 高解像度画像が得られた。
[0108] 上記の実施例 3では、一対の波長選択フィルター 1005として緑色の波長帯域の光
を透過させるフィルターを用いた。しかし、これは一例であって、本発明はこれに限定 されず、特定の波長帯域の光を選択的に透過させるフィルターであれば上記と同様 の効果が得られる。例えば、一対の波長選択フィルター 1005として赤外光を透過さ せるフィルターを用いると、夜間においても被写体距離の測定と高解像度画像の撮 影とが可能な撮像装置を実現できる。
[0109] (実施例 4)
実施の形態 3に対応した別の実施例を示す。本実施例 4は、被写体距離の測定と 高解像度のカラー画像の撮影とを両立させるものである。
[0110] 図 11Aは、実施例 4の撮像装置の光軸と平行な方向に沿って見た平面図、図 11B は図 11Aの 11B— 11B線での矢視断面図である。直径 2. 1mmの一対のレンズ 11 00a, 1100bを有するレンズアレイ 1100を一体成型した。一対のレンズ 1100a, 11 00bの光軸間距離は 3mmとした。レンズアレイ 1100を筒状の鏡筒 1101で保持した 。鏡筒 1101の被写体に対向する側の面には、一対のレンズ 1100a, 1100bの位置 に対応して 2個の開口 1102を設けた。図 11Aに示すように、光軸と平行な方向に沿 つて見た鏡筒 1101の外周面の平面視形状は、一対の直線 1101aを長辺とし、この 両端をつなぐ一対の円弧 1101bを短辺とする変形長方形とした。基台 1103の鏡筒 1101と嵌合する部分には、一対の円弧 1101bと同一の曲率を有する曲面 1103bを 有する窪み (溝)を形成した。この窪みに沿って鏡筒 1101の中心軸を中心として鏡 筒 1101を基台 1103に対して回転させて、一対のレンズ 1100a, 1100b力それぞれ 形成する一対の被写体像と撮像素子 1104の画素との間に画素ずらし配置が実現さ れるように調整した。
[0111] 撮像素子 1104を基台 1103上に固定した。撮像素子 1104として、 X軸方向及び Y 軸方向の画素ピッチ pi, p2力 Sともに 2. の CCDを用いた。鏡筒 1101と基台 11 03との間にスぺーサー 1106を介在させて、レンズの結像面と撮像素子 1104の受光 面とを正確に位置合わせした。
[0112] 被写体距離の違いによる視差は、一対のレンズ 1100a, 1100bの光軸を結ぶ直線 方向、即ち X軸方向に生じる。従って、一対のレンズ 1100a, 1100bの光軸を結ぶ 直線と画素の一方の配列方向とがなす角度 Θを 3. 6 X 10—4radに設定した。これに
より、画素ずらし量が約 1. 1 mの Y軸方向の画素ずらし配置を実現した。
[0113] レンズ 1100a, 1100bとして、屈折レンズの表面に回折格子を形成し、更に回折格 子上にレンズ材料と屈折率が異なる材料カゝらなる層を塗布により形成したレンズ (以 下、「塗布層付き屈折回折レンズ」という)を用いた。これにより、比較的小さい口径の 単レンズであるにもかかわらず、撮像素子 1104の受光面上に可視光による被写体 像を少な 、収差で結像させることができた。
[0114] 撮像素子 1104上にカラーフィルター 1105を形成した。図 12Aはレンズ 1100aに 対応する撮像領域内の画素上のカラーフィルターの配置を示し、図 12Bはレンズ 11
OObに対応する撮像領域内の画素上のカラーフィルターの配置を示す。図 12A及び 図 12Bに示すように、実施例 4では、カラーフィルター 1105として、赤 R、緑 G、青 B のうちのいずれかの色の光を透過するフィルターが画素配置に対応してべィヤー配 列されたカラーフィルターを用いた。
[0115] 撮像素子 1104の各画素は、赤、緑、青のうちのいずれかの情報し力得ることができ ない。しかし、前述のように画像の局所領域では、赤色、緑色、青色の各画像情報間 には相関性があることが知られている。この特性を利用して、 3色のカラーフィルター がべィヤー配列された撮像素子を用いた撮像装置にぉ ヽて、ある色のフィルターが 配された画素における他の 2つの色の情報を、この画素の色情報力 推測することで 、色情報の補間処理を行うことができることが知られている。この公知の手法を用いて 、各画素で赤、緑、青の色情報を得た。従って、赤、緑、青の各色について画素ずら し配置を実現できた。赤、緑、青の各色ごとに 2つの撮像領域力も得た単色の画像情 報を合成して高解像度画像を得た後、赤、緑、青の高解像度画像を更に合成して高 解像度のカラー画像を得た。
[0116] 一方、 2つの撮像領域力 得た単色の画像情報から、実施例 3と同様にして被写体 距離を求めた。
[0117] このように、本実施例 4により、高解像度のカラー画像の撮影と被写体距離の測定と を両立することができた。
[0118] 上記実施例 4とは異なり、色情報の補間を行うことなく緑色の画像情報を基準として 他の色の画像情報を合成し、その後、各画素で色情報の補間を行っても良い。この
ように合成後に色情報の補間を行う場合、この補間は画素により近い位置の色情報 を用いて行うことができる。
[0119] 撮像素子 1104上に設けられるカラーフィルター 1105の色配置は図 12A及び図 1 2Bに示すべィヤー配列に限定されない。三原色の画像情報が得られれば、カラー 画像の撮影が可能である。
[0120] 例えば、レンズ 1100aに対応する撮像領域内には図 13Aに示すようにべィヤー配 列されたカラーフィルターを設け、レンズ 1100bに対応する撮像領域内には図 13B に示すように緑色の光を透過するフィルターのみを設けても良い。これにより、人の目 が最も敏感である緑色の情報をより多く取得することができるので、解像度の高い画 像を得ることができる。この場合、レンズ 1100aとしては上記塗布層付き屈折回折レ ンズを用いることが好まし 、。
[0121] あるいは、レンズ 1100aに対応する撮像領域内には図 14Aに示すように緑色の光 を透過するフィルターと赤色の光を透過するフィルタ一とが画素配置に対応して巿松 模様に配置されたカラーフィルターを設け、レンズ 1100bに対応する撮像領域内に は図 14Bに示すように緑色の光を透過するフィルターと青色の光を透過するフィルタ 一とが画素配置に対応して巿松模様に配置されたカラーフィルターを設けても良い。 このように 1つの撮像領域が受光する色を波長が近い 2色とすることで、赤、緑、青の 三原色を受光する場合に比べて、波長の違いによる屈折率の違いがもたらす収差の 補正が容易になるので、単レンズの設計が容易になる。
[0122] 以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らか にする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるも のではなぐその発明の精神と請求の範囲に記載する範囲内でいろいろと変更して 実施することができ、本発明を広義に解釈すべきである。
産業上の利用可能性
[0123] 本発明の撮像装置の利用分野は特に制限はないが、薄型、小型でありながら高解 像度画像を撮像できるので、特に携帯機器搭載用のカメラ等に好ましく利用できる。 また、被写体までの距離を測定できることから、車両の周辺監視、セキュリティ、モー シヨンキヤプチヤー、内視鏡などの分野で使用される入力装置にも利用できる。
Claims
[1] 略同一平面上に配置された複数の撮影光学レンズと、
それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配置さ れた多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の被 写体像を複数の画像情報に変換する複数の撮像領域と
を備える複眼方式の撮像装置であって、
前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レンズが 結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少 なくとも一本の直線が前記画素の配列方向に対して傾斜していることを特徴とする複 眼方式の撮像装置。
[2] 前記光軸に平行な方向に沿って見たとき少なくとも一対の前記撮影光学レンズの それぞれの光軸を結ぶ直線と前記画素の配列方向とがなす角度を 0、前記一対の 撮影光学レンズの光軸間隔を d、前記画素の配列方向と垂直な方向の前記画素の 配置ピッチを p、正の整数を nとしたとき、
(2n- l) X p/2-p/4< d X sin 0 < (2n— 1) X p/2+p/4
を満足する請求項 1に記載の複眼方式の撮像装置。
[3] 前記複数の撮像光学レンズの各光路上には、所定の波長の光を透過するフィルタ 一が設置されて 、る請求項 1に記載の複眼方式の撮像装置。
[4] 前記複数の撮影光学レンズは、一体に成型されたレンズアレイである請求項 1に記 載の複眼方式の撮像装置。
[5] 前記複数の撮影光学レンズと前記複数の撮像領域とを、前記複数の撮影光学レン ズの光軸に対して直交する面内で相対的に回転させる機構を更に備える請求項 1に 記載の複眼方式の撮像装置。
[6] 前記複数の撮影光学レンズと前記複数の撮像領域との距離を調整する機構を更 に備える請求項 1に記載の複眼方式の撮像装置。
[7] 前記撮影光学レンズの数が少なくとも 3個であり、
前記光軸に平行な方向に沿って見たとき、二対の前記撮影光学レンズのそれぞれ の光軸を結ぶ第 1直線及び第 2直線がなす角度がほぼ直角であり、
前記光軸に平行な方向に沿って見たとき、前記第 1直線と前記画素の第 1配列方 向とがなす角度を Θ 1、前記第 2直線と前記画素の第 2配列方向とがなす角度を Θ 2 、前記第 1直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を dl、前 記第 2直線に沿って配置された一対の前記撮影光学レンズの光軸間隔を d2、前記 第 1配列方向に垂直な方向に沿った前記画素の配置ピッチを pi、前記第 2配列方 向に垂直な方向に沿った前記画素の配置ピッチを p2、正の整数を m, nとしたとき、 (2n- l) X pl/2-pl/4< dl X sin 0 1 < (2n— 1) X pl/2+pl/4 (2m- 1) X p2/2-p2/4< d2 X sin 0 2< (2m— 1) X p2/2+p2/4 を満足する請求項 2に記載の複眼方式の撮像装置。
[8] 前記光軸間隔 dlと前記光軸間隔 d2とが異なる請求項 7に記載の複眼方式の撮像 装置。
[9] 前記配置ピッチ piと前記配置ピッチ p2とが異なる請求項 7に記載の複眼方式の撮 像装置。
[10] 前記撮影光学レンズ及び前記撮像領域の数が!ヽずれも 4個であり、
前記光軸に平行な方向に沿って見たとき、前記 4個の撮影光学レンズの光軸が略 長方形の頂点に配置され、
前記 4個の撮像領域のうち、 1つに入射する光の光路上には青色の波長帯域の光 を透過させるフィルターが設けられており、他の 1つに入射する光の光路上には赤色 の波長帯域の光を透過させるフィルターが設けられており、残りの 2つに入射する光 の光路上には緑色の波長帯域の光を透過させるフィルターが設けられている請求項
7に記載の複眼方式の撮像装置。
[11] 前記 4個の撮像領域が共通する 1つの撮像素子上に形成されており、前記略長方 形と前記撮像素子の有効画素領域の形状とがほぼ相似形である請求項 10に記載の 複眼方式の撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06767390A EP1912434A1 (en) | 2005-07-26 | 2006-06-27 | Compound eye imaging apparatus |
JP2007528378A JP4903705B2 (ja) | 2005-07-26 | 2006-06-27 | 複眼方式の撮像装置及びその製造方法 |
US11/995,286 US7718940B2 (en) | 2005-07-26 | 2006-06-27 | Compound-eye imaging apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-216294 | 2005-07-26 | ||
JP2005216294 | 2005-07-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007013250A1 true WO2007013250A1 (ja) | 2007-02-01 |
Family
ID=37683153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/312773 WO2007013250A1 (ja) | 2005-07-26 | 2006-06-27 | 複眼方式の撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7718940B2 (ja) |
EP (1) | EP1912434A1 (ja) |
JP (2) | JP4903705B2 (ja) |
CN (2) | CN100579185C (ja) |
WO (1) | WO2007013250A1 (ja) |
Cited By (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009025959A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax method and apparatus for lateral sensor arrays |
WO2009026064A3 (en) * | 2007-08-21 | 2009-04-23 | Micron Technology Inc | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
JP2009278577A (ja) * | 2008-05-19 | 2009-11-26 | Acutelogic Corp | カラー撮像装置 |
JP2010071747A (ja) * | 2008-09-17 | 2010-04-02 | Nikon Corp | 光学特性測定方法および装置 |
WO2010055643A1 (ja) * | 2008-11-12 | 2010-05-20 | シャープ株式会社 | 撮像装置 |
CN102986236A (zh) * | 2011-05-19 | 2013-03-20 | 松下电器产业株式会社 | 三维摄像装置、图像处理装置、图像处理方法及程序 |
WO2013114890A1 (ja) * | 2012-02-03 | 2013-08-08 | パナソニック株式会社 | 撮像装置および測距装置 |
US9055181B2 (en) | 2011-07-15 | 2015-06-09 | Kabushiki Kaisha Toshiba | Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information |
WO2015125744A1 (ja) * | 2014-02-18 | 2015-08-27 | コニカミノルタ株式会社 | 測距装置および測距方法 |
JP2016197878A (ja) * | 2008-05-20 | 2016-11-24 | ペリカン イメージング コーポレイション | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
US9749568B2 (en) | 2012-11-13 | 2017-08-29 | Fotonation Cayman Limited | Systems and methods for array camera focal plane control |
US9754422B2 (en) | 2012-02-21 | 2017-09-05 | Fotonation Cayman Limited | Systems and method for performing depth based image editing |
US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
US10218889B2 (en) | 2011-05-11 | 2019-02-26 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US10412314B2 (en) | 2013-03-14 | 2019-09-10 | Fotonation Limited | Systems and methods for photometric normalization in array cameras |
US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US12052409B2 (en) | 2023-06-22 | 2024-07-30 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007013250A1 (ja) * | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 複眼方式の撮像装置 |
JP4650367B2 (ja) * | 2006-07-26 | 2011-03-16 | 船井電機株式会社 | 動き検出用撮像装置 |
TWI336810B (en) * | 2006-12-21 | 2011-02-01 | Altek Corp | Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device |
JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
JP5173536B2 (ja) * | 2008-04-02 | 2013-04-03 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
JP5472584B2 (ja) * | 2008-11-21 | 2014-04-16 | ソニー株式会社 | 撮像装置 |
US8300108B2 (en) | 2009-02-02 | 2012-10-30 | L-3 Communications Cincinnati Electronics Corporation | Multi-channel imaging devices comprising unit cells |
JP5262823B2 (ja) | 2009-02-23 | 2013-08-14 | ソニー株式会社 | 固体撮像装置および電子機器 |
DE102009012292A1 (de) * | 2009-03-11 | 2010-09-16 | Sensovation Ag | Verfahren und Vorrichtung zum Aufnehmen eines Bilds eines Gegenstands |
US20100321511A1 (en) * | 2009-06-18 | 2010-12-23 | Nokia Corporation | Lenslet camera with rotated sensors |
US8723926B2 (en) * | 2009-07-22 | 2014-05-13 | Panasonic Corporation | Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method |
US8537256B2 (en) | 2009-10-07 | 2013-09-17 | Panasonic Corporation | Image pickup device and solid-state image pickup element |
EP2518995B1 (en) * | 2009-12-24 | 2018-08-22 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
DE102010031535A1 (de) | 2010-07-19 | 2012-01-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes |
US8576489B2 (en) | 2010-08-02 | 2013-11-05 | Spectral Imaging Laboratory | Multihybrid artificial compound eye with varied ommatidia |
US20140192238A1 (en) * | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
US20120105584A1 (en) * | 2010-10-28 | 2012-05-03 | Gallagher Andrew C | Camera with sensors having different color patterns |
JP5704975B2 (ja) * | 2011-03-08 | 2015-04-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9143749B2 (en) * | 2011-10-11 | 2015-09-22 | Sony Corporation | Light sensitive, low height, and high dynamic range camera |
EP2677734A3 (en) * | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014203676A1 (ja) * | 2013-06-17 | 2014-12-24 | コニカミノルタ株式会社 | 位置決め装置、位置決め方法及び複眼カメラモジュール |
US9742973B2 (en) * | 2013-08-08 | 2017-08-22 | Sony Corporation | Array camera design with dedicated Bayer camera |
CN105241425A (zh) * | 2013-09-10 | 2016-01-13 | 蒋春花 | 成像清晰度较高的仿复眼感知成像信息采集*** |
CN105676882A (zh) * | 2013-09-10 | 2016-06-15 | 邹玉华 | 仿螳螂虾复眼的图像信息采集*** |
CN105676881A (zh) * | 2013-09-10 | 2016-06-15 | 邹玉华 | 一种仿螳螂虾复眼的图像信息采集*** |
JP6555264B2 (ja) * | 2014-07-16 | 2019-08-07 | ソニー株式会社 | 複眼撮像装置 |
FR3036015B1 (fr) | 2015-05-06 | 2018-05-04 | Centre National De La Recherche Scientifique | Systeme de detection d'une cible contrastee |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
CN106791735A (zh) * | 2016-12-27 | 2017-05-31 | 张晓辉 | 图像生成方法及装置 |
US10531067B2 (en) | 2017-03-26 | 2020-01-07 | Apple Inc. | Enhancing spatial resolution in a stereo camera imaging system |
US10951817B2 (en) * | 2017-06-26 | 2021-03-16 | Mitsubishi Electric Corporation | Compound-eye imaging device, image processing method, and recording medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141246A (ja) * | 1992-04-09 | 1994-05-20 | Olympus Optical Co Ltd | 撮像装置 |
JPH07222045A (ja) * | 1994-01-31 | 1995-08-18 | Canon Inc | 撮像装置 |
JPH10304235A (ja) | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | 撮像装置 |
JP2001078212A (ja) * | 1999-06-30 | 2001-03-23 | Canon Inc | 撮像装置 |
JP2001078213A (ja) * | 1999-06-30 | 2001-03-23 | Canon Inc | 撮像装置 |
JP2002204462A (ja) | 2000-10-25 | 2002-07-19 | Canon Inc | 撮像装置及びその制御方法及び制御プログラム及び記憶媒体 |
JP2002209226A (ja) | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
JP2002354493A (ja) * | 2001-05-25 | 2002-12-06 | Canon Inc | 多眼多板式撮像装置 |
JP2003256875A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205259B1 (en) | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
US5757423A (en) | 1993-10-22 | 1998-05-26 | Canon Kabushiki Kaisha | Image taking apparatus |
US6882368B1 (en) | 1999-06-30 | 2005-04-19 | Canon Kabushiki Kaisha | Image pickup apparatus |
US6859229B1 (en) | 1999-06-30 | 2005-02-22 | Canon Kabushiki Kaisha | Image pickup apparatus |
US7262799B2 (en) | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
US7460167B2 (en) * | 2003-04-16 | 2008-12-02 | Par Technology Corporation | Tunable imaging sensor |
US7405761B2 (en) * | 2003-10-01 | 2008-07-29 | Tessera North America, Inc. | Thin camera having sub-pixel resolution |
JP4704673B2 (ja) * | 2003-11-07 | 2011-06-15 | 株式会社日立製作所 | 情報通信システム及び情報記憶媒体 |
US7453510B2 (en) * | 2003-12-11 | 2008-11-18 | Nokia Corporation | Imaging device |
US7329856B2 (en) * | 2004-08-24 | 2008-02-12 | Micron Technology, Inc. | Image sensor having integrated infrared-filtering optical device and related method |
WO2007013250A1 (ja) * | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 複眼方式の撮像装置 |
-
2006
- 2006-06-27 WO PCT/JP2006/312773 patent/WO2007013250A1/ja active Application Filing
- 2006-06-27 CN CN200680027242A patent/CN100579185C/zh not_active Expired - Fee Related
- 2006-06-27 JP JP2007528378A patent/JP4903705B2/ja not_active Expired - Fee Related
- 2006-06-27 US US11/995,286 patent/US7718940B2/en not_active Expired - Fee Related
- 2006-06-27 EP EP06767390A patent/EP1912434A1/en not_active Withdrawn
- 2006-06-27 CN CN2009101370096A patent/CN101533202B/zh not_active Expired - Fee Related
-
2009
- 2009-04-27 JP JP2009107939A patent/JP4903241B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141246A (ja) * | 1992-04-09 | 1994-05-20 | Olympus Optical Co Ltd | 撮像装置 |
JPH07222045A (ja) * | 1994-01-31 | 1995-08-18 | Canon Inc | 撮像装置 |
JPH10304235A (ja) | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | 撮像装置 |
JP2001078212A (ja) * | 1999-06-30 | 2001-03-23 | Canon Inc | 撮像装置 |
JP2001078213A (ja) * | 1999-06-30 | 2001-03-23 | Canon Inc | 撮像装置 |
JP2002204462A (ja) | 2000-10-25 | 2002-07-19 | Canon Inc | 撮像装置及びその制御方法及び制御プログラム及び記憶媒体 |
JP2002209226A (ja) | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
JP2002354493A (ja) * | 2001-05-25 | 2002-12-06 | Canon Inc | 多眼多板式撮像装置 |
JP2003256875A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 |
Non-Patent Citations (1)
Title |
---|
HIROAKI KOTERA: "Representation of Full Color Image from a Single Color Image Using Color Correlation", PROCEEDINGS OF 1988 ANNUAL CONFERENCE OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 20, 1988, pages 83 - 86 |
Cited By (98)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7782364B2 (en) | 2007-08-21 | 2010-08-24 | Aptina Imaging Corporation | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
WO2009026064A3 (en) * | 2007-08-21 | 2009-04-23 | Micron Technology Inc | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
WO2009025959A1 (en) * | 2007-08-21 | 2009-02-26 | Micron Technology, Inc. | De-parallax method and apparatus for lateral sensor arrays |
TWI413408B (zh) * | 2007-08-21 | 2013-10-21 | Aptina Imaging Corp | 側向感測器陣列之消除視差的方法及裝置 |
JP2009278577A (ja) * | 2008-05-19 | 2009-11-26 | Acutelogic Corp | カラー撮像装置 |
JP2016197878A (ja) * | 2008-05-20 | 2016-11-24 | ペリカン イメージング コーポレイション | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11412158B2 (en) | 2008-05-20 | 2022-08-09 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
JP2019220957A (ja) * | 2008-05-20 | 2019-12-26 | フォトネイション リミテッド | 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理 |
US12022207B2 (en) | 2008-05-20 | 2024-06-25 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US12041360B2 (en) | 2008-05-20 | 2024-07-16 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
JP2010071747A (ja) * | 2008-09-17 | 2010-04-02 | Nikon Corp | 光学特性測定方法および装置 |
WO2010055643A1 (ja) * | 2008-11-12 | 2010-05-20 | シャープ株式会社 | 撮像装置 |
JP2010118818A (ja) * | 2008-11-12 | 2010-05-27 | Sharp Corp | 撮像装置 |
US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US11423513B2 (en) | 2010-12-14 | 2022-08-23 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US11875475B2 (en) | 2010-12-14 | 2024-01-16 | Adeia Imaging Llc | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US10218889B2 (en) | 2011-05-11 | 2019-02-26 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
US10742861B2 (en) | 2011-05-11 | 2020-08-11 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
CN102986236A (zh) * | 2011-05-19 | 2013-03-20 | 松下电器产业株式会社 | 三维摄像装置、图像处理装置、图像处理方法及程序 |
US9055181B2 (en) | 2011-07-15 | 2015-06-09 | Kabushiki Kaisha Toshiba | Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information |
US9794476B2 (en) | 2011-09-19 | 2017-10-17 | Fotonation Cayman Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
US10375302B2 (en) | 2011-09-19 | 2019-08-06 | Fotonation Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
US10275676B2 (en) | 2011-09-28 | 2019-04-30 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
US9864921B2 (en) | 2011-09-28 | 2018-01-09 | Fotonation Cayman Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
US20180197035A1 (en) | 2011-09-28 | 2018-07-12 | Fotonation Cayman Limited | Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata |
US10430682B2 (en) | 2011-09-28 | 2019-10-01 | Fotonation Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
US9811753B2 (en) | 2011-09-28 | 2017-11-07 | Fotonation Cayman Limited | Systems and methods for encoding light field image files |
US10984276B2 (en) | 2011-09-28 | 2021-04-20 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
US10019816B2 (en) | 2011-09-28 | 2018-07-10 | Fotonation Cayman Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
US11729365B2 (en) | 2011-09-28 | 2023-08-15 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
WO2013114890A1 (ja) * | 2012-02-03 | 2013-08-08 | パナソニック株式会社 | 撮像装置および測距装置 |
US9754422B2 (en) | 2012-02-21 | 2017-09-05 | Fotonation Cayman Limited | Systems and method for performing depth based image editing |
US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
US9807382B2 (en) | 2012-06-28 | 2017-10-31 | Fotonation Cayman Limited | Systems and methods for detecting defective camera arrays and optic arrays |
US10334241B2 (en) | 2012-06-28 | 2019-06-25 | Fotonation Limited | Systems and methods for detecting defective camera arrays and optic arrays |
US11022725B2 (en) | 2012-06-30 | 2021-06-01 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US9858673B2 (en) | 2012-08-21 | 2018-01-02 | Fotonation Cayman Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US12002233B2 (en) | 2012-08-21 | 2024-06-04 | Adeia Imaging Llc | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US10380752B2 (en) | 2012-08-21 | 2019-08-13 | Fotonation Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US9813616B2 (en) | 2012-08-23 | 2017-11-07 | Fotonation Cayman Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
US10462362B2 (en) | 2012-08-23 | 2019-10-29 | Fotonation Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
US9749568B2 (en) | 2012-11-13 | 2017-08-29 | Fotonation Cayman Limited | Systems and methods for array camera focal plane control |
US10009538B2 (en) | 2013-02-21 | 2018-06-26 | Fotonation Cayman Limited | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9774831B2 (en) | 2013-02-24 | 2017-09-26 | Fotonation Cayman Limited | Thin form factor computational array cameras and modular array cameras |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US11570423B2 (en) | 2013-03-10 | 2023-01-31 | Adeia Imaging Llc | System and methods for calibration of an array camera |
US11272161B2 (en) | 2013-03-10 | 2022-03-08 | Fotonation Limited | System and methods for calibration of an array camera |
US10225543B2 (en) | 2013-03-10 | 2019-03-05 | Fotonation Limited | System and methods for calibration of an array camera |
US9986224B2 (en) | 2013-03-10 | 2018-05-29 | Fotonation Cayman Limited | System and methods for calibration of an array camera |
US11985293B2 (en) | 2013-03-10 | 2024-05-14 | Adeia Imaging Llc | System and methods for calibration of an array camera |
US10958892B2 (en) | 2013-03-10 | 2021-03-23 | Fotonation Limited | System and methods for calibration of an array camera |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10547772B2 (en) | 2013-03-14 | 2020-01-28 | Fotonation Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10412314B2 (en) | 2013-03-14 | 2019-09-10 | Fotonation Limited | Systems and methods for photometric normalization in array cameras |
US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
US10638099B2 (en) | 2013-03-15 | 2020-04-28 | Fotonation Limited | Extended color processing on pelican array cameras |
US10674138B2 (en) | 2013-03-15 | 2020-06-02 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9800859B2 (en) | 2013-03-15 | 2017-10-24 | Fotonation Cayman Limited | Systems and methods for estimating depth using stereo array cameras |
US10455218B2 (en) | 2013-03-15 | 2019-10-22 | Fotonation Limited | Systems and methods for estimating depth using stereo array cameras |
US10540806B2 (en) | 2013-09-27 | 2020-01-21 | Fotonation Limited | Systems and methods for depth-assisted perspective distortion correction |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US10767981B2 (en) | 2013-11-18 | 2020-09-08 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US11486698B2 (en) | 2013-11-18 | 2022-11-01 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
WO2015125744A1 (ja) * | 2014-02-18 | 2015-08-27 | コニカミノルタ株式会社 | 測距装置および測距方法 |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10574905B2 (en) | 2014-03-07 | 2020-02-25 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US11546576B2 (en) | 2014-09-29 | 2023-01-03 | Adeia Imaging Llc | Systems and methods for dynamic calibration of array cameras |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US11562498B2 (en) | 2017-08-21 | 2023-01-24 | Adela Imaging LLC | Systems and methods for hybrid depth regularization |
US10818026B2 (en) | 2017-08-21 | 2020-10-27 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US11983893B2 (en) | 2017-08-21 | 2024-05-14 | Adeia Imaging Llc | Systems and methods for hybrid depth regularization |
US11699273B2 (en) | 2019-09-17 | 2023-07-11 | Intrinsic Innovation Llc | Systems and methods for surface modeling using polarization cues |
US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11842495B2 (en) | 2019-11-30 | 2023-12-12 | Intrinsic Innovation Llc | Systems and methods for transparent object segmentation using polarization cues |
US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11683594B2 (en) | 2021-04-15 | 2023-06-20 | Intrinsic Innovation Llc | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
US12052409B2 (en) | 2023-06-22 | 2024-07-30 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
Also Published As
Publication number | Publication date |
---|---|
EP1912434A1 (en) | 2008-04-16 |
CN101533202A (zh) | 2009-09-16 |
JP4903705B2 (ja) | 2012-03-28 |
CN101533202B (zh) | 2011-04-13 |
US20090127430A1 (en) | 2009-05-21 |
CN101228781A (zh) | 2008-07-23 |
US7718940B2 (en) | 2010-05-18 |
JP2009225454A (ja) | 2009-10-01 |
JPWO2007013250A1 (ja) | 2009-02-05 |
JP4903241B2 (ja) | 2012-03-28 |
CN100579185C (zh) | 2010-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4903705B2 (ja) | 複眼方式の撮像装置及びその製造方法 | |
JP4699995B2 (ja) | 複眼撮像装置及び撮像方法 | |
JP4976310B2 (ja) | 撮像装置 | |
JP4071793B2 (ja) | 撮像装置とその製造方法、及び携帯機器 | |
JP4952060B2 (ja) | 撮像装置 | |
US7262799B2 (en) | Image sensing apparatus and its control method, control program, and storage medium | |
EP2160018B1 (en) | Image pickup apparatus | |
JP5649091B2 (ja) | 画像キャプチャ装置および画像キャプチャ方法 | |
JP5619294B2 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
JPWO2016098640A1 (ja) | 固体撮像素子、および電子装置 | |
US9658367B2 (en) | Image acquisition apparatus | |
EP1861997A1 (en) | Wide angle camera with prism array | |
US20140240559A1 (en) | Solid state imaging device, portable information terminal, and solid state imaging system | |
WO2013047110A1 (ja) | 撮像装置及び位相差画素の感度比算出方法 | |
JP6008298B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2015106773A (ja) | アレイ光学系を有する撮像装置 | |
JP2012044459A (ja) | 光学デバイス | |
JP5476702B2 (ja) | 撮像素子および撮像装置 | |
JP5338118B2 (ja) | 相関演算装置、焦点検出装置および撮像装置 | |
JP2019219594A (ja) | 処理装置、撮像装置、交換レンズ、処理方法およびプログラム | |
JP2006186512A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200680027242.3 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 2007528378 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2006767390 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 11995286 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |