WO2010055643A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2010055643A1
WO2010055643A1 PCT/JP2009/005996 JP2009005996W WO2010055643A1 WO 2010055643 A1 WO2010055643 A1 WO 2010055643A1 JP 2009005996 W JP2009005996 W JP 2009005996W WO 2010055643 A1 WO2010055643 A1 WO 2010055643A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
optical axis
image pickup
imaging system
subordinate
Prior art date
Application number
PCT/JP2009/005996
Other languages
English (en)
French (fr)
Inventor
大森圭祐
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US13/128,568 priority Critical patent/US20110211097A1/en
Priority to CN2009801446290A priority patent/CN102210135A/zh
Priority to EP09825897.3A priority patent/EP2352277A4/en
Publication of WO2010055643A1 publication Critical patent/WO2010055643A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses

Definitions

  • the present invention relates to an imaging apparatus using a plurality of imaging elements.
  • a plurality of small and thin imaging systems with a relatively small number of pixels are used to image a common subject, and a plurality of obtained images are combined to increase the number of pixels and provide a high resolution.
  • a compound eye imaging device that generates one image has been proposed (see, for example, Non-Patent Document 1).
  • the compound-eye imaging apparatus includes two sets of imaging systems, a left imaging system and a right imaging system, and these two imaging systems capture the same subject with a sampling phase shifted by 1/2 pixel. Then, by synthesizing the two obtained images, an output image having a higher resolution than the images captured by the respective imaging systems is obtained.
  • the sampling phase is a spatial phase at a position where the imaging element of each imaging system images when a subject is imaged by a plurality of imaging systems.
  • the sampling phase will be described with reference to FIG. FIG. 20 shows the areas to be imaged by the left imaging system with grids 121a and 121b, the areas to be imaged with the right imaging system are shown by grids 122a and 122b (broken lines), and each of the smallest squares represents one pixel. Indicates an area to be imaged.
  • the imaging positions of the pixels of the imaging elements of the two imaging systems substantially overlap, and the sampling phases are aligned.
  • the areas captured by the pixels of the two imaging systems are shifted by 1/2 pixel in both the horizontal and vertical directions, and the sampling phase is in the horizontal and vertical directions. Both are shifted by 1/2 pixel.
  • the sampling phase of the two imaging systems changes, and a phenomenon occurs in which the sampling phases are aligned depending on the imaging distance.
  • FIG. 21 is a schematic diagram for explaining the change in sampling phase when the distance to the subject changes when the subject is imaged by two imaging systems.
  • the image sensor M corresponds to the left imaging system
  • the image sensor N corresponds to the right imaging system.
  • the subject is located at the point P0 or the point P1, and is located on the optical axis of the image sensor M, that is, on the optical axis of the pinhole O.
  • f is a focal length
  • B is a baseline length.
  • the shift amount on the imaging element N is about 3 ⁇ m from the equation (1).
  • the instant in which the subject exists at the position of the imaging distance where the sampling phases are aligned 9 times occurs per second.
  • such a problem is that even if the subject is stationary, if the subject has a depth, only a part of the subject can be high-resolution.
  • a compound eye imaging device having a focal length f of 5 mm, a baseline length B of 12 mm, and a pixel pitch of 6 ⁇ m of an image sensor
  • the sampling phase at an imaging distance of 700 mm is shifted by 1/2 pixel so that A is improved in resolution
  • the sampling phase is 1 ⁇ 2 from the imaging distance of 700 mm at the imaging distance of 725 mm according to the equation (1).
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging apparatus capable of generating a high-resolution image with a simple apparatus configuration without complicatedly controlling an optical system. To do.
  • the present invention is a compound eye imaging device including M imaging systems (M is a natural number of 2 or more) having an optical system and an imaging device, and the imaging system includes one reference imaging system and M ⁇ 1 imaging systems.
  • M is a natural number of 2 or more
  • the image pickup surface of the image pickup device of the reference image pickup system and the image pickup surface of the image pickup device of the subordinate image pickup system are arranged in substantially the same plane, and the image pickup device of the reference image pickup system and the subordinate image pickup device
  • the image pickup device of the image pickup system is arranged on a straight line substantially parallel to the pixel arrangement direction of the image pickup device, and when the length of one pixel of the image pickup device is W, L of the subordinate image pickup systems (L is the maximum)
  • the imaging element of the subordinate imaging system whose value is M ⁇ 1 is a W ⁇ ((L / L / L / N) direction in a direction substantially orthogonal to the straight line with respect to the imaging element of the reference imaging system in the plane.
  • the present invention is a compound eye imaging device including M imaging systems (M is a natural number of 2 or more) having an optical system and an imaging device, and the imaging system includes one reference imaging system and M ⁇ 1 imaging systems. And at least one of the subordinate imaging systems includes an optical axis control unit that controls an optical axis, the imaging surface of the imaging element of the reference imaging system, and the optical system
  • the image pickup surface of the image pickup element of the subordinate image pickup system is arranged in substantially the same plane, and the image pickup element of the reference image pickup system and the image pickup element of the subordinate image pickup system are arranged on a straight line substantially parallel to the pixel arrangement direction of the image pickup element.
  • the image sensor of the L-th sub-imaging system (L is a positive integer whose maximum value is M-1) among the sub-systems is By controlling the optical axis with the optical axis control unit, the imaging element of the reference imaging system substantially in the plane.
  • W ⁇ ((L / M) + N) (N is a natural number including 0) characterized in that it is arranged at a distance with respect to.
  • the arrangement direction of the one subordinate imaging system and the one reference imaging system is substantially the same as the arrangement direction of one subordinate imaging system different from the subordinate imaging system and the reference imaging system. It is characterized by being arranged orthogonally.
  • the present invention is characterized in that the reference imaging system includes an optical member having substantially the same optical distance as the optical axis control unit.
  • the optical axis control unit is configured by a non-solid lens capable of changing a refractive index distribution, and by changing the refractive index distribution of the non-solid lens, the light incident on the imaging element is changed.
  • the optical axis is deflected.
  • the optical axis control unit includes a refracting plate and an inclination angle changing unit that changes an inclination angle of the refracting plate, and the inclination angle changing unit changes the inclination angle of the refracting plate by the inclination angle changing unit.
  • the optical axis of light incident on the image sensor is deflected.
  • the optical axis control unit includes a variable apex angle prism, and deflects an optical axis of light incident on the image sensor by changing an apex angle of the variable apex angle prism.
  • the optical axis control unit includes a moving unit that moves the solid lens, and deflects an optical axis of light incident on the imaging element by moving the solid lens. .
  • the optical axis control unit includes a moving unit that moves the image sensor, and controls the optical axis of light incident on the image sensor by moving the image sensor. .
  • an optical system is provided in a compound eye imaging device that generates a high-resolution image with a large number of pixels by imaging a common subject using a plurality of imaging systems and combining the obtained images.
  • FIG. 21 is a schematic diagram for explaining the change in sampling phase when the distance to the subject changes when the subject is imaged by two imaging systems.
  • each image pickup having a first image pickup system having an optical system (not shown) and an image pickup element M, and a second image pickup system having an optical system (not shown) and an image pickup element N.
  • the system is configured such that the optical axis passes through the center of the image sensor.
  • the sampling phase shift amount of the two imaging systems is u0-u1, which can be expressed by the above-described equation (1). . Therefore, the shift amount of the sampling phase when the imaging distance changes depends on the focal length f, the baseline length B, and the imaging distances H0 and H1. Therefore, in the present invention, by reducing the baseline length B of the plurality of imaging systems, the amount of sampling phase shift when the imaging distance changes is reduced, and the sampling phase is not controlled in accordance with the imaging distance. A configuration that can be resolved.
  • the baseline length B is usually the distance between the optical axes of the two imaging systems.
  • the base line length B is arranged in the same plane, and the pixel arrangement direction is the horizontal direction.
  • the center-to-center distance (straight line distance) between two image sensors arranged in the vertical direction is the base line length B
  • the distance between the horizontal components is the base line length BH
  • the distance between the vertical components is the base line length BV.
  • each image sensor is arranged on a substantially straight line in a substantially same plane, It is only necessary that the straight line and the pixel arrangement direction of each image sensor substantially coincide.
  • FIG. 1 is a diagram showing a configuration of the embodiment.
  • FIG. 1 is a diagram illustrating an arrangement of three imaging systems provided in the imaging apparatus according to the present embodiment.
  • the three image pickup systems 11, 12, and 13 shown in FIG. 1 each have an optical system (not shown) constituted by a lens or the like and a two-dimensional array of image pickup elements.
  • Each of the pixels of the image sensor included in each of the imaging systems 11, 12, and 13 is substantially square.
  • one imaging element is described as being a 5 ⁇ 5 two-dimensional array.
  • an actual imaging apparatus includes a two-dimensional array imaging element having, for example, 640 (horizontal) ⁇ 480 (vertical) pixels. Etc. are used.
  • the image pickup system 11 (referred to as a reference image pickup system) and the image pickup system 12 (referred to as a subordinate image pickup system) shown in FIG. 1 are arranged side by side so as to be substantially horizontal, and the center of the image pickup element is the two image pickup systems. 11 and 12 are shifted by 1/2 pixel in the vertical direction orthogonal to the horizontal direction, and the base line length BV in the vertical direction is 1/2 pixel.
  • the imaging system 11 and the imaging system 13 (referred to as a subordinate imaging system) are arranged side by side so as to be substantially vertical, and the center of the imaging element is the direction in which these two imaging systems are arranged, that is, vertical.
  • the base line length BH in the horizontal direction is 1/2 pixel.
  • FIG. 2 shows a state in which the sampling phases of the imaging system 11 and the imaging system 13 arranged substantially vertically are shifted with changes in the imaging distance.
  • FIG. 2 shows the state of the sampling phase when the imaging distance becomes longer in the order of left, center, and right.
  • the sampling phase in the vertical direction gradually shifts as the imaging distance changes.
  • the sampling phase in the horizontal direction maintains a state where it is shifted by 1/2 pixel regardless of the imaging distance.
  • FIG. 3 shows the horizontal sampling phase when the imaging distance is changed to H1 when the pixel pitch of the imaging element is 6 ⁇ m, the focal length f is 5 mm, the base length BH is 3 ⁇ m, and the imaging distance H0 is 500 mm.
  • FIG. 3 shows the horizontal sampling phase when the imaging distance is changed to H1 when the pixel pitch of the imaging element is 6 ⁇ m, the focal length f is 5 mm, the base length BH is 3 ⁇ m, and the imaging distance H0 is 500 mm.
  • the shift amount u0-u1 is substantially 0 regardless of the imaging distance.
  • the base line length BH is set to a length corresponding to 1/2 pixel of the image sensor and the sampling phase shift between the two imaging systems is set to 1/2 pixel, the imaging system 11 and the imaging system even if the imaging distance changes.
  • the 13 horizontal sampling phase shifts can be approximately 1 ⁇ 2 pixel.
  • the base line length BH is not limited to the length corresponding to 1/2 pixel, and as represented by the formula (2), 3/2 pixels, 5/2 pixels, 7/2 pixels, and 9/2. By using pixels, the shift amount of the sampling phase in the horizontal direction can be made substantially zero even when the imaging distance changes.
  • BH (length of one pixel of image sensor) ⁇ (2N + 1) / 2 (2)
  • N is a natural number including 0, and is preferably a small value.
  • the focal length f is 5 mm
  • the imaging distance H0 is 500 mm
  • the base line length BH is 21 ⁇ m, that is, the base line length BH is 7/2 pixels infinite.
  • the shift amount of the sampling phase at can be calculated as 0.035 pixels from the equation (2). If the sampling phase shift at the imaging distance H0 is 1 ⁇ 2 pixel, it becomes almost 1 ⁇ 2 pixel even at infinity. Therefore, if the base line length BH is set to the state of the expression (2), the sampling phase is almost shifted by 1/2 pixel even if the imaging distance is changed, and the high resolution can be obtained without a complicated control device. Can be imaged.
  • the high resolution in the horizontal direction by the two imaging systems 11 and 13 arranged substantially vertically has been described.
  • the high resolution in the vertical direction is also set to 2 arranged almost horizontally.
  • the two imaging systems may be arranged so that the base line length BV in the vertical direction of the two imaging systems 11 and 12 is a length that can be expressed by the expression (3).
  • BV (length of one pixel of the image sensor) ⁇ (2N + 1) / 2 (3)
  • N is a natural number including 0, and is preferably a small value.
  • the imaging system 11 shown in FIG. 1 is used as a reference imaging system, and the imaging system 12 can be highly resolved either on the left or right in the horizontal direction, and the imaging system 13 on either the top or bottom in the vertical direction ((2) If the arrangement is made so as to satisfy the equation (3), it is possible to achieve high resolution in both the horizontal and vertical directions with the configuration of the three imaging systems 11, 12, and 13.
  • the image of the image pickup system 11 that is the reference image pickup system is a reference image
  • the three image pickup systems 11, 12, and 13 each use an image pickup device of 5 ⁇ 5 pixels.
  • the pixels of the image of the imaging system 12 that are shifted by 1/2 pixel in the vertical direction are embedded between the pixels arranged in the vertical direction of the reference image.
  • the pixels of the image of the imaging system 13 that are shifted by 1/2 pixel in the horizontal direction are embedded between the pixels arranged in the horizontal direction of the reference image. Since the image is only 75 pixels as it is, the remaining 25 pixels are pixels of the image obtained by the imaging system 12 and the imaging system 13 with respect to the reference image obtained by the imaging system 11. In the embedded state, a pixel value is obtained by complementing the surrounding pixel values, and an image with a higher resolution is generated by embedding pixels of the obtained pixel value.
  • This image composition process is an example, and a known image composition process can be applied.
  • the horizontal sampling phase of the two imaging systems arranged substantially vertically is shifted by 1 ⁇ 2 pixel to achieve high resolution in the horizontal direction, and 2 arranged almost horizontally.
  • the configuration has been described in which the vertical sampling phase of one imaging system is shifted by 1 ⁇ 2 pixel to increase the resolution in the vertical direction, the number of imaging systems to be arranged may be three or more.
  • the state where the sampling phase is shifted by 1/2 pixel is optimal for high resolution, but when high resolution is achieved with three or more imaging systems, one direction
  • a state in which the sampling phase is shifted by 1 / M pixels is optimal for high resolution.
  • the imaging system 51 is a reference imaging system, and the other two subordinate imaging systems are imaging systems 52, 53.
  • the state in which the sampling phase is shifted by 1/3 pixel and 2/3 pixel in the horizontal direction is most suitable for high resolution.
  • the base line length BH in the horizontal direction of the L-th subordinate imaging system of the subordinate imaging system may satisfy the equation (4).
  • BH (length of one pixel of image sensor) ⁇ ((L / M) + N) (4)
  • L is a positive integer whose maximum value is M ⁇ 1
  • N is a natural number including 0. At this time, it is desirable that N is a small value.
  • BV (length of one pixel of the image sensor) ⁇ ((L / M) + N) (5)
  • L is a positive integer whose maximum value is M ⁇ 1
  • N is a natural number including 0. At this time, it is desirable that N is a small value.
  • FIG. 5 shows that the first sub imaging system 62a and the second sub imaging system 63a are in the vertical direction, and the first sub imaging system 64a and the second sub imaging system 65a are in the horizontal direction.
  • the horizontal base lengths BH of the subordinate imaging systems 62a and 63a with respect to the reference imaging system 61a are 1/3 pixel and 2/3 pixel, respectively.
  • the base line lengths BH in the vertical direction of the slave imaging systems 64a and 65a with respect to the reference imaging system 61a are 1/3 pixel and 2/3 pixel, respectively.
  • the imaging systems 62 b and 63 b that are subordinate imaging systems with the imaging system 61 b as a reference imaging system are arranged in the vertical direction, and the imaging systems 64 b and 65 b that are subordinate imaging systems are arranged in the horizontal direction with the imaging system 62 b as the reference imaging system.
  • the horizontal base lengths BH of the subordinate imaging systems 62b and 63b with respect to the reference imaging system 61b are 1/3 pixel and 2/3 pixel, respectively.
  • the base line lengths BV in the vertical direction of the dependent imaging systems 64b and 65b with respect to the reference imaging system 62b are 1/3 pixel and 2/3 pixel, respectively.
  • the imaging systems 64 c and 63 c that are the subordinate imaging systems with the imaging system 61 c as the reference imaging system are arranged in the vertical direction, and the imaging systems 64 c and 65 c that are the subordinate imaging systems are arranged in the horizontal direction with the imaging system 62 c as the reference imaging system.
  • the horizontal base lengths BH of the subordinate imaging systems 64c and 63c with respect to the reference imaging system 61c are 1/3 pixel and 2/3 pixel, respectively.
  • the base line lengths BV in the vertical direction of the slave imaging systems 64c and 65c with respect to the reference imaging system 62c are 1/3 pixel and 2/3 pixel, respectively.
  • FIG. 8 shows an example in which the subordinate imaging systems 75a, 76a, and 77a are arranged in the vertical direction with the imaging system 74a as the reference imaging system, and the subordinate imaging systems 71a, 72a, and 73a are arranged in the horizontal direction with the imaging system 74a as the reference imaging system.
  • the horizontal base lengths BH of the subordinate imaging systems 75a, 76a, and 77a with respect to the reference imaging system 74a are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • the base line lengths BV in the vertical direction of the slave imaging systems 71a, 72a, 73a with respect to the reference imaging system 74a are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • FIG. 9 shows an example in which the subordinate imaging systems 73b, 76b, and 77b are arranged in the vertical direction using the imaging system 75b as the reference imaging system, and the subordinate imaging systems 72b, 73b, and 74b are arranged in the horizontal direction using the imaging system 71b as the reference imaging system.
  • the horizontal base lengths BH of the subordinate imaging systems 73b, 76b, and 77b with respect to the reference imaging system 75b are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • the base line lengths BV in the vertical direction of the dependent imaging systems 72b, 73b, and 74b with respect to the reference imaging system 71b are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • FIG. 10 shows an example in which the subordinate imaging systems 72c, 73c, and 74c are arranged in the vertical direction using the imaging system 71c as the reference imaging system, and the subordinate imaging systems 75c, 76c, and 77c are arranged in the horizontal direction using the imaging system 73c as the reference imaging system.
  • the base line lengths BH in the horizontal direction of the dependent imaging systems 72c, 73c, and 74c with respect to the reference imaging system 71c are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • the base line lengths BV in the vertical direction of the dependent imaging systems 75c, 76c, and 77c with respect to the reference imaging system 73c are 1/4 pixel, 2/4 pixel, and 3/4 pixel, respectively.
  • the number of image pickup systems arranged in the horizontal direction may be different from the number of image pickup systems arranged in the vertical direction.
  • the sampling in the horizontal direction of the four imaging systems 81, 82, 83, 84 arranged in the vertical direction is performed.
  • the phase may be shifted by 1/4 pixel, and the vertical sampling phase of the three imaging systems 84, 85, 86 arranged in the horizontal direction may be shifted by 1/3 pixel.
  • the high resolution image composition processing is the same as the processing described in the first embodiment, and the imaging system is shifted by 1 / M pixel in the vertical direction between pixels arranged in the vertical direction of the reference image. Each of the plurality of image pixels is embedded. Further, pixels of a plurality of images of the imaging system that are shifted by 1 / M pixel in the horizontal direction are embedded between the pixels arranged in the horizontal direction of the reference image. For the remaining pixels, pixel values are obtained by complementing the surrounding pixel values, and an image with a higher resolution is generated by embedding the pixels having the obtained pixel values. In this case as well, a known image composition process can be applied.
  • a third embodiment of the present invention will be described.
  • the imaging apparatus by arranging the imaging system as described in the first and second embodiments, it is possible to capture an image with a sampling phase that can always achieve high resolution without complicated control of the optical system.
  • Each imaging system is provided with an optical axis control unit for controlling the optical axis, and the optical axis control unit adjusts the optical axis of each imaging system, thereby substantially substituting the equations (2), (3), (
  • the sampling phase that can achieve high resolution may be controlled so as to satisfy the conditions expressed by equations (4) and (5). For example, as shown in FIG.
  • the vertical base line length BV of two imaging systems 201 and 202 arranged horizontally is 0, but the optical axis 204 of the imaging system 202 is set to 1 in the vertical direction by the optical axis control unit.
  • the baseline length BV is apparently 1 ⁇ 2 pixel, and the sampling phase can be increased.
  • the optical axis of each imaging system is adjusted by the optical axis control unit, and each imaging system is substantially set to the expressions (2), (3), (4), and (5).
  • a liquid crystal lens can be used as the optical axis control unit.
  • 13 and 14 show the configuration of the liquid crystal lens 901.
  • FIG. FIG. 13 is a side view of the liquid crystal lens 901
  • FIG. 14 is a front view of the liquid crystal lens 901 shown in FIG.
  • the liquid crystal lens 901 has a structure in which a glass substrate 902, an electrode 903, a liquid crystal layer 904, an electrode 905, and a glass substrate 906 are stacked.
  • the electrode 903 is divided into five electrodes 903a, 903b, 903c, 903d, and 903e.
  • An electric field is generated between the two electrodes 903 and 905 by applying a voltage to the electrodes 903 and 905 of the liquid crystal lens 901.
  • the liquid crystal molecules of the liquid crystal layer 904 are aligned in the direction of this electric field.
  • a refractive index distribution is generated in the liquid crystal layer 904, and it can function as a lens.
  • the optical axis control unit adjusts the optical axis with respect to the reference imaging system, and therefore may be provided in the subordinate imaging system, and may not be provided in the reference imaging system. Further, when the reference imaging system does not have an optical axis control unit, the optical distance to the subject is slightly different from that of the subordinate imaging system, so that an optical member having substantially the same optical distance as the optical axis control unit in the subordinate imaging system, For example, by using glass or the like for the reference imaging system, the imaging system can be arranged in the same plane, and the arrangement becomes easy.
  • the optical axis shift amount by the refracting plate 103 changes depending on the inclination angle, the position incident on the image sensor 10 changes, and the optical axis shift becomes possible.
  • the direction of the optical axis shift caused by tilting the refracting plate 103 is only one axis direction (vertical direction in the figure)
  • a refracting plate that shifts the optical axis in the horizontal direction is separately arranged. As a result, the optical axis can be shifted in the biaxial direction, and the optical axis can be shifted in any direction within the image sensor surface.
  • FIG. 16 is a diagram showing a configuration for controlling the optical axis by using the variable apex angle prism 104 and the solid lens 105.
  • the incident light is deflected by changing the apex angle of the variable apex angle prism 104 by means such as an actuator using a piezoelectric element.
  • the position changes and the optical axis can be shifted.
  • the optical axis shift direction is only one axial direction (vertical direction in the figure) as shown in FIG. 16, so a variable vertical angle prism that shifts the optical axis in the horizontal direction is arranged separately.
  • the optical axis can be shifted in an arbitrary direction.
  • FIG. 17 is a diagram showing a configuration in which the optical axis is controlled by moving all or part of the solid lenses 106, 107, and 108 in a direction substantially perpendicular to the optical axis by a moving means such as an actuator using a piezoelectric element. is there.
  • the optical system is composed of three solid lenses 106, 107, and 108.
  • the solid lens 107 which is a part of the optical system, is moved horizontally by an actuator using a piezoelectric element that can move in the vertical direction. It is moved by a moving means by an actuator using a piezoelectric element movable in the direction. As shown in FIG.
  • FIG. 18 is a diagram in which the image sensor 10 is directly moved by a moving means such as an actuator using a piezoelectric element.
  • the optical axis shift amount is controlled not on the optical system 109 but on the image sensor 10.
  • the image pickup device 10 is moved by a moving means using an actuator using a piezoelectric element moving in the vertical direction and a moving means using an actuator using a piezoelectric element moving in the horizontal direction. Since the imaging position on 10 moves, the optical axis can be shifted independently in the vertical and horizontal directions.
  • the piezoelectric element is used as the actuator as the moving means of the optical system and the moving means of the imaging device, but the present invention is not limited to this, and the solenoid actuator, motor and gear mechanism using electromagnetic force are not limited thereto. Means such as an actuator using a pressure, an actuator using pressure, or the like can also be used.
  • the optical axis shift direction the vertical direction and the horizontal direction have been described, but the present invention is not limited to this.
  • the optical axis control unit shown in FIGS. 15 to 17 shifts the optical axis by deflecting the light incident on each imaging system, so that each imaging system is apparently expressed by equations (2), (3), (4 ) And (5). Further, by moving the image sensor 10 by the optical axis control unit shown in FIG. 18, the same effect as the optical axis shift can be obtained.
  • a plurality of imaging systems are arranged on a straight line in a substantially vertical direction and a substantially horizontal direction, and the conditional expression (Equation (2)) that enables each imaging system to have high resolution in a direction perpendicular to the arrangement direction.
  • conditional expression (Equation (2)) that enables each imaging system to have high resolution in a direction perpendicular to the arrangement direction.
  • (3), (4), and (5)) are arranged at a distance that satisfies the above conditions, so that high resolution is obtained in a direction perpendicular to the linear direction without complicated control of the optical system.
  • an optical axis control unit that statically moves the direction of the optical axis is provided, and the optical axis is shifted by deflecting light incident on each imaging system by this optical axis control unit. Since control is performed so as to satisfy the conditional expressions (formula (2), formula (3), formula (4), formula (5)) that can achieve high resolution, high resolution can be achieved without complicated control of the optical system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Mounting And Adjusting Of Optical Elements (AREA)
  • Cameras In General (AREA)

Abstract

　光学系と撮像素子とからなる撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、撮像系は、１個の基準撮像系とＭ－１個の従属撮像系からなり、基準撮像系の撮像素子の撮像面と従属撮像系の撮像素子の撮像面が略同一平面内に配置され、基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、従属撮像系のうちＬ（Ｌは最大値がＭ－１である正の整数）番目の従属撮像系の撮像素子は、撮像素子の１画素の長さをＷとした場合に、平面内において基準撮像系の撮像素子に対して直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されている。この構成により、光学系を煩雑に制御することなく、解像度の高い画像を生成することができる。

Description

撮像装置
　本発明は、撮像素子を複数用いた撮像装置に関する。
　本願は、２００８年１１月１２日に、日本に出願された特願２００８－２８９６１８号に基づき優先権を主張し、その内容をここに援用する。
　近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高性能化により多画素化や高精細化が進み、その光学性能を十分に出すためにレンズなどの光学系が大きくなってしまったり、撮像素子そのものが大きくなってしまったりという問題がある。
　このような問題を解決するために、画素数の比較的少ない小型で薄い撮像系を複数用いて共通の被写体を撮像し、得られた複数の画像を合成することにより画素数が多く解像度の高い１つの画像を生成する複眼撮像装置が提案されている（例えば、非特許文献１参照）。複眼撮像装置は、左側撮像系と右側撮像系の２組の撮像系を備えており、この２つの撮像系は、同じ被写体を、サンプリング位相を１／２画素ずらして撮像する。そして、得られた２枚の画像を合成することで、それぞれの撮像系で撮像した画像より解像度の高い出力画像を得るものである。
　ここでいうサンプリング位相とは、複数の撮像系で被写体を撮像する際、各撮像系の撮像素子が撮像する位置の空間的な位相のことである。図２０を参照して、サンプリング位相について説明する。図２０は、左側撮像系の撮像する領域を格子１２１ａ、１２１ｂで示し、右側撮像系の撮像する領域を格子１２２ａ、１２２ｂ（破線）で示しており、最小の四角形の１つ１つが１つの画素によって撮像される領域を示している。図２０に示す格子１２１ａ、１２２ａでは、２つの撮像系の撮像素子の各画素は撮像する位置がほぼ重なりあっており、サンプリング位相が揃っている。一方、図２０に示す格子１２１ｂ、１２２ｂでは、２つの撮像系の撮像素子の各画素が撮像する領域が水平方向、垂直方向共に１／２画素分ずれており、サンプリング位相が水平方向、垂直方向共に１／２画素ずれている。このような複眼撮像装置を用いて解像度の高い画像を生成するには、２つの撮像系のサンプリング位相が揃わないように撮像する必要があるが、撮像素子から被写体までの距離が変化した場合には、２つの撮像系のサンプリング位相が変化してしまい、撮像距離に依ってはサンプリング位相が揃ってしまう現象が発生する。
　図２１に、２つの撮像系で被写体を撮像する際に、被写体までの距離が変化した場合のサンプリング位相の変化を説明する模式図を示す。図２１において、撮像素子Ｍは、左側撮像系に相当し、撮像素子Ｎが右側撮像系に相当する。被写体は、点Ｐ０もしくは点Ｐ１にあり、撮像素子Ｍの光軸上、すなわちピンホールＯの光軸上に位置している。被写体がＰ０にある撮像距離Ｈ０の状態から、Ｐ１にある撮像距離Ｈ１の状態に変化した場合、サンプリング位相のシフト量は、ｕ０－ｕ１となり、
　ｕ０－ｕ１＝ｆ×Ｂ×（（１／Ｈ０）－（１／Ｈ１）)・・・（１）
と表せる。ここで、ｆは焦点距離、Ｂは基線長である。
　例えば、焦点距離ｆを５ｍｍ、基線長Ｂを１２ｍｍ、撮像距離Ｈ０を７００ｍｍ、撮像距離Ｈ１を７２５ｍｍとすると、撮像素子Ｎ上でのシフト量は、（１）式より約３μｍとなる。撮像素子の画素ピッチが６μｍである場合、撮像距離が７００ｍｍから７２５ｍｍに変化することで、サンプリング位相が約１／２画素シフトすることになる。撮像距離７００ｍｍでサンプリング位相が１／２画素ずれた状態にあるとすると、撮像距離が７２５ｍｍに変化した場合、１／２＋１／２＝１となり、１画素分、サンプリング位相がずれている状態になる。これは、１画素分位相がずれるものの、結果として画素が重なることになるため、サンプリング位相が揃ってしまい、結果的に高解像化できなくなることを意味する。
画像電子学会予稿９０－０３－０４（ｐ２３－２８）
　この問題を解決するためには、撮像距離に応じて２つの撮像系を制御し、サンプリング位相をずらす必要がある。サンプリング位相をずらす方法として、例えば、輻輳角（２つの撮像系の光軸がなす角度）を変える方法がある。
　しかしながら、撮像距離に応じて輻輳角を変化させるためには、撮像装置の構成が複雑になり、大規模な装置構成になってしまうという問題がある。例えば、時速３０ｋｍ／ｈで撮像装置から遠ざかる被写体を撮像する場合において、初期状態において撮像距離１０００ｍｍの位置に被写体がある場合、１秒後に被写体は撮像距離９３３３ｍｍの位置に移動している。この被写体を、焦点距離ｆが５ｍｍ、基線長Ｂが１２ｍｍ、撮像素子の画素ピッチ６μｍの複眼撮像装置で撮像した場合、（１）式より、サンプリング位相が約９画素シフトすることになる。すなわち、１秒間に９回、サンプリング位相が揃ってしまう撮像距離の位置に被写体が存在する瞬間が発生することになる。移動する被写体を常に高解像化して画像を得るには、少なくともサンプリング位相の揃う撮像距離では輻輳角を変化させてサンプリング位相をずらす必要がある。従って、少なくとも１秒間に９回輻輳角を変化させることができる装置構成とする必要があり、装置構成が複雑かつ大規模になってしまうとともに、光学系に対して煩雑な移動制御を行わなければならない。
　また、このような問題は、静止している被写体であっても被写体に奥行きがある場合には被写体の一部分しか高解像化できないという問題がある。例えば、焦点距離ｆが５ｍｍ、基線長Ｂが１２ｍｍ、撮像素子の画素ピッチ６μｍの複眼撮像装置で、異なる被写体Ａと被写体Ｂを同時に撮像し、それぞれの撮像距離が７００ｍｍ、７２５ｍｍである場合、被写体Ａが高解像化されるよう、撮像距離７００ｍｍでのサンプリング位相を１／２画素ずれた状態にすると、撮像距離７２５ｍｍにおいては、（１）式よりサンプリング位相は撮像距離７００ｍｍに対し１／２画素シフトするため、１／２＋１／２＝１となり、サンプリング位相が揃ってしまい、被写体Ｂは高解像化できなくなる。したがって、静止している被写体であっても奥行きの異なる位置に存在する異なる被写体Ａ、Ｂの場合は、同時に高解像化することはできない。すなわち、被写体に奥行きがある場合は撮像範囲の一部を高解像化できないという問題がある。
　本発明は、このような事情に鑑みてなされたもので、光学系を煩雑に制御することなく、簡単な装置構成で解像度の高い画像を生成することができる撮像装置を提供することを目的とする。
　本発明は、光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、前記撮像系は、１個の基準撮像系とＭ－１個の従属撮像系とを有し、前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ－１である正の整数）番目の従属撮像系の撮像素子は、前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されていることを特徴とする。
　本発明は、前記撮像装置であって、Ｎ＝０であることを特徴とする。
　本発明は、光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、前記撮像系は、１個の基準撮像系とＭ－１個の従属撮像系とを有し、前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備え、前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ－１である正の整数）番目の従属撮像系の撮像素子は、前記光軸制御部で光軸を制御することで、実質的に前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）の距離に配列されていることを特徴とする。
　本発明は、前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備える前記撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。
　本発明は、前記１個の従属撮像系と前記１個の基準撮像系との配列方向は、該従属撮像系とは異なる１個の従属撮像系と該基準撮像系との配列方向に、略直交して配置されていることを特徴とする。
　本発明は、前記基準撮像系は、前記光軸制御部と略同一の光学距離を有する光学部材を備えることを特徴とする。
　本発明は、前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする。
　本発明は、前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする。
　本発明によれば、撮像系を複数用いて共通の被写体を撮像し、得られた複数の画像を合成することにより画素数が多く解像度の高い画像を生成する複眼の撮像装置において、光学系を煩雑に制御することなく、解像度の高い画像を生成することが可能になるという効果が得られる。
本発明の第一の実施形態における撮像系の配置を示す図である。 撮像距離の変化に伴うサンプリング位相のずれを示す説明図である。 基線長ＢＨ＝３μｍ、画素ピッチ６μｍ、焦点距離５ｍｍ、撮像距離５００ｍｍの場合において、撮像距離が変化したときの水平方向のサンプリング位相のシフト量を示す図である。 本発明の第二の実施形態における撮像系の配置を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ５個の撮像系を、垂直方向に３個、水平方向に３個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 ７個の撮像系を、垂直方向に４個、水平方向に４個配置する配置例を示す図である。 垂直方向に配置する撮像系の数と、水平方向に配置する撮像系の数が異なる場合の配置例を示す図である。 光軸制御部によって各撮像系の光軸を調整した状態を示す説明図である。 液晶レンズの構成例を示す側面図である。 液晶レンズの構成例を示す正面図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 光軸制御部による光軸シフトの原理を示す図である。 本発明における基線長の分解の定義を示す図である。 従来技術による２つの撮像系の撮像領域を示す図である。 ２つの撮像系で被写体を撮像する場合において、撮像距離の変化に伴うサンプリング位相のシフトを示す図である。
　初めに、本発明の理解を深めるため、図２１を参照して２つの撮像系のサンプリング位相の変化について説明する。図２１は、２つの撮像系で被写体を撮像する際に、被写体までの距離が変化した場合のサンプリング位相の変化を説明する模式図である。図２１に示すように、光学系（図示せず）と撮像素子Ｍを有する第１の撮像系と、光学系（図示せず）と撮像素子Ｎを有する第２の撮像系を有するそれぞれの撮像系は、光軸が撮像素子の中心を通る構成になっている。
　被写体がＰ０にある撮像距離Ｈ０の状態から、Ｐ１にある撮像距離Ｈ１の状態に変化した場合、２つの撮像系のサンプリング位相のシフト量は、ｕ０－ｕ１となり、前述した（１）式で表せる。したがって、撮像距離が変化したときのサンプリング位相のシフト量は、焦点距離ｆ、基線長Ｂ、撮像距離Ｈ０、Ｈ１に依存する。そこで、本発明では、複数の撮像系の基線長Ｂを小さくすることにより、撮像距離が変化したときのサンプリング位相のシフト量を小さくし、撮像距離に対応させてサンプリング位相を制御することなく高解像化できる構成とする。
　なお、基線長Ｂとは、通常２つの撮像系の光軸間の距離であるが、本発明においては、図１９に示すように、同一平面内に配置され、画素の配列方向が水平方向、垂直方向になるよう配置された２つの撮像素子の中心間距離（直線距離）を基線長Ｂとし、その水平成分の距離を基線長ＢＨ、その垂直成分の距離を基線長ＢＶとする。ただし、本発明を説明する上で便宜的に撮像素子の画素配列が水平方向と垂直方向になるよう配置された場合について述べるが、各撮像素子が略同一平面内の略直線上に配置され、その直線と各撮像素子の画素配列方向が略一致していればよい。
＜第一の実施形態＞
　以下、本発明の第一の実施形態による撮像装置を図面を参照して説明する。図１は同実施形態の構成を示す図である。図１は、本実施形態における撮像装置内に備えられる３つの撮像系の配置を示す図である。図１に示す３つの撮像系１１、１２、１３は、それぞれレンズ等で構成する光学系（図示せず）と２次元アレイの撮像素子とを有し、図１においては、撮像素子のみを図示している。各撮像系１１、１２、１３が備える撮像素子の画素のそれぞれは、略正方形である。ここでは、１つの撮像素子が５×５の２次元アレイであるものとして説明するが、実際の撮像装置には、例えば画素数が６４０（水平）×４８０（垂直）の２次元アレイの撮像素子等が用いられる。
　図１に示す撮像系１１（これを基準撮像系という）と撮像系１２（これを従属撮像系という）はほぼ水平になるように並べて配置されており、撮像素子の中心はこれら２つの撮像系１１、１２の配置されている方向、すなわち、水平方向に対し直交する垂直方向に１／２画素分ずれており、垂直方向の基線長ＢＶが１／２画素となっている。また、撮像系１１と撮像系１３（これを従属撮像系という）はほぼ垂直になるように並べて配置されており、その撮像素子の中心はこれら２つの撮像系の配置されている方向、すなわち垂直方向に対し垂直な水平方向に１／２画素分ずれており、水平方向の基線長ＢＨが１／２画素となっている。この構成で、例えば、撮像系１１と撮像系１３の２つの撮像系から得られる画像を用いて高解像化する場合、撮像距離が変化しても水平方向の基線長ＢＨが小さいため、水平方向のサンプリング位相のシフト量は小さく、撮像距離に依存せずに水平方向のサンプリング位相のずれ量はほぼ一定の値とすることができる。
　図２に、撮像距離の変化に伴い、ほぼ垂直に配置された撮像系１１と撮像系１３のサンプリング位相がずれる様子を示す。図２は、左、中央、右の順で撮像距離が長くなった場合のサンプリング位相の様子を示している。図２に示すように、撮像距離の変化に伴い、垂直方向のサンプリング位相は徐々にシフトする。一方、水平方向のサンプリング位相は、撮像距離に依らず１／２画素ずれている状態を保っている。例えば、撮像素子の画素ピッチを６μｍとし、焦点距離ｆを５ｍｍ、基線長ＢＨを３μｍ、撮像距離Ｈ０を５００ｍｍとした場合に、撮像距離がＨ１に変化したときの水平方向のサンプリング位相のシフト量ｕ０－ｕ１は（１）式より求めることができる。図３は、撮像素子の画素ピッチを６μｍとし、焦点距離ｆを５ｍｍ、基線長ＢＨを３μｍ、撮像距離Ｈ０を５００ｍｍとした場合に、撮像距離がＨ１に変化したときの水平方向のサンプリング位相のシフト量ｕ０－ｕ１を（１）式を用いて計算によって求めた結果を示す図である。図３に示すように、シフト量ｕ０－ｕ１は、撮像距離に依らずほぼ０となる。
　従って、予め基線長ＢＨを撮像素子１／２画素分の長さにし、２つの撮像系のサンプリング位相のずれを１／２画素としておけば、撮像距離が変化しても撮像系１１と撮像系１３の水平方向のサンプリング位相のずれはほぼ１／２画素とすることができる。また、基線長ＢＨは１／２画素分の長さに限らず、（２）式で表されるように、３／２画素分、５／２画素分、７／２画素分、９／２画素分とすることで、撮像距離が変化しても水平方向のサンプリング位相のシフト量はほぼ０とすることができる。
　ＢＨ＝（撮像素子１画素の長さ）×（２Ｎ＋１）／２・・・（２）
　ここで、Ｎは、０を含む自然数であり、小さい値であることが望ましい。
　例えば、撮像素子の画素ピッチを６μｍ、焦点距離ｆを５ｍｍ、撮像距離Ｈ０を５００ｍｍとし、基線長ＢＨを２１μｍとした場合、すなわち基線長ＢＨが７／２画素分の長さのとき、無限遠でのサンプリング位相のシフト量は、（２）式より０．０３５画素と計算でき、撮像距離Ｈ０でのサンプリング位相のずれを１／２画素とすると、無限遠でもほぼ１／２画素となる。したがって、基線長ＢＨを（２）式の状態にすれば、撮像距離が変化してもサンプリング位相がほぼ１／２画素ずれた状態が維持され、煩雑な制御を行う装置がなくても高解像化することができる。
　前述した説明においては、ほぼ垂直に配置された２つの撮像系１１、１３による水平方向の高解像化について説明したが、垂直方向の高解像化も同様に、ほぼ水平に配置された２つの撮像系１１、１２の垂直方向の基線長ＢＶが（３）式で表せる長さになるよう２つの撮像系を配置すればよい。
　ＢＶ＝（撮像素子１画素の長さ）×（２Ｎ＋１）／２・・・（３）
　ここで、Ｎは０を含む自然数であり、小さい値であることが望ましい。
　このように、図１に示す撮像系１１を基準撮像系とし、水平方向の左右いずれかに撮像系１２を、垂直方向の上下いずれかに撮像系１３を高解像化できる条件（（２）式または（３）式）を満たすように配置すれば、３つの撮像系１１、１２、１３の構成で水平方向、垂直方向ともに高解像化することができる。
　次に、図１に示す３つの撮像系１１、１２、１３を用いて得られた３つの撮像画像から高解像化した画像を合成する処理について説明する。ここでは、基準撮像系である撮像系１１の画像を基準画像とし、３つの撮像系１１、１２、１３は、それぞれ５×５画素の撮像素子を使用しているものとし、これらの３つの撮像系１１、１２、１３によって得られた画像を合成して１０画素×１０画素＝１００画素の画像を生成するものとして説明する。各撮像素子の画素数が増加した場合であっても同様な処理によって高解像度化した画像を合成することができる。まず、基準画像の垂直方向に並ぶ画素の間に、垂直方向へ１／２画素ずれている撮像系１２の画像の画素を埋め込む。また、基準画像の水平方向に並ぶ画素の間に、水平方向へ１／２画素ずれている撮像系１３の画像の画素を埋め込む。このままでは、７５画素分の画像になるだけであるので、残りの２５画素分は、撮像系１１によって得られた基準画像に対して、撮像系１２と撮像系１３によって得られた画像の画素を埋め込んだ状態において、周囲の画素値から補完することによって画素値を求め、求めた画素値の画素を埋め込むことによって、高解像度化した画像を生成する。この画像合成処理は、一例であり、公知の画像合成処理を適用することが可能である。
＜第二の実施形態＞
　次に、本発明の第二の実施形態について説明する。第一の実施形態では、撮像装置において、ほぼ垂直に配置された２つの撮像系の水平方向のサンプリング位相を１／２画素ずらすことで水平方向を高解像化し、ほぼ水平に配置された２つの撮像系の垂直方向のサンプリング位相を１／２画素ずらすことで垂直方向を高解像化する構成について説明したが、配置する撮像系の数は３つ以上であってもよい。
　２つの撮像系で高解像化する場合、サンプリング位相を１／２画素ずらした状態が高解像化に最適であるが、３つ以上の撮像系において高解像化する場合は、一方向に配置する撮像系の数をＭ個とすると、サンプリング位相を１／Ｍ画素ずつずらした状態が高解像化に最適である。例えば、図４に示すように、３つの撮像系５１、５２、５３を垂直に配置する構成においては、撮像系５１を基準撮像系とし、他の２つの従属撮像系である撮像系５２、５３のサンプリング位相をそれぞれ水平方向に１／３画素、２／３画素シフトした状態が高解像化に最も適している。
　ほぼ垂直に配置されたＭ個の撮像系で高解像化する場合、Ｍ個の撮像系の中の１つの撮像系を基準撮像系とし、その基準撮像系に対し、他のＭ－１個の従属撮像系のＬ番目の従属撮像系の水平方向の基線長ＢＨが（４）式を満たせばよい。
　ＢＨ＝（撮像素子１画素の長さ）×（（Ｌ／Ｍ）＋Ｎ）・・・（４）
　ここで、Ｌは、最大値がＭ－１である正の整数、Ｎは０を含む自然数である。このとき、Ｎは小さい値である方が望ましい。
　同様に、垂直方向を高解像化するには、ほぼ水平に配置されたＭ個の撮像系の中の１つの撮像系を基準撮像系とし、他のＭ－１個の従属撮像系のＬ番目の従属撮像系の垂直方向の基線長ＢＶが（５）式を満たせばよい。
ＢＶ　＝（撮像素子１画素の長さ）×（（Ｌ／Ｍ）＋Ｎ）・・・（５）
　ここで、Ｌは、最大値がＭ－１である正の整数、Ｎは０を含む自然数である。このとき、Ｎは小さい値である方が望ましい。
　次に、図５～図７に５個の撮像系を用いて、垂直方向に３個（Ｍ＝３）、水平方向に３個（Ｍ＝３）配置する構成によって高解像化する配置例を示す。図５は、撮像系６１ａを基準撮像系として１番目の従属撮像系６２ａと２番目の従属撮像系６３ａが垂直方向に、１番目の従属撮像系６４ａ、２番目の従属撮像系６５ａが水平方向に配置された例を示している。そして、基準撮像系６１ａに対する従属撮像系６２ａ、６３ａの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６１ａに対する従属撮像系６４ａ、６５ａの垂直方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。
　図６は、撮像系６１ｂを基準撮像系として従属撮像系である撮像系６２ｂ、６３ｂが垂直方向に、撮像系６２ｂを基準撮像系として従属撮像系である撮像系６４ｂ、６５ｂが水平方向に配置された例を示している。そして、基準撮像系６１ｂに対する従属撮像系６２ｂ、６３ｂの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６２ｂに対する従属撮像系６４ｂ、６５ｂの垂直方向の基線長ＢＶはそれぞれ１／３画素、２／３画素となっている。
　図７は、撮像系６１ｃを基準撮像系として従属撮像系である撮像系６４ｃ、６３ｃが垂直方向に、撮像系６２ｃを基準撮像系として従属撮像系である撮像系６４ｃ、６５ｃが水平方向に配置された例を示している。そして、基準撮像系６１ｃに対する従属撮像系６４ｃ、６３ｃの水平方向の基線長ＢＨはそれぞれ１／３画素、２／３画素となっている。同様に、基準撮像系６２ｃに対する従属撮像系６４ｃ、６５ｃの垂直方向の基線長ＢＶはそれぞれ１／３画素、２／３画素となっている。
　次に、図８～図１０に７個の撮像系を用いて、垂直方向に４個（Ｍ＝４）、水平方向に４個（Ｍ＝４）配置する構成で高解像化する配置例を示す。図８は、撮像系７４ａを基準撮像系として従属撮像系７５ａ、７６ａ、７７ａが垂直方向に、撮像系７４ａを基準撮像系として従属撮像系７１ａ、７２ａ、７３ａが水平方向に配置された例を示している。そして、基準撮像系７４ａに対する従属撮像系７５ａ、７６ａ、７７ａの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７４ａに対する従属撮像系７１ａ、７２ａ、７３ａの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。
　図９は、撮像系７５ｂを基準撮像系として従属撮像系７３ｂ、７６ｂ、７７ｂが垂直方向に、撮像系７１ｂを基準撮像系として従属撮像系７２ｂ、７３ｂ、７４ｂが水平方向に配置された例を示している。そして、基準撮像系７５ｂに対する従属撮像系７３ｂ、７６ｂ、７７ｂの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７１ｂに対する従属撮像系７２ｂ、７３ｂ、７４ｂの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。
　図１０は、撮像系７１ｃを基準撮像系として従属撮像系７２ｃ、７３ｃ、７４ｃが垂直方向に、撮像系７３ｃを基準撮像系として従属撮像系７５ｃ、７６ｃ、７７ｃが水平方向に配置された例を示している。そして、基準撮像系７１ｃに対する従属撮像系７２ｃ、７３ｃ、７４ｃの水平方向の基線長ＢＨはそれぞれ１／４画素、２／４画素、３／４画素となっている。同様に、基準撮像系７３ｃに対する従属撮像系７５ｃ、７６ｃ、７７ｃの垂直方向の基線長ＢＶはそれぞれ１／４画素、２／４画素、３／４画素となっている。
　なお、垂直方向及び水平方向に５個以上撮像系を配置する場合も同様である。また、水平方向に配置する撮像系の個数と垂直方向に配置する撮像系の個数が異なる構成であってもよい。図１１に示すように、垂直方向に４個、水平方向に３個の撮像系を配置する場合は、垂直方向に配置された４個の撮像系８１、８２、８３、８４の水平方向のサンプリング位相を１／４画素ずつずらし、水平方向に配置された３個の撮像系８４、８５、８６の垂直方向のサンプリング位相を１／３画素ずつずらす構成にすればよい。
　また、高解像度化画像の合成処理は、第一の実施形態で説明した処理を同様であり、基準画像の垂直方向に並ぶ画素の間に、垂直方向へ１／Ｍ画素ずつずれている撮像系の複数の画像の画素をそれぞれ埋め込む。また、基準画像の水平方向に並ぶ画素の間に、水平方向へ１／Ｍ画素ずつずれている撮像系の複数の画像の画素をそれぞれ埋め込む。そして、残りの画素は、周囲の画素値から補完することによって画素値を求め、求めた画素値の画素を埋め込むことによって、高解像度化した画像を生成する。この場合においても公知の画像合成処理を適用することが可能である。
＜第三の実施形態＞
　次に、本発明の第三の実施形態について説明する。撮像装置において、撮像系を、第一、第二の実施形態において説明した配置にすることで、光学系を煩雑に制御することなく、常に高解像化できるサンプリング位相で撮像することができるが、それぞれの撮像系に光軸を制御する光軸制御部を備え、その光軸制御部によって各撮像系の光軸を調整することで、実質的に（２）式、（３）式、（４）式、（５）式で表させる条件を満たすようにして、高解像化できるサンプリング位相に制御するようにしてもよい。例えば、図１２に示すように水平に配置された２つの撮像系２０１と２０２の垂直方向の基線長ＢＶは０であるが、光軸制御部で撮像系２０２の光軸２０４を垂直方向に１／２画素分シフトすると、見かけ上、基線長ＢＶが１／２画素となり、高解像化できるサンプリング位相となる。
このように、本実施形態では、各撮像系の光軸を光軸制御部で調整し、各撮像系を、実質的に（２）式、（３）式、（４）式、（５）式で表される条件を満たすようにすることで、常に高解像化できるサンプリング位相で撮像することが可能となる。
　光軸制御部として、液晶レンズを用いることができる。図１３、図１４に液晶レンズ９０１の構成を示す。図１３は、液晶レンズ９０１の側面図であり、図１４は、図１３示す液晶レンズ９０１の正面図である。液晶レンズ９０１はガラス基板９０２、電極９０３、液晶層９０４、電極９０５、ガラス基板９０６が積層した構造になっている。電極９０３は図１４に示すように、５つの電極９０３ａ、９０３ｂ、９０３ｃ、９０３ｄ、９０３ｅに分割されている。液晶レンズ９０１の電極９０３と電極９０５に電圧を印加することにより、２つの電極９０３、９０５間に電界が生じる。そして、この電界の方向に液晶層９０４の液晶分子が配向する。その結果、液晶層９０４内に屈折率分布が生じ、レンズとして機能させることが可能となる。
　本実施形態では、５つに分割された電極９０３のそれぞれの電極に異なる電圧を印加することにより、液晶層９０４内に屈折率分布を生じさせ、液晶層９０４に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、（２）式、（３）式、（４）式、（５）式で表される条件を満たすように制御することにより高解像化することができる。
　なお、光軸制御部は基準撮像系に対する光軸調整をするため、従属撮像系に備えていればよく、基準撮像系には備えてなくてもよい。また、基準撮像系に光軸制御部がない場合、被写体との光学距離が従属撮像系とは若干異なってしまうため、従属撮像系における光軸制御部とほぼ同一の光学距離を有する光学部材、例えばガラスなどを基準撮像系に用いることで、同一平面内で撮像系を配置することが可能となり、配置が容易となる。
＜第四の実施形態＞
　第三の実施形態では、光軸制御部として液晶レンズを用いる場合について説明したが、光軸制御部として、他の方法を用いてもよい。図１５は、図１３に示す液晶レンズ９０３に替えて、入射面と出射面が平行であるような屈折板１０３を固体レンズ１０２と撮像素子１０の間に配置し、圧電素子を用いたアクチュエータなどの傾斜手段によって屈折板１０３を傾斜させることにより光軸を制御する構成を示す図である。図１５に示すように傾斜角度により屈折板１０３による光軸シフト量が変化するため、撮像素子１０に入射する位置が変わり、光軸シフトが可能となる。ただし、屈折板１０３を傾斜することにより発生することによる光軸シフトの方向は１軸方向（図中では垂直方向）のみであるため、水平方向に光軸シフトするような屈折板を別に配置することにより、２軸方向の光軸シフトが可能となり、撮像素子面内の任意の方向に光軸シフトをすることが可能となる。
　図１６は、可変頂角プリズム１０４と固体レンズ１０５を用いることによって光軸を制御する構成を示す図である。図１６に示すように、可変頂角プリズム１０４の頂角を圧電素子を用いたアクチュエータなどの手段により変化させることにより、入射光が偏向するため、固体レンズ１０５によって結像する撮像素子１０上の位置が変わり、光軸をシフトすることが可能となる。ただしこの場合も光軸シフトの方向は図１６に示す通り１軸方向（図中では垂直方向）のみであるため、水平方向に光軸シフトするような可変頂角プリズムを、別に配置することにより、任意の方向に光軸シフトすることが可能となる。
　図１７は、固体レンズ１０６、１０７、１０８の全体或いは一部を、圧電素子を用いたアクチュエータなどによる移動手段により光軸と略垂直方向に移動させることによって光軸を制御する構成を示す図である。図１７において、光学系は、３つの固体レンズ１０６、１０７、１０８で構成されており、その一部分である固体レンズ１０７を、垂直方向に移動可能な圧電素子を用いたアクチュエータによる移動手段と、水平方向に移動可能な圧電素子を用いたアクチュエータによる移動手段によって移動させるものである。図１７に示すように、固体レンズ１０７が移動することにより、入射光が偏向し、結像する撮像素子１０上の位置が変わり、光軸をシフトすることが可能となる。これを垂直、水平方向に行うことにより、光軸を撮像素子面上で垂直、水平方向に独立してシフトすることが可能となる。
　図１８は、圧電素子を用いたアクチュエータなどによる移動手段により撮像素子１０を直接移動させるものである。この場合、光軸シフト量の制御は光学系１０９を用いるのではなく、撮像素子１０に対して行う。図１８に示すように、撮像素子１０を、垂直方向に移動する圧電素子を用いたアクチュエータによる移動手段と、水平方向に移動する圧電素子を用いたアクチュエータによる移動手段により移動させることにより、撮像素子１０上の結像位置が移動するため、垂直、水平方向に独立して光軸シフトを行うことが可能となる。
　なお、前述した説明においては、光学系の移動手段と撮像素子の移動手段として圧電素子をアクチュエータとして用いているが、これに限定するものではなく、電磁力を用いたソレノイドアクチュエータ、モータとギア機構を用いたアクチュエータ、圧力を用いたアクチュエータなどの手段を用いることもできる。光軸シフト方向についても、垂直方向、水平方向について述べたが、これに限定するものではない。
　図１５～図１７に示す光軸制御部によって、各撮像系に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、（２）式、（３）式、（４）式、（５）式で表される条件を満たすように制御する。また、図１８に示す光軸制御部によって、撮像素子１０を移動することにより、光軸シフトと同様の効果を得ることができる。
　以上説明したように、複数の撮像系を略垂直方向と略水平方向の直線上に配列し、各撮像系を該配列方向に対し垂直な方向に高解像化できる条件式（（２）式、（３）式、（４）式、（５）式）を満たす距離に配列するようにしたため、光学系を煩雑に制御することなく配列した直線方向に対し垂直な方向に対して高解像化することができる。また、光軸の方向を静的に移動する光軸制御部を設け、この光軸制御部によって各撮像系に入射する光を偏向させることで光軸をシフトさせ、各撮像系を見かけ上、高解像化できる条件式（（２）式、（３）式、（４）式、（５）式）を満たすように制御するようにしたため、光学系を煩雑に制御することなく高解像化することができる。
　複数の撮像素子を用いて高解像度の画像を得ることが不可欠な用途に適用できる。
　１１～１３、５１～５３、６１ａ～６５ａ、６１ｂ～６５ｂ、６１ｃ～６５ｃ、７１ａ～７７ａ、７１ｂ～７７ｂ、７１ｃ～７７ｃ、８１～８６・・・撮像系、９０１・・・液晶レンズ、９０２、９０６・・・ガラス基板、９０３、９０５・・・電極、９０４・・・液晶層、１０・・・撮像素子

Claims (11)

  1. 　光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、
    　前記撮像系は、１個の基準撮像系とＭ－１個の従属撮像系とを有し、
    　前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、
    　前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、
    　前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ－１である正の整数）番目の従属撮像系の撮像素子は、前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、
    　Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）
    　の距離に配列されていることを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。
  3. 　光学系と撮像素子とを有する撮像系をＭ個（Ｍは２以上の自然数）備える複眼の撮像装置であって、
    　前記撮像系は、１個の基準撮像系とＭ－１個の従属撮像系とを有し、
    　前記従属撮像系のうち少なくとも１個の従属撮像系の光学系は光軸を制御する光軸制御部を備え、
    　前記基準撮像系の撮像素子の撮像面と前記従属撮像系の撮像素子の撮像面とが略同一平面内に配置され、
    　前記基準撮像系の撮像素子と該従属撮像系の撮像素子とは撮像素子の画素配列方向に略平行な直線上に配列され、
    　前記撮像素子の１画素の長さをＷとした場合に、前記従属撮像系のうちＬ（Ｌは最大値がＭ－１である正の整数）番目の従属撮像系の撮像素子は、前記光軸制御部で光軸を制御することで、実質的に前記平面内において前記基準撮像系の撮像素子に対して前記直線と略直交する方向に、
    　Ｗ×（（Ｌ／Ｍ）＋Ｎ）（Ｎは０を含む自然数）
    　の距離に配列されていることを特徴とする撮像装置。
  4. 　請求項３に記載の撮像装置であって、Ｎ＝０であることを特徴とする撮像装置。
  5. 　前記１個の従属撮像系と前記１個の基準撮像系との配列方向は、該従属撮像系とは異なる１個の従属撮像系と該基準撮像系との配列方向に、略直交して配置されていることを特徴とする請求項１または３に記載の撮像装置。
  6. 　前記基準撮像系は、前記光軸制御部と略同一の光学距離を有する光学部材を備えることを特徴とする請求項３に記載の撮像装置。
  7. 　前記光軸制御部は、屈折率分布を変化させることが可能な非固体レンズで構成され、前記非固体レンズの屈折率分布を変化させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
  8. 　前記光軸制御部は、屈折板と該屈折板の傾斜角を変える傾斜角変更手段とから構成され、前記傾斜角変更手段によって、前記屈折板の傾斜角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
  9. 　前記光軸制御部は、可変頂角プリズムから構成され、前記可変頂角プリズムの頂角を変えることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
  10. 　前記光軸制御部は、前記固体レンズを移動させる移動手段で構成され、前記固体レンズを移動させることにより、前記撮像素子に入射する光の光軸を偏向させることを特徴とする請求項３に記載の撮像装置。
  11. 　前記光軸制御部は、前記撮像素子を移動させる移動手段で構成され、前記撮像素子を移動させることにより、前記撮像素子に入射する光の光軸を制御することを特徴とする請求項３に記載の撮像装置。
PCT/JP2009/005996 2008-11-12 2009-11-10 撮像装置 WO2010055643A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/128,568 US20110211097A1 (en) 2008-11-12 2009-11-10 Imaging device
CN2009801446290A CN102210135A (zh) 2008-11-12 2009-11-10 摄像装置
EP09825897.3A EP2352277A4 (en) 2008-11-12 2009-11-10 IMAGING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008289618A JP2010118818A (ja) 2008-11-12 2008-11-12 撮像装置
JP2008-289618 2008-11-12

Publications (1)

Publication Number Publication Date
WO2010055643A1 true WO2010055643A1 (ja) 2010-05-20

Family

ID=42169789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005996 WO2010055643A1 (ja) 2008-11-12 2009-11-10 撮像装置

Country Status (5)

Country Link
US (1) US20110211097A1 (ja)
EP (1) EP2352277A4 (ja)
JP (1) JP2010118818A (ja)
CN (1) CN102210135A (ja)
WO (1) WO2010055643A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391563B2 (en) * 2010-05-25 2013-03-05 Sony Corporation Using computer video camera to detect earthquake
WO2013118305A1 (ja) * 2012-02-10 2013-08-15 シャープ株式会社 画像生成装置、画像生成方法、および画像生成プログラムを記録したコンピュータ読取り可能な記録媒体
JP6068010B2 (ja) * 2012-06-07 2017-01-25 日立マクセル株式会社 顕微鏡システム
CN105308951A (zh) * 2013-06-17 2016-02-03 柯尼卡美能达株式会社 定位装置、定位方法及复眼照相机组件
US10558036B2 (en) * 2015-12-15 2020-02-11 Facebook Technologies, Llc Using oscillation of optical components to reduce fixed pattern noise in a virtual reality headset
US9886742B2 (en) 2016-03-17 2018-02-06 Google Llc Electro-optic beam steering for super-resolution/lightfield imagery
JP2019029913A (ja) * 2017-08-01 2019-02-21 キヤノン株式会社 撮像装置
US11032470B2 (en) * 2018-08-30 2021-06-08 Intel Corporation Sensors arrangement and shifting for multisensory super-resolution cameras in imaging environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322149A (ja) * 1994-05-20 1995-12-08 Canon Inc 撮像装置
JP2000244932A (ja) * 1999-02-19 2000-09-08 Mitsubishi Electric Corp 撮像装置及び撮像方法
WO2006064751A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 複眼撮像装置
WO2007013250A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 複眼方式の撮像装置
JP2007520166A (ja) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ
JP2008289618A (ja) 2007-05-23 2008-12-04 Toto Ltd 折り畳み式棚及び折り畳み式棚を備える洗面化粧台

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device
DE19803064C1 (de) * 1998-01-28 1999-07-29 Daimler Chrysler Ag Optisches Aufklärungssystem
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
EP2466871A3 (en) * 2003-10-22 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same.
WO2007014293A1 (en) * 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322149A (ja) * 1994-05-20 1995-12-08 Canon Inc 撮像装置
JP2000244932A (ja) * 1999-02-19 2000-09-08 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2007520166A (ja) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション サブピクセル解像度を有する薄型カメラ
WO2006064751A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 複眼撮像装置
WO2007013250A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 複眼方式の撮像装置
JP2008289618A (ja) 2007-05-23 2008-12-04 Toto Ltd 折り畳み式棚及び折り畳み式棚を備える洗面化粧台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2352277A4
THE INSTITUTE OF IMAGE ELECTRONICS PROCEEDINGS, 4 March 1990 (1990-03-04), pages 23 - 28

Also Published As

Publication number Publication date
US20110211097A1 (en) 2011-09-01
EP2352277A1 (en) 2011-08-03
EP2352277A4 (en) 2013-05-15
CN102210135A (zh) 2011-10-05
JP2010118818A (ja) 2010-05-27

Similar Documents

Publication Publication Date Title
WO2010055643A1 (ja) 撮像装置
CN107223331B (zh) 多孔径成像设备、成像***及用于提供多孔径成像设备的方法
US10362229B2 (en) Multi-aperture imaging device, portable device and method of producing a multi-aperture imaging device
JP7174005B2 (ja) マルチ開口撮像装置、マルチ開口撮像装置の製造方法および撮像システム
KR102124773B1 (ko) 광학 기판을 포함하는 다중 조리개 이미징 디바이스
KR102072693B1 (ko) 다중 채널 이미징 디바이스를 갖는 디바이스 및 그 제조 방법
KR102124774B1 (ko) 채널 특정 조정 가능성을 갖는 다중 조리개 이미징 디바이스
US11106047B2 (en) Multi-aperture imaging device, imaging system and method for providing a multi-aperture imaging device
US10996460B2 (en) Multi-aperture imaging device, imaging system and method of providing a multi-aperture imaging device
KR102399688B1 (ko) 다중­개구 이미징 디바이스, 이미징 시스템 및 다중­개구 이미징 디바이스를 이용가능하게 하기 위한 방법
US9348131B2 (en) Image acquisition apparatus
JPH0833591B2 (ja) ３次元表示装置
JP4492343B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980144629.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09825897

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13128568

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009825897

Country of ref document: EP