WO2007119468A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007119468A1
WO2007119468A1 PCT/JP2007/055817 JP2007055817W WO2007119468A1 WO 2007119468 A1 WO2007119468 A1 WO 2007119468A1 JP 2007055817 W JP2007055817 W JP 2007055817W WO 2007119468 A1 WO2007119468 A1 WO 2007119468A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
parallax
signal
area
Prior art date
Application number
PCT/JP2007/055817
Other languages
English (en)
French (fr)
Inventor
Katsumi Imada
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2007543642A priority Critical patent/JP4102854B2/ja
Priority to EP07739260A priority patent/EP2001222A4/en
Priority to US12/280,733 priority patent/US8471918B2/en
Priority to CN2007800057934A priority patent/CN101385332B/zh
Publication of WO2007119468A1 publication Critical patent/WO2007119468A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to an image pickup apparatus which synthesizes one high definition image by performing parallax correction from a plurality of images obtained using a plurality of image pickup optical systems, and an object to be photographed based on the calculated parallax amount.
  • the present invention relates to an imaging device that calculates a distance to a body.
  • reference numeral 101 denotes an imaging lens integrally made of a mold or the like.
  • the imaging lens 101 is a lens for R wavelength 10 la for forming an object image on sensor portions 103a, 103b and 103c divided into pixels of three colors of a C-MOS sensor 103 described later, and a lens for G wavelength A lens 101c for the B wavelength 101b is provided.
  • Reference numeral 102 denotes a stop of each of the lenses 101a to 101c, which is integrally configured.
  • the stop 102 further includes an R wavelength transmission filter 102a, a G wavelength transmission filter 102b, and a B wavelength transmission filter 102c.
  • Reference numeral 103 denotes a C-MOS sensor in which an image processing circuit (not shown) and the like are integrally formed, and as shown in FIG. 17 (b), sensors 103a, 103b, and 103c for R, G, and B are provided. It is constructed independently in a plane. Therefore, the focal length of the lens can be (1Z3) 1/2 if the pixel size and the number of pixels are the same, as compared with the conventional sensor of the Bayer array, and the thickness in the optical axis direction can be thin. (See Patent No. 3397758).
  • FIG. 18 shows an example of an image formed on the sensor units 103a, 103b, and 103c.
  • the image 104a formed on the sensor unit 103a is the image 104b formed on the sensor unit 103b moved in the y direction by the amount of parallax.
  • the image 104c formed on the sensor ⁇ B103c is obtained by moving the image 104b of the sensor ⁇ B103b in the negative direction of y by the amount of parallax.
  • the image 104a formed on the sensor unit 103a for R lacks an image in the positive direction of y, as can be seen from FIG. It has become.
  • the image 104c formed on the sensor unit 103c for B lacks an image in the negative direction of y. Therefore, it can be seen that, even if the images 104a, 104b and 104c are combined, only an image (a part of the subject) of an area having all color information can be produced. In other words, if false color (a part reproduced with a color different from the original color) occurs in the peripheral part of the image, there is a problem that it will occur.
  • the present invention has been made to solve such a problem, and in the compound eye optical system having parallax for each color information, the image in the peripheral portion of the image, which has been a conventional task, is based on parallax. It is an object of the present invention to provide an imaging device in which the problems associated with the omission are eliminated. More specifically, by correcting the effective pixel area in consideration of parallax, it is possible to reproduce an image having no false color in the peripheral part of the image, and also in the peripheral part of the image. It is an object of the present invention to provide a thin imaging device that enables distance measurement. Means to solve the problem
  • a first imaging device corresponds one-to-one to a plurality of lens portions each including at least one lens and the plurality of lens portions. And each of a plurality of imaging areas each having a light receiving surface substantially perpendicular to the optical axis direction of the corresponding lens unit and outputting an imaging signal, or an imaging signal respectively output from the plurality of imaging areas It is possible that a parallax calculation unit that calculates a parallax amount of another imaging signal with respect to the reference imaging signal by using one as a reference imaging signal, and that an image missing due to parallax may be included in imaging signals other than the reference imaging signal. And an effective pixel area correction unit that outputs an effective pixel signal obtained by deleting a pixel signal obtained from a pixel of a certain area from the reference imaging signal.
  • the effective pixel area correction unit generates a pixel signal obtained from pixels of an area that may include an image missing due to parallax in an imaging signal other than the reference imaging signal.
  • the effective pixel signal obtained by deleting from the signal is output.
  • the plurality of imaging signals are calculated based on the effective pixel signal output from the effective pixel area correction unit and the parallax amount calculated by the (2) According to the effective pixel signal output from the effective pixel area correction unit and the parallax amount calculated by the parallax calculation unit. Based on this, there are distance calculation processing for calculating the distance to the subject.
  • the effective pixel signal output from the effective pixel region correcting unit is calculated by the parallax calculating unit. Since the plurality of imaging signals are corrected and synthesized based on the parallax amount, it is possible to reproduce an image having no false color in the peripheral portion of the image.
  • the effective pixel signal output from the effective pixel area correction unit is calculated by the disparity calculation unit. Since the distance to the subject is calculated based on the amount of parallax, distance measurement is possible even at the periphery of the image.
  • the effective pixel area correction unit can view the range of the area that may include the image dropped due to parallax with respect to the subject at the shortest subject distance. It is preferable to determine from the difference amount.
  • the plurality of imaging regions are first to fourth imaging regions provided in two vertical columns and two horizontal rows, and the parallax calculating unit An imaging signal output from an imaging area of 1 is used as a reference imaging signal, and the effective pixel area correction unit is configured to output a second imaging area output from a second imaging area adjacent in the lateral direction to the first imaging area.
  • a third imaging signal in which a side located in a positive direction of the parallax direction of the imaging signal with respect to the reference imaging signal and a third imaging area force vertically adjacent to the first imaging area is output It is preferable to delete the reference imaging signal power of a pixel signal obtained from a pixel of a side located in a positive direction of the direction of the parallax with respect to the reference imaging signal.
  • the first imaging region and the fourth imaging region arranged in diagonal directions in the first to fourth imaging regions have sensitivity in the same wavelength region.
  • the second imaging region and the third imaging region have sensitivities in wavelength regions different from the first and fourth imaging regions and different from each other, and
  • the amount of parallax that the fourth imaging signal output from the fourth imaging region has with respect to the reference imaging signal is determined using the imaging signal output from the imaging region as a reference imaging signal, and the amount of parallax is calculated as a vector. It is possible to obtain the amount of disparity that the second imaging signal has with respect to the reference imaging signal and the amount of parallax that the third imaging signal has with respect to the reference imaging signal by decomposing. preferable.
  • the first and second imaging regions have sensitivity in a green wavelength region, and the second and third imaging regions have red and blue wavelengths. It is preferable to have sensitivity in each area.
  • the first imaging device described above divides an area in the imaging signal other than the reference imaging signal which may include an image missing due to parallax in the reference imaging signal into blocks
  • the apparatus further includes a loss determination unit that determines a parallax amount for the block and determines whether the block is actually missing in an imaging signal other than the reference imaging signal based on the determined parallax amount, and the effective pixel area It is preferable that the correction unit include, in the effective pixel signal, pixels of a block that is determined not to be missing by the loss determination unit.
  • a second imaging apparatus corresponds one-to-one to a plurality of lens portions each including at least one lens and the plurality of lens portions.
  • each of a plurality of imaging areas each having a light receiving surface substantially perpendicular to the optical axis direction of the corresponding lens unit and outputting an imaging signal, or an imaging signal respectively output from the plurality of imaging areas Or one of the plurality of imaging areas, the reference imaging signal for outputting the reference imaging signal, and a parallax operation unit that calculates a parallax amount of another imaging signal with respect to the reference imaging signal.
  • the imaging region other than the region is characterized by having a light receiving surface larger than the light receiving surface of the reference imaging region.
  • the second imaging device further includes an image combining unit that generates and outputs a composite image by correcting and combining the plurality of imaging signals based on the parallax amount. In this case, it is preferable because an image without false color can be reproduced at the periphery of the image.
  • the second imaging device further includes a distance calculation unit configured to calculate a distance to the subject based on the reference imaging signal and the parallax amount calculated by the parallax calculation unit. This is preferable because distance measurement is possible even at the periphery of the image.
  • an imaging area adjacent to the reference imaging area is adjacent to the reference imaging area as compared to the reference imaging area.
  • the light receiving surface is enlarged on the side opposite to the side where the image is taken, and the imaging area diagonally arranged in the reference imaging area is two sides which are far from the reference imaging area compared to the reference imaging area. It is preferable that the light receiving surface be expanded to the re ,.
  • the problem of false color in the peripheral portion of the image and distance measurement in the peripheral portion of the image are not sufficient. It is possible to provide an imaging device in which the problems that are made possible are improved.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram of an example of parallax generation.
  • FIG. 3 is a schematic view of a configuration that does not cause loss of color information
  • Figure 4 shows the basic flow of the disparity correction algorithm
  • FIG. 5 shows a detection block.
  • FIG. 6 is a diagram showing the relationship between the evaluation value of the amount of parallax and the amount of parallax of the second detection block.
  • FIG. 7 shows a schematic configuration of a modification of the imaging device according to the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing a schematic configuration of an imaging device according to a second embodiment of the present invention.
  • FIG. 9 shows an appropriate shifting region in the imaging device according to the second embodiment. Showing a block divided into various sizes
  • FIG. 10 is a diagram showing the flow of the color information loss determination algorithm.
  • FIG. 11 is a diagram for explaining the color information loss judging method.
  • FIG. 12 is a view for explaining enlargement processing of an output pixel area in the imaging device according to the second embodiment.
  • FIG. 13 is a plan view showing the size of each image sensor as viewed on the imaging optical system side in the imaging device according to the third embodiment of the present invention.
  • FIG. 14 is a diagram showing the effect of the third embodiment.
  • FIG. 15 is a perspective view showing a modified example of the imaging device according to the first to third embodiments.
  • FIG. 16 is an explanatory view of a further modified example of the imaging device according to the first to third embodiments.
  • FIG. 17 is a diagram showing the configuration of a conventional imaging device.
  • FIG. 18 is a view for explaining the parallax generated in the conventional imaging device.
  • FIG. 19 is a cross-sectional view of the imaging device of the present invention.
  • FIG. 20 is a view showing an embodiment of the imaging apparatus of the present invention.
  • FIG. 21 is a view showing another embodiment of the imaging device of the present invention.
  • FIG. 22 is a block diagram showing a schematic configuration of a modified example of the imaging device according to the third embodiment of the present invention.
  • FIG. 23 is a plan view showing the size of each image sensor as viewed from the imaging optical system side of the modified imaging device according to the third embodiment of the present invention.
  • FIG. 24 is a diagram showing the effect of a modified example of the imaging device according to the third embodiment of the present invention. Best Mode for Carrying Out the Invention
  • FIG. 1 is a schematic configuration diagram of an imaging device according to an embodiment of the present invention.
  • 1 to 4 are photographing optical systems each including at least one lens.
  • Image sensors 5 to 8 are provided corresponding to the imaging optical systems 1 to 4 respectively. The same subject is imaged on each of the image sensors 5 to 8 through each of the imaging optical systems:! To 4.
  • the image sensors 5 and 7 arranged on diagonal lines capture a green wavelength band to capture a color image, and the image sensor 6 has red wavelengths.
  • the band is imaged, and the image sensor 8 images a blue wavelength band.
  • This wavelength selectivity may be realized by making the image sensor have wavelength dependency, or may be realized by incorporating a filter (color filter) having wavelength selectivity.
  • the image pickup signals of the image sensors 5 to 8 are subjected to image processing by the R signal processing circuit 12, the G signal processing circuits 10 and 11, and the B signal processing circuit 9, respectively, and then sent to the parallax calculation circuit 14.
  • Be The parallax calculation circuit 14 uses any one of the signals received from the R signal processing circuit 12, the G signal processing circuits 10 and 11, and the B signal processing circuit 9 as a reference signal, and obtains the amount of parallax of other signals with respect to this reference signal.
  • the amount of parallax obtained by the parallax calculation circuit 14 is sent to the image synthesis circuit 16 together with the R signal, the G signal, and the B signal.
  • the effective pixel area correction circuit 13 deletes, from the reference imaging signal, a pixel signal obtained from a pixel of an area that may include an image missing due to parallax in an imaging signal other than the reference imaging signal.
  • the resultant effective pixel signal is output to the image synthesis circuit 16.
  • the image combining circuit 16 corrects and combines the R signal, the G signal, and the B signal based on the effective pixel signal and the parallax amount. Thus, a color image is output.
  • FIG. 1 mainly shows only the components related to the features of the present invention, when the imaging apparatus of the present invention is implemented, various correction processes, pre-processing, etc. are performed in addition to the components shown in FIG. A circuit for performing arbitrary image processing may be provided.
  • the imaging optical systems 1 and 3 for the green wavelength band and the image sensors 5 and 7 are arranged in a diagonal direction.
  • the disparity calculation circuit 14 is green.
  • the image output from the image sensor 5 among the image sensors 5 and 7 that output the image signal of is referred to as a reference image (referred to as GO), and this reference image GO and the image output from the image sensor 7
  • the parallax amount is calculated by comparing with G1).
  • which of the images formed by the plurality of imaging optical systems is used as a reference image is an arbitrary design matter.
  • the parallax calculation circuit 14 of the imaging device of the present embodiment divides each of the images to be compared into small blocks, and the respective blocks are divided.
  • the amount of parallax of the whole image is grasped by calculating the amount of parallax in units. That is, the parallax calculation circuit 14 compares the amount of parallax between the reference image G0 and the image G1 by comparing the reference image GO output from the image sensor 5 with the image G1 output from the image sensor 7 in block units.
  • the parallax calculating circuit 14 generates the amount of visual difference of the image (R) output from the image sensor 6 and the amount of parallax of the image (B) output from the image sensor 8 in the image G1. It is calculated by vector decomposition of the amount of vision (the amount of parallax from the reference image GO). That is, by decomposing the amount of parallax from the reference image GO to the image G1 into a direction from the reference image GO to the image R of the image sensor 6 and a direction to the image B of the reference image GO force image sensor 8 The parallax amount of the image R and the parallax amount of the image B with respect to the reference image GO can be obtained.
  • the amount of parallax determined in this manner is sent to the image synthesis circuit 13 together with the respective signals of the reference image GO, the image Gl, the image R, and the image B.
  • the image combining circuit 13 corrects the parallax amount of the image Gl, the image R and the image B, and reproduces a white image by superimposing on the reference image GO.
  • FIG. 2 schematically shows an example of parallax generation between the image GO output from the image sensor 5 and the image G1 output from the image sensor 7.
  • GOc indicates a point on the image where the optical axis determined by the imaging optical system 1 and the image sensor 5 intersects with the image sensor 5, that is, the center of the image GO of the image sensor 5.
  • Glc indicates a point on the image that intersects the optical axial force S image sensor 7 determined by the imaging optical system 3 and the image sensor 7, that is, the center of the image G1 of the image sensor 7.
  • Reference numerals 17a and 18a denote subject images when the subject placed at different distances from the image sensor 5 is photographed.
  • 17a is an image of a far distance object
  • 18a is an image of a close distance object
  • 17 b and 18 b are object images output from the image sensor 7
  • 17 b is an image of a long distance object
  • 18 b is an image of a short distance object.
  • 17a and 17b are images of the same object
  • 18a and 18b are images of the same object.
  • the far-distance object image 17a and the far-distance object image 17b are located at almost the same positions in the respective images GO, G1 of the image sensors 5, 7 with almost no parallax. It is reproduced as an image.
  • the near object image 18a and the near object image 18b have large parallax. Therefore, the short-distance object image 18b has a possibility of being reproduced as an image in which a part of the image information is missing as shown in FIG.
  • the parallax generation direction of the near object image 18b in the image G1 of the image sensor 7 with respect to the near object image 18a in the reference image GO of the image sensor 5 is the imaging optical system looking at the subject direction from the image sensor side.
  • the direction of the vector is from the point where the optical axis of 3 intersects with the image sensor 7 to the point where the optical axis of the imaging optical system 1 intersects with the image sensor 5.
  • FIG. 3 is a subject image output from the image sensor 5.
  • an object located at the shortest subject distance is captured in the shaded area in the reference image.
  • This is an area where the image of the object is missing in the image sensor 7 due to parallax (hereinafter, referred to as “displaced area”). Therefore, when an object located at the shortest object distance is captured in the shift area in FIG. 3, color information of the shift area may be lost.
  • the image combining circuit 16 performs the image combining circuit 16 only on the effective pixel area obtained by deleting the pixel information of this shift area from the reference image in the effective pixel area correction circuit 13.
  • the images obtained by each of the sensors 5 to 8 are Compose one image.
  • the position and range of the shift area where pixel information should be deleted is determined by the positional relationship with the imaging optical system:! To 4 and the image sensors 5 to 8.
  • pixels on two sides of the reference image GO are deleted in an L shape, and then a composite image is created.
  • V shown in FIG. 3 is an image relative to the reference image GO output from the image sensor 5
  • the size of the area (shift area) in which the pixel is deleted in the effective pixel area correction circuit 13 is determined by the shortest object distance.
  • the shortest subject distance indicates the distance to the closest subject that the imaging device can handle in design.
  • the size of the shifted area can be determined, for example, as follows. Assuming that the shortest object distance is Amin, the focal distances of the imaging optical systems 1 to 4 are f, the inter-optical axis distance between the imaging optical system 1 and the imaging optical system 3 is D, and the pixel pitch of the image sensors 5 to 8 is p.
  • the parallax amount dmin between the image GO outputted from the image sensor 5 of the subject at the shortest subject distance Amin and the image G1 outputted from the image sensor 7 can be obtained by the following equation (2).
  • Equation 2 is an approximate expression that holds when the condition of (Equation 1) is satisfied, the shortest subject distance Amin is usually 10 times or more of the focal distance f. There is no problem at all.
  • the parallax amount dmin, dminx and dminy in the case where the subject at the shortest subject distance is photographed at this time is 75 pixels, 60 pixels and 45 pixels (see FIG. 3). Therefore, in this case, the image combining circuit 13 deletes 60 pixels along the side of the positive direction of V and 45 pixels along the side of the positive direction of V in the reference image GO. Thus, a rectangular composite image of (H ⁇ 60) pixels in the horizontal direction and (V ⁇ 45) pixels in the vertical direction is created.
  • the image information of the area (misalignment area) in which color information may be lost is discarded, and the image is corrected.
  • the synthesizing circuit 16 synthesizes a color image using only the image information of the area (area GO shown in FIG. 3) in which the color information is completely aligned.
  • this area GO is referred to as an output pixel area.
  • FIG. 4 is a diagram showing a basic flow of the parallax correction algorithm.
  • FIG. 5 is a view showing detection blocks on the image sensors 5 and 7.
  • step S 101 of the parallax correction algorithm block extraction processing is performed.
  • the output pixel area GO of the image sensor 5 is divided into equal blocks.
  • the same processing as described in the following processing is performed on one of the blocks (first detection block 204) on all the divided blocks.
  • the first detection block 204 preferably has a size of 8 ⁇ 8 pixels to 64 ⁇ 64 pixels.
  • the pixel size of the detection block 204 is preferably reduced.
  • the second detection block 205 of the same size as the first detection block 204 is set in the image G 1.
  • step S103 in order to search the image G1 for a block having the same image information as the first detection block 204 of the reference image GO, a parallax amount evaluation value is calculated.
  • the second detection block 205 set on the image G1 in step S101 is moved by k pixels in the x-axis direction and moved by j pixels in the y-axis direction
  • the second detection block is Move to the position of.
  • the difference between the output values of the corresponding pixels in each detection block is calculated, and the difference is summed for all the pixels in the detection block.
  • the calculation method of the parallax amount evaluation value is not limited to this.
  • GG1 (a, b) be the output value of the pixel power at the pixel (a, b) in the first detection block 204
  • GG1 (a, b) be the value at the pixel (a, b) in the second detection block 206.
  • the parallax amount evaluation value R (k, j) is obtained by the following (Equation 5).
  • R (k, J) , ⁇ GG1 (.,-GGl ⁇ a + k, b + j) ⁇
  • the disparity amount evaluation value R (k, j) indicates how much the second detection block 206 moved by the disparity amount (k, j) is correlated with the first detection block 204, The smaller the value, the more similar the two detection blocks are.
  • FIG. 6 shows the relationship between the evaluation value of the amount of parallax and the amount of parallax of the second detection block.
  • the horizontal axis plots the number of moving pixels in the X direction (k), and the vertical axis plots the parallax amount evaluation value (R).
  • the visual evaluation value changes in conjunction with the value of k, and the value becomes significantly smaller as the degree of similarity increases.
  • the value of j is fixed to j and k
  • the parallax amount evaluation value calculation process of step S103 the iterative process is performed for all possible k values and j values of the predetermined range.
  • the direction in which the parallax occurs is uniquely determined by the positional relationship between the image sensors 5 to 8. Therefore, the extraction of the second detection block at the time of parallax amount evaluation value calculation can also significantly improve the calculation efficiency by extracting according to this law.
  • step S104 the parallax amount evaluation value obtained in step S103 is the minimum. Extract the value
  • the results of the evaluation value calculation of the parallax amount obtained by the above algorithm are compared to obtain the minimum value.
  • the image of the second detection block 206 Assuming that the image information of the first detection block 204 on the reference image GO is moved by k pixels in the X direction and i pixels in the y direction on the image G 1, the image of the second detection block 206
  • the amount of parallax (k, j) is extracted, and this is used as the first detection block 204.
  • the amount of parallax of the image G1 with respect to the reference image GO is determined by the parallax calculation circuit 14 performing the above-described processing.
  • the image synthesizing circuit 16 corrects the respective images and superimposes them on the reference image GO to synthesize a color image. Note that, in the imaging device of the present embodiment, the information of pixels corresponding to the shift area on the reference image GO is all discarded by the effective pixel area correction circuit 13 before creating the composite image.
  • the present invention is not limited to only that configuration, and one image sensor may be divided into four imaging areas and used, or When using two image sensors divided into two imaging areas, it is needless to say that the same effect can be obtained.
  • a distance calculation circuit 19 for calculating the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7 is used instead of the image synthesis circuit 16 in the configuration of FIG. 1, as shown in FIG. 7, a distance calculation circuit 19 for calculating the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7 is used. By providing them, it is possible to easily configure an imaging device that performs distance measurement processing. Note that an imaging device capable of both color image output processing and distance measurement processing by including both the image synthesis circuit 16 and the distance calculation circuit 19 is also an embodiment of the present invention.
  • the distance calculation circuit 19 calculates The distance z to the subject can be obtained.
  • D is the distance between the optical axes of the two optical systems
  • f is the focal length of the optical system
  • d is the amount of parallax
  • z is the object distance.
  • an area (misalignment area) in which color information of an image may be missing is determined based on the shortest subject distance, and pixels of the misregistration area are generated when generating a composite image. Discarded all information.
  • the shift area it is determined whether the color information is actually lost or not when combining the image, and the pixels of the portion where the color information is not dropped are determined. Is output as an image. That is, in the first embodiment, the number of pixels to be output as an image (the number of pixels in the output pixel area) is reduced, but in the second embodiment, the reduction in the number of pixels can be suppressed.
  • the image pickup apparatus includes a color information drop determination circuit 15 in addition to the components described in the first embodiment.
  • FIG. 9 shows that the shift area in the reference image GO output from the image sensor 5 is appropriately large. It is a figure which shows the state divided into blocks.
  • FIG. 10 is a diagram showing the flow of the color information loss determination algorithm.
  • step S 201 of FIG. 10 the shifted area is divided into rectangular blocks B (x, y) of appropriate sizes.
  • (x, y) represents the representative point (for example, center point) coordinates of each block.
  • the block size is suitably about 8 pixels ⁇ 8 pixels to 64 pixels ⁇ 64 pixels.
  • step S202 parallax extraction is performed by executing S103 to S105 of the parallax correction algorithm shown in FIG. 4, and the amounts of parallax of all the blocks B divided in step S201 are extracted.
  • step S203 it is determined whether or not color information is actually missing when combining images for each of the blocks B.
  • the images GO and G1 obtained from the image sensors 5 and 7 have H pixels in the X direction and V pixels in the y direction.
  • the block B (xl, yl) in the shifted area on the image GO is a block corresponding to the block B1 on the image G1 as the block size is a pixel X b pixel and the parallax amount is extracted at step S201. It is determined that the parallax amount is (k, j).
  • step S203 the color information loss determination circuit 15 confirms whether the condition is satisfied or not satisfied for each block. If the condition is satisfied (the result in step S203 is Y), the block B is added to the output pixel area GO, so that the effective pixel area correction circuit 13
  • step S204 The obtained output pixel area is enlarged (step S204). Then, the block subjected to the condition determination is shifted by one (step S205), and the process returns to step S203.
  • step S203 the result in step S203 is Y
  • the output pixel area is enlarged by one block in step S204, and further, for example, symbols 1) to 6) in FIG. 12 are added in step S205.
  • symbols 1) to 6) in FIG. 12 are added in step S205.
  • the blocks subjected to the condition determination are sequentially shifted to the block outside the block, and the processing power S iteration of steps S203 to S205 is continued. That is, while processing is started from the block B (xl, yl) force shown in FIG. 12 and while the force is the result of step S203, along the arrow of 1) (ie, along the outer periphery of the output pixel area GO), In the direction of increasing y coordinate, subject to condition judgment
  • the blocks are sequentially shifted, and when the block B (xl, y2) is reached, next, the blocks to be subjected to the condition determination are sequentially shifted in the direction of increasing X coordinates along the arrow 2). Then, when the block B (x4, y2) shown in FIG. 12 is reached, the block subjected to the condition determination is shifted to B (x2, yl).
  • block B (x2, y1) sequentially shifts to block B (x2, y3), and further along block 4), from block B (x2, y3) Shift sequentially to block B (x4, y3) and shift sequentially to block B (x3, yl) force block B (x3, y4) along arrow 5) and further along arrow 6)
  • Block B (x3, y4) Force Shift to block B (x4, y4) sequentially.
  • step S203 the process proceeds to step S207.
  • step S207 the process returns to the head block of the arrow 3) shown in FIG. 12, the block group in the arrow is further divided into smaller blocks, and S202 and S203 are executed again by the block after subdivision. . Even if the subdivision is repeated until the block size becomes about 2 ⁇ 2 pixels in step S207, if the determination result in step S203 is N, no further enlargement of the output pixel area GO is possible.
  • block B (xl, yl) also shows an example in which processing is started. Force B (x4, y2) Force processing is started, and the block is shifted in the direction opposite to the arrow in 2). You may
  • the imaging device of the present embodiment in the compound-eye optical system having parallax for each color information, it is possible to improve the problem of the false color in the peripheral portion,
  • the embodiment There is an advantage that the output pixel area can be enlarged.
  • the present invention is not limited to only that configuration, and one image sensor may be divided into four imaging areas and used, or When using two image sensors divided into two imaging areas, it is needless to say that the same effect can be obtained.
  • processing for creating a color image by combining images obtained in a plurality of imaging regions and measurement of the distance to a subject using images obtained in a plurality of imaging regions is common in that processing is performed based on the amount of parallax extracted from the image.
  • a distance calculation circuit 19 for calculating the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7 is used instead of the image synthesis circuit 16 in the configuration of FIG. 1, as shown in FIG. 7, a distance calculation circuit 19 for calculating the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7 is used. By providing them, it is possible to easily configure an imaging device that performs distance measurement processing. Note that an imaging device capable of both color image output processing and distance measurement processing by including both the image synthesis circuit 16 and the distance calculation circuit 19 is also an embodiment of the present invention.
  • the distance z to the subject can be obtained by the above (Equation 6). Further, as in the first embodiment, it goes without saying that in the imaging apparatus for measuring the distance, if there are at least two imaging areas that are necessary for the four imaging areas, the distance can be sufficiently measured. Yes.
  • the imaging apparatus according to the present embodiment differs from the imaging apparatus according to the first embodiment in that the size of the imaging area of each image sensor is made different, and the complexity as in the second embodiment can be obtained. To increase the number of pixels in the output pixel area as much as possible without It is the point which makes it possible.
  • FIG. 13 is a plan view showing the size of the imaging region of each image sensor when each of the image sensors 5 to 8 is viewed from the side of the imaging optical system 1 to 4.
  • the same symbols are attached to parts having the same functions as in the first embodiment and the second embodiment.
  • the image sensor 5 outputs the reference image GO
  • the image sensor 6 outputs the image R
  • the image sensor 7 outputs the image G1
  • the image sensor 8 outputs the image B. Let's say.
  • reference numeral 5 c denotes a point where the optical axis determined by the imaging optical system 1 and the image sensor 5 intersects the light receiving surface of the image sensor 5
  • 6 c denotes the imaging optical system 2 and the image sensor 6.
  • the points at which the optical axes determined by the optical system 4 and the image sensor 8 intersect the light receiving surface of the image sensor 8 are shown.
  • the broken lines in the image sensors 6, 7, 8 indicate imaging areas of the same size as the image sensor 5.
  • the distance between points 5c and 6c is D1
  • the distance between points 5c and 8c is D2.
  • the sizes of the image sensors 5 to 8 are all different. Specifically, the image sensor 5 that outputs the reference image GO is the smallest, and compared with the image sensor 5, the image sensor 6 has a size in which the number of pixels is enlarged by dl in the negative X direction. Further, the image sensor 8 has a size in which the number of pixels is enlarged by d 2 in the negative direction of y as compared with the image sensor 5. Furthermore, the image sensor 7 has a size in which the number of pixels in the negative direction of X is dl and the number of pixels in the negative direction of y is enlarged by d 2 as compared with the image sensor 5.
  • the pixel expansion amount dl in the X direction and the pixel expansion amount d2 in the y direction are the shortest object distance Amin, the focal distance f of the imaging optical system 1 to 4 and the pixel pitch of the image sensors 5 to 8 p. Then, it can be described by (Equation 9) and (Equation 10) under the assumption of (Equation 1) described above.
  • the size S of the image sensor 5 is S
  • the size of the image sensor 6 is (H + dl) pixels XV pixels
  • the size of the image sensor 7 is (H + dl) pixels X (V + d2) Pixel
  • the image sensor 8 is H pixel x (V + d2) pixel.
  • image sensor 7 is larger than image sensor 5, all information comparable to the image information of image sensor 5 can be obtained even in consideration of the parallax generated at the shortest subject distance. Can be extracted from the image sensor 7.
  • FIG. 14 is a view of the light receiving surface of the imaging optical system 1 to 4 side force image sensors 5 to 8
  • FIG. 14 is a view showing imaging signals output from each of the image sensors 5 to 8. Because of the existence, in Fig. 13 and Fig. 14, the vertical and horizontal relation is reversed. Furthermore, the broken line in G1 shows the imaging area of the same size as GO.
  • the force S described in the configuration using four image sensors is not limited to only that configuration.
  • one image sensor is divided into four imaging areas and used, or When dividing and using two image sensors into two imaging areas, it is needless to say that the same effect can be obtained.
  • FIG. 19 is a cross-sectional view of an imaging device 100 according to an exemplary configuration of the present invention.
  • the cross section of FIG. 19 is parallel to the optical axis of the imaging optical systems 1 to 4.
  • FIG. 20 is a cross-sectional view of the imaging device 100 taken along the line AA shown in FIG.
  • reference numeral 101 denotes a first lens barrel
  • reference numeral 102 denotes a second lens barrel that holds imaging optical systems 1 to 4.
  • the first lens barrel 101 has inner walls 101a and 101b orthogonal to each other.
  • the inner walls 101a and 101b divide one image sensor into four imaging areas, and the above-described image sensors 5 to 8 and Functional image areas 5 'to 8' are realized (see Fig. 20).
  • the inner walls 101a and 101b of the first lens barrel 101 intersect with each other at a substantially central position, and divide the inner wall of the lens barrel into four regions of approximately the same volume. That is, the first lens barrel 101 has substantially the same area of the four opening forces on the second lens barrel 102 side. Then, one image sensor is disposed so that the center position thereof is offset from the intersection position 101c of the inner walls 101a and 101b, so that image areas 5 'to 8' having different sizes of imaging regions are realized. It is done.
  • the image areas 5 'to 8' function as the image sensors 5 to 8 described above.
  • the first lens barrel 101 is a square pole, but the shape of the lens barrel is not limited to the square pole.
  • the first lens barrel 201 has inner walls 201a and 201b orthogonal to each other.
  • the other two ridges J walls 202d and 202e among the four side walls are thicker than the other two ridges J walls 202f and 202g. That is, in the example of FIG. 21, the first lens barrel 201 has four opening forces on the second lens barrel 102 side, which have different areas.
  • one image sensor is disposed so that the center position thereof coincides with the intersection position 201c of the inner walls 201a and 201b, so that image areas 5 'to 8' having mutually different sizes of imaging regions are realized. It is done.
  • image areas 5 ′ to 8 ′ having mutually different sizes of imaging regions are realized.
  • the imaging device provided with the image areas 5 'to 8' produces the effects of the present invention described above.
  • an imaging device that extracts parallax from a plurality of sets of images in the same wavelength band and measures the distance to the subject based on the extracted parallax (for example, in the configuration of FIG. Also in the case of extracting the parallax from the image and measuring the distance to the subject based on the extracted parallax), the size of the light receiving surface of the image sensor is made different from each other as in the present embodiment. It solves the conventional problem that there are parts where distance measurement is impossible. A process of creating a color image by combining images obtained in a plurality of imaging regions as described above in the present embodiment, and a plurality of imaging regions.
  • the process of measuring the distance to the subject using the obtained image is common in that the process is performed based on the amount of parallax extracted from the image. Therefore, by applying the present embodiment also to the distance measurement processing, it is possible to solve the conventional problem that a portion in which distance measurement is impossible occurs in the peripheral portion of the image.
  • a distance calculation circuit that calculates the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7.
  • an imaging apparatus capable of both color image output processing and distance measurement processing by providing both the image synthesis circuit 16 and the distance calculation circuit 19 is also an embodiment of the present invention.
  • the distance z to the subject can be obtained by the above (Equation 6).
  • the imaging device for measuring the distance if there are at least two imaging regions that are necessary for the four imaging regions, sufficient distance measurement is possible. Needless to say.
  • measurement is performed by providing a distance calculation circuit 19 that calculates the distance to the subject based on the parallax extracted from the images of the image sensors 5 and 7.
  • An imaging device for performing distance measurement can be easily configured.
  • the imaging device according to the present embodiment is used as a distance measuring device, when the parallax computing circuit 14 obtains parallax amounts d in the two imaging optical systems 1 and 3, the distance calculating circuit 19 calculates ) Can obtain the distance z to the subject.
  • D is the distance between the optical axes of the two imaging optical systems 1 and 3 (Dl in FIG. 23), f is the focal length of the imaging optical systems 1 and 3, d is the parallax amount, and z is the subject distance.
  • FIG. 23 is a plan view showing the size of the imaging area of each image sensor when each of the image sensors 5 and 7 is viewed from the imaging optical systems 1 and 3 side.
  • the image sensor 5 outputs a reference image GO
  • the image sensor 7 outputs an image G1.
  • 5 c has an optical axis determined by the imaging optical system 1 and the image sensor 5.
  • the point of intersection with the light receiving surface of the image sensor 5 and the point of intersection of the optical axis determined by the imaging optical system 3 and the image sensor 7 with the light receiving surface of the image sensor 7 are shown.
  • the broken line in the image sensor 7 indicates an imaging area of the same size as the image sensor 5.
  • the distance between point 5c and point 7c is D1.
  • the sizes of the image sensors 5 and 7 are different from each other. Specifically, the image sensor 5 that outputs the reference image GO is smaller than the image sensor 7. Compared to the image sensor 5, the image sensor 7 has a size in which the number of pixels is enlarged by dl in the negative direction of X.
  • image sensor 7 is larger than image sensor 5, all information comparable to the image information of image sensor 5 is obtained even in consideration of the parallax generated in the shortest subject distance. It is possible to extract from the image sensor 7.
  • FIG. 24 is a view of the light receiving surface of the image sensors 5 and 7 from the imaging optical systems 1 and 3 side
  • FIG. 24 is a view showing imaging signals output from the image sensors 5 and 7 respectively.
  • the vertical and horizontal relationship is reversed.
  • the broken line in G1 shows the imaging area of the same size as GO.
  • the configuration in which the two image sensors capture the green wavelength band has been described, but the same effect can be obtained by the configuration in which light rays of the same wavelength such as near infrared are detected. The same effect can be obtained even if it is possible to detect a color image by forming a color filter or the like in a color arrangement on each image sensor. Further, in the present embodiment, the force in which the combination of the plurality of imaging optical systems and the image sensor is arranged in the lateral direction of the image sensor (the X direction in FIG. 22). It goes without saying that the same effect can be obtained even if it is arranged.
  • each of the first to third imaging devices described above as shown in FIG. 15, light beams transmitted through the imaging optical systems 1 to 4 are incident on the image sensors other than the corresponding image sensors.
  • the light shielding wall 22 has a height that reaches the installation surface of the imaging optical systems 1 to 4 from the installation surface of the image sensors 5 to 8.
  • an imaging device including four imaging optical systems and four image sensors is illustrated, an example of deleting pixels in an L shape along two sides of a reference image ( For example, as shown in FIGS. 3 and 9, etc. and FIG. 13, an example is shown in which the size of the light receiving surface of the image sensor is expanded in two directions.
  • a configuration having five imaging optical systems and five image sensors, in which four image sensors are disposed adjacent to four sides of one image sensor is also possible.
  • the image PO output from the center image sensor is used as a reference image, and the parallax of the images P1 to P4 output from other image sensors with respect to this reference image PO.
  • the color images are created by performing parallax correction on the images Pl to P4 and combining them with the reference image PO.
  • appropriate pixels are deleted along the four sides of the reference image PO.
  • the present invention is an imaging device that solves thinness and generation of false color in the periphery of an image and that distance measurement is not possible in the periphery of an image, for example, various kinds of mopile equipment, in-vehicle use, etc. It can be used as an imaging device for applications.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　色情報毎に視差を有する複眼光学系を備えた撮像装置において、周辺部の偽色の発生を防止する。複数のレンズ部と、前記各レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮像信号を出力する複数の撮像領域と、前記複数の撮像信号のいずれか１つを基準撮像信号（Ｇ０）とし、基準撮像信号（Ｇ０）に対する他の撮像信号の視差量を演算する視差演算部と、基準撮像信号（Ｇ０）以外の撮像信号において視差により欠落する像を含む可能性がある領域（ｘ方向においてｄｍｉｎｘ，ｙ方向においてｄｍｉｎｙ）の画素から得られる画素信号を削除して得られる有効画素信号と前記視差量とに基づいて、前記複数の撮像信号を補正して合成することにより、合成画像を生成する撮像装置。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、複数の撮像光学系を用いて得られた複数の画像から視差補正を行うこ とにより 1つの高精細画像を合成する撮像装置、および求めた視差量に基づいて被 写体までの距離を算出する撮像装置に関するものである。
背景技術
[0002] 近年の薄型デジタルカメラの需要の高まりに伴い、複数のレンズとイメージセンサを 使って単一の被写体を撮影し、それぞれ得られた像を合成して単一の高画質な 2次 元画像を得ることを目的とした撮像装置が提案されている。
[0003] 図 17を参照しながら、このような従来の撮像装置の一例について説明する。図 17 ( a)に示した従来の撮像装置では、 101はモールドなどで一体的に作られた撮像レン ズである。撮像レンズ 101は、後述の C— MOSセンサ 103の 3色の画素毎に分割さ れたセンサ部 103a, 103b, 103cに被写体像を結像させるための R波長用レンズ 10 la、 G波長用レンズ 101b、 B波長用レンズ 101cを有している。
[0004] 102は、それぞれのレンズ 101a〜101cの絞りであって、一体的に構成されている 。絞り 102には、更に R波長透過フィルタ 102a、 G波長透過フィルタ 102b、 B波長透 過フィルタ 102cがー体的に構成されている。
[0005] 103は不図示の画像処理回路などが一体に構成されている C-MOSセンサで、図 17 (b)に示すように、それぞれ R， G, B用のセンサ 103a、 103b, 103cが平面的に 独立して構成されている。このため、従来のべィャ配列のセンサに比べ、同じ画素サ ィズと画素数であれば、レンズの焦点距離が（1Z3) 1/2で済み、光軸方向の厚みを薄 く構成できる（特許第 3397758号公報参照）。
発明の開示
発明が解決しょうとする課題
[0006] し力、しながら、このような従来の薄型化撮像装置では、 3つの異なるセンサ部に結像 された画像を 1つの画像に合成する必要がある。通常、図 17のように、光軸が複数個 存在する光学系においては、同じ被写体を撮影しても、センサ部 103a、 103b, 103 cでは、それぞれのセンサ部の光軸中心からの相対値がずれて結像される。このず れが、視差である。視差は、被写体の距離に依存し、基準とする撮像レンズおよびセ ンサ部と被写体との位置関係により、視差の発生する方向も決まる。
[0007] ここで、図 18に、センサ部 103a、 103b, 103cに結像された画像の一例を示す。
撮像レンズ 101bおよびセンサ部 103bを基準とすると、センサ部 103aに結像する像 104aは、センサ部 103bに結像する像 104bを、視差量分だけ y方向に移動させたも のとなる。また、センサ咅 B103cに結像する像 104cは、センサ咅 B103bの像 104bを、 y の負の方向に視差量だけ移動させたものとなる。
[0008] センサ部 103a、 103b, 103cに結像された画像を 1つの画像に合成する際には、 視差を検出し、その視差を補正して画像を組み合わせる必要がある。ところ力 図 18 から分かるように、 G用のセンサ部 103bに結像する像 104bに比べると、 R用のセン サ部 103aに結像する像 104aは yの正の方向の画像が欠落したものとなっている。ま た、一方、 B用のセンサ部 103cに結像する像 104cは yの負の方向の画像が欠落し ている。従って、像 104a、 104b, 104cを合成しても、全ての色情報を有する領域の 画像 (被写体の一部）しか作り出せないことが分かる。言い換えると、画像の周辺部に 偽色（本来の色と違う色で再現される箇所）が発生するとレ、う課題がある。
[0009] また、視差を利用して距離を測る機能を付加する場合においても、画像の周辺部 に位置する被写体については距離を測ることが不可能となるという課題もある。
[0010] 本発明はこのような問題を解決するためになされたものであり、色情報毎に視差を 有する複眼光学系において従来課題であった、画像の周辺部の画像が視差によつ て欠落することに伴う不具合が解消された撮像装置を提供することを目的とする。より 具体的には、視差を考慮して有効画素領域を補正することにより、画像の周辺部に 偽色を有しない画像を再現することを可能とすること、および、画像の周辺部におい ても測距を可能とすることを実現する薄型の撮像装置を提供することを目的とする。 課題を解決するための手段
[0011] 前記の目的を達成するために、本発明にかかる第 1の撮像装置は、それぞれが少 なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応 し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮 像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ 出力される撮像信号のいずれか 1つを基準撮像信号とし、当該基準撮像信号に対す る他の撮像信号の視差量を演算する視差演算部と、前記基準撮像信号以外の撮像 信号において視差により欠落する像を含む可能性がある領域の画素から得られる画 素信号を前記基準撮像信号から削除して得られる有効画素信号を出力する有効画 素領域補正部とを備えたことを特徴とする。
[0012] 上記の構成によれば、有効画素領域補正部が、基準撮像信号以外の撮像信号に おいて視差により欠落する像を含む可能性がある領域の画素から得られる画素信号 を前記基準撮像信号から削除して得られる有効画素信号を出力する。これにより、こ の有効画素信号を用いれば、色情報毎に視差を有する複眼光学系において従来課 題であった、画像の周辺部の画像が視差によって欠落することに伴って後段の処理 で生じる不具合が解消される。
[0013] 後段の処理としては、例えば、（1)前記有効画素領域補正部から出力された有効 画素信号と前記視差演算部で演算された視差量とに基づいて、前記複数の撮像信 号を補正して合成することにより合成画像を生成して出力する画像合成処理や、（2) 前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算さ れた視差量とに基づいて、被写体までの距離を算出する距離算出処理などがある。
[0014] すなわち、上記（1)の画像合成処理を行うための画像合成部をさらに備えた構成 によれば、前記有効画素領域補正部から出力された有効画素信号と前記視差演算 部で演算された視差量とに基づいて、前記複数の撮像信号を補正して合成するので 、画像の周辺部に偽色を有しない画像を再現できる。
[0015] また、上記（2)の距離算出処理を行うための距離算出部をさらに備えた構成によれ ば、有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算さ れた視差量とに基づいて、被写体までの距離を算出するので、画像の周辺部におい ても測距が可能となる。
[0016] 上記の第 1の撮像装置において、前記有効画素領域補正部が、視差により欠落す る像を含む可能性がある領域の範囲を、最短被写体距離にある被写体に対する視 差量から求めることが好ましレ、。
[0017] 上記の第 1の撮像装置において、前記複数の撮像領域が、縦 2列、横 2行に設けら れた第 1〜第 4の撮像領域であり、前記視差演算部は、前記第 1の撮像領域から出 力される撮像信号を基準撮像信号とし、前記有効画素領域補正部は、前記第 1の撮 像領域に横方向において隣接する第 2の撮像領域から出力される第 2の撮像信号が 前記基準撮像信号に対して有する視差の方向の正方向に位置する辺と、前記第 1 の撮像領域に縦方向において隣接する第 3の撮像領域力 出力される第 3の撮像信 号が前記基準撮像信号に対して有する視差の方向の正方向に位置する辺の画素か ら得られる画素信号を、前記基準撮像信号力 削除することが好ましい。
[0018] さらに、上記の第 1の撮像装置は、前記第 1〜第 4の撮像領域において対角方向に 配置された第 1の撮像領域と第 4の撮像領域とが同じ波長領域に感度を有し、第 2の 撮像領域および第 3の撮像領域は、前記第 1および第 4の撮像領域とは異なり、かつ 互いに異なる波長領域に感度を有し、前記視差演算部は、前記第 1の撮像領域から 出力される撮像信号を基準撮像信号とし、前記第 4の撮像領域から出力される第 4の 撮像信号が前記基準撮像信号に対して有する視差量を求め、当該視差量をべタト ル分解することにより、前記第 2の撮像信号が前記基準撮像信号に対して有する視 差量と、前記第 3の撮像信号が前記基準撮像信号に対して有する視差量とをそれぞ れ求めることが好ましい。
[0019] 上記の第 1の撮像装置において、さらに、前記第 1および第 2の撮像領域が緑の波 長領域に感度を有し、前記第 2および第 3の撮像領域が赤および青の波長領域にそ れぞれ感度を有することが好ましレヽ。
[0020] さらに、上記の第 1の撮像装置は、前記基準撮像信号において、前記基準撮像信 号以外の撮像信号において視差により欠落する像を含む可能性がある領域をブロッ クに分割し、各ブロックについて視差量を求め、求められた視差量に基づいて、当該 ブロックが前記基準撮像信号以外の撮像信号において実際に欠落するか否かを判 定する欠落判定部をさらに備え、前記有効画素領域補正部は、前記欠落判定部に よって欠落しないと判定されたブロックの画素を前記有効画素信号に含めることが好 ましい。 [0021] 前記の目的を達成するために、本発明にかかる第 2の撮像装置は、それぞれが少 なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応 し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備え、撮 像信号をそれぞれ出力する複数の撮像領域と、前記複数の撮像領域からそれぞれ 出力される撮像信号のいずれか 1つを基準撮像信号とし、当該基準撮像信号に対す る他の撮像信号の視差量を演算する視差演算部とを備え、前記複数の撮像領域の うち、前記基準撮像信号を出力する基準撮像領域以外の撮像領域が、基準撮像領 域の受光面よりも大きい受光面を有することを特徴とする。
[0022] 上記の第 2の撮像装置は、前記視差量に基づレ、て前記複数の撮像信号を補正し て合成することにより合成画像を生成して出力する画像合成部をさらに備えた構成と すれば、画像の周辺部に偽色を有しない画像を再現できるので、好ましい。
[0023] あるいは、上記の第 2の撮像装置は、前記基準撮像信号と前記視差演算部で演算 された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備え た構成とすれば、画像の周辺部においても測距が可能となるので、好ましい。
[0024] 上記の第 2の撮像装置において、前記基準撮像領域以外の撮像領域のうち、前記 基準撮像領域に隣接する撮像領域は、前記基準撮像領域と比較して、前記基準撮 像領域に隣接する辺に対向する辺側に受光面が拡大されており、前記基準撮像領 域に対角配置された撮像領域は、前記基準撮像領域と比較して、前記基準撮像領 域に遠い 2辺側に受光面が拡大されてレ、ることが好ましレ、。
発明の効果
[0025] 以上のように本発明では、従来から課題となっていた色情報毎に視差を有する複 眼光学系において、画像の周辺部の偽色の課題、画像の周辺部において測距が不 可能になる課題を改善した撮像装置を提供することができる。
図面の簡単な説明
[0026] [図 1]図 1は、本発明の第 1の実施形態に係る撮像装置の概略構成を示すブロック図 [図 2]図 2は、視差発生例の概略図
[図 3]図 3は、色情報の欠落を発せさせない構成の概略図
[図 4]図 4は、視差補正アルゴリズムの基本的な流れを示す図 [図 5]図 5は、検出ブロックを示す図
[図 6]図 6は、視差量の評価値と第 2の検出ブロックの視差量との関係を示す図
[図 7]図 7は、本発明の第 1の実施形態に係る撮像装置の変形例の概略構成を示す ブロック図
[図 8]図 8は、本発明の第 2の実施形態に係る撮像装置の概略構成を示すブロック図 [図 9]図 9は、第 2の実施形態に係る撮像装置において、ずれ領域を適当な大きさに ブロック分割した状態を示す図
[図 10]図 10は、色情報欠落判定アルゴリズムの流れを示す図
[図 11]図 11は、色情報欠落判定法を説明する図
[図 12]図 12は、第 2の実施形態に係る撮像装置における出力画素領域の拡大処理 を説明する図
[図 13]図 13は、本発明の第 3の実施形態に係る撮像装置において、撮像光学系側 力 見た各イメージセンサの大きさを示す平面図
[図 14]図 14は、第 3の実施の形態の効果を示す図
[図 15]図 15は、第 1〜第 3の実施形態にかかる撮像装置の変形例を示す斜視図
[図 16]図 16は、第 1〜第 3の実施形態に力かる撮像装置のさらなる変形例の説明図
[図 17]図 17は、従来の撮像装置の構成を示す図
[図 18]図 18は、従来の撮像装置において生じる視差を説明する図
[図 19]図 19は、本発明の撮像装置の断面図
[図 20]図 20は、本発明の撮像装置の実施例を示す図
[図 21]図 21は、本発明の撮像装置の別の実施例を示す図
[図 22]図 22は、本発明の第 3の実施形態に係る撮像装置変形例の概略構成を示す ブロック図
[図 23]図 23は、本発明の第 3の実施形態に係る撮像装置変形例の撮像光学系側か ら見た各イメージセンサの大きさを示す平面図
[図 24]図 24は、本発明の第 3の実施形態に係る撮像装置変形例の効果を示す図 発明を実施するための最良の形態
(第 1の実施の形態） 以下、本発明の第 1の実施の形態について、図面を参照しながら説明する。
[0028] 図 1は、本発明の実施形態に係る撮像装置の概略構成図である。図 1において、 1 〜4は、それぞれが少なくとも 1つのレンズを含む撮影光学系である。撮像光学系 1 〜4のそれぞれに対応して、イメージセンサ 5〜8が設けられている。イメージセンサ 5 〜8のそれぞれには、撮像光学系:!〜 4のそれぞれを介して、同一被写体が結像され る。
[0029] 本実施形態では、カラー画像を撮影するために、イメージセンサ 5〜8のうち、対角 線上に配置されたイメージセンサ 5、 7は緑色波長帯域を撮像し、イメージセンサ 6は 赤色波長帯域を撮像し、イメージセンサ 8は青色波長帯域を撮像する。この波長選 択性は、イメージセンサに波長依存性を持たせることで実現しても良いし、波長選択 性のあるフィルタ（カラーフィルタ）などを揷入することにより実現しても良い。
[0030] イメージセンサ 5〜8のそれぞれの撮像信号は、それぞれ、 R信号処理回路 12、 G 信号処理回路 10, 11および B信号処理回路 9により画像処理された後、視差演算回 路 14へ送られる。視差演算回路 14では、 R信号処理回路 12、 G信号処理回路 10， 11および B信号処理回路 9から受け取った信号のいずれかを基準信号として、この 基準信号に対する他の信号の視差量を求める。視差演算回路 14で求められた視差 量は、 R信号、 G信号、 B信号と共に画像合成回路 16へ送られる。有効画素領域補 正回路 13は、前記基準撮像信号以外の撮像信号において、視差により欠落する像 を含む可能性がある領域の画素から得られる画素信号を、前記基準撮像信号から削 除し、その結果として得られる有効画素信号を画像合成回路 16へ出力する。画像合 成回路 16は、前記有効画素信号と視差量とに基づいて、 R信号、 G信号、および B 信号を補正して合成する。これにより、カラー画像が出力される。なお、図 1では、主 として本発明の特徴に関する構成要素のみを図示したが、本発明の撮像装置を実 施する場合、図 1に示した構成要素以外に、各種の補正処理や前処理等、任意の画 像処理を行う回路が設けられていても良い。
[0031] ここで、まず簡単に画像合成の流れを説明する。本実施形態の撮像装置において は、図 1に示すように、緑色波長帯域の撮像光学系 1 , 3およびイメージセンサ 5， 7は 、対角方向に配されて構成されている。本実施形態では、視差演算回路 14は、緑色 の画像信号を出力するイメージセンサ 5, 7のうち、イメージセンサ 5から出力された画 像を基準画像 (GOと表記する。）とし、この基準画像 GOとイメージセンサ 7から出力さ れた画像 (G1と表記する。）とを比較することにより、視差量を計算するものとする。た だし、複数の撮像光学系によって結像される画像のうちどれを基準画像とするかは、 任意の設計事項である。
[0032] 画像には種々の距離にある被写体が同時に写り込むために、本実施形態の撮像 装置の視差演算回路 14は、比較対象の画像のそれぞれを小ブロックに分割し、それ ぞれのブロック単位で視差量を計算することにより、画像全体の視差量を把握する。 すなわち、視差演算回路 14は、イメージセンサ 5から出力された基準画像 GOとィメー ジセンサ 7から出力された画像 G1とをブロック単位で比較することにより、基準画像 G 0と画像 G1との視差量を求める。
[0033] さらに、視差演算回路 14は、イメージセンサ 6から出力された画像 (R)が有する視 差量と、イメージセンサ 8から出力された画像（B)が有する視差量とを、画像 G1の視 差量 (基準画像 GOからの視差量)をベクトル分解することにより計算する。すなわち、 基準画像 GOから画像 G1に対する視差量を、基準画像 GOからイメージセンサ 6の画 像 Rへの方向と、基準画像 GO力 イメージセンサ 8の画像 Bへの方向とにベクトル分 解することにより、基準画像 GOに対する、画像 Rの視差量と画像 Bの視差量とがそれ ぞれ得られる。
[0034] このように求められた視差量は、基準画像 GO、画像 Gl、画像 R、画像 Bのそれぞ れの信号と共に、画像合成回路 13へ送られる。画像合成回路 13では、画像 Gl、画 像 Rおよび画像 Bの視差量を補正し、基準画像 GOに重ね合わせることによって、カラ 一の画像を再現する。
[0035] 図 2に、イメージセンサ 5から出力された画像 GOと、イメージセンサ 7から出力された 画像 G1との間の視差発生例を概略的に示す。図 2において、 GOcは、撮像光学系 1 とイメージセンサ 5で決定される光軸がイメージセンサ 5と交差する画像上の点、すな わちイメージセンサ 5の画像 GOの中心を示す。 Glcも同様に、撮像光学系 3とィメー ジセンサ 7で決定される光軸力 Sイメージセンサ 7と交差する画像上の点、すなわちィメ ージセンサ 7の画像 G1の中心を示す。 [0036] 17a、 18aは、イメージセンサ 5に対してそれぞれが異なる距離で設置された被写体 を撮影した場合の被写体画像である。 17aは遠距離物体の画像であり、 18aは近距 離物体の画像である。また、 17b、 18bは、イメージセンサ 7から出力された被写体画 像であり、 17bは遠距離物体の画像、 18bは近距離物体の画像である。なお、 17a， 17bは同じ物体の画像であり、 18a, 18bも同じ物体の画像である。
[0037] 図 2から分かるように、遠距離物体画像 17aと遠距離物体画像 17bとは、視差がほ とんどなぐイメージセンサ 5, 7のそれぞれの画像 GO， G1中のほとんど同じ位置に、 画像として再現されている。一方、近距離物体画像 18aと近距離物体画像 18bとは、 大きな視差を有する。従って、近距離物体画像 18bは、図 2に示すように、画像情報 の一部が欠落した画像として再現される可能性を有する。なお、イメージセンサ 5の 基準画像 GO内の近距離物体画像 18aに対する、イメージセンサ 7の画像 G1内の近 距離物体画像 18bの視差発生方向は、イメージセンサ側から被写体方向をみて、撮 像光学系 3の光軸がイメージセンサ 7と交差する点から、撮像光学系 1の光軸がィメ ージセンサ 5と交差する点へ向力うベクトルの方向である。本実施形態の撮像装置に おいては、視差を有するイメージセンサ 5〜8のそれぞれで得られる画像から抽出し た色情報を用いても、以下に説明するように、偽色のない合成画像が得られる。
[0038] 図 3を参照し、本実施形態の撮像装置において、色情報の欠落を発生させない原 理を説明する。図 3は、イメージセンサ 5から出力された被写体画像である。図 3にお レ、て斜線を付した領域は、イメージセンサ 5から出力された画像を基準画像とする場 合に、基準画像中のこの斜線の領域内に最短被写体距離に位置する物体が写り込 むと、視差によりイメージセンサ 7では当該物体の画像が欠落してしまう領域 (以下、「 ずれ領域」と称する。）である。従って、図 3のずれ領域に最短被写体距離に位置す る物体が写り込むと、このずれ領域の色情報が欠落する可能性がある。また、ィメー ジセンサ 6から出力された画像およびイメージセンサ 8から出力された画像のそれぞ れにおいても、同様に、イメージセンサ 5から出力された画像との視差により、ずれ領 域が存在する。このため、本実施形態の撮像装置は、有効画素領域補正回路 13に おいて基準画像からこのずれ領域の画素情報を削除して得られた有効画素領域の みについて、画像合成回路 16が、イメージセンサ 5〜8のそれぞれで得られた画像を 1つの画像に合成する。
[0039] 画素情報を削除すべきずれ領域の位置および範囲は、撮像光学系:!〜 4およびィ メージセンサ 5〜8との位置関係により決定される。本実施形態では、図 3に示すよう に、基準画像 GOの二辺の画素を L字状に削除した上で合成画像を作成する。なお、 図 3に示す V は、イメージセンサ 5から出力された基準画像 GOに対する、イメージ
5-6
センサ 6から出力された画像の視差方向であり、 V は、イメージセンサ 5から出力さ
5-8
れた基準画像 GOに対する、イメージセンサ 8から出力された画像の視差方向である
[0040] また、本実施形態では、有効画素領域補正回路 13において画素を削除する領域（ ずれ領域)の大きさは最短被写体距離によって決まる。最短被写体距離とは、撮像 装置が設計上対応可能な、最も近い被写体までの距離を示す。ずれ領域の大きさは 、例えば、以下のように求めることができる。最短被写体距離を Amin、撮像光学系 1 〜4の焦点距離を f、撮像光学系 1と撮像光学系 3との光軸間距離を D、イメージセン サ 5〜8の画素ピッチを pとすると、最短被写体距離 Aminにある被写体のイメージセン サ 5から出力される画像 GOと、イメージセンサ 7から出力される画像 G1との視差量 dm inは、下記の（数 2)により得ることができる。なお、（数 2)は、（数 1)の条件を満たす時 に成立する近似式であるが、通常、最短被写体距離 Aminは焦点距離 fの 10倍以上 であるため、近似式を利用しても全く問題はない。
(数 1)
Amin > >f
(数 2)
dmin^ D ' iz、Amin' p)
ここで、視差量 dminの x方向成分を dminx、 y方向成分を dminyとすると、これらは下 記の（数 3)および (数 4)で表記される。
(数 3)
dmmx = dmin · cos θ
(数 4)
dminy = dmin * sin Θ また、本発明の実施形態に力かる撮像装置の仕様はこれらの具体的な数値に限定 されないが、具体的な数値として例えば、
D = 5mm
f =4. 5mm
Amin = 10cm
ρ = ό μ m
cos Θ = 4/5
sin 0 = 3/5
のとき、最短被写体距離にある被写体を撮影した場合の視差量 dmin、 dminx, dminy は、 75画素、 60画素、 45画素となる（図 3参照）。従って、この場合は、画像合成回 路 13は、基準画像 GOにおいて、 V の正方向側の辺に沿って 60画素、 V の正方 向側の辺に沿って 45画素を L字状に削除することにより、水平方向の画素数が（H— 60)画素、垂直方向の画素数が (V— 45)画素の矩形の合成画像を作成する。
[0041] 上記のとおり、本実施形態に力かる撮像装置では、有効画素領域補正回路 13に おいて、色情報が欠落する可能性のある領域 (ずれ領域）の画像情報を破棄し、画 像合成回路 16が、色情報が完全に揃った領域（図 3に示す領域 GO )の画像情報の みを用いてカラー画像を合成する。以降、この領域 GOを出力画素領域と称する。
[0042] 次に、図 3中の出力画素領域 GOの視差量抽出について、図 4、図 5を用いて説明 する。図 4は、視差補正アルゴリズムの基本的な流れを示す図である。図 5は、ィメー ジセンサ 5、 7上の検出ブロックを示す図である。
[0043] 視差補正アルゴリズムのステップ S 101において、ブロック抽出処理を行う。ここで、 最初に、イメージセンサ 5の出力画素領域 GOを均等なブロックに分割する。その中 の 1つのブロック（第 1の検出ブロック 204)について以下の処理を説明する力 同様 の処理を分割したすべてのブロックに対して実施する。第 1の検出ブロック 204は、 8 X 8画素から 64 X 64画素程度のサイズが適当である。なお、撮像光学系の倍率を 大きくした場合には、検出ブロック 204の画素サイズを小さくすることが好ましい。さら に、画像 G1にも、第 1の検出ブロック 204と同じサイズの第 2の検出ブロック 205を設 定する。 [0044] 次に、ステップ S103において、基準画像 GOの第 1の検出ブロック 204と同じ画像 情報を有するブロックを画像 G1から探索するために、視差量評価値を計算する。視 差量評価値計算処理の一具体例について、以下に説明する。図 5において、ステツ プ S101で画像 G1上に設定した第 2の検出ブロック 205を、 x軸方向に k画素だけ移 動し、 y軸方向に j画素だけ移動すると、第 2の検出ブロックは 206の位置に移動する 。そして、第 1の検出ブロック 204と移動後の第 2の検出ブロック 206とについて、各 検出ブロック内における対応画素の出力値の差を計算し、その差を、検出ブロック内 の全ての画素について合計したものを、第 2の検出ブロック 206の位置における視差 量評価値とする。なお、視差量評価値の算出方法は、これに限定されない。
[0045] 第 1の検出ブロック 204内の画素（a、 b)における画素力、らの出力値を GG1 (a、 b)と し、第 2の検出ブロック 206内の画素（a、 b)における画素からの出力値を GG2 (a、 b )とすると、視差量評価値 R (k、 j)は、下記の（数 5)により求められる。
[0046] [数 5]
R(k, J) = ,^ GG1(。, - GGl{a + k,b + j) \
[0047] この視差量評価値 R (k、 j)は、視差量 (k、 j)だけ移動した第 2の検出ブロック 206が 、第 1の検出ブロック 204とどれだけ相関があるかを示し、値が小さいほど 2つの検出 ブロックが類似していることを示している。
[0048] 図 6に、視差量の評価値と第 2の検出ブロックの視差量との関係を示す。図 6は、横 軸に X方向の移動画素数 (k)、縦軸に視差量評価値 (R)をプロットしたものである。視 差量評価値は kの値に連動して変化し、類似度が高くなると値が著しく小さくなる。図 6では k=kの時に最小値をとつている。なお、図 6では、 jの値を j叫に固定し、 kの
1 1
値のみを変化させた場合について示した力 同様の変化が、 jの値を変化させた場合 についても発生する。従って、ステップ S103の視差量評価値計算処理では、所定の 範囲の取りうる全ての kの値及び jの値について反復処理を行う。通常、視差が発生 する方向は、イメージセンサ 5〜8の相互の位置関係で一義的に決定される。従って 、視差量評価値計算時の第 2の検出ブロックの抽出も、この法則に従って抽出するこ とにより、大幅に計算効率を向上することができる。
[0049] 次に、ステップ S104において、ステップ S103で求めた各視差量評価値から最小 値を抽出する。ここでは、上記アルゴリズムで得られた視差量の評価値計算の結果を 比較し、その最小値を求める。そして、ステップ S105において、最小値が得られたと きの視差量 (k、j)の抽出を行い、視差量を決定する。 k=k、 j =jのとき最小値が得
1 1
られたと仮定すると、基準画像 GO上の第 1の検出ブロック 204の画像情報は、画像 G 1上の、 X方向に k画素、 y方向に i画素移動した時の第 2の検知ブロック 206の画像
1 1
情報と一致していると判断し、視差量 (k、 j )を抽出し、これを第 1の検出ブロック 204
1 1
の視差量とする（dx = k， dy=j )。この一連の処理を、イメージセンサ 5の基準画像
1 1
GO内の出力画素領域 GOに設定した全ての検出ブロックについて行レ、、視差量を
S
決定する。以上の処理を視差演算回路 14が行うことによって、基準画像 GOに対する 画像 G1の視差量が求められる。
[0050] そして、イメージセンサ 7から出力される画像 G1について得られた視差量を基に、 イメージセンサ 6から出力される画像 R、イメージセンサ 8から出力される画像 Bの視 差量を計算し、画像合成回路 16において、それぞれの画像を補正し、基準画像 GO 上に重ね合わせることにより、カラーの画像が合成される。なお、本実施形態の撮像 装置においては、基準画像 GO上においてずれ領域に相当する画素の情報は、合 成画像を作成する前に、有効画素領域補正回路 13によって全て破棄されている。
[0051] 本実施形態の構成により、色情報毎に視差を有する複眼光学系において、課題で あった周辺部の偽色の課題を改善することが出来る。
[0052] なお、本実施形態において、イメージセンサを 4つ使った構成を説明してきた力 本 発明はその構成だけではなぐ 1つのイメージセンサを 4つの撮像領域に分割して使 用する場合や、 2つのイメージセンサをそれぞれ 2つの撮像領域に分割し使用する場 合にっレ、ても同様の効果があることは言うまでもなレ、。
[0053] さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて 被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に 相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が 生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、 複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理 と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理 (測 距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である 。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測 距が不可能な部分が生じるという従来の課題を解決できる。例えば、図 1の構成にお ける画像合成回路 16の代わりに、図 7に示すように、イメージセンサ 5, 7の画像から 抽出した視差に基づいて被写体までの距離を算出する距離算出回路 19を設けるこ とにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成 回路 16と距離算出回路 19との両方を備えたことによって、カラー画像出力処理と測 距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。
[0054] なお、本実施形態にかかる撮像装置を測距装置として用いる場合、視差演算回路 14により 2つの光学系における視差量 dが得られると、距離算出回路 19は、（数 6)に よって被写体までの距離 zを得ることができる。なお、数 6において、 Dは 2つの光学 系の光軸間距離、 fは光学系の焦点距離、 dは視差量、 zは被写体距離である。 (数 6)
z = D -f/d
なお、距離を計測する撮像装置においては、 4つの撮像領域は必要なぐ少なくと も 2つの撮像領域があれば、十分に距離計測が可能であることは言うまでもない。
[0055] (第 2の実施の形態）
以下、本発明の第 2の実施形態について、図面を参照しながら説明する。
[0056] 前述の第 1の実施形態では、最短被写体距離に基づいて、画像の色情報が欠落 する可能性がある領域 (ずれ領域)を決定し、合成画像を生成する際にずれ領域の 画素情報を全て破棄している。これに対し、以下に説明する第 2の実施形態では、ず れ領域において、画像を合成する際に実際に色情報が欠落する部分としない部分と を判定し、色情報が欠落しない部分の画素は画像として出力する。すなわち、第 1の 実施形態では、画像として出力する画素数（出力画素領域の画素数）が少なくなるが 、第 2の実施形態では、画素数の減少を抑制できる。
[0057] このため、図 8に示すように、第 2の実施形態に力かる撮像装置は、第 1の実施形態 で説明した構成要素に加えて、色情報欠落判定回路 15を備えている。
[0058] 図 9は、イメージセンサ 5から出力された基準画像 GOにおけるずれ領域を適当な大 きさにブロック分割した状態を示す図である。図 10は、色情報欠落判定アルゴリズム の流れを示す図である。
[0059] 図 10のステップ S 201において、例えば図 9に示すように、ずれ領域を適当な大き さの矩形ブロック B (x, y)に分割する。なお、（x， y)は各ブロックの代表点（例えば中 心点）座標を表すものとする。ブロックサイズは、一般的には、 8画素 X 8画素〜 64画 素 X 64画素程度が適当である。
[0060] 次に、ステップ S202では、図 4に示した視差補正アルゴリズムの S103〜S105を 実行することにより、視差抽出を行い、ステップ S201で分割した全てのブロック Bの 視差量を抽出する。
[0061] さらに、ステップ S203では、ブロック Bのそれぞれについて、画像を合成する際に 実際に色情報が欠落するかどうかの判定を行う。ここで、この判定の具体例について 、図 11を用いて説明する。図 11において、イメージセンサ 5, 7から得られる画像 GO , G1は、 X方向に H画素、 y方向に V画素の大きさを有するものとする。画像 GO上の ずれ領域におけるブロック B (xl , yl)は、ブロックサイズは a画素 X b画素であり、ス テツプ S201で視差量を抽出した結果、画像 G1上のブロック B1に相当するブロック であると判定され、視差量は（k,j)であったものとする。ここで、ブロック B1が画像 G1 内に存在する条件を満足すれば、ブロック Bは、画像を合成する際に実際には色情 報の欠落がないと判定される。以上のことを数式で記述すると、下記の (数 7)、 （数 8) となる。
(数 7)
xl +k- a/2≥0
(数 8)
yl +j +b/2≤V
ステップ S203では、色情報欠落判定回路 15が、この条件の満足、不満足を、各ブ ロックにっレ、て確認する。条件が満足されてレ、る場合は (ステップ S203の結果が Y) 、ブロック Bを出力画素領域 GOに追加することにより、有効画素領域補正回路 13で
S
得られた出力画素領域を拡大する (ステップ S204)。そして、条件判定の対象とする ブロックを 1つシフトし（ステップ S205)、ステップ S203へ戻る。 [0062] このように、ステップ S203の結果が Yである限り、ステップ S204で出力画素領域が 1ブロック分拡大され、さらにステップ S205において、例えば、図 12において 1)〜6) の記号を付した矢印で示すように、出力画素領域 GOの外周に接するブロックから、 s
順次その外側のブロックへと、条件判定の対象とするブロックをシフトさせて、ステップ S203〜S205の処理力 S反復継続される。つまり、図 12に示すブロック B (xl , yl)力 ら処理を開始し、ステップ S203の結果力 である間、 1)の矢印に沿って（すなわち出 力画素領域 GOの外周に沿って）、 y座標が増加する方向へ、条件判定の対象とする
S
ブロックを順次シフトし、ブロック B (xl , y2)に達すると、次に、 2)の矢印に沿って、 X 座標が増加する方向へ、条件判定の対象とするブロックを順次シフトする。そして、 図 12に示すブロック B (x4， y2)に達すると、条件判定の対象とするブロックを B (x2, yl)へシフトする。以降、同様に、 3)の矢印に沿って、ブロック B (x2， yl)からブロック B (x2, y3)へ順次シフトし、さらに 4)の矢印に沿って、ブロック B (x2, y3)からブロッ ク B (x4, y3)へ順次シフトし、 5)の矢印に沿って、ブロック B (x3, yl)力 ブロック B ( x3, y4)へ順次シフトし、さらに 6)の矢印に沿って、ブロック B (x3, y4)力 ブロック B (x4, y4)へ順次シフトする。
[0063] ただし、ステップ S203の結果が Nとなった場合は、ステップ S207へ処理が移行す る。例えば、図 12に示す 3)の矢印に沿ったブロックの処理中に、ブロック群 19aは上 記の条件を満足していた力 ブロック 19bで条件が不満足となった場合は、ステップ S 203の半 IJ定結果力 となる。この場合、ステップ S207において、図 12に示す 3)の矢 印の先頭ブロックに戻り、その矢印内のブロック群をさらに細かいブロックに分割し、 細分割後のブロックによって、 S202および S203を再度実行する。ステップ S207に おいてブロックサイズが 2 X 2画素程度となるまで細再分割を繰り返してもステップ S2 03の判定結果が Nである場合は、出力画素領域 GOのこれ以上の拡大は不可能と
S
して、処理を終了する。
[0064] なお、図 12では、ブロック B (xl , yl)力も処理を開始する例を示した力 B (x4, y2 )力 処理を開始し、 2)の矢印に逆行する方向にブロックのシフトを行っても良い。
[0065] 以上の処理により、本実施形態の撮像装置によれば、色情報毎に視差を有する複 眼光学系において、周辺部の偽色の課題を改善することにカ卩え、第 1の実施形態よ りも出力画素領域を大きくすることができるという利点がある。
[0066] なお、本実施形態において、イメージセンサを 4つ使った構成を説明してきた力 本 発明はその構成だけではなぐ 1つのイメージセンサを 4つの撮像領域に分割して使 用する場合や、 2つのイメージセンサをそれぞれ 2つの撮像領域に分割し使用する場 合にっレ、ても同様の効果があることは言うまでもなレ、。
[0067] さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて 被写体までの距離を計測する撮像装置においても、本実施形態のようにずれ領域に 相当する画素の情報を破棄することにより、画像の周辺部に測距が不可能な部分が 生じるという、従来の課題を解決できる。本実施形態において上記で説明したような、 複数の撮像領域で得られた画像を合成することによってカラー画像を作り出す処理 と、複数の撮像領域で得られた画像を用いて被写体までの距離を計測する処理 (測 距処理）とは、画像から抽出した視差量に基づいて処理を行う点において共通である 。従って、測距処理についても本実施形態を適用することにより、画像の周辺部に測 距が不可能な部分が生じるという従来の課題を解決できる。例えば、図 1の構成にお ける画像合成回路 16の代わりに、図 7に示すように、イメージセンサ 5, 7の画像から 抽出した視差に基づいて被写体までの距離を算出する距離算出回路 19を設けるこ とにより、測距処理を行う撮像装置を容易に構成することができる。なお、画像合成 回路 16と距離算出回路 19との両方を備えたことによって、カラー画像出力処理と測 距処理との両方が可能な撮像装置も、本発明の一つの実施形態である。
[0068] なお、 2つの光学系における視差量 dが得られると、上記の（数 6)で被写体までの 距離 zを得ることができる。また、第 1の実施の形態と同様に、距離を計測する撮像装 置においては、 4つの撮像領域は必要なぐ少なくとも 2つの撮像領域があれば、十 分に距離計測が可能であることは言うまでもない。
[0069] (第 3の実施の形態）
以下、本発明の第 3の実施の形態について、図面を参照しながら説明する。
[0070] 本実施形態に力かる撮像装置において第 1の実施形態と異なる点は、それぞれの イメージセンサの撮像領域の大きさを異ならせて設置することにより、第 2の実施形態 のような複雑な画像処理なしに、出力画素領域の画素数をできるだけ多くすることを 可能とする点である。
[0071] 図 13は、撮像光学系 1〜4側から各イメージセンサ 5〜8を見た場合の、各イメージ センサの撮像領域の大きさを示す平面図である。ここでは、第 1の実施形態や第 2の 実施形態と同じ機能を有する部分には同じ記号を付すこととした。第 1の実施形態と 同様に、イメージセンサ 5は基準画像 GOを出力し、イメージセンサ 6は画像 Rを出力 し、イメージセンサ 7は画像 G1を出力し、イメージセンサ 8は画像 Bを出力するものと する。
[0072] また、図 13において、 5cは、撮像光学系 1とイメージセンサ 5で決定される光軸がィ メージセンサ 5の受光面と交差する点、 6cは、撮像光学系 2とイメージセンサ 6で決定 される光軸がイメージセンサ 6の受光面と交差する点、 7cは、撮像光学系 3とイメージ センサ 7で決定される光軸がイメージセンサ 7の受光面と交差する点、 8cは、撮像光 学系 4とイメージセンサ 8で決定される光軸がイメージセンサ 8の受光面と交差する点 をそれぞれ示す。さらに、イメージセンサ 6、 7、 8内に記した破線は、イメージセンサ 5 と同じ大きさの撮像領域を示すものである。点 5cと点 6cの距離を D1とし、点 5cと点 8 cとの距離を D2とした。
[0073] 本実施形態の撮像装置では、図 13からも分かるように、イメージセンサ 5〜8の大き さが全て異なっている。具体的には、基準画像 GOを出力するイメージセンサ 5が最も 小さく、イメージセンサ 5と比較して、イメージセンサ 6は Xの負の方向に画素数を dlだ け拡大した大きさとなっている。また、イメージセンサ 8は、イメージセンサ 5と比較して 、 yの負の方向に画素数を d2だけ拡大した大きさになっている。さらに、イメージセン サ 7は、イメージセンサ 5と比較して、 Xの負の方向に画素数を dl、かつ yの負の方向 に画素数を d2だけそれぞれ拡大した大きさとなっている。
[0074] X方向の画素拡大量 dlと y方向の画素拡大量 d2とは、最短被写体距離を Amin、撮 像光学系 1〜4の焦点距離を f、イメージセンサ 5〜8の画素ピッチを pとすると、前述 の（数 1)の仮定の下で、（数 9)、 （数 10)で記述することができる。
(数 9)
dl =Dl -f/ (Amin-p)
(数 10) d2 = D2 -f/ (Amin-p)
従って、イメージセンサ 5の大きさ力 S、 H画素 X V画素であるとすると、イメージセン サ 6の大きさは（H + dl)画素 X V画素、イメージセンサ 7は（H + dl)画素 X (V+ d2 )画素、イメージセンサ 8は H画素 X (V + d2)画素となる。
[0075] 本構成によれば、イメージセンサ 5に比べ、イメージセンサ 7は大きくなつているため 、最短被写体距離において発生する視差を考慮しても、イメージセンサ 5の画像情報 に匹敵する全ての情報をイメージセンサ 7から抽出することが可能となる。
[0076] 具体的には、図 14に示すように、イメージセンサ 5の周辺部に結像した近距離物体 18aは、イメージセンサ 7の撮像領域が十分大きいため、情報の欠落無しにイメージ センサ 7内に像を結ぶことができる。これにより、第 2の実施形態のように複雑な演算 処理なしに、従来力 課題となっていた色情報毎に視差を有する複眼光学系におけ る周辺部の偽色の課題を改善することに加え、第 1の実施形態よりも出力画素領域を 大きくすること力 Sできる。なお、図 13は、撮像光学系 1〜4側力 イメージセンサ 5〜8 の受光面を見た図であり、図 14は、イメージセンサ 5〜8のそれぞれから出力される 撮像信号を示す図であるため、図 13と図 14とでは上下、左右が逆の関係になってい る。さらに、 G1内に記した破線は、 GOと同じ大きさの撮像領域を示すものである。
[0077] 本実施の形態において、イメージセンサを 4つ使った構成を説明してきた力 S、本発 明はその構成だけではなぐ 1つのイメージセンサを 4つの撮像領域に分割して使用 する場合や、 2つのイメージセンサをそれぞれ 2つの撮像領域に分割し使用する場合 につレ、ても同様の効果があることは言うまでもなレ、。
[0078] ここでさらに、上述した実施形態を実現するためのより具体的な構成例を示す。上 記で説明した構成については、上記の説明と同じ参照符号を付記する。
[0079] 図 19は、本発明の一構成例に力かる撮像装置 100の断面図である。図 19の断面 は、撮像光学系 1〜4の光軸に平行である。図 20は、図 19に示す A—A断面におけ る撮像装置 100の断面図である。図 19および図 20において、 101は第 1の鏡筒、 10 2は撮像光学系 1〜4を保持する第 2の鏡筒である。第 1の鏡筒 101は、図 20に示す ように、互いに直交する内壁 101a, 101bを有する。この内壁 101a， 101bが 1つの イメージセンサを 4つの撮像領域に分けることによって、上述のイメージセンサ 5〜8と して機能するイメージエリア 5'〜8 'が実現される（図 20参照）。
[0080] 図 20に示した構成では、第 1の鏡筒 101の内壁 101a, 101bは、互いにほぼ中央 位置で交差しており、鏡筒内壁をほぼ同じ容積の 4つの領域に分割する。つまり、第 1の鏡筒 101は、第 2の鏡筒 102側の 4つの開口部力 ほぼ同じ面積を有する。そし て、 1つのイメージセンサが、その中央位置が、内壁 101a, 101bの交差位置 101c 力 ずれるように配置されていることにより、撮像領域の大きさが互いに異なるィメー ジエリア 5'〜8 'が実現されている。このイメージエリア 5'〜8 'が、上述のイメージセン サ 5〜8として機能する。なお、図 20の例では、第 1の鏡筒 101は四角柱であるが、 鏡筒の形状は四角柱に限定されない。
[0081] 別の構成例を図 21に示す。図 21において、第 1の鏡筒 201は、互いに直交する内 壁 201a， 201bを有する。ただし、図 21に示す第 1の鏡筒 201は、 4つの側壁のうち 、隣接する 2つの彻 J壁 202d, 202eよりも、他の 2つの彻 J壁 202f, 202gの方カ厚レヽ。 すなわち、図 21の例では、第 1の鏡筒 201は、第 2の鏡筒 102側の 4つの開口部力 互いに異なる面積を有する。そして、 1つのイメージセンサが、その中央位置が、内壁 201a, 201bの交差位置 201cに一致するように配置されていることにより、撮像領域 の大きさが互いに異なるイメージエリア 5'〜8 'が実現されている。このイメージエリア 5 '〜8'が、上述のイメージセンサ 5〜8として機能する。
[0082] すなわち、上記の図 19および図 20に示した構成例と、図 21に示した構成例とのい ずれにおいても、撮像領域の大きさが互いに異なるイメージエリア 5'〜8 'が実現され ており、このイメージエリア 5'〜8'を備えた撮像装置は、前述した本発明の効果を奏 する。
[0083] さらに、複数組の同波長帯域の画像から視差を抽出し、抽出した視差に基づいて 被写体までの距離を計測する撮像装置 (例えば、図 1の構成において、イメージセン サ 5， 7の画像から視差を抽出し、抽出した視差に基づいて被写体までの距離を計測 する）においても、本実施形態のようにイメージセンサの受光面の大きさを互いに異 ならせることにより、画像の周辺部に測距が不可能な部分が生じるという、従来の課 題を解決できる。本実施形態において上記で説明したような、複数の撮像領域で得 られた画像を合成することによってカラー画像を作り出す処理と、複数の撮像領域で 得られた画像を用いて被写体までの距離を計測する処理（測距処理）とは、画像から 抽出した視差量に基づいて処理を行う点において共通である。従って、測距処理に ついても本実施形態を適用することにより、画像の周辺部に測距が不可能な部分が 生じるという従来の課題を解決できる。例えば、図 1の構成における画像合成回路 16 の代わりに、図 7に示すように、イメージセンサ 5, 7の画像から抽出した視差に基づ レ、て被写体までの距離を算出する距離算出回路 19を設けることにより、測距処理を 行う撮像装置を容易に構成することができる。なお、画像合成回路 16と距離算出回 路 19との両方を備えたことによって、カラー画像出力処理と測距処理との両方が可 能な撮像装置も、本発明の一つの実施形態である。
[0084] なお、 2つの光学系における視差量 dが得られると、上記の（数 6)で被写体までの 距離 zを得ることができる。
[0085] また、第 1の実施の形態と同様に、距離を計測する撮像装置においては、 4つの撮 像領域は必要なぐ少なくとも 2つの撮像領域があれば、十分に距離計測が可能であ ることは言うまでもない。
[0086] 具体的には、図 22に示すような撮像装置で、イメージセンサ 5, 7の画像から抽出し た視差に基づいて被写体までの距離を算出する距離算出回路 19を設けることにより 、測距処理を行う撮像装置を容易に構成することができる。なお、本実施形態にかか る撮像装置を測距装置として用いる場合、視差演算回路 14により 2つの撮像光学系 1 , 3における視差量 dが得られると、距離算出回路 19は、（数 6)によって被写体まで の距離 zを得ることができる。なお、数 6において、 Dは 2つの撮像光学系 1, 3の光軸 間距離 (図 23中の Dl)、 fは撮像光学系 1 , 3の焦点距離、 dは視差量、 zは被写体距 離である。
[0087] 図 23は、撮像光学系 1、 3側から各イメージセンサ 5、 7を見た場合の、各イメージセ ンサの撮像領域の大きさを示す平面図である。ここでは、第 1の実施形態や第 2の実 施形態と同じ機能を有する部分には同じ記号を付した。第 1の実施形態と同様に、ィ メージセンサ 5は基準画像 GOを出力し、イメージセンサ 7は画像 G1を出力するものと する。
[0088] また、図 23において、 5cは、撮像光学系 1とイメージセンサ 5で決定される光軸がィ メージセンサ 5の受光面と交差する点、 7cは、撮像光学系 3とイメージセンサ 7で決定 される光軸がイメージセンサ 7の受光面と交差する点をそれぞれ示す。さらに、ィメー ジセンサ 7内に記した破線は、イメージセンサ 5と同じ大きさの撮像領域を示すもので ある。点 5cと点 7cの距離を D1とした。
[0089] 本実施形態の撮像装置では、図 23からも分かるように、イメージセンサ 5、 7の大き さが互いに異なっている。具体的には、基準画像 GOを出力するイメージセンサ 5の 方がイメージセンサ 7よりも小さレ、。イメージセンサ 5と比較して、イメージセンサ 7は、 X の負の方向に画素数を dlだけ拡大した大きさとなっている。
[0090] X方向の画素拡大量 dlとは、最短被写体距離を Amin、撮像光学系 1、 3の焦点距 離を f、イメージセンサ 5、 7の画素ピッチを pとすると、前述の（数 1)の仮定の下で、（ 数 9)で記述することができる。従って、イメージセンサ 5の大きさ力 H画素 X V画素 であるとすると、イメージセンサ 7の大きさは（H + dl)画素 X V画素となる。
[0091] 本構成によれば、イメージセンサ 5に比べ、イメージセンサ 7が大きいため、最短被 写体距離において発生する視差を考慮しても、イメージセンサ 5の画像情報に匹敵 する全ての情報をイメージセンサ 7から抽出することが可能となる。
[0092] 具体的には、図 24に示すように、イメージセンサ 5の周辺部に結像した近距離物体 18aは、イメージセンサ 7の撮像領域が十分大きいため、情報の欠落無しにイメージ センサ 7内に像を結ぶことができる。これにより、第 2の実施形態のように複雑な演算 処理なしに、従来力 課題となっていた色情報毎に視差を有する複眼光学系におけ る周辺部の偽色の課題を改善することに加え、第 1の実施形態よりも出力画素領域を 大きくすること力 Sできる。なお、図 23は、撮像光学系 1、 3側からイメージセンサ 5、 7の 受光面を見た図であり、図 24は、イメージセンサ 5、 7のそれぞれから出力される撮像 信号を示す図であるため、図 23と図 24とでは上下、左右が逆の関係になっている。 さらに、 G1内に記した破線は、 GOと同じ大きさの撮像領域を示すものである。
[0093] 本実施形態では、 2つのイメージセンサが緑色波長帯域を撮像する構成について 説明したが、近赤外などの互いに同じ波長の光線を検出する構成によっても同様の 効果が得られる。また、それぞれのイメージセンサにべィャ配列のカラーフィルタなど を形成し、カラー画像を検出する事を可能としても、同様の効果を得ることができる。 また、本実施形態では、イメージセンサの横方向（図 22の X方向）に、複数個の撮像 光学系とイメージセンサとの組合せを配した力 複数個の光学系とイメージセンサの 組合せを垂直方向に配しても、同様の効果を得ることは言うまでもない。
[0094] また、上述の第 1〜第 3の撮像装置のそれぞれにおいて、図 15に示すように、撮像 光学系 1〜4を透過した光線が、それぞれに対応するイメージセンサ以外のイメージ センサへ入射することを防止するために、イメージセンサ 5〜8の境界部に遮光壁 22 を設けることが好ましい。また、この遮光壁 22は、イメージセンサ 5〜8の設置面から 撮像光学系 1〜4の設置面に到達する程度の高さを有していることが、さらに好まし レ、。
[0095] また、上記の各実施形態では、 4つの撮像光学系と 4つのイメージセンサとを備えた 撮像装置を例示したため、基準画像の 2辺に沿って L字状に画素を削除する例 (例 えば図 3、図 9等）や、図 13に示すように、イメージセンサの受光面の大きさを 2方向 に拡大する例を示した。しかし、例えば、 5つの撮像光学系と 5つのイメージセンサと を有し、 1つのイメージセンサの 4辺に隣接するよう 4つのイメージセンサが配置された 構成も可能である。この構成の場合は、図 16に示すように、中央のイメージセンサか ら出力される画像 POを基準画像とし、この基準画像 POに対する、他のイメージセン サから出力される画像 P1〜P4の視差をそれぞれ求めて、基準画像 POに画像 Pl〜 P4を視差補正して合成することにより、カラー画像を作成する。この場合は、図 16に 斜線を付して示したように、基準画像 POの 4辺に沿って適宜の画素を削除することと なる。
産業上の利用可能性
[0096] 本発明は、薄型でかつ画像の周辺部の偽色発生や画像の周辺部で測距が不可能 であることを解決した撮像装置として、例えば、モパイル機器や車載用等の種々の用 途の撮像装置として利用可能である。

Claims

請求の範囲
[1] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対し て略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域 と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか 1つを基準撮 像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演 算部と、
前記基準撮像信号以外の撮像信号において視差により欠落する像を含む可能性 力 Sある領域の画素から得られる画素信号を前記基準撮像信号力 削除して得られる 有効画素信号を出力する有効画素領域補正部とを備えたことを特徴とする撮像装置
[2] 前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算 された視差量とに基づいて、前記複数の撮像信号を補正して合成することにより合成 画像を生成して出力する画像合成部をさらに備えた、請求項 1に記載の撮像装置。
[3] 前記有効画素領域補正部から出力された有効画素信号と前記視差演算部で演算 された視差量とに基づいて、被写体までの距離を算出する距離算出部をさらに備え た、請求項 1に記載の撮像装置。
[4] 前記有効画素領域補正部が、視差により欠落する像を含む可能性がある領域の範 囲を、最短被写体距離にある被写体に対する視差量から求める、請求項:!〜 3のい ずれか一項に記載の撮像装置。
[5] 前記複数の撮像領域が、縦 2列、横 2行に設けられた第 1〜第 4の撮像領域であり 前記視差演算部は、前記第 1の撮像領域から出力される撮像信号を基準撮像信号 とし、
前記有効画素領域補正部は、前記第 1の撮像領域に横方向において隣接する第 2の撮像領域から出力される第 2の撮像信号が前記基準撮像信号に対して有する視 差の方向の正方向に位置する辺と、前記第 1の撮像領域に縦方向において隣接す る第 3の撮像領域力 出力される第 3の撮像信号が前記基準撮像信号に対して有す る視差の方向の正方向に位置する辺の画素から得られる画素信号を、前記基準撮 像信号力 削除する、請求項 1〜4のいずれか一項に記載の撮像装置。
[6] 前記第 1〜第 4の撮像領域において対角方向に配置された第 1の撮像領域と第 4 の撮像領域とが同じ波長領域に感度を有し、第 2の撮像領域および第 3の撮像領域 は、前記第 1および第 4の撮像領域とは異なり、かつ互いに異なる波長領域に感度を 有し、
前記視差演算部は、前記第 1の撮像領域から出力される撮像信号を基準撮像信号 とし、前記第 4の撮像領域から出力される第 4の撮像信号が前記基準撮像信号に対 して有する視差量を求め、当該視差量をベクトル分解することにより、前記第 2の撮 像信号が前記基準撮像信号に対して有する視差量と、前記第 3の撮像信号が前記 基準撮像信号に対して有する視差量とをそれぞれ求める、請求項 5に記載の撮像装 置。
[7] 前記第 1および第 2の撮像領域が緑の波長領域に感度を有し、前記第 2および第 3 の撮像領域が赤および青の波長領域にそれぞれ感度を有する、請求項 6に記載の 撮像装置。
[8] 前記基準撮像信号にぉレ、て、前記基準撮像信号以外の撮像信号にぉレ、て視差に より欠落する像を含む可能性がある領域をブロックに分割し、各ブロックについて視 差量を求め、求められた視差量に基づいて、当該ブロックが前記基準撮像信号以外 の撮像信号において実際に欠落するか否力を判定する欠落判定部をさらに備え、 前記有効画素領域補正部は、前記欠落判定部によって欠落しないと判定されたブ ロックの画素を前記有効画素信号に含める、請求項 1〜7のいずれか一項に記載の 撮像装置。
[9] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、
前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対し て略垂直な受光面をそれぞれ備え、撮像信号をそれぞれ出力する複数の撮像領域 と、
前記複数の撮像領域からそれぞれ出力される撮像信号のいずれか 1つを基準撮 像信号とし、当該基準撮像信号に対する他の撮像信号の視差量を演算する視差演 算部とを備え、
前記複数の撮像領域のうち、前記基準撮像信号を出力する基準撮像領域以外の 撮像領域が、基準撮像領域の受光面よりも大きレ、受光面を有することを特徴とする撮 像装置。
[10] 前記視差量に基づいて前記複数の撮像信号を補正して合成することにより合成画 像を生成して出力する画像合成部をさらに備えた、請求項 9に記載の撮像装置。
[11] 前記基準撮像信号と前記視差演算部で演算された視差量とに基づいて、被写体ま での距離を算出する距離算出部をさらに備えた、請求項 9に記載の撮像装置。
[12] 前記基準撮像領域以外の撮像領域のうち、前記基準撮像領域に隣接する撮像領 域は、前記基準撮像領域と比較して、前記基準撮像領域に隣接する辺に対向する 辺側に受光面が拡大されており、前記基準撮像領域に対角配置された撮像領域は 、前記基準撮像領域と比較して、前記基準撮像領域に遠い 2辺側に受光面が拡大さ れている、請求項 9〜： 11のいずれか一項に記載の撮像装置。
PCT/JP2007/055817 2006-03-22 2007-03-22 撮像装置 WO2007119468A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007543642A JP4102854B2 (ja) 2006-03-22 2007-03-22 撮像装置
EP07739260A EP2001222A4 (en) 2006-03-22 2007-03-22 IMAGING DEVICE
US12/280,733 US8471918B2 (en) 2006-03-22 2007-03-22 Imaging device with plural imaging regions and parallax computing portion
CN2007800057934A CN101385332B (zh) 2006-03-22 2007-03-22 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-079256 2006-03-22
JP2006079256 2006-03-22

Publications (1)

Publication Number Publication Date
WO2007119468A1 true WO2007119468A1 (ja) 2007-10-25

Family

ID=38609252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055817 WO2007119468A1 (ja) 2006-03-22 2007-03-22 撮像装置

Country Status (6)

Country Link
US (1) US8471918B2 (ja)
EP (1) EP2001222A4 (ja)
JP (1) JP4102854B2 (ja)
KR (1) KR20080106184A (ja)
CN (2) CN101834988B (ja)
WO (1) WO2007119468A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619183B2 (en) 2008-01-10 2013-12-31 Sharp Kabushiki Kaisha Image pickup apparatus and optical-axis control method
JP2015222200A (ja) * 2014-05-22 2015-12-10 日本電信電話株式会社 画像処理方法及び画像処理システム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5028154B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US7924409B2 (en) * 2008-02-18 2011-04-12 Panasonic Corporation Rangefinder and range finding method
JP4529010B1 (ja) * 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
DE102010041937A1 (de) * 2010-10-04 2012-04-05 Robert Bosch Gmbh Optische Abschirm-Vorrichtung zum Trennen von optischen Pfaden
CN103562768A (zh) * 2011-06-01 2014-02-05 柯尼卡美能达株式会社 复眼单元
US9036059B2 (en) * 2011-11-01 2015-05-19 Sony Corporation Imaging apparatus for efficiently generating multiple forms of image data output by an imaging sensor
CN102780907A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种调节3d视频视差的方法
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
WO2015001992A1 (ja) * 2013-07-05 2015-01-08 コニカミノルタ株式会社 複眼撮像装置
US9332235B2 (en) * 2013-12-10 2016-05-03 Visera Technologies Company Limited Imaging capture apparatus having plurality of image sensors generating respective image signals based on emitted light areas
US20150281601A1 (en) * 2014-03-25 2015-10-01 INVIS Technologies Corporation Modular Packaging and Optical System for Multi-Aperture and Multi-Spectral Camera Core
JP6408817B2 (ja) * 2014-07-22 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
CN107146797B (zh) 2017-04-28 2020-03-27 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158929A (ja) * 2000-11-16 2002-05-31 Canon Inc 固体撮像素子、固体撮像装置及び撮像システム
JP3397758B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4398017B2 (ja) * 1998-10-07 2010-01-13 オリンパス株式会社 測距装置
US6882368B1 (en) 1999-06-30 2005-04-19 Canon Kabushiki Kaisha Image pickup apparatus
US6952228B2 (en) 2000-10-13 2005-10-04 Canon Kabushiki Kaisha Image pickup apparatus
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
FR2861207B1 (fr) * 2003-10-15 2006-02-17 St Microelectronics Sa Adaptateur d'images a traitement d'image par tuiles, et procede utilisant un tel adaptateur
CN100515040C (zh) * 2003-10-22 2009-07-15 松下电器产业株式会社 成像装置
US7924327B2 (en) * 2003-10-22 2011-04-12 Panasonic Corporation Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7106526B2 (en) * 2004-04-21 2006-09-12 Matsushita Electric Industrial Co., Ltd. Thin imaging apparatus, a thin camera, and an imaging method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3397758B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
JP2002158929A (ja) * 2000-11-16 2002-05-31 Canon Inc 固体撮像素子、固体撮像装置及び撮像システム
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2001222A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619183B2 (en) 2008-01-10 2013-12-31 Sharp Kabushiki Kaisha Image pickup apparatus and optical-axis control method
JP2015222200A (ja) * 2014-05-22 2015-12-10 日本電信電話株式会社 画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
US20090002505A1 (en) 2009-01-01
US8471918B2 (en) 2013-06-25
KR20080106184A (ko) 2008-12-04
CN101385332A (zh) 2009-03-11
JPWO2007119468A1 (ja) 2009-08-27
CN101834988A (zh) 2010-09-15
JP4102854B2 (ja) 2008-06-18
EP2001222A2 (en) 2008-12-10
EP2001222A9 (en) 2009-03-25
CN101385332B (zh) 2010-09-01
CN101834988B (zh) 2012-10-17
EP2001222A4 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
WO2007119468A1 (ja) 撮像装置
CN109104599B (zh) 距离信息生成装置及方法、摄像设备、移动单元和介质
TW201421145A (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
KR20150015285A (ko) 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
CN101680756A (zh) 复眼摄像装置、测距装置、视差算出方法以及测距方法
JP2003007994A (ja) 固体撮像素子、立体カメラ装置及び測距装置
JP6800650B2 (ja) 信頼度生成装置、信頼度生成方法、および撮像装置
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
JP2013190734A (ja) 焦点検出装置および撮像装置
US11165984B2 (en) Camera system with complementary pixlet structure
JP2013024653A (ja) 距離測定装置及びプログラム
US9645290B2 (en) Color filter array and solid-state image sensor
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
CN116668665A (zh) 测量装置、移动装置、测量方法和存储介质
JP2017158123A (ja) 信号処理装置および撮像装置
KR102057160B1 (ko) 제어장치, 촬상장치, 및 제어방법
US9386207B2 (en) Image-capturing apparatus
WO2012153504A1 (ja) 撮像装置および撮像装置の制御プログラム
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US20210258522A1 (en) Camera system with complementary pixlet structure
JP5338118B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2011182325A (ja) 撮像装置
JP2017083817A (ja) ズレ量取得装置、撮像装置、およびズレ量取得方法
JP6442911B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム
CN117406181A (zh) 测距装置的校准方法、测距装置和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2007543642

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07739260

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 200780005793.4

Country of ref document: CN

Ref document number: 1020087020114

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 12280733

Country of ref document: US

Ref document number: 1837/MUMNP/2008

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2007739260

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE