WO2012169318A1 - 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 - Google Patents
立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 Download PDFInfo
- Publication number
- WO2012169318A1 WO2012169318A1 PCT/JP2012/062276 JP2012062276W WO2012169318A1 WO 2012169318 A1 WO2012169318 A1 WO 2012169318A1 JP 2012062276 W JP2012062276 W JP 2012062276W WO 2012169318 A1 WO2012169318 A1 WO 2012169318A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixels
- image
- phase difference
- difference detection
- pixel
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims description 60
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims description 21
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000007792 addition Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- FYZYXYLPBWLLGI-AUOPOVQUSA-N Genipin 1-beta-gentiobioside Chemical compound C([C@H]1O[C@H]([C@@H]([C@@H](O)[C@@H]1O)O)O[C@@H]1OC=C([C@@H]2[C@H]1C(=CC2)CO)C(=O)OC)O[C@@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1O FYZYXYLPBWLLGI-AUOPOVQUSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Definitions
- the present invention relates to an imaging device having a structure suitable for capturing a stereoscopic moving image and a planar moving image, and an imaging device mounted on the imaging device.
- Patent Document 1 As a conventional imaging device that captures a stereoscopic image (hereinafter also referred to as a 3D image), for example, there is a device described in Patent Document 1 below.
- This conventional imaging apparatus includes two cameras, and can capture the same subject with left and right cameras and reproduce a stereoscopic image of the subject.
- the conventional stereoscopic image capturing apparatus needs to prepare two cameras, there is a problem that the cost is increased and the apparatus is further increased in size.
- Patent Document 2 a conventional technique described in Patent Document 2 below has been proposed as an imaging apparatus that can capture a stereoscopic image of a subject with a single camera.
- This stereoscopic image pickup apparatus divides a plurality of pixels (photoelectric conversion elements: photodiodes) two-dimensionally arranged on the surface of a solid-state image pickup device into two groups, and light from an object viewed from the right side enters one group. The other group is made to receive light viewed from the left side of the subject.
- a single camera can capture a stereoscopic image of a subject, but it cannot capture a two-dimensional image (planar image, hereinafter also referred to as a 2D image) of the subject.
- a two-dimensional image plane image, hereinafter also referred to as a 2D image
- Patent Documents 1 and 2 There have been many demands for imaging devices in recent years, and both 3D moving images and 2D moving images that are difficult to realize with the prior art described in Patent Documents 1 and 2 are not limited to low cost and downsizing. A video shooting function that can be used is required.
- An object of the present invention is to provide an image pickup device that can suitably process both 3D moving image shooting and 2D moving image shooting, and an image pickup apparatus mounted on the image pickup device.
- the image pickup apparatus of the present invention includes an image pickup device driving unit that reads a picked-up image signal of the phase difference detection pixel when picking up a stereoscopic moving image.
- This imaging apparatus is characterized in that when a planar moving image is captured, a captured image signal of the pixels other than the phase difference detection pixels is read out.
- FIG. 1 is an external perspective view of an imaging apparatus (digital camera) according to an embodiment of the present invention. It is a functional block block diagram of the imaging device shown in FIG. It is a surface schematic diagram of the solid-state image sensor shown in FIG. It is explanatory drawing when a 3D moving image is imaged with the solid-state image sensor shown in FIG. It is principle explanatory drawing which can image
- FIG. 9 is an explanatory diagram when horizontal pixel addition is further performed by the readout method of FIG. 8.
- FIG. 1 is an external perspective view of an imaging apparatus according to an embodiment of the present invention.
- a lens barrel 13 that houses a photographing lens 12 is attached to a front portion of a camera housing 11 so as to be retractable.
- a shutter release button 14 is provided at the right end of the upper surface of the camera casing 11, and a liquid crystal display section (display section 28 in FIG. 2) not shown in FIG. 1 is provided at the back of the camera casing 11. .
- FIG. 2 is a functional block configuration diagram of the imaging apparatus 10 shown in FIG.
- the imaging device 10 includes a photographic lens 12 and a CMOS solid-state imaging device 21 that is placed on the back of the photographic lens 12 and disposed on the imaging plane thereof.
- the photographing lens 12 and the solid-state solid-state imaging device 21 are driven by instructions from a system control unit (CPU) 29 described later.
- CPU system control unit
- the solid-state imaging device 21 is a CMOS type image sensor in this embodiment, but may be a CCD type or other type of solid-state imaging device.
- the imaging apparatus 10 of the present embodiment further includes a digital signal processing unit 26 that takes in a digital captured image signal output from the solid-state image sensor 21 and performs interpolation processing, white balance correction, RGB / YC conversion processing, and the like, and a captured image signal
- a compression / decompression processing unit 27 that compresses image data in JPEG format or the like
- a display unit 28 that displays menus and displays through images and captured images, and overall control of the entire digital camera
- a bus 40 connected to each other.
- an operation unit 33 for inputting an instruction from the user is connected to the system control unit 29, and a flash 25 that emits light in response to an instruction from the system control unit 29 is connected.
- the imaging device 10 captures a high-definition 2D still image of a subject, a 2D moving image or a 3D moving image with a resolution lower than that of the high-definition still image based on a selection instruction from the operation unit 33 of the user. Then, based on these selection instructions, drive control and image processing of the solid-state imaging device 21 are performed.
- FIG. 3 is a schematic diagram of the surface of the solid-state imaging device 21, showing a pixel array and a color filter array on each pixel.
- the pixels 2 are arranged in a square lattice pattern, and the color filters RGB are arranged in a Bayer array thereon. On the color filter RGB, microlenses (not shown) are stacked corresponding to individual pixels.
- the pixels 2 existing at discrete and periodic positions are used as phase difference detection pixels.
- two pixels that are two pixels apart in the vertical direction are used as a pair pixel, and the phase difference is obtained by decentering the light shielding film openings 2a and 2b in opposite directions with respect to the center of each pixel in one and the other of the pair of pixels.
- a detection pixel is constructed.
- a normal pixel (a pixel that is not a phase difference detection pixel) has a light-shielding film opening 1 having substantially the same size as the light-receiving surface of the pixel, as indicated by a dotted rectangular frame in the upper left of FIG.
- the light shielding film openings 2a and 2b of the paired pixels of the phase difference detection pixel are smaller than the light shielding film opening 1, and in the example shown in the drawing, the light shielding film opening 2a opens only to the left half with respect to the opening 1.
- the opening 2b has a configuration in which only the right half of the opening 1 is opened.
- FIG. 3 only one light-shielding film opening 1 is shown, but it is also provided in other normal pixels (the illustration is omitted because the figure becomes complicated).
- the opening center position of the light shielding film opening 2a is eccentric to the left with respect to the center of the pixel
- the opening center position of the light shielding film opening 2b is eccentric to the right with respect to the center of the pixel.
- a lens 12 is disposed in front of the solid-state imaging device 21, and light passing through the lens 12 and received by the pixel through the light-shielding film opening 2 a is on the left side of the lens 12.
- the light coming from the direction of viewing the subject with the left eye is the main light
- the light received by the pixel through the light shielding film opening 2b is the light from the right side of the lens 12, that is, the subject with the right eye.
- the light that comes from the direction you see is the main.
- the captured image signal of the pixel having the light shielding film opening 2a among the paired pixels constituting the phase difference detection pixel becomes an image obtained by viewing the subject with the left eye, and the captured image signal of the pixel having the light shielding film opening 2b represents the subject.
- the image is seen with the right eye. Therefore, a combination of the two makes it possible to reproduce a stereoscopic image of the subject.
- One pixel 3 (a first pixel, for example, a pixel having a light shielding film opening 2a) constituting a pair pixel of the phase difference detection pixel of the present embodiment has a phase difference of one pixel every three pixels in both the vertical direction and the horizontal direction.
- the other pixel 4 (second pixel, for example, a pixel having the light shielding film opening 2b) of the paired pixel is provided 2 pixels below the first pixel 3 in the vertical direction (or in the horizontal direction).
- the first pixel constituting the pair pixel of the phase difference detection pixel is denoted by reference numeral 3
- the second pixel is denoted by reference numeral 4
- a normal pixel having the light shielding film opening 1 that is not the phase difference detection pixel is denoted by reference numeral 2.
- FIG. 4 shows a pair of pixels for reading a picked-up image signal when a three-dimensional moving image is picked up by the solid-state image pickup device 21 shown in FIG. 3, and a phase difference indicated by a thick line frame in the figure by reading out pixels both horizontally and vertically. Only the captured image signal detected by the detection pixels 3 and 4 is read out.
- Photographing is performed by, for example, rolling shutter driving, and when reading a picked-up image signal from the solid-state image pickup device 21, reading is performed in order of the horizontal lines only from the horizontal line where the phase difference detection pixels 3 and 4 are present.
- the captured image signal of the first pixel 3 (pixel mounted with the light shielding film opening 2a) is image-processed as image data of the subject viewed with the left eye, and the second pixel (pixel mounted with the light shielding film opening 2b) is imaged.
- the image signal is subjected to image processing as image data of the subject viewed with the right eye, the subject image after image processing is associated, and the captured image data for each frame is recorded in the memory, thereby recording the stereoscopic moving image of the subject. be able to. Of course, it can also be recorded as a stereoscopic still image.
- the captured image signal for the left eye and the captured image signal for the right eye read from the solid-state image sensor 21 are signals read from the Bayer array pixels, the image processing is performed for the existing Bayer array. An image processing engine can be used, and cost reduction can be achieved.
- FIG. 5 is a diagram for explaining the principle that a stereoscopic image of a subject can be picked up by a phase difference detection pixel pair.
- the phase difference detection pixel pairs are arranged at a required interval in the horizontal direction, and a change in the captured image signal obtained through the light shielding film opening 2a is defined as a signal f (x), and a change in the captured image signal obtained through the light shielding film opening 2b is represented as a signal Let g (x).
- the signal f (x) and the signal g (x) are obtained as a result of receiving incident light from the same subject on the same horizontal line.
- the signals f (x) and g (x) have the same waveform shifted in the horizontal direction.
- the amount of phase difference. This phase difference amount is a parallax according to the distance to the subject, and the right-eye captured image signal and the left-eye captured image signal having this phase difference amount are read out from the solid-state image sensor 21, so An image can be generated.
- the imaging apparatus 10 can capture 3D moving images, but some users may prefer 2D moving images.
- the monitor or television receiver to be played back is not for 3D image playback and only supports 2D images.
- it may be required to simultaneously capture both a 3D moving image and a 2D moving image.
- the imaging apparatus 10 of the present embodiment is equipped with not only 3D but also a 2D moving image shooting function.
- FIG. 6 is an explanatory diagram of the first embodiment for capturing a 2D moving image.
- phase difference detection pixels are provided at intervals of 5 pixels.
- the pixel array and the color filter array are the same as those in FIGS.
- normal pixels surrounded by a thick black frame shown in FIG. 6 are used when capturing a 2D moving image.
- a moving image is generated using the addition average value of the captured image signals detected by each pixel 2 of the normal pixel pair. By using the addition average value, S / N is improved.
- each signal arrangement position becomes an addition centroid position of a pair pixel, and a position closest to each pixel position of the 3D image. For this reason, 3D moving images and 2D moving images having the same resolution and the same resolution can be obtained.
- the 2D moving image is captured using the adjacent pixels on the lower side in the vertical direction with respect to the phase difference detection pixels 3 and 4. It may be used. Alternatively, the pixel adjacent to the right in the horizontal direction of the phase difference detection pixels 3 and 4 may be used, or further, the pixel adjacent to the left in the horizontal direction of the phase difference detection pixels 3 and 4 may be used. Regardless of which adjacent pixel is used, the color arrangement of signals read from the pixel arrangement is a Bayer arrangement, so that an image processing engine for the Bayer arrangement can be used, and the cost can be reduced.
- 3D moving image data and 2D moving image data can be read from the same horizontal line from the solid-state imaging device 21. It is possible to simultaneously read out the 3D moving image and the 2D moving image in a short time.
- FIG. 7 is a flowchart showing a processing procedure when performing 2D moving image shooting according to the second embodiment.
- the 2D moving image is generated using the addition average value of the normal pixel pair.
- the present invention is not limited to this, and the 2D moving image is generated using only the captured image signal of one of the paired pixels.
- the 2D moving image may be generated by adding signals of both captured image signals of the paired pixels outside the solid-state imaging device. It is better to decide which one to use depending on the brightness of the shooting scene.
- the brightness of the photographic scene is determined in step S1, and if the brightness is equal to or greater than the predetermined threshold value ⁇ , the process proceeds to step S2, and the captured image signal of one of the paired pixels is employed, or the pair The addition average value of the captured image signals of the two pixels of the pixels is adopted, and the process proceeds to step S4.
- step S1 determines whether the scene brightness is darker than the threshold value ⁇ . If the result of determination in step S1 is that the scene brightness is darker than the threshold value ⁇ , the process proceeds to step S3 to increase the sensitivity, and the captured image signals of the two pixels of the paired pixels are added to step S4. In step S4, 2D moving image data is generated, and this process ends.
- a 2D moving image with a wide dynamic range can be obtained by shooting and adding the captured image signals of both.
- FIG. 8 is a diagram for explaining a method of reading a captured image signal for 2D moving images from a solid-state image sensor according to the third embodiment.
- a 2D moving image having the same resolution as that of the 3D moving image has been described.
- a 2D moving image having an increased horizontal resolution may be desired.
- an HD quality moving image having an aspect ratio of 16: 9 is desired.
- the aspect ratio of an image captured by the imaging apparatus 10 is normally 4: 3, but there are cases where it is desired to view a moving image on a large screen of a large television receiver having an aspect ratio of 16: 9. In such a case, the reading method of the following third embodiment may be adopted, and selection is made on the menu screen of the imaging apparatus 10.
- a pixel on a horizontal line including only normal pixels indicated by a thick black frame is selected, and a captured image signal for 2D images is read out.
- the pixel is not thinned out in the horizontal line
- the vertical line is a pixel without reading the horizontal line in which the phase difference detection pixels 3 and 4 exist and the horizontal line immediately above the phase difference detection pixel 3 in the vertical direction. Thin out.
- Shooting is performed by, for example, rolling shutter driving, and when reading a picked-up image signal from the solid-state image pickup device 21, reading is performed in the order of horizontal lines.
- the signal color arrangement becomes a Bayer arrangement. Instead of adding two pixels of the same color in the vertical direction, an average addition value may be taken. How to do this may be determined by the brightness of the shooting scene as described in the embodiment of FIG.
- the horizontal line immediately above the phase difference detection pixel 3 is not used as a readout line, but the captured image signal of the pixel 2 may be read out using this horizontal line as a readout line.
- the readout line is composed of three rows of GBGB... And three rows of RGRG..., Two pixels are added as an example in FIG. It is also possible to increase the sensitivity further by adding.
- FIG. 8 the same-color two-pixel addition in the vertical direction (three-pixel addition in the modified example) has been described, but the same-color pixel addition in the horizontal direction may be performed.
- An example of addition is shown in FIG.
- the color filter array at the final stage of FIG. 9 is BGBG...
- 5 pixels of 5 G pixels are added is shown.
- the signal position of the added G pixel is the added barycentric position of the five G pixels.
- the 5-pixel addition of B pixels is provided so as to partially overlap the 5-pixel addition range of G pixels.
- the color filter array is GRGR...
- 5 pixel addition of R pixels and 5 pixel addition of G pixels are performed. In this way, since horizontal pixels are added, the occurrence of jaggies is reduced.
- the imaged image signals of all the pixels are read out. Thereby, high-definition images for the number of pixels are obtained.
- the captured image signals of the phase difference detection pixels 3 and 4 are corrected by interpolation using the data of the surrounding normal pixel 2 of the surrounding color, or the captured image signals of the phase difference detection pixels 3 and 4 are corrected.
- the gain of the amplification process performed by the digital signal processing unit 26 in FIG. 2 is corrected to be higher than the gain for the captured image signal of the normal pixel 2.
- the plurality of pixels are arranged in a square lattice pattern, the color filters are Bayer-arrayed, and the first imaged image signal for the right eye or the left eye is acquired.
- a pair of phase difference detection pixels and a second phase difference detection pixel for acquiring the other captured image signal for the right eye or the left eye are provided at discrete and periodic positions in the square lattice shape,
- the pair of the second phase difference detection pixels is provided in a pixel having the color filter of the same color separated by two pixels. Thereby, the color filter array of the phase difference detection pixel pair can be a Bayer array.
- the imaging apparatus includes an imaging element driving unit that reads a captured image signal of the phase difference detection pixel when capturing a stereoscopic moving image.
- the imaging apparatus of the embodiment is characterized in that when a planar moving image is captured, a captured image signal of the pixels other than the phase difference detection pixels is read out.
- the imaging apparatus uses a captured image signal of any one of the pixels other than the phase difference detection pixel and the pixels having the same color filter adjacent to each other, or the plurality of pixels.
- An image processing unit that generates the planar moving image using an average value of the captured image signals of the pixels is provided. Thereby, a 2D moving image can be obtained quickly, and a 2D moving image with a high S / N can be obtained.
- the imaging apparatus when the shooting scene is dark, adds the captured image signals of pixels having a plurality of adjacent color filters that are adjacent to each other among the pixels other than the phase difference detection pixels, so that the planar moving image An image processing unit for generating the image is provided. Thereby, a highly sensitive 2D moving image can be obtained.
- the imaging apparatus is characterized in that the planar moving image is captured simultaneously with the stereoscopic moving image. Thereby, two types of moving images can be obtained in a short time.
- planar moving image of the imaging apparatus is characterized in that an image having an aspect ratio of 16: 9 is obtained by performing only pixel thinning in the vertical direction without performing pixel thinning in the horizontal direction of the image sensor. .
- This makes it possible to obtain a 2D moving image that can be viewed on a large screen of a television receiver having an aspect ratio of 16: 9.
- the imaging apparatus when capturing a high-definition planar still image, the imaging apparatus according to the embodiment reads a captured image signal from all pixels of the image sensor and corrects the captured image signal of the phase difference detection pixel to generate a high-definition planar still image. It is characterized by generating. Since normal pixels are arranged around the phase difference detection pixels, correction can be performed easily and reliably, and a high-definition and high-quality planar still image can be easily obtained.
- the imaging apparatus can capture not only a still image but also a 3D moving image and a 2D moving image, and is useful as a digital camera or the like with a moving image shooting function.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
複数の画素2が正方格子状に配列形成され、カラーフィルタRGBがベイヤ配列され、右眼用の撮像画像信号を取得する第1の位相差検出画素3と左眼用の撮像画像信号を取得する第2の位相差検出画素4とのペアが正方格子状の中の離散的,周期的位置に設けられ、正方格子状の各画素のうち水平及び垂直方向に2n+1(n=1,2,…)個間隔に第1の位相差検出画素3が設けられ、該第1の位相差検出画素3に対して2画素離れた同色のカラーフィルタを持つ画素にペアとなる第2の位相差検出画素4が設けられる。
Description
本発明は、立体動画像及び平面動画像を撮像するのに好適な構造の撮像素子及びこの撮像素子に搭載した撮像装置に関する。
立体画像(以下、3D画像ともいう。)を撮像する従来の撮像装置として、例えば、下記の特許文献1記載のものがある。この従来の撮像装置は、2台のカメラを備え、同じ被写体を左右のカメラで撮影し、被写体の立体画像を再生できる様になっている。しかし、従来の立体画像撮像装置は、カメラを2台用意する必要があるため、コストが嵩み、更に装置も大型化してしまうという問題がある。
そこで、1台のカメラで被写体の立体画像を撮影できる撮像装置として、下記の特許文献2記載の従来技術が提案されている。この立体画像撮像装置は、固体撮像素子表面に二次元配列された複数の画素(光電変換素子:フォトダイオード)を2つのグループに分け、一方のグループには被写体を右側から見た光が入射し、他方のグループには被写体を左側から見た光が入射する様にしている。
この従来技術によれば、1台のカメラ(撮像素子)で被写体の立体画像を撮像できるが、被写体の二次元画像(平面画像、以下、2D画像ともいう。)を撮影することができないという問題がある。
近年の撮像装置に対する要求は多く、低価格,小型化はいうに及ばず、上記の特許文献1,2に記載の従来技術では実現が困難な、3Dの動画像及び2Dの動画像を共に撮影することができる動画撮影機能が要求される様になっている。
本発明の目的は、3Dの動画撮影と2Dの動画撮影の両方を好適に処理できる撮像素子及びこの撮像素子に搭載した撮像装置を提供することにある。
本発明の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられていることを特徴とする。
本発明の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。この撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。
本発明によれば、1つの撮像素子で高品質な立体動画像と平面動画像の両方を撮像することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置の外観斜視図である。この単眼の撮像装置(デジタルカメラ)10は、カメラ筐体11の前部に、撮影レンズ12を収納するレンズ鏡筒13が沈胴可能に取り付けられている。カメラ筐体11の上面右端部にはシャッタレリーズボタン14が設けられており、カメラ筐体11の背部には、図1では図示しない液晶表示部(図2の表示部28)が設けられている。
図2は、図1に示す撮像装置10の機能ブロック構成図である。この撮像装置10は、撮影レンズ12と、撮影レンズ12の背部に置かれその結像面に配置されたCMOS型の固体撮像素子21とを備える。撮影レンズ12及び固体固体撮像素子21は、後述のシステム制御部(CPU)29からの指示によって駆動される。
固体撮像素子21は、本実施形態ではCMOS型のイメージセンサであるが、CCD型やその他の形式の固体撮像素子でも良い。
本実施形態の撮像装置10は更に、固体撮像素子21から出力されるデジタルの撮像画像信号を取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等を行うデジタル信号処理部26と、撮像画像信号をJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部(CPU)29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェース(I/F)部31と、これらを相互に接続するバス40とを備える。
更に、システム制御部29には、ユーザからの指示入力を行う操作部33が接続され、システム制御部29からの指示によって発光するフラッシュ25が接続される。
撮像装置10は、被写体の高精細な2D静止画像や,高精細静止画像に比べて解像度を落とした2Dの動画像や3Dの動画像を、ユーザの操作部33からの選択指示に基づいて撮影し、これらの選択指示に基づいて、固体撮像素子21の駆動制御や画像処理を行う。
図3は、固体撮像素子21の表面模式図であり、画素配列と各画素上のカラーフィルタ配列を示している。個々の正方形2が、半導体基板上に形成された各画素(光電変換素子)を示しており、その上に記載されたR,G,Bは、各画素2上に積層された三原色カラーフィルタの色(R=赤、G=緑、B=青)を示している。信号読出回路や垂直走査回路,水平走査回路等は、通常のCMOS型イメージセンサと同じで良いため、図示は省略している。
本実施形態の固体撮像素子21は、各画素2が正方格子状に配列形成されており、その上に、カラーフィルタRGBがベイヤ配列されている。カラーフィルタRGBの上には、図示省略のマイクロレンズが個々の画素対応に積層されている。この固体撮像素子21では、離散的,周期的位置に存在する画素2を位相差検出画素としている。本実施形態では、垂直方向に2画素離れた2つの画素をペア画素とし、ペア画素の一方と他方とで遮光膜開口2a,2bを夫々の画素中心に対して反対方向に偏心させて位相差検出画素が構成される。
通常の画素(位相差検出画素でない画素)には、図3の左上に点線矩形枠で記載した様に、当該画素の受光面と略同一の大きさの遮光膜開口1が開口されている。これに対し、位相差検出画素のペア画素の遮光膜開口2a,2bは、遮光膜開口1より小さく、図示する例では遮光膜開口2aは開口1に対して左半分しか開口せず、遮光膜開口2bは開口1に対して右半分しか開口しない構成となっている。なお、図3では遮光膜開口1を1箇所だけ図示しているが、他の通常画素にも設けられている(図が煩雑になるため、図示は省略している。)。
遮光膜開口2aの開口中心位置は、当該画素の中心に対して左側に偏心し、遮光膜開口2bの開口中心位置は、当該画素の中心に対して右側に偏心して設けられている。図1に示す様に、固体撮像素子21の前段にはレンズ12が配置されており、このレンズ12を通ることで、遮光膜開口2aを通って画素に受光される光は、レンズ12の左側からの光、すなわち被写体を左眼で見た方向から来た光が主となり、遮光膜開口2bを通って画素に受光される光は、レンズ12の右側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。
即ち、位相差検出画素を構成する各ペア画素のうち遮光膜開口2aを持つ画素の撮像画像信号が被写体を左眼で見た画像となり、遮光膜開口2bを持つ画素の撮像画像信号が被写体を右眼で見た画像となる。このため、両者を組み合わせることで、被写体の立体画像を再生することができる。
本実施形態の位相差検出画素のペア画素を構成する一方の画素3(第1画素、例えば遮光膜開口2aを持つ画素)は、垂直方向,水平方向共に、3画素毎に1画素を位相差検出画素とし、ペア画素の他方の画素4(第2画素、例えば遮光膜開口2bを持つ画素)を第1画素3に対して垂直方向(水平方向でも良い)2画素下に設けている。しかし、一般的に、水平方向,垂直方向共に2n+1毎(n=1,2,…)に第1画素3を設けても良い。この様に、位相差検出画素ペアの配置位置を決めることで、位相差検出画素ペアのカラーフィルタ配列もRGB三原色を有したベイヤ配列となる。
なお、以下、位相差検出画素のペア画素を構成する第1画素を符号3、第2画素を符号4で示し、位相差検出画素でない遮光膜開口1を持つ通常の画素を符号2で示すことにする。
図4は、図3に示す固体撮像素子21で立体動画像を撮像するときに撮像画像信号を読み出すペア画素を示しており、水平,垂直共に画素間引き読み出しにより、図に太線枠で示す位相差検出画素3,4が検出した撮像画像信号だけを読み出す。
撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、位相差検出画素3,4が存在する水平ラインだけから、水平ライン順に読み出す。
そして、第1画素3(遮光膜開口2aを搭載した画素)の撮像画像信号を左眼で見た被写体の画像データとして画像処理し、第2画素(遮光膜開口2bを搭載した画素)の撮像画像信号を右眼で見た被写体の画像データとして画像処理し、画像処理後の被写体画像を関連付けて、各フレーム毎の撮像画像データをメモリに記録することで、被写体の立体動画像を記録することができる。勿論、立体の静止画像としても記録できる。
固体撮像素子21から読み出した左眼用の撮像画像信号や右眼用の撮像画像信号は、夫々、ベイヤ配列画素から読み出された信号となるため、上記画像処理は、既存のベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることができる。
図5は、位相差検出画素ペアで被写体の立体画像を撮像できる原理を説明する図である。位相差検出画素ペアが水平方向に所要間隔で並び、遮光膜開口2aを通して得られた撮像画像信号の変化を信号f(x)とし、遮光膜開口2bを通して得られた撮像画像信号の変化を信号g(x)とする。
信号f(x)と信号g(x)とは、同一水平線上の同一被写体からの入射光を受光した結果得られるもので、互いに水平方向にずれた同一波形となり、両者間のズレ量が位相差量となる。この位相差量は、被写体までの距離に応じた視差であり、この位相差量を持った右眼用撮像画像信号及び左眼用撮像画像信号を固体撮像素子21から読み出すことで、被写体の立体画像を生成することが可能となる。
次に、撮像装置10を用いて2Dの動画像を撮影する場合を説明する。前述した様に、この撮像装置10では、3Dの動画像を撮影することができるが、ユーザによっては2Dの動画像を好む場合もある。また、再生するモニタやテレビジョン受像機が3D画像再生用では無く、2D画像にしか対応しない場合もある。あるいは、3Dの動画像と2Dの動画像を同時に両方撮影することが要求されることもある。そこで、本実施形態の撮像装置10では、3Dのみならず2Dの動画像の撮影機能も搭載している。
図6は、2Dの動画像を撮影する第1実施形態の説明図である。本実施形態の固体撮像素子21では、5画素間隔で位相差検出画素を設けている。画素配列,カラーフィルタ配列は、図3,図4と同じである。本実施形態では、図6に示す太線黒枠で囲った通常画素を、2Dの動画像撮影時に用いる。
図6の太線黒枠で囲った画素は、水平方向,垂直方向共に5画素間隔(2n+1:n=2)に設けた位相差検出画素ペアの垂直方向下側に隣接する画素であり、通常画素2のペアとなる。本実施形態では、通常画素ペアの各々の画素2が検出した撮像画像信号の加算平均値を用いて、動画像を生成する。加算平均値を用いることで、S/Nが向上する。
3Dの動画像と2Dの動画像とを両方共に撮影する場合、位相差検出画素3,4が存在する画素ライン(水平ライン)と、2D動画像を撮影する通常画素ペア2が存在する画素ラインとの各撮像画像信号を読み出せば良い。これにより、3Dの動画像と2Dの動画像とを同時に撮影することができる。
2D動画像を生成するデータとして上記の加算平均値を用いると、その各信号配置位置はペア画素の加算重心位置となり、3D画像の各画素位置に最も近い位置となる。このため、同じ画像で同じ解像度の3D動画像と2D動画像とが得られる。
図6の実施形態では、位相差検出画素3,4に対して垂直方向下側の隣接画素を用いて2D動画像を撮像したが、位相差検出画素3,4の垂直方向上側の隣接画素を用いても良い。あるいは、位相差検出画素3,4の水平方向右隣の画素を用いても、更には、位相差検出画素3,4の水平方向左隣の画素を用いても良い。どの隣接画素を用いても、その画素配置から読み出される信号の色配置はベイヤ配列となるため、ベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることが可能となる。
水平方向右隣や左隣の通常画素2を用いて2D動画像を撮像する場合には、固体撮像素子21から3D動画像データと2D動画像データとを同一水平ラインから読み出すことができるため、短時間で3D動画像と2D動画像とを同時に読み出すことが可能となる。
図7は、第2実施形態に係る2D動画像撮影を行うときの処理手順を示すフローチャートである。図6の実施形態では、通常画素ペアの加算平均値を用いて2D動画像を生成したが、これに限るものではなく、ペア画素の一方の画素の撮像画像信号だけを用いて2D動画像を生成しても、ペア画素の両方の撮像画像信号を固体撮像素子外部で信号加算して2D動画像を生成しても良い。いずれとするかは、撮影シーンの明るさで決めるのが良い。
本実施形態では、ステップS1で撮影シーンの明るさを判定し、明るさが所定の閾値α以上の場合にはステップS2に進み、ペア画素の一方の画素の撮像画像信号を採用し、あるいはペア画素の2つ画素の撮像画像信号の加算平均値を採用してステップS4に進む。
ステップS1の判定の結果、シーンの明るさが閾値α未満で暗い場合には、高感度化を図るためにステップS3に進み、ペア画素の2つの画素の撮像画像信号を加算してステップS4に進み、ステップS4で、2D動画像データを生成してこの処理を終了する。
なお、3D動画像と2D動画像とを同時に撮影するのではなく、2D動画像だけを撮影する場合には、ダイナミックレンジの広い動画像を撮影することも可能である。画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整することで、水平ラインの異なるペア画素の一方の画素2の露光時間に対して他方の画素2の露光時間を短くして撮影を行い、両者の撮像画像信号を加算することで、ダイナミックレンジの広い2D動画像を得ることができる。
図8は、第3実施形態に係る2D動画像用の撮像画像信号を固体撮像素子から読み出す方法を説明する図である。第1,第2実施形態では、3D動画像と同じ解像度の2D動画像を生成する場合について述べたが、3D動画像とは別に、水平解像度を増やした2D動画像が欲しい場合がある。例えば、アスペクト比16:9のHD画質の動画像が欲しい場合がある。
撮像装置10で撮影する画像のアスペクト比は、通常は4:3であるが、動画像をアスペクト比16:9の大型テレビジョン受像機の大画面で観賞したい場合がある。この様な場合、次の第3実施形態の読み出し方法を採用すれば良く、撮像装置10のメニュー画面で選択する。
図8において、太線黒枠で示した通常画素だけを含む水平ラインの画素を選択して2D画像用の撮像画像信号を読み出す。この場合、水平ラインでは画素間引きはせずに、垂直ラインは、位相差検出画素3,4が存在する水平ラインと、位相差検出画素3の垂直方向直上に隣接する水平ラインを読まずに画素間引きする。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、水平ライン順に読み出す。
図8に示す読み出し方法だと、垂直方向に2画素ずつ同色画素の撮像画像信号を読み出すことになるため、垂直方向の同色2画素を画素加算すると、信号の色配列はベイヤ配列となる。垂直方向の同色2画素加算ではなく、加算平均値をとってもよい。どの様にするかは、図7の実施形態で説明したように、撮影シーンの明るさで決めれば良い。
この実施形態によれば、読出ラインにおける水平方向全ての通常画素2の撮像画像信号を利用して2D動画像を生成するため、偽色やジャギー等の画質劣化要因を抑えることが可能となる。
なお、図8に示す実施形態では、位相差検出画素3の直上の水平ラインを読出ラインとはしなかったが、この水平ラインも読出ラインとして画素2の撮像画像信号を読み出しても良い。この様にすると、読出ラインは、3行のGBGB…となるラインと3行のRGRG…となるラインとが交互に並ぶため、図8では2画素加算を例に説明したが、垂直方向3画素加算して更なる高感度化を図ることも可能となる。
図8では、垂直方向に同色2画素加算(変形例では3画素加算)を説明したが、水平方向の同色画素加算を行っても良い。加算例を図9に示す。図9の最終段のカラーフィルタ配列はBGBG…となっており、G画素の5個分を5画素加算する例を示している。加算G画素の信号位置は、5画素のG画素の加算重心位置となる。B画素の5画素加算は、G画素の5画素加算範囲と一部重複して設けることになる。同様に、読出ラインでカラーフィルタ配列がGRGR…となるラインでは、R画素の5画素加算やG画素の5画素加算を行う。この様に、水平方向の画素を加算するため、ジャギーの発生が少なくなる。
なお、この例では「5」画素加算として説明したが、2画素加算でも3画素加算でも良く、どの様な動画像解像度を得るかで決めることになる。画素加算数を幾つにするかは、図7で説明したように、撮影シーンの明るさで決めても良い。
この固体撮像素子21を用いて高精細な2Dの静止画像を撮影する場合には、全画素の夫々の撮像画像信号を読み出す。これにより、画素数分の高精細画像が得られる。この場合、位相差検出画素3,4の遮光膜開口2a,2bは、通常画素2の遮光膜開口1(図3)より狭いため感度が低い。そこで、位相差検出画素3,4の撮像画像信号を、周囲の同色通常画素2のデータを用いて補間演算して補正したり、あるいは、位相差検出画素3,4の撮像画像信号に対して図2のデジタル信号処理部26が行う増幅処理の増幅率を、通常画素2の撮像画像信号に対する増幅率より高くして補正する。
以上の様に、上述した実施形態によれば、3D画像を撮像する場合には、位相差検出画素の撮像画像信号だけを用いて画像処理し、静止画像でない2D画像を撮像する場合には、位相差検出画素以外の通常画素の撮像画像信号だけを用いて画像処理するため、両者を一緒に撮像し、両者を固体撮像素子21から読み出してから、画像処理にて区別し、別々の画像データとして記録メディアに保存することができる。また、2D動画像を撮像する場合には、撮影シーンの明るさに応じて画素加算数を制御できるため、所要感度の動画像を生成することができる。
また、上述した実施形態の様に、画素加算する場合に、加算重心位置を位相差検出画素の位置とすることで、画面内の位相差ムラを無くすことができ、高品質な動画像を得ることが可能となる。
以上述べた様に、実施形態の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられていることを特徴とする。これにより、位相差検出画素ペアのカラーフィルタ配列をベイヤ配列とすることができる。
また、実施形態の撮像素子は、上記の撮像素子であって、n=2であることを特徴とする。これにより、立体画像の解像度を最大にすることが可能となる。
また、実施形態の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。
また、実施形態の撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。
また、実施形態の撮像装置は、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか1つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、迅速に2D動画像を得ることができ、また、S/Nの高い2D動画像を得ることができる。
また、実施形態の撮像装置は、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、高感度な2D動画像を得ることができる。
また、実施形態の撮像装置は、前記平面動画像を前記立体動画像と同時に撮像することを特徴とする。これにより、2種類の動画像を短時間に得ることができる。
また、実施形態の撮像装置の前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とすることを特徴とする。これにより、アスペクト比16:9のテレビジョン受像機の大画面で観賞できる2D動画像を得ることが可能となる。
また、実施形態の撮像装置は、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成することを特徴とする。位相差検出画素の周囲には通常画素が配置されているため、補正が容易かつ確実にでき、高精細で高品質な平面静止画像を容易に得ることができる。
以上述べた実施形態によれば、ユーザの要求に応える動画像を短時間かつ低コストに取得することが可能となる。
本発明に係る撮像装置は、静止画像のみならず3D動画像と2D動画像を撮影することができ、動画撮影機能付のデジタルカメラ等として有用である。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2011年6月9日出願の日本特許出願(特願2011-129618)に基づくものであり、その内容はここに参照として取り込まれる。
本出願は、2011年6月9日出願の日本特許出願(特願2011-129618)に基づくものであり、その内容はここに参照として取り込まれる。
1 通常画素の遮光膜開口
2 画素(光電変換素子)
2a,2b 位相差検出画素の遮光膜開口
3,4 位相差検出画素
10 撮像装置
12 撮影レンズ
26 デジタル信号処理部
29 システム制御部
2 画素(光電変換素子)
2a,2b 位相差検出画素の遮光膜開口
3,4 位相差検出画素
10 撮像装置
12 撮影レンズ
26 デジタル信号処理部
29 システム制御部
Claims (9)
- 複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられている撮像素子。
- 請求項1に記載の撮像素子であって、n=2である撮像素子。
- 請求項1又は請求項2に記載の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備える撮像装置。
- 請求項3に記載の撮像装置であって、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出す撮像装置。
- 請求項4に記載の撮像装置であって、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか1つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備える撮像装置。
- 請求項4に記載の撮像装置であって、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備える撮像装置。
- 請求項3乃至請求項6のいずれか1項に記載の撮像装置であって、前記平面動画像を前記立体動画像と同時に撮像する撮像装置。
- 請求項3乃至請求項6のいずれか1項に記載の撮像装置であって、前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とする撮像装置。
- 請求項3乃至請求項8のいずれか1項に記載の撮像装置であって、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成する撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013519426A JP5493054B2 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
EP12797532.4A EP2720455B1 (en) | 2011-06-09 | 2012-05-14 | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device |
CN201280028247.3A CN103597811B (zh) | 2011-06-09 | 2012-05-14 | 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 |
US14/099,387 US20140092220A1 (en) | 2011-06-09 | 2013-12-06 | Image capturing element capturing stereoscopic moving image and planar moving image and image capturing apparatus equipped with the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129618 | 2011-06-09 | ||
JP2011-129618 | 2011-06-09 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/099,387 Continuation US20140092220A1 (en) | 2011-06-09 | 2013-12-06 | Image capturing element capturing stereoscopic moving image and planar moving image and image capturing apparatus equipped with the same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012169318A1 true WO2012169318A1 (ja) | 2012-12-13 |
Family
ID=47295888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/062276 WO2012169318A1 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140092220A1 (ja) |
EP (1) | EP2720455B1 (ja) |
JP (1) | JP5493054B2 (ja) |
CN (1) | CN103597811B (ja) |
WO (1) | WO2012169318A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013136819A1 (ja) * | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 撮像素子、撮像装置および撮像システム |
JP2014060693A (ja) * | 2012-03-16 | 2014-04-03 | Nikon Corp | 撮像素子、撮像装置および撮像システム |
JP2014220298A (ja) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | 固体撮像装置及びカメラ |
WO2018011139A1 (en) | 2016-07-11 | 2018-01-18 | Steeper Energy Aps | Process for producing low sulphur oxygen containing renewable oil |
US10819900B2 (en) | 2017-03-16 | 2020-10-27 | Fujifilm Corporation | Imaging element and imaging apparatus |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136031A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 撮像装置 |
JP6052057B2 (ja) * | 2013-05-22 | 2016-12-27 | ソニー株式会社 | 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器 |
JP2016009043A (ja) * | 2014-06-24 | 2016-01-18 | ソニー株式会社 | イメージセンサ、演算方法、および電子装置 |
KR102294316B1 (ko) * | 2014-08-04 | 2021-08-26 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
JP2018046394A (ja) * | 2016-09-14 | 2018-03-22 | オリンパス株式会社 | 撮像素子、撮像装置 |
WO2021031096A1 (en) * | 2019-08-20 | 2021-02-25 | Huawei Technologies Co., Ltd. | Multi-shot image capture without image stabilization |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341522A (ja) | 1998-05-22 | 1999-12-10 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
JP2011129618A (ja) | 2009-12-16 | 2011-06-30 | Fuji Electric Co Ltd | 薄膜形成装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JP2007279512A (ja) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | 立体カメラ及び立体撮像素子 |
JP4946313B2 (ja) * | 2006-09-27 | 2012-06-06 | 株式会社ニコン | 撮像装置 |
JP4349407B2 (ja) * | 2006-11-17 | 2009-10-21 | ソニー株式会社 | 撮像装置 |
JP5098405B2 (ja) * | 2007-04-11 | 2012-12-12 | 株式会社ニコン | 撮像素子、焦点検出装置および撮像装置 |
US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5276371B2 (ja) * | 2008-07-09 | 2013-08-28 | キヤノン株式会社 | 撮像装置 |
JP2010020015A (ja) * | 2008-07-09 | 2010-01-28 | Canon Inc | 撮像装置 |
JP5159700B2 (ja) * | 2009-05-19 | 2013-03-06 | キヤノン株式会社 | 光学装置及び焦点検出方法 |
JP5232118B2 (ja) * | 2009-09-30 | 2013-07-10 | 富士フイルム株式会社 | 撮像デバイスおよび電子カメラ |
JP2012182332A (ja) * | 2011-03-02 | 2012-09-20 | Sony Corp | 撮像素子および撮像装置 |
WO2012132122A1 (ja) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
-
2012
- 2012-05-14 CN CN201280028247.3A patent/CN103597811B/zh not_active Expired - Fee Related
- 2012-05-14 EP EP12797532.4A patent/EP2720455B1/en not_active Not-in-force
- 2012-05-14 JP JP2013519426A patent/JP5493054B2/ja not_active Expired - Fee Related
- 2012-05-14 WO PCT/JP2012/062276 patent/WO2012169318A1/ja active Application Filing
-
2013
- 2013-12-06 US US14/099,387 patent/US20140092220A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341522A (ja) | 1998-05-22 | 1999-12-10 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
JP2011129618A (ja) | 2009-12-16 | 2011-06-30 | Fuji Electric Co Ltd | 薄膜形成装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2720455A4 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013136819A1 (ja) * | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 撮像素子、撮像装置および撮像システム |
JP2014060693A (ja) * | 2012-03-16 | 2014-04-03 | Nikon Corp | 撮像素子、撮像装置および撮像システム |
US9906770B2 (en) | 2012-03-16 | 2018-02-27 | Nikon Corporation | Image sensor, image-capturing apparatus and image capturing system |
US10412358B2 (en) | 2012-03-16 | 2019-09-10 | Nikon Corporation | Image sensor, image-capturing apparatus and image-capturing system |
JP2014220298A (ja) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | 固体撮像装置及びカメラ |
WO2018011139A1 (en) | 2016-07-11 | 2018-01-18 | Steeper Energy Aps | Process for producing low sulphur oxygen containing renewable oil |
US11459510B2 (en) | 2016-07-11 | 2022-10-04 | Steeper Energy Aps | Process for producing low sulphur oxygen containing renewable oil |
US10819900B2 (en) | 2017-03-16 | 2020-10-27 | Fujifilm Corporation | Imaging element and imaging apparatus |
US11184523B2 (en) | 2017-03-16 | 2021-11-23 | Fujifilm Corporation | Imaging apparatus with phase difference detecting element |
US11496666B2 (en) | 2017-03-16 | 2022-11-08 | Fujifilm Corporation | Imaging apparatus with phase difference detecting element |
Also Published As
Publication number | Publication date |
---|---|
EP2720455B1 (en) | 2016-06-22 |
EP2720455A1 (en) | 2014-04-16 |
JPWO2012169318A1 (ja) | 2015-02-23 |
CN103597811B (zh) | 2015-07-29 |
EP2720455A4 (en) | 2015-04-15 |
US20140092220A1 (en) | 2014-04-03 |
CN103597811A (zh) | 2014-02-19 |
JP5493054B2 (ja) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5493054B2 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
US9661210B2 (en) | Image pickup device and image pickup apparatus | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
WO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
JP5810173B2 (ja) | 撮像装置および電子情報機器 | |
JP5385462B2 (ja) | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム | |
US20110149125A1 (en) | Photographing Apparatus and Method | |
JP5597777B2 (ja) | カラー撮像素子及び撮像装置 | |
JP4997359B2 (ja) | 撮像装置及び混色補正方法 | |
JP2012015819A (ja) | 立体画像撮像装置 | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
WO2012147515A1 (ja) | 撮像装置及び撮像方法 | |
WO2012169301A1 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5634613B2 (ja) | イメージセンサ及び撮像装置 | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
JP2011210748A (ja) | Ccd型固体撮像素子及びその製造方法並びに撮像装置 | |
JP5912586B2 (ja) | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 | |
JP5124549B2 (ja) | 固体撮像素子の動画像信号読出方法及び撮像装置 | |
JP2024012869A (ja) | 撮像装置及び撮像装置の画像データ読み出し方法 | |
JP2012231197A (ja) | 撮像装置、電子カメラ装置および電子カメラシステム | |
JP2011082921A (ja) | 撮像装置及び撮像システム | |
JP2011199426A (ja) | 固体撮像素子、撮像装置、及びスミア補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12797532 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013519426 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012797532 Country of ref document: EP |