CN102934024B - 摄像装置及摄像方法 - Google Patents
摄像装置及摄像方法 Download PDFInfo
- Publication number
- CN102934024B CN102934024B CN201180028802.8A CN201180028802A CN102934024B CN 102934024 B CN102934024 B CN 102934024B CN 201180028802 A CN201180028802 A CN 201180028802A CN 102934024 B CN102934024 B CN 102934024B
- Authority
- CN
- China
- Prior art keywords
- mode
- pixel
- pixel groups
- shooting
- carrying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 123
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 210000001747 pupil Anatomy 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 53
- 210000003128 head Anatomy 0.000 claims description 45
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000005693 optoelectronics Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000004907 flux Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 22
- 238000009877 rendering Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 230000005012 migration Effects 0.000 description 10
- 238000013508 migration Methods 0.000 description 10
- 210000000162 simple eye Anatomy 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 241001347978 Major minor Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Blocking Light For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
减小由光瞳分割引起的成像偏移来改善伪分辨,从而提高宽动态范围图像的品质。包括具有分别对通过了单一拍摄镜头(12)的不同区域的光束进行光电转换的第1像素组及第2像素组的摄像元件(16),还包括:拍摄执行控制部(68),当进行SN模式(第1平面拍摄模式)的拍摄时,使摄像元件(16)的第1像素组和第2像素组进行相同曝光时间的曝光并进行像素相加,当进行DR模式(第2平面拍摄模式)的拍摄时,使摄像元件(16)的第1像素组和第2像素组进行不同曝光时间的曝光并进行像素相加;光圈(14),配置到供入射到摄像元件(16)的光束通过的光路中;及光圈控制部(70),当进行DR模式的拍摄时,将光圈(14)的光圈值设置成大于进行SN模式的拍摄时的光圈(14)的光圈值。
Description
技术领域
本发明涉及一种摄像装置及摄像方法,能够使用单一的拍摄光学***生成由多个视点的平面图像构成的立体图像。
背景技术
以往,公知有能够使用单一的拍摄光学***生成由多个视点的平面图像构成的立体图像的摄像装置。
在专利文献1中公开了如下结构:包括单一的拍摄光学***,通过使光圈旋转来进行光瞳分割,以生成立体图像。
在专利文献2中公开了如下结构:设置有偏光元件,按各光路分别在摄像元件上受光,从而通过单一的拍摄光学***获取相位信息。
在专利文献3中公开了如下摄像装置:包括:单一的拍摄光学***;和摄像元件,排列有分别对通过了该单一的拍摄光学***的不同区域的光束进行光电转换的第1像素组及第2像素组;生成由可通过第1像素组获取的平面图像及可通过第2像素组获取的平面图像构成的立体图像。
在专利文献4中记载有如下内容:在专利文献3所述的摄像装置中,将第1像素的输出和第2像素的输出相加。
在专利文献5中公开了如下结构:在包括多个拍摄光学***的复眼摄像装置中,以为了进行2D动态画面、3D动态画面的拍摄而分别设定的周期进行曝光控制。在3D动态画面拍摄中,为了不改变深度,尽可能不移动机械光圈。
专利文献
专利文献1:日本特表2009-527007号公报
专利文献2:日本特开2009-168995号公报
专利文献3:日本特开平10-42314号公报
专利文献4:日本特开2008-299184号公报
专利文献5:日本特开2008-187385号公报
发明内容
在能够使用单一的拍摄光学***生成由多个视点的平面图像构成的立体图像的摄像装置(以下称为“单眼3D摄像装置”)中,当要通过多个视点的平面图像生成一个宽动态范围的平面图像时,导致在未对焦部分产生灰度错乱。以下说明这种灰度错乱的原理。
首先,用图12A来说明通过不进行光瞳分割的单眼摄像装置对三个被拍摄体91、92、93进行拍摄的情况。在摄像元件16上成像的三个像91a、92a、93a中在摄像元件16上对焦的仅是存在于对焦面D上的被拍摄体92的像92a。被拍摄体91距拍摄镜头12的距离比对焦面D距拍摄镜头12的距离远,其对焦像91d形成在比摄像元件16接近拍摄镜头12的位置上,因此被拍摄体91的像91a没有对焦而成为不清楚的图像即模糊图像。此外,被拍摄体93距拍摄镜头12的距离比对焦面D距拍摄镜头12的距离近,其对焦像93d形成在比摄像元件16远离拍摄镜头12的位置,因此被拍摄体93的像93a也没有对准焦点而成为模糊图像。
接着,说明通过光瞳分割的单眼3D摄像装置对三个被拍摄体91、92、93进行拍摄的情况。在本例的单眼3D摄像装置中,存在如下状态:如图12B所示那样通过快门95将拍摄镜头12的光瞳仅限制在上方的状态和如图12C所示那样通过快门95将拍摄镜头12的光瞳仅限制在下方的状态。这种单眼3D摄像装置中的摄像元件16上的像的模糊量(像的未对焦量)及位置与图12A所示的单眼摄像装置不同。即,在图12B所示的状态下,如图13B所示,与没有进行光瞳分割的情况(图13A)的被拍摄体91的像91a相比,被拍摄体91的像91b的模糊量减小且位置向图中的下侧移动。此外,被拍摄体93的像93b的模糊量减小且位置向图中的上侧移动。在图13C所示的状态下,如图13C所示,与没有进行光瞳分割的情况(图13A)的被拍摄体91的像91a相比,被拍摄体91的像91c的模糊量减小且位置向图中的上侧移动。此外,被拍摄体93的像93c的模糊量减小且位置向图中的下侧移动。
在这种单眼3D摄像装置中,在图13B所示的图像和图13C所示的图像中,在像91b与像91c、像93b与像93c中,成像位置偏移。即,在进行高分辨率平面图像的拍摄时,来自同一被拍摄体的光束通过拍摄镜头12的不同的光瞳位置,从而同一被拍摄体的像在摄像元件16的不同位置成像。因此,当对以不同曝光时间曝光而获取的两个平面图像进行像素相加,存在产生由视差引起的灰度错乱的问题。
在专利文献1~5中没有公开能够改善由视差引起的灰度错乱的结构。
另外,在专利文献4中所记载的结构中,无法生成宽动态范围的图像。此外,仅是单纯在附近像素彼此之间进行像素相加,因此存在对焦后的主要被拍摄体的分辨率因像素相加而下降的问题。例如,在进行两像素混合的情况下,导致分辨率下降至1/2。
专利文献5中所记载的结构是复眼方式,因此即使设置为小光圈,也不发生成像偏移,此外重点在于不切换光圈。
本发明是鉴于上述状况而作出,其目的在于提供一种摄像装置及摄像方法,能够减小由光瞳分割引起的成像偏移,提高宽动态范围图像的品质。
为了达到上述目的,本发明提供一种摄像装置,包括:单一的拍摄光学***;和摄像元件,具有分别对通过了单一的拍摄光学***的不同区域的光束进行光电转换的第1像素组及第2像素组;能够通过第1像素组及第2像素组对同一场景进行拍摄,并生成由第1像素组的像素数据及第2像素组的像素数据构成的立体图像,摄像装置的特征在于,包括:拍摄模式设定单元,接受拍摄模式的设定输入,以设定成通过第1像素组的像素数据和第2像素组的像素数据的像素相加取得一个平面图像的第1平面拍摄模式及第2平面拍摄模式中的一个拍摄模式;拍摄执行控制单元,当进行第1平面拍摄模式的拍摄时,使摄像元件的第1像素组和第2像素组进行相同曝光时间的曝光,进行第1像素组的像素数据和第2像素组的像素数据的像素相加,从而取得平面图像,当进行第2平面拍摄模式的拍摄时,使摄像元件的第1像素组和第2像素组进行不同曝光时间的曝光,进行第1像素组的像素数据和第2像素组的像素数据的像素相加,从而取得宽动态范围的平面图像;光圈装置,配置在供入射到摄像元件的光束通过的光路中;及光圈控制单元,当进行第2平面拍摄模式的拍摄时,将光圈装置的光圈值设定成大于进行第1平面拍摄模式的拍摄时的光圈值。
即,当进行第2平面拍摄模式(DR模式)的拍摄时,与进行第1平面拍摄模式的拍摄时相比,光圈装置的光圈值增大,因此能够减小由光瞳分割引起的成像偏移,提高宽动态范围的平面图像的品质。
另外,光圈装置不限定于配置在拍摄光学***与摄像元件之间的情况,也有拍摄光学***由多个透镜(透镜组)构成、光圈装置配置在透镜组中的情况。
在本发明的一个实施方式中,优选的是,第1像素组和第2像素组由二维排列的受光元件构成,在摄像元件中,第1像素组的各像素和第2像素组的各像素彼此相邻地配置。
在本发明的一个实施方式中,优选的是,还包括光学部件,该光学部件对通过了拍摄光学***的光束进行分割,摄像元件由分别接收通过光学部件进行光瞳分割而得到的光束的具有第1像素组的第1摄像元件和具有第2像素组的第2摄像元件构成。
在本发明的一个实施方式中,优选的是,当进行第1平面拍摄模式的拍摄时,光圈控制单元将光圈装置设置为开放状态。
此外,在本发明的一个实施方式中,优选的是,还包括:减光镜,能够***到供入射于摄像元件的光束通过的光路中;和被拍摄体亮度取得单元,取得被拍摄体亮度;当进行第1平面拍摄模式的拍摄时,光圈控制单元根据由被拍摄体亮度取得单元取得的被拍摄体亮度来控制是否将减光镜***到光路中。
即,当进行第1平面拍摄模式(SN模式)的拍摄时,能够避免由光圈引起的衍射而获取更高品质的图像。
另外,减光镜不限定于配置在拍摄光学***与摄像元件之间的情况,也有拍摄光学***由多个透镜(透镜组)构成、减光镜配置在透镜组中的情况。
在本发明的一个实施方式中,优选的是,还包括被拍摄体距离取得单元,该被拍摄体距离取得单元取得被拍摄体距离,当进行第2平面拍摄模式的拍摄时,光圈控制单元根据由被拍摄体距离取得单元取得的被拍摄体距离来切换是否将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在被拍摄体距离大于阈值的情况下,光圈控制单元将光圈装置设置为开放状态。
即,即使在进行第2平面拍摄模式(DR模式)的拍摄时,在被拍摄体距离较大的情况下,成像偏移减小,因此也能够通过将光圈装置设置为开放状态来避免由光圈引起的衍射而获取更高品质的宽动态范围图像。
在本发明的一个实施方式中,优选的是,还包括焦距取得单元,该焦距取得单元取得拍摄光学***的焦距,当进行第2平面拍摄模式的拍摄时,光圈控制单元根据由焦距取得单元取得的焦距来切换是否将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在焦距为阈值以下的情况下,光圈控制单元将光圈装置设置为开放状态。
即,即使在进行第2平面拍摄模式(DR模式)的拍摄时,在拍摄光学***的焦距较小的情况下,成像偏移减小,因此也能够通过将光圈装置设置为开放状态来避免由光圈引起的衍射而获取更高品质的宽动态范围图像。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在光圈装置被设置为开放状态的情况下,光圈控制单元根据被拍摄体亮度来切换是否将减光镜设置为***状态。
即,当进行第2平面拍摄模式(DR模式)的拍摄时,即使在将光圈装置设置为开放状态的情况下,也能够通过减光镜进行亮度调整来获取更高品质的图像。
此外,本发明提供一种摄像方法,使用单一的拍摄光学***、具有分别对通过了单一的拍摄光学***的不同区域的光束进行光电转换的第1像素组及第2像素组的摄像元件和配置于向摄像元件入射的光束所通过的光路中的光圈装置,通过第1像素组及第2像素组对同一场景进行拍摄,取得由第1像素组的像素数据及第2像素组的像素数据构成的平面图像,摄像方法的特征在于,包括以下步骤:接收通过第1像素组的像素数据和第2像素组的像素数据的像素相加取得一个平面图像的第1平面拍摄模式及第2平面拍摄模式中的一个拍摄模式的设定输入;当进行第2平面拍摄模式的拍摄时,将光圈装置的光圈值设置成大于进行第1平面拍摄模式的拍摄时的光圈值;及当进行第1平面拍摄模式的拍摄时,使摄像元件的第1像素组和第2像素组进行相同曝光时间的曝光,进行第1像素组的像素数据和第2像素组的像素数据的像素相加,从而取得平面图像,当进行第2平面拍摄模式的拍摄时,使摄像元件的第1像素组和第2像素组进行不同曝光时间的曝光,进行第1像素组的像素数据和第2像素组的像素数据的像素相加,从而取得宽动态范围的平面图像。
在本发明的一个实施方式中,优选的是,当进行第1平面拍摄模式的拍摄时,将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,使用能够***到向摄像元件入射的光束所通过的光路中的减光镜和取得被拍摄体亮度的被拍摄体亮度取得单元,当进行第1平面拍摄模式的拍摄时,根据由被拍摄体亮度取得单元取得的被拍摄体亮度来控制是否将减光镜***到光路中。
在本发明的一个实施方式中,优选的是,使用取得被拍摄体距离的被拍摄体距离取得单元,当进行第2平面拍摄模式的拍摄时,根据由被拍摄体距离取得单元取得的被拍摄体距离来切换是否将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在被拍摄体距离大于阈值的情况下,将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,使用取得拍摄光学***的焦距的焦距取得单元,当进行第2平面拍摄模式的拍摄时,根据由焦距取得单元取得的焦距来切换是否将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在焦距为阈值以下的情况下,将光圈装置设置为开放状态。
在本发明的一个实施方式中,优选的是,当进行第2平面拍摄模式的拍摄时,在光圈装置被设置为开放状态的情况下,根据被拍摄体亮度来切换是否将减光镜设置为***状态。
发明效果
根据本发明,能够减小由光瞳分割引起的成像偏移来改善伪分辨,从而提高宽动态范围图像的品质。
附图说明
图1是表示本发明所涉及的摄像装置的硬件结构例的框图。
图2是表示摄像元件的结构例的图。
图3是表示摄像像素的图。
图4是图3的主要部分放大图。
图5是第1实施方式中的摄像装置的主要部分框图。
图6是表示第1实施方式中的摄像处理例的流程的流程图。
图7是表示第2实施方式中的摄像处理例的流程的流程图。
图8是第3实施方式中的摄像装置的主要部分框图。
图9是表示第3实施方式中的摄像处理例的流程的流程图。
图10是表示拍摄模式设定处理的流程的流程图。
图11是表示拜耳排列的例子的示意图。
图12是用于说明本发明的课题的说明图,图12A是表示没有进行光瞳分割的摄像***的主要部分的说明图,图12B及图12C是表示光瞳分割方式的3D单眼摄像***的主要部分的说明图。
图13是用于说明本发明的课题的说明图,图13A是表示没有进行光瞳分割的摄像***中的成像的状况的示意图,图13B及图13C是表示光瞳分割方式的3D单眼摄像***中的成像的状况的示意图。
图14是表示光瞳分割的其他例子的说明图。具体实施方式
以下,根据附图详细说明本发明的实施方式。
<摄像装置的整体结构>
图1是表示本发明所涉及的摄像装置10的实施方式的框图。
该摄像装置10在记录介质54中记录所拍摄的图像,装置整体的动作由中央处理装置(CPU)40进行集中控制。
在摄像装置10中,设置有快门按钮、模式拨盘、重放按钮、菜单/确认键、十字键、返回键等的操作部38。来自该操作部38的信号输入到CPU40输入,CPU40根据输入信号控制摄像装置10的各电路,例如进行镜头驱动控制、光圈驱动控制、拍摄动作控制、图像处理控制、图像数据的记录/重放控制及立体显示用的液晶监控器30的显示控制等。
快门按钮是输入拍摄开始的指示的操作按钮,由包括半按时接通(ON)的S1开关和全按时接通的S2开关的二级行程式开关构成。模式拨盘是选择2D拍摄模式、3D拍摄模式、DR模式、SN模式等拍摄模式的选择单元。
重放按钮是用于切换为使所拍摄记录的立体图像(3D图像)、平面图像(2D图像)的静态画面或动态画面在液晶监控器30上显示的重放模式的按钮。菜单/确认键是兼备作为用于进行使菜单显示在液晶监控器30的画面上的指令的菜单按钮的功能和作为指示选择内容的确定及执行等的确认按钮的功能的操作键。十字键是输入上下左右四个方向的指示的操作部,作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥作用。此外,十字键的上/下键作为拍摄时的变焦开关或重放模式时的重放变焦开关而发挥作用,左/右键作为重放模式时的送帧(正向/反向传送)按钮而发挥作用。返回键是在消除选择项目等所希望的对象及取消指示内容或退回到前一操作状态时等情况下使用的。
在拍摄模式时,表示被拍摄体的图像光经由包括聚焦透镜和变焦透镜的拍摄镜头12(拍摄光学***)、光圈14而在摄像元件16的受光面上成像。拍摄镜头12通过由CPU40控制的镜头驱动部36进行驱动,进行聚焦控制、变焦控制等。
光圈14配置在供入射到摄像元件16的光束通过的光路13中,例如包括五个光圈叶片。光圈14通过由CPU40控制的光圈驱动部34进行驱动,例如在光圈值F1.4~F11的范围内以1AV刻度分6个阶段地进行控制光圈。另外,在图1中表示了在拍摄镜头12与摄像元件16之间配置有光圈14的情况,但不特别限定于这种情况。也有拍摄镜头12由多个透镜(或多个透镜组)构成、在拍摄镜头12中配置有光圈14的情况。
ND滤镜15(减光镜)是减小向摄像元件16入射的光量的器件,能够***到供入射到摄像元件16的光束通过的光路13中。另外,在图1中表示了在拍摄镜头12与摄像元件16之间配置有ND滤镜15的情况,但不特别限定于这种情况。也有拍摄镜头12由多个镜头(或多个镜头组)构成、在拍摄镜头12中配置有ND滤镜15的情况。
ND滤镜15通过滤镜插拔驱动部33而在***到光路13中的***状态和从光路13偏离的非***状态之间进行切换。ND滤镜15的个数没有特别限定。也可以由多个(例如五个)滤镜构成。
CPU40经由摄像元件控制部32控制摄像元件16中的曝光时间(电荷蓄积时间)及摄像元件16中的图像信号的读出。此外,CPU40经由摄像元件控制部32控制摄像元件16中的像素相加。此外,CPU40经由滤镜插拔控制部33而在ND滤镜15的***状态及非***状态之间进行切换。此外,CPU40经由光圈驱动部34控制光圈14。
<单眼3D摄像元件的结构例>
图2是表示摄像元件16的结构例的图。
摄像元件16具有分别排列成矩阵状的奇数行的摄像像素(以下称为“主像素”)和偶数行的摄像像素(以下称为“副像素”),能够独立地读出通过这些主、副像素分别进行了光电转换的双面量的图像信号。
如图2所示,在摄像元件16的奇数行(1、3、5、……)交替地设置有具有R(红)、G(绿)、B(蓝)的滤色器的像素中的、GRGR……的像素排列的行和BGBG……的像素排列的行,另一方面,偶数行(2、4、6、……)的像素与奇数行同样地,交替地设置有GRGR……的像素排列的行和BGBG……的像素排列的行,并且对于偶数行的像素,像素彼此在行方向上偏移与排列间距的二分之一间距相当的距离而配置。即,摄像元件16的像素排列为蜂巢型排列。
图3是表示拍摄镜头12、光圈14及摄像元件16的主像素PDa、副像素PDb的各一个像素的图,图4是图3的主要部分放大图。
如图4A所示,通过出瞳的光束经由微型透镜L不受限制地入射到通常的摄像元件的像素(光电二极管PD)。
相对于此,在摄像元件16的主像素PDa及副像素PDb上形成有遮光部件16A,通过该遮光部件16A,主像素PDa、副像素PDb的受光面的右半部分或左半部分被遮光。即,遮光部件16A具有作为光瞳分割部件的功能。如图4A所示,主像素PDa组和副像素PDb组由二维排列的受光元件PDa、PDb构成,在摄像元件16上,主像素PDa和副像素PDb彼此相邻地配置。
另外,上述结构的摄像元件16构成为,在主像素PDa和副像素PDb中光束被遮光部件16A限制的区域(右半部分、左半部分)互不相同,但不限于此,也可以不设置遮光部件16A,而是使微型透镜L与光电二极管PD(PDa、PDb)在左右方向上相对偏移,并根据该偏移方向来限制向光电二极管PD入射的光束,此外也可以对两个像素(主像素和副像素)设置一个微型透镜,从而限制向各像素入射的光束。
返回图1,摄像元件16上所蓄积的信号电荷根据从摄像元件控制部32施加的读出信号,作为与信号电荷对应的电压信号而被读出。本例的摄像元件16具有像素相加功能,在通过CPU40的控制并经由摄像元件控制部32指示了像素相加的情况下,根据该指示进行像素相加。在DR模式的情况下,将以不同的曝光时间曝光的主像素的电荷(像素值)和副像素的电荷(像素值)相加。从摄像元件16读出的电压信号施加到模拟信号处理部18,此处,各像素的R、G、B信号被采样保持,以从CPU40指定的增益(相当于ISO灵敏度)放大之后施加到A/D转换器20。A/D转换器20将依次输入的R、G、B信号转换为数字的R、G、B信号并输出到图像输入控制器22。
数字信号处理部24对经由图像输入控制器22输入的数字的图像信号进行偏移处理、包括白平衡校正及灵敏度校正的增益/控制处理、伽马校正(gamma correction)处理、同步处理、YC处理、对比度增强、轮廓校正等预定的信号处理。
此外,EEPROM56是存储有相机控制程序、摄像元件16的缺陷信息及图像处理等中所使用的各种参数及表、程序框图等的非易失性存储器。
此处,如图2B及图2C所示,从摄像元件16的奇数行的主像素读出的主像素数据作为左视点的平面图像(以下称为“左图像”)而被处理,从偶数行的副像素读出的副像素数据作为右视点的平面图像(以下称为“右图像”)而被处理。
在数字信号处理部24中被处理的左图像及右图像输入到VRAM50。在VRAM50中包括分别存储表示一帧的3D图像的3D图像数据的A区域和B区域。在VRAM50中,表示一帧的3D图像的3D图像数据交替地重写在A区域和B区域。从VRAM50的A区域及B区域中重写有3D图像数据的区域以外的区域,读出写入的3D图像数据。从VRAM50读出的3D图像数据在视频编码器28中进行编码,并输出到设置于相机背面的立体显示用的液晶监控器30(LCD),由此在液晶监控器30的显示画面上显示3D的被拍摄体像。
该液晶监控器30是能够将立体图像(左图像及右图像)通过视差屏障作为分别具有预定的指向性的指向性图像来进行显示的立体显示单元,但不限于此,也可以通过佩戴使用双凸透镜的部件或偏光眼镜、液晶快门眼镜等专用眼镜也能够分别看到左图像和右图像。
此外,当操作部38的快门按钮进行第1阶段的按下(半按)时,摄像元件16开始进行AF动作及AE动作,经由镜头驱动部36进行控制,以使拍摄镜头12内的聚焦透镜到达对焦位置。此外,在快门按钮被半按时从A/D转换器20输出的图像数据被取入到AE检测部44。
在AE检测部44中,对整个画面的G信号进行积算,或对将画面中央部和周边部进行不同加权后的G信号进行积算,并向CPU40输出该积算值(AE评价值)。
AF处理部42是进行对比度AF处理或相位AF处理的部分。当进行对比度AF处理时,提取出左图像数据及右图像数据中的至少一方的图像数据中的预定的焦点区域内的图像数据的高频成分,对该高频成分进行积分,从而计算出表示对焦状态的AF评价值。以使该AF评价值成为极大的方式控制拍摄镜头12内的聚焦透镜,从而进行AF控制。此外,当进行相位差AF处理时,检测左图像数据及右图像数据中的与预定的焦点区域内的主像素、副像素对应的图像数据的相位差,并根据表示该相位差的信息求出散焦量。以使该散焦量成为0的方式控制拍摄镜头12内的聚焦透镜,从而进行AF控制。在该AF控制中,AF处理部42计算进行对焦后的被拍摄体的被拍摄体距离。
当AE动作及AF动作结束、快门按钮进行第2阶段的按下(全按)时,响应于该按下,与从A/D转换器20输出的主像素及副像素对应的左图像及右图像的两个量的图像数据从图像输入控制器22输入到存储器(SDRAM)48,暂时进行存储。
暂时存储在存储器48中的两个量的图像数据被数字信号处理部24适当读出,此处进行包含图像数据的亮度数据及色差数据的生成处理(YC处理)的预定的信号处理。YC处理后的图像数据(YC数据)再次存储在存储器48中。接着,两个量的YC数据分别输出到压缩解压缩处理部26,在执行JPEG(joint photographic experts group:联合图像专家小组)等预定的压缩处理之后,再次存储在存储器48中。
根据存储器48中所存储的两个量的YC数据(压缩数据),生成多画面文件(MP文件:多个图像连结的形式的文件),通过介质控制器52读出该PM文件,并记录到存储卡54中。
接着,将本发明分为第1实施方式~第3实施方式来如下进行说明。
<第1实施方式>
图5是表示摄像装置10的主要部分的具体结构的框图。另外,在图5中,对图1中所表示的构成要素标以同一标号,对于已说明的事项,以下省略其说明。
在本实施方式的摄像装置10中,CPU40包括拍摄模式设定控制部62、AE控制部64、AF控制部66、拍摄执行控制部68及光圈控制部70而成。
拍摄模式设定控制部62通过操作部38接收拍摄模式的设定输入,在存储器48中存储所接收的拍摄模式。
拍摄模式中存在取得3D图像(立体图像)的3D拍摄模式和取得2D图像(平面图像)的2D拍摄模式。此外,2D拍摄模式中存在DR模式(DR拍摄模式)和SN模式(SN拍摄模式)。
在DR(宽动态范围)模式中,对摄像元件16的主像素和副像素进行不同的曝光时间的曝光,在上述曝光时间不同的多个像素之间将电荷(像素值)相加。根据该DR模式的像素相加,即使在亮的拍摄场景下也能够获取宽动态范围的2D图像(DR图像)。即,DR模式是特别的2D拍摄模式,与使用主像素组及副像素组中的一方的像素值的2D拍摄模式(2D普通模式)不同,使用主像素组及副像素组双方的像素值(像素数据)生成2D图像。
在SN(噪声降低)模式中,对摄像元件16的主像素和副像素进行相同曝光时间的曝光,在上述相同曝光时间的多个像素之间将电荷(像素值)相加。根据该SN模式的像素相加,即使在暗的拍摄场景下也能够获取亮的图像(例如3D图像)。若不进行SN模式的像素相加而进行信号的增益放大(amplification),则伴随着该增益放大,噪声也增大,但是在SN模式中,由于在相同曝光时间的多个像素之间进行电荷的相加,因此能够获取噪声小且亮的图像。此外,在SN模式中,由于在相同曝光时间的像素之间进行像素相加,因此消除了成像偏移的影响(伪分辨)。
AE控制部64按照后述的光圈控制部70的控制进行AE控制,根据从AE检测部44输出的累计值计算EV值(被拍摄体亮度),按照光圈控制部70的控制,根据EV值确定光圈14的光圈值、ND滤镜15的***与否(***状态/非***状态)及摄像元件16的快门速度,根据所确定的光圈值并经由光圈驱动部34控制光圈14,根据所确定的ND滤镜15的***与否并经由滤镜插拔驱动部33切换ND滤镜15的***状态/非***状态,根据所确定的快门速度并经由摄像元件控制部32控制摄像元件16中的曝光时间(电荷蓄积时间)。
AF控制部66通过控制AF处理部42来进行对比度AF处理或相位差AF处理。在该AF控制中,从AF处理部42取得对焦后的被拍摄体的被拍摄体距离。
拍摄执行控制部68经由摄像元件控制部32控制摄像元件16中的电荷蓄积及电荷(像素数据)的读出,取得由主像素组的像素数据构成的左图像和由副像素组的像素数据构成的右图像。
此外,拍摄执行控制部68经由摄像元件控制部32控制摄像元件16,通过摄像元件16进行主像素和副像素的像素值的相加(主副像素相加)。
在进行3D普通模式的拍摄的情况下,拍摄执行控制部68通过摄像元件16对被拍摄体进行拍摄,取得由左图像及右图像的组构成的3D图像(立体图像),经由介质I/F52在记录介质54中记录该3D图像。在进行SN模式的拍摄的情况下,生成在主像素彼此及副像素彼此间进行像素相加而获取的3D图像,并记录在记录介质54中。
在进行SN模式的拍摄的情况下,拍摄执行控制部68对摄像元件16的主像素组和副像素组进行相同曝光时间的曝光,进行主像素组的像素数据与副像素组的像素数据的像素相加,从而生成一个噪声降低的平面图像,并经由介质I/F52记录在记录介质54中。在进行DR模式的拍摄的情况下,拍摄执行控制部68对摄像元件16的主像素组和副像素组进行不同的曝光时间的曝光,进行主像素组的像素数据与副像素组的像素数据的像素相加,从而生成一个宽动态范围的平面图像(宽动态范围图像),并经由介质I/F52记录在记录介质54中。
光圈控制部70按照拍摄执行控制部68的指示,通过光圈驱动部34切换光圈14的光圈值(F值)。此外,光圈控制部70按照拍摄执行控制部68的指示,通过滤镜插拔驱动部33在ND滤镜15的***状态与非***状态之间进行切换。***状态是ND滤镜15***到光路13中(光轴上)的状态,非***状态是ND滤镜15从光路13偏离的状态。另外,ND滤镜15的个数可以是多个,在多个的情况下控制***个数。
光圈控制部70在进行SN模式的拍摄时,将光圈装置70设为开放状态(将光圈值设为最小值),并且根据通过AE控制部64取得的被拍摄体亮度,来控制是将ND滤镜15设成***到从拍摄镜头12到摄像元件16的光路13中的***状态还是设置成非***状态。
此外,本实施方式的光圈控制部70在进行DR模式的拍摄时,将光圈14的光圈值设成大于立体图像的拍摄时(在本例中为SN模式)的光圈值,并且将ND滤镜15设为非***状态。
图6是表示第1实施方式的摄像处理例的流程的流程图。本处理由CPU40按照程序执行。
在步骤S2中,通过AE控制部64进行AE处理。通过该AE处理计算被拍摄体亮度(EV值)。
在步骤S4中,通过AF控制部66进行AF(自动对焦)处理。通过该AF处理,取得对焦后的主要被拍摄体的被拍摄体距离。
在步骤S6中,判定拍摄模式。
另外,摄像装置10的拍摄模式实际上有各种模式,但是为了容易理解本发明的特征,以下将拍摄模式限定为DR模式及SN模式来进行说明。另外,在本例的SN模式中,生成像素相加的3D图像。
在拍摄模式为SN模式的情况下前进到步骤S8,在DR模式的情况下前进到步骤S14。
在SN模式的情况下,在步骤S8中,判定通过AE控制部64取得的被拍摄体亮度是否大于阈值Tev。
在被拍摄体亮度大于阈值Tev的情况(亮的情况)下,在步骤S10中,光圈控制部70通过光圈驱动部34开放光圈14,并且通过滤镜插拔驱动部33将ND滤镜15设定为***状态。
在被拍摄体亮度为阈值Tev以下的情况(暗的情况)下,在步骤S12中,光圈控制部70通过光圈驱动部34开放光圈14,并且通过滤镜插拔驱动部33将ND滤镜15设置为非***状态。
在DR模式的情况下,在步骤S14中,光圈控制部70经由光圈驱动部34将光圈14的光圈值(F值)设定为规定值以上,并且通过滤镜插拔驱动部33将ND滤镜15设置为非***状态。
此处,光圈值的规定值是如下的光圈值:在左图像和右图像中使同一被拍摄体的成像位置比3D拍摄时近,从而使由视差引起的伪分辨在允许范围内。另外,规定值根据被拍摄体距离、焦距、立体视觉环境(显示画面的尺寸、显示画面的分辨率、观看距离等)及用户的立体视觉融合界限等而各不相同,但是该规定值是使光圈14的光圈值比SN模式及3D拍摄时大的值。
光圈控制部70例如使光圈14相对于开放状态缩小一级以上。例如,以在开放为F2.8时设为F4以上、在开放为F5.6时设为F8以上的方式,设定为比SN模式下的拍摄时(开放)大一级以上的光圈值。在被拍摄体亮度大(亮)的情况下,优选缩小两级以上。
在步骤S16中,拍摄执行控制部68经由摄像元件控制部32控制摄像元件16的曝光。在DR模式的情况下,对主像素和副像素进行不同的曝光时间的曝光,在主像素与副像素之间进行像素相加。在SN模式的情况下,全部像素以相同曝光时间进行曝光,进行像素相加。
在步骤S18中,拍摄执行控制部68经由摄像元件控制部32控制来自摄像元件16的主像素及副像素的像素数据(电荷)的读出。所读出的信号通过A/D转换器20从模拟信号转换为数字信号。
在步骤S20中,通过数字信号处理部24等对左图像及右图像进行预定的数字信号处理。
在步骤S22中,通过压缩解压缩处理部26进行图像压缩。
在步骤S24中,通过介质I/F52将3D图像或2D图像(在本例中为DR模式的2D图像或SN模式的2D图像)记录在记录介质54中。
在第1实施方式的DR模式的拍摄中,必定缩小光圈14(光圈装置)。以往,来自同一被拍摄体的光束通过拍摄镜头12的不同光瞳位置,同一被拍摄体的像成像在摄像元件16的不同位置,因此在像素相加后的2D图像上产生灰度错乱,但是本实施方式的摄像装置10通过缩小光圈14(光圈装置),因此成像位置接近,从而消除了灰度错乱。此外,在SN模式中,将光圈14(光圈装置)开放,并且根据被拍摄体亮度控制是否将ND滤镜15设为***状态,因此能够进行亮度调整。
以上,说明了DR模式和SN模式,但是当然也可以通过其他模式进行拍摄。
另外,在SN模式中,也可以构成为,能够通过操作部38的设定输入来切换是将ND滤镜15设为***的状态、还是将光圈14缩小。
<第2实施方式>
接着,用图5说明第2实施方式的摄像装置。另外,以下主要说明与第1实施方式不同的事项,省略在第1实施方式中已说明的事项的说明。
本实施方式的光圈控制部70在进行DR模式的拍摄时,根据通过AF控制部66取得的主要被拍摄体的被拍摄体距离来控制是否将ND滤镜15设为***状态。例如,在进行DR模式的拍摄时,在对焦后的主要被拍摄体的被拍摄体距离大于阈值Ts的情况(主要被拍摄体较远的情况)下,将光圈14设定为开放状态(将光圈值设为最小值),在对焦后的主要被拍摄体的被拍摄体距离为阈值Ts以下的情况(主要被拍摄体较近的情况)下,将光圈14的光圈值增大至规定值,并且将ND滤镜15设为非***状态。
图6是表示第2实施方式的摄像处理的流程的流程图。
步骤S2~S12与第1实施方式相同。
在DR模式的情况下,通过步骤S13a,光圈控制部70判定通过AF控制部66取得的主要被拍摄体的被拍摄体距离是否大于阈值Ts。
在被拍摄体距离为阈值Ts以下的情况(主要被拍摄体较近的情况)下前进到步骤S14,在被拍摄体距离大于阈值Ts的情况(主要被拍摄体较远的情况)下前进到步骤S15。
步骤S14与第1实施方式相同。即,光圈控制部70通过光圈驱动部34将光圈14的光圈值(F值)设定为规定值以上,并且通过滤镜插拔驱动部33将ND滤镜15设为非***状态。
在步骤S15中,光圈控制部70通过光圈驱动部34将光圈14设定为开放状态,并且根据被拍摄体亮度,通过滤镜插拔驱动部33切换是否将ND滤镜15设为***状态。
如上所述,在本实施方式中,在对焦后的主要被拍摄体的被拍摄体距离较大(被拍摄体较远)的情况下,左图像与右图像中的成像偏移减小,因此即使在DR模式中,也将光圈14设定为开放状态。在减小光圈的情况下,由于衍射而导致画质下降,但是通过***ND滤镜15并且设定为开放状态(将光圈值设为最小值),可防止衍射引起的画质下降。此外,能够进行将景深维持成恒定的拍摄。另外,在被拍摄体距离小的情况下,由于上述伪分辨的影响增大,因此可以允许衍射而缩小光圈14。
另外,以伴随着AF控制部66的AF控制来取得被拍摄体距离的情况为例进行了说明,但不特别限定于这种情况,例如也可以通过距离传感器等直接进行检测。
<第3实施方式>
接着,用图8说明第3实施方式的摄像装置。另外,以下主要说明与图5及图6所示的第1实施方式不同的事项,省略在第1实施方式中已说明的事项。
图7是表示第3实施方式的摄像装置10的主要部分的框图。另外,在图7中对图1及图5中所表示的构成要素标以同一标号。
拍摄镜头12包括变焦透镜,焦距取得部72取得拍摄镜头12的焦距。
本实施方式的光圈控制部70在进行DR模式的拍摄时,根据通过焦距取得部72取得的拍摄镜头12的焦距,来控制是否将ND滤镜15设为***状态。例如,在进行DR模式的拍摄时,在焦距大于阈值Tz的情况(焦距较长的情况)下,将光圈14的光圈值增大至规定值,并且将ND滤镜15设为非***状态,在焦距为阈值Tz以下的情况(焦距短的情况)下,将光圈14设定为开放状态(将光圈值设为最小值)。
图8是表示第3实施方式的摄像处理的流程的流程图。
步骤S2~S12与第1实施方式相同。
在DR模式的情况下,在步骤S13b中,判定通过焦距取得部72取得的拍摄光学***12的焦距是否大于阈值Tz。
在焦距大于阈值Tz的情况(焦距较长的情况)下前进到步骤S14,在焦距为阈值Tz以下的情况(焦距较短的情况)下前进到步骤S15。
步骤S14~S24与第1实施方式相同。
在本实施方式中,在拍摄镜头12的焦距较短的情况下,左图像与右图像中成像偏移减小,因此即使在DR模式中,也将光圈14设定为开放状态(将光圈值设为最小值),使用ND滤镜15进行减光。因此,能够进行将景深维持成恒定的拍摄。
另外,焦距的取得方式没有特别限定。也可以通过直接对拍摄镜头12的变焦透镜的移动进行检测来检测出焦距,也可以监控镜头驱动部36中的变焦透镜的驱动信号来求出焦距,也可以通过图像处理求出焦距。
<拍摄模式设定处理>
图10是表示在第1实施方式至第3实施方式中共同的拍摄模式设定处理的流程的流程图。本处理通过拍摄模式设定控制部62执行。
当接通电源时,摄像装置10成为待机状态。在待机状态下,能够通过操作部38接收拍摄模式的设定输入操作。
首先,判定是2D拍摄模式及3D拍摄模式中的哪一模式的设定指示(步骤S52)。
在2D拍摄模式的选择指示的情况下,接收是否进行动态范围放大的设定指示操作。判定是否为动态范围放大(步骤S54),在是(Yes)的情况下设定DR模式(步骤S56),在否(No)的情况下设定SN模式(步骤S58)。
在3D拍摄模式的选择指示的情况下,设定3D普通模式(步骤S62)。
DR模式及SN模式如在第1实施方式中所说明的那样,分别在进行拍摄时进行像素相加。在3D的普通模式中,不进行像素相加,记录由左图像及右图像构成的立体图像。
另外,以接收DR模式及SN模式的选择指示操作的情况为例进行了说明,但本发明不特别限定于这种情况,也可以自动设定DR模式及SN模式。例如,在进行实时取景图像(取景图像)的显示时,取得被拍摄体亮度,在2D拍摄模式时并且被拍摄体亮度亮且动态范围为阈值以下的情况下,也可以自动选择DR模式。
此外,拍摄模式不特别限定于图10中例示的模式,当然也可以设置其他模式。例如,也可以设置生成分辨率比各视点图像(左图像或右图像)高的高分辨率2D图像的模式。
另外,在本发明中,光瞳分割的方式不特别限定于图3~图4所示的使用光瞳分割用的遮光部件16A的方式。例如,也可以是根据微型透镜L及光电二极管PD中至少一方的配置及形状进行光瞳分割的方式,也可以是通过机械光圈14进行光瞳分割的方式。也可以是除此之外的方式。
此外,摄像元件16不特别限定于CCD摄像元件。例如,也可以是CMOS摄像元件。
此外,摄像元件16中的摄像像素的排列不限定于图2所示的蜂巢型排列的情况。也可以是在图11A或图11B中示意地表示了排列的一部分的拜耳排列。具体而言,是作为偶数列整体的像素排列(主像素排列)及作为奇数列整体的像素排列(副像素排列)均为拜耳排列的双拜耳排列。在图11A及B中,R、G、B分别是具有红、绿、蓝的滤镜的摄像像素,由彼此相邻的R-R、G-G、B-B的两个像素(即近旁的同色像素)构成像素对。由像素对中一方的像素数据构成左图像的像素,由另一方的像素数据构成右图像的像素。
此外,以在摄像元件16内进行DR模式及SN模式的像素相加的情况为例进行了说明,但本发明不特别限定于这种情况。在摄像像素16外进行像素相加的情况下,也能够适用本发明。即,在DR模式中,也可以在从摄像元件16取得以不同的曝光时间拍摄的左图像及右图像之后执行像素相加。在SN模式的情况下,也可以在摄像元件16之外进行。
此外,在上述第1实施方式中,光圈14的规定值例如根据监控器尺寸(显示画面的尺寸)、监控器分辨率(显示画面的分辨率)、观看距离(观看显示画面的距离)、用户的立体融合极限(存在个体差异)等计算条件并通过CPU40来计算。这些计算条件的设定可以是用户设定及自动设定中的任一方。在用户设定的情况下,通过操作部38进行设定操作,其设定内容存储在EEPROM56中。关于监控器尺寸及监控器分辨率(显示画面的分辨率),也可以从监控器(图1的LCD30)等自动取得信息。此外,关于没有进行用户设定的计算条件(或无法自动取得的计算条件),也可以适用标准的条件。
此外,关于光瞳分割,在使用图2~图4所示的摄像元件16(主像素与副像素彼此接近地配置的结构)的情况下,没有特别限定。例如,如图14所示,也可以通过反射镜4对通过了主透镜1及中继透镜2的左右不同区域的光束进行光瞳分割,并分别经由成像透镜5、6在摄像元件7、8上成像。即,也可以是包括分别接收通过光学部件(反射镜4)进行光瞳分割后的光束的具有第1像素组的第1摄像元件7及具有第2像素组的第2摄像元件8的摄像装置。在图14所示的结构中也能够适用本发明。
本发明不限定于本说明书中说明的例子及附图中所图示的例子,在不脱离本发明的要旨的范围内,当然可以进行各种设计变更及改良。
标号说明
10…摄像装置,12…摄像透镜,13…光路,14…光圈,15…ND滤镜(中灰滤镜),16…摄像元件,40…CPU,62…拍摄模式设定控制部,64…AE控制部(被拍摄体亮度取得单元),66…AF控制部(被拍摄体距离取得单元),68…拍摄执行控制部,70…光圈控制部,72…焦距取得部。
Claims (18)
1.一种摄像装置,
包括:单一的拍摄光学***;和
摄像元件,具有分别对通过了所述单一的拍摄光学***的不同区域的光束进行光电转换的第1像素组及第2像素组;
能够通过所述第1像素组及所述第2像素组对同一场景进行拍摄,并生成由所述第1像素组的像素数据及所述第2像素组的像素数据构成的立体图像;
所述摄像装置的特征在于,包括:
拍摄模式设定单元,接受拍摄模式的设定输入,以设定成通过所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加而取得一个平面图像的第1平面拍摄模式及第2平面拍摄模式中的一个拍摄模式;
拍摄执行控制单元,当进行所述第1平面拍摄模式的拍摄时,使所述摄像元件的所述第1像素组和所述第2像素组进行相同曝光时间的曝光,并进行所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加,从而取得平面图像;当进行所述第2平面拍摄模式的拍摄时,使所述摄像元件的所述第1像素组和所述第2像素组进行不同曝光时间的曝光,并进行所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加,从而取得宽动态范围的平面图像;
光圈装置,配置在供入射到向所述摄像元件的光束通过的光路中;及
光圈控制单元,当进行所述第2平面拍摄模式的拍摄时,将所述光圈装置的光圈值设定成大于进行所述第1平面拍摄模式的拍摄时的光圈值。
2.根据权利要求1所述的摄像装置,其特征在于,
所述第1像素组和所述第2像素组由二维排列的受光元件构成,
在所述摄像元件中,所述第1像素组的各像素和所述第2像素组的各像素彼此相邻地配置。
3.根据权利要求1所述的摄像装置,其特征在于,
还包括光学部件,所述光学部件对通过了所述拍摄光学***的光束进行分割,
所述摄像元件由分别接收通过所述光学部件进行光瞳分割后的光束的具有所述第1像素组的第1摄像元件和具有所述第2像素组的第2摄像元件构成。
4.根据权利要求1或2所述的摄像装置,其特征在于,
当进行所述第1平面拍摄模式的拍摄时,所述光圈控制单元将所述光圈装置设置为开放状态。
5.根据权利要求1或2所述的摄像装置,其特征在于,
还包括:减光镜,能够***到供入射于所述摄像元件的光束通过的光路中;和
被拍摄体亮度取得单元,取得被拍摄体亮度;
当进行所述第1平面拍摄模式的拍摄时,所述光圈控制单元根据由所述被拍摄体亮度取得单元取得的所述被拍摄体亮度来控制是否将所述减光镜***到所述光路中。
6.根据权利要求1或2所述的摄像装置,其特征在于,
还包括被拍摄体距离取得单元,所述被拍摄体距离取得单元取得被拍摄体距离,
当进行所述第2平面拍摄模式的拍摄时,所述光圈控制单元根据由所述被拍摄体距离取得单元取得的所述被拍摄体距离来切换是否将所述光圈装置设置为开放状态。
7.根据权利要求6所述的摄像装置,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在所述被拍摄体距离大于阈值的情况下,所述光圈控制单元将所述光圈装置设置为开放状态。
8.根据权利要求1或2所述的摄像装置,其特征在于,
还包括焦距取得单元,所述焦距取得单元取得所述拍摄光学***的焦距,
当进行所述第2平面拍摄模式的拍摄时,所述光圈控制单元根据由所述焦距取得单元取得的所述焦距来切换是否将所述光圈装置设置为开放状态。
9.根据权利要求8所述的摄像装置,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在所述焦距为阈值以下的情况下,所述光圈控制单元将所述光圈装置设置为开放状态。
10.根据权利要求5所述的摄像装置,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在所述光圈装置被设置为开放状态的情况下,所述光圈控制单元根据所述被拍摄体亮度来切换是否将所述减光镜设置为***状态。
11.一种摄像方法,
使用单一的拍摄光学***、具有分别对通过了所述单一的拍摄光学***的不同区域的光束进行光电转换的第1像素组及第2像素组的摄像元件和配置于供入射到所述摄像元件的光束通过的光路中的光圈装置,通过所述第1像素组及所述第2像素组对同一场景进行拍摄,并取得由所述第1像素组的像素数据及所述第2像素组的像素数据构成的平面图像,
所述摄像方法的特征在于,包括以下步骤:
接受拍摄模式的设定输入,以设定成通过所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加取得一个平面图像的第1平面拍摄模式及第2平面拍摄模式中的一个拍摄模式;
当进行所述第2平面拍摄模式的拍摄时,将所述光圈装置的光圈值设定成大于进行所述第1平面拍摄模式的拍摄时的光圈值;及
当进行所述第1平面拍摄模式的拍摄时,使所述摄像元件的所述第1像素组和所述第2像素组进行相同曝光时间的曝光,进行所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加,从而取得平面图像,当进行所述第2平面拍摄模式的拍摄时,使所述摄像元件的所述第1像素组和所述第2像素组进行不同曝光时间的曝光,进行所述第1像素组的像素数据和所述第2像素组的像素数据的像素相加,从而取得宽动态范围的平面图像。
12.根据权利要求11所述的摄像方法,其特征在于,
当进行所述第1平面拍摄模式的拍摄时,将所述光圈装置设置为开放状态。
13.根据权利要求11或12所述的摄像方法,其特征在于,
使用能够***到供入射于所述摄像元件的光束通过的光路中的减光镜和取得被拍摄体亮度的被拍摄体亮度取得单元,
当进行所述第1平面拍摄模式的拍摄时,根据由所述被拍摄体亮度取得单元取得的所述被拍摄体亮度来控制是否将所述减光镜***到所述光路中。
14.根据权利要求11或12所述的摄像方法,其特征在于,
使用用于取得被拍摄体距离的被拍摄体距离取得单元,
当进行所述第2平面拍摄模式的拍摄时,根据由所述被拍摄体距离取得单元取得的所述被拍摄体距离来切换是否将所述光圈装置设置为开放状态。
15.根据权利要求14所述的摄像方法,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在所述被拍摄体距离大于阈值的情况下,将所述光圈装置设置为开放状态。
16.根据权利要求11或12所述的摄像方法,其特征在于,
使用用于取得所述拍摄光学***的焦距的焦距取得单元,
当进行所述第2平面拍摄模式的拍摄时,根据由所述焦距取得单元取得的所述焦距来切换是否将所述光圈装置设置为开放状态。
17.根据权利要求16所述的摄像方法,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在所述焦距为阈值以下的情况下,将所述光圈装置设置为开放状态。
18.根据权利要求13所述的摄像方法,其特征在于,
当进行所述第2平面拍摄模式的拍摄时,在将所述光圈装置设置为开放状态的情况下,根据所述被拍摄体亮度来切换是否将所述减光设置为***状态。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010150317 | 2010-06-30 | ||
JP2010-150317 | 2010-06-30 | ||
PCT/JP2011/064621 WO2012002298A1 (ja) | 2010-06-30 | 2011-06-27 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102934024A CN102934024A (zh) | 2013-02-13 |
CN102934024B true CN102934024B (zh) | 2015-07-22 |
Family
ID=45402012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180028802.8A Expired - Fee Related CN102934024B (zh) | 2010-06-30 | 2011-06-27 | 摄像装置及摄像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8902294B2 (zh) |
EP (1) | EP2590024A4 (zh) |
JP (1) | JP5628914B2 (zh) |
CN (1) | CN102934024B (zh) |
WO (1) | WO2012002298A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9392260B2 (en) | 2012-01-27 | 2016-07-12 | Panasonic Intellectual Property Management Co., Ltd. | Array optical element, imaging member, imaging element, imaging device, and distance measurement device |
JP6131546B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP6375607B2 (ja) * | 2013-09-30 | 2018-08-22 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
JP6362091B2 (ja) * | 2014-06-04 | 2018-07-25 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
CN105141839B (zh) * | 2015-08-21 | 2018-01-26 | 大连理工大学 | 一种基于光圈时控的高清图像获取方法 |
JP6873688B2 (ja) * | 2016-12-27 | 2021-05-19 | キヤノン株式会社 | 画像処理装置および画像処理方法、撮像装置、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0869093A (ja) * | 1994-08-27 | 1996-03-12 | Eastman Kodak Co | 写真感光材処理方法 |
JP2001061165A (ja) * | 1999-08-20 | 2001-03-06 | Sony Corp | レンズ装置及びカメラ |
CN1619358A (zh) * | 2003-09-08 | 2005-05-25 | 株式会社东芝 | 立体显示装置及图像显示方法 |
CN101083724A (zh) * | 2006-05-31 | 2007-12-05 | Ess技术公司 | 具有提供增强动态范围图像的交错读取的cmos图像*** |
EP2200271A1 (en) * | 2008-08-29 | 2010-06-23 | Sony Corporation | Imaging device and image recording and playback system |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6442314A (en) | 1987-08-07 | 1989-02-14 | Shinetsu Chemical Co | Production of silica sol dispersed in organic solvent |
JPH0869063A (ja) * | 1994-08-29 | 1996-03-12 | Olympus Optical Co Ltd | 立体映像録画装置および録画方法 |
JP3753201B2 (ja) | 1996-07-22 | 2006-03-08 | 富士写真フイルム株式会社 | 視差画像入力装置 |
JP3805094B2 (ja) * | 1998-01-16 | 2006-08-02 | 松下電器産業株式会社 | 固体撮像装置 |
JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
JP2001222083A (ja) * | 2000-02-07 | 2001-08-17 | Canon Inc | 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体 |
JP4010779B2 (ja) * | 2001-06-08 | 2007-11-21 | ペンタックス株式会社 | 画像検出装置と絞り装置 |
ES2478637T3 (es) | 2006-02-13 | 2014-07-22 | 3M Innovative Properties Company | Formación de imágenes tridimensionales monoculares |
JP4998056B2 (ja) * | 2006-05-11 | 2012-08-15 | セイコーエプソン株式会社 | 撮像装置、撮像システム及び撮像方法 |
JP2008000187A (ja) | 2006-06-20 | 2008-01-10 | Maruhon Ind Co Ltd | 遊技機 |
JP4692850B2 (ja) | 2007-01-29 | 2011-06-01 | 富士フイルム株式会社 | 撮影装置 |
JP4341691B2 (ja) * | 2007-04-24 | 2009-10-07 | ソニー株式会社 | 撮像装置、撮像方法、露光制御方法、プログラム |
JP2008299184A (ja) | 2007-06-01 | 2008-12-11 | Nikon Corp | 撮像装置および焦点検出装置 |
JP2009168995A (ja) | 2008-01-15 | 2009-07-30 | Nikon Corp | 測距装置および撮像装置 |
JP5531483B2 (ja) | 2008-08-29 | 2014-06-25 | ソニー株式会社 | 撮像装置および映像記録再生システム |
JP5342969B2 (ja) * | 2009-09-10 | 2013-11-13 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2011061684A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 固体撮像素子及びその駆動方法並びに撮像装置 |
-
2011
- 2011-06-27 EP EP11800762.4A patent/EP2590024A4/en not_active Withdrawn
- 2011-06-27 WO PCT/JP2011/064621 patent/WO2012002298A1/ja active Application Filing
- 2011-06-27 CN CN201180028802.8A patent/CN102934024B/zh not_active Expired - Fee Related
- 2011-06-27 JP JP2012522608A patent/JP5628914B2/ja not_active Expired - Fee Related
-
2012
- 2012-12-13 US US13/713,491 patent/US8902294B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0869093A (ja) * | 1994-08-27 | 1996-03-12 | Eastman Kodak Co | 写真感光材処理方法 |
JP2001061165A (ja) * | 1999-08-20 | 2001-03-06 | Sony Corp | レンズ装置及びカメラ |
CN1619358A (zh) * | 2003-09-08 | 2005-05-25 | 株式会社东芝 | 立体显示装置及图像显示方法 |
CN101083724A (zh) * | 2006-05-31 | 2007-12-05 | Ess技术公司 | 具有提供增强动态范围图像的交错读取的cmos图像*** |
EP2200271A1 (en) * | 2008-08-29 | 2010-06-23 | Sony Corporation | Imaging device and image recording and playback system |
Also Published As
Publication number | Publication date |
---|---|
EP2590024A1 (en) | 2013-05-08 |
WO2012002298A1 (ja) | 2012-01-05 |
EP2590024A4 (en) | 2016-05-18 |
CN102934024A (zh) | 2013-02-13 |
US20130100251A1 (en) | 2013-04-25 |
JP5628914B2 (ja) | 2014-11-19 |
US8902294B2 (en) | 2014-12-02 |
JPWO2012002298A1 (ja) | 2013-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102934025B (zh) | 摄像装置及摄像方法 | |
KR101691551B1 (ko) | 촬상장치 및 방법 | |
CN102934024B (zh) | 摄像装置及摄像方法 | |
CN103370943B (zh) | 成像装置和成像方法 | |
KR20160015737A (ko) | 이미지 촬영 장치 및 이미지 촬영 방법 | |
CN103168463A (zh) | 图像传感器和摄像设备 | |
CN103563366A (zh) | 图像拾取装置、图像拾取设备、图像处理方法、光圈控制方法及程序 | |
JPWO2013027488A1 (ja) | 撮像装置 | |
JP5525107B2 (ja) | 撮像装置 | |
CN103039066A (zh) | 成像装置、图像处理装置以及图像处理方法 | |
JP6029496B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、記憶媒体 | |
CN103918249A (zh) | 成像装置和成像方法 | |
JP2012124766A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5507761B2 (ja) | 撮像装置 | |
CN103098458A (zh) | 立体成像装置和立体成像方法 | |
JP6469026B2 (ja) | 撮像装置およびその制御方法 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP7175704B2 (ja) | 撮像装置およびその制御方法 | |
JP6456334B2 (ja) | 撮像装置 | |
JP2020003725A (ja) | 撮像装置及びその制御方法 | |
JP2019139043A (ja) | 撮像装置およびその制御方法 | |
JP2017021175A (ja) | 撮像装置 | |
JP2015186189A (ja) | 撮像装置およびその制御方法ならびに画像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150722 Termination date: 20180627 |
|
CF01 | Termination of patent right due to non-payment of annual fee |