CN104221370B - 图像处理装置、摄像装置以及图像处理方法 - Google Patents
图像处理装置、摄像装置以及图像处理方法 Download PDFInfo
- Publication number
- CN104221370B CN104221370B CN201380018241.2A CN201380018241A CN104221370B CN 104221370 B CN104221370 B CN 104221370B CN 201380018241 A CN201380018241 A CN 201380018241A CN 104221370 B CN104221370 B CN 104221370B
- Authority
- CN
- China
- Prior art keywords
- parallax
- image
- visual point
- parallax amount
- correction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 46
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012937 correction Methods 0.000 claims abstract description 140
- 230000000007 visual effect Effects 0.000 claims abstract description 128
- 210000001747 pupil Anatomy 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims description 74
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000000638 solvent extraction Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 56
- 230000006870 function Effects 0.000 description 39
- 230000008569 process Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008447 perception Effects 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000003825 pressing Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明具备:图像获取单元,取得由光瞳分割的摄像而生成的视点不同的多个视点图像;视差计算单元(40a),算出多个视点图像的视点图像间的第一视差量;存储器(48),存储有视差校正信息,该视差校正信息表示第一视差量与由光瞳分割的摄像产生的多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系;及视差校正单元(40b),基于第一视差量和存储于存储器(48)的视差校正信息,算出对第一视差量校正了与物体图像的视差方向上的偏离量相应的量后的第二视差量。
Description
技术领域
本发明涉及图像处理装置、摄像装置以及图像处理方法,特别是涉及在对以光瞳分割拍摄到的多个视点图像的视差进行检测的情况下能够得到不容易受噪声的影响且与人所感知的视差同等的视差的图像处理装置、摄像装置以及图像处理方法。
背景技术
已知有具备以光瞳分割方式进行摄像的摄像元件的立体摄像装置。在这样的使用了光瞳分割方式的摄像元件的情况下,作为在左右图像之间进行匹配而算出视差的方法,公知将像素值之差的平方和为最小的块的位置偏离量视为正解而输出的方法。如此,视差的计算通常使用在左眼图像和右眼图像中利用基于像素值的相关性来算出视差的方法(相关法)而进行。
例如,专利文献1公开了通过具备上部开口的微透镜和下部开口的微透镜而得到左眼图像和右眼图像的相位差式的图像传感器。另外,公开了在左眼图像和右眼图像进行基于相关法的匹配来求算距离信息的内容。
另外,专利文献2公开了通过对一个圆柱体微透镜在左侧和右侧配置光电转换元件而得到左眼图像和右眼图像的相位差式的图像传感器。
另外,专利文献3公开了如下内容:进行光瞳分割的摄像而取得多个视点图像(第一图像以及第二图像),在对这些多个视点图像分别进行不同的图像处理时,以各图像处理后的多个视点图像之间的画质之差降低的方式进行各图像处理。
另外,专利文献4公开了如下内容:进行光瞳分割的摄像而取得多个视点图像(第一视差图像以及第二视差图像),对应每个位置选择与这些多个视点图像内的各位置的散焦量和像高对应的复原滤光片,基于所选择的复原滤光片,对应多个视点图像内的每个位置实施反卷积,从而对多个视点图像进行复原。
专利文献1:日本特开2002-191060号公报
专利文献2:日本特表2011-515045号公报
专利文献3:WO2011/118089号公报
专利文献4:WO2011/118077号公报
发明内容
发明所要解决的课题
然而,在利用光瞳分割方式的摄像元件进行摄像的情况下,左眼图像以及右眼图像并非单纯地成为相同形状的物体图像在左右方向上相互偏离的图像的组,由于摄像光学***,实际上成为分别被实施了左右对称的半月状滤光那样的图像的组。因此,当在那样的左眼图像和右眼图像进行块匹配时,存在会算出与人所感知的视差稍微不同的视差这样的问题。
设为作为视差的计算法,使用了进行块匹配而将像素值之差的平方和为最小的位置偏离量视为正解而输出的方法(是所谓相关法的一种)。对于此,可考虑为人将左右的图像之间信号的峰位置的偏离量感知为视差。即,当利用相关法算出视差时,不一定将峰位置的偏离量作为正解而输出,因此存在与人所感知的视差稍微不同的可能性。
另外,也可考虑算出峰位置的偏离量作为视差,但是峰位置彼此的比较通常容易受噪声的影响,不能检测视差的概率变高。相对于此,基于相关法的视差计算不容易受噪声影响。
专利文献1、2不过是公开了相位差式的图像传感器,并没有关于得到不容易受噪声影响且与人所感知的视差同等的视差的公开。另外,专利文献3公开了以视点图像之间的画质之差降低的方式进行各图像处理,并没有关于得到不容易受噪声影响且与人所感知的视差同等的视差的公开。另外,专利文献4公开了对应多个视点图像内的每个位置实施反卷积的复原处理,而没有关于得到不容易受噪声影响且与人所感知的视差同等的视差的公开。即,在专利文献1~4记载的技术中,难以得到与人所感知的视差同等的视差。
本发明鉴于这样的情况而作出,其目的在于提供在对由光瞳分割的摄像而生成的视点不同的多个视点图像的视差进行检测的情况下能够得到不容易受噪声影响且与人所感知的视差同等的视差的图像处理装置、摄像装置以及图像处理方法。
用于解决课题的手段
为了实现上述的目的,本发明提供图像处理装置,具备:图像获取单元,取得由光瞳分割的摄像而生成的视点不同的多个视点图像;第一视差量计算单元,算出多个视点图像的视点图像间的第一视差量;存储单元,存储有视差校正信息,该视差校正信息表示第一视差量与由光瞳分割的摄像引起的多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系;及第二视差量计算单元,基于第一视差量和存储于存储单元的视差校正信息,算出对第一视差量校正了与物体图像的视差方向上的偏离量相应的量后的第二视差量。
在此,“视差方向”是与将两眼的眼和眼连接的方向对应的、视点图像中的方向。例如,在使用具有相位差像素的摄像元件来进行光瞳分割的摄像的情况下,相位差像素的相位差的方向是“视差方向”。即,在多个视点图像间连接所对应的对应点之间的方向是“视差方向”。
根据本发明,利用第一视差量计算单元算出作为视点图像间的视差量的临时的正解的第一视差量,基于该第一视差量和存储于存储单元的视差校正信息,对该作为临时的正解的第一视差量校正与视点图像间的实际的物体图像的视差方向上的偏离量相应的量,因此能够得到不容易受噪声影响且与人所感知的视差同等的视差。在此,“人所感知的视差”是“实际的物体图像的视差方向上的偏离量”。
在一实施方式中,物体图像的视差方向上的偏离量是多个视点图像的视点图像间的、物体图像的像素值的峰位置的偏离量,第二视差量计算单元算出对第一视差量校正了与物体图像的像素值的峰位置的偏离量相应的量后的第二视差量。
在一实施方式中,第一视差量计算单元利用相关性算出第一视差量。
根据本实施方式,当预先存储利用基于相关性的匹配而算出的视差与实际的物体图像的视差方向上的偏离量(峰位置的偏离量)之间的关系并取得以光瞳分割对任意的被摄体进行摄像而生成的多个视点图像时,利用基于相关性的匹配来求算视点图像间的视差量的临时的正解(第一视差量),基于该临时的正解和视差校正信息,对临时的正解校正与实际的物体图像的视差方向上的偏离量相应的量(第二视差量),因此能够得到不容易受噪声影响且与人所感知的视差同等的视差。
在一实施方式中,多个视点图像由具有排列有多个光电转换元件的摄像面的摄像元件以光瞳分割来进行摄像,存储单元对应摄像元件的摄像面中的不同的每个位置而存储视差校正信息,第二视差量计算单元从存储单元取得与多个视点图像内的位置对应的、摄像元件的摄像面的每个位置的视差校正信息,基于该取得的视差校正信息来算出第二视差量。
在一实施方式中,存储单元对应视点图像的像素的每个彩色信道而存储视差校正信息,第二视差量计算单元取得存储于存储单元的每个彩色信道的视差校正信息,并基于该取得的视差校正信息,对应每个彩色信道算出第二视差量。
在一实施方式中,多个视点图像由包含绿色的像素在内的多个颜色的像素构成,存储单元存储与绿色的像素对应的视差校正信息,第二视差量计算单元基于存储于存储单元的与绿色的像素对应的视差校正信息而取得与绿色的像素对应的视差校正信息,基于该取得的视差校正信息,算出多个视点图像的绿色的像素以及绿色的像素以外的像素中的第二视差量。
在一实施方式中,多个视点图像使用光圈值能够变化的摄影光学***来进行摄像,存储单元对应摄影光学***的每个光圈值而存储视差校正信息,第二视差量计算单元将使用摄影光学***拍摄了多个视点图像时的光圈值作为参数而取得视差校正信息,并基于该取得的视差校正信息来算出第二视差量。
在一实施方式中,具备使由第二视差量计算单元算出的多个视点图像的第二视差量增加的视差增强单元。
在一实施方式中,具备多视点图像生成单元,该多视点图像生成单元基于由第二视差量计算单元算出的第二视差量,生成视点数量与由图像获取单元取得的多个视点图像不同的多视点图像。
在一实施方式中,第一视差量计算单元通过在视点图像之间进行块匹配而以预定的像素单位或者子像素单位算出表示一致程度的评价值,将评价值为最小的位置彼此的偏离量作为第一视差量。
在一实施方式中,视差量计算单元通过求算视点图像间的像素值之差的平方和或视点图像间的像素值之差的总和而算出评价值。
存储单元将视差校正信息作为查找表或者计算式而存储。
另外,本发明提供摄像装置,具备上述的图像处理装置和进行光瞳分割方式的摄像的摄像单元。
在一实施方式中,摄像单元具有包含聚焦透镜的摄影光学***,摄像装置具备自动对焦处理单元,该自动对焦处理单元基于由第二视差量计算单元算出的第二视差量,进行调节摄影光学***的聚焦透镜的位置的控制。
另外,本发明提供图像处理方法,具备以下步骤:取得由光瞳分割的摄像而生成的视点不同的多个视点图像;算出多个视点图像的视点图像间的第一视差量;及将视差校正信息预先存储于存储单元,该视差校正信息表示第一视差量与由光瞳分割的摄像引起的多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系,基于第一视差量和存储于存储单元的视差校正信息来算出对第一视差量校正了与物体图像的视差方向上的偏离量相应的量后的第二视差量。
发明效果
根据本发明,在对由光瞳分割方式的摄像而生成的视点不同的多个视点图像的视差进行检测的情况下能够得到不容易受噪声影响且与人所感知的视差同等的视差。
附图说明
图1是表示适用了本发明所涉及的图像处理装置的立体摄像装置的实施方式的立体图。
图2是上述立体摄像装置的后视图。
图3是表示立体摄像装置的摄像元件的结构例的图。
图4是上述摄像元件的主要部分放大图。
图5是表示上述立体摄像装置的内部结构的一实施方式的框图。
图6是表示由上述摄像元件以光瞳分割拍摄到的左眼图像以及右眼图像的例子的说明图。
图7是表示以光瞳分割对存在于与完美对焦位置相比更近的位置上的点光源进行摄像的情况的说明图。
图8是利用以往的摄像元件以通常的摄像对点光源进行摄像的情况下的说明图。
图9是利用本例的摄像元件以光瞳分割的摄像对点光源进行摄像的情况下的说明图。
图10是表示以光瞳分割对存在于与完美对焦位置相比更近的位置上的点光源进行摄像而得到的左眼图像以及右眼图像的例子的说明图。
图11是表示以光瞳分割对存在于与完美对焦位置相比更远的位置上的点光源进行摄像而得到的左眼图像以及右眼图像的例子的说明图。
图12是表示计算视差与像素值的峰位置的偏离量之差的说明图。
图13是表示CPU以及存储器的功能性内部结构例的框图。
图14是用于说明点光源的距离、计算视差和峰位置的偏离量的关系的说明图,是表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。
图15是表示计算视差与视差校正量的对应关系的例子的曲线图。
图16是表示每个彩色信道的计算视差与视差校正量的对应关系的例子的曲线图。
图17是用于说明画面内的位置、计算视差和峰位置的偏离量的关系的说明图,是表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。
图18是表示画面内的每个位置的计算视差与视差校正量的对应关系的例子的曲线图。
图19是表示进行视差增强的情况下的图像处理例的流程的流程图。
图20是表示进行多视点图像生成的情况下的图像处理例的流程的流程图。
图21是表示以往的相位差AF处理例的流程的流程图。
图22是表示适用了本发明的相位差AF处理例的流程的流程图。
图23是作为本发明所涉及的图像处理装置的其他实施方式的、作为便携式电子设备的智能手机的外观图。
图24是表示上述智能手机的结构的框图。
具体实施方式
以下,根据附图,对本发明所涉及的图像处理装置、图像处理方法、立体摄像装置以及便携式电子设备的实施方式进行说明。
[立体摄像装置的整体结构]
图1是表示适用了本发明所涉及的图像处理装置的立体摄像装置的实施方式的立体图。图2是上述立体摄像装置的后视图。该立体摄像装置10(3D数码照相机)是由摄像元件接收通过了镜头的光并转换为数字信号而记录于存储卡等记录介质的数码照相机。
如图1所示,立体摄像装置10在其正面配置有摄影镜头12、闪光灯1等,在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面,如图2所示,在照相机背面配置有3D显示用的3D液晶显示器30、变焦按钮5、十字按钮6、菜单/确定按钮7、重放按钮8及返回按钮9等。
摄影镜头12由伸缩式的变焦镜头构成,通过利用电源/模式开关3将照相机的模式设定为摄影模式而从照相机主体伸出。闪光灯1朝向主要被摄体照射闪光。
快门按钮2利用由所谓的“半按压”和“全按压”构成的2级行程式的开关构成。在以摄影模式进行驱动时,立体摄像装置10通过该快门按钮2被“半按压”而使AE(AutomaticExposure:自动曝光)/AF(AutoFocus:自动对焦)进行动作,通过该快门按钮2被“全按压”而执行摄影。另外,在以摄影模式进行驱动时,立体摄像装置10通过该快门按钮2被“全按压”而执行摄影。
电源/模式开关3兼具作为使立体摄像装置10的电源接通/断开的电源开关的功能和作为对立体摄像装置10的模式进行设定的模式开关的功能,配置成在“断开位置”、“重放位置”和“摄影位置”之间滑动自如。立体摄像装置10通过使电源/模式开关3滑动并与“重放位置”或“摄影位置”一致而使电源接通,通过使电源/模式开关3滑动并与“断开位置”一致而使电源断开。并且,通过使电源/模式开关3滑动并与“重放位置”一致而设定为“重放模式”,通过使电源/模式开关3滑动并与“摄影位置”一致而设定为“摄影模式”。
模式拨盘4作为对立体摄像装置10的摄影模式进行设定的摄影模式设定单元而发挥功能,通过该模式拨盘的设定位置,将立体摄像装置10的摄影模式设定为各种各样的模式。例如,进行平面图像的摄影的“平面图像摄影模式”、进行立体图像(3D图像)的摄影的“立体图像摄影模式”、进行动画摄影的“动画摄影模式”等。
3D液晶显示器30是能够利用视差屏障将立体图像(左眼图像以及右眼图像)显示作分别具有预定的指向性的指向性图像的立体显示单元。在将立体视图像输入到3D液晶显示器30的情况下,使3D液晶显示器30的视差屏障显示层产生由将透光部和遮光部交替地以预定的间距排列而成的图案构成的视差屏障,并且表示左右图像的长条状的图像片段交替地排列显示于该视差屏障的下层的图像显示面。在作为平面图像、用户界面显示面板进行利用的情况下,在视差屏障显示层上什么也不显示,在其下层的图像显示面上直接显示1张图像。另外,3D液晶显示器30的方式不限于此,只要将左眼图像以及右眼图像以能够作为立体图像进行识别的方式显示,则也可以是使用柱面透镜的方式、通过佩戴偏光眼镜、液晶快门眼镜等专用眼镜而能够个别地观察左眼图像和右眼图像的方式。
变焦按钮5作为指示变焦的变焦指示单元而发挥功能,由对向远摄侧的变焦进行指示的长焦按钮5T和对向广角侧的变焦进行指示的广角按钮5W构成。在摄影模式时,立体摄像装置10通过对该长焦按钮5T和广角按钮5W进行操作,而使摄影镜头12的焦距变化。另外,在重放模式时,通过对该长焦按钮5T和广角按钮5W进行操作,而将重放中的图像放大、缩小。
十字按钮6是输入上下左右这4方向的指示的操作部,作为从菜单画面选择项目或从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为重放模式时的幅进给(正方向/反方向进给)按钮而发挥功能。
菜单/确定按钮7是兼备用于进行在3D液晶显示器30的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定以及执行等进行指示的确定按钮的功能的操作键。
重放按钮8是用于切换为重放模式的按钮,该重放模式在3D液晶显示器30上显示所摄影记录的立体图像(3D图像)、平面图像(2D图像)的静止图像或动画。
返回按钮9作为对输入操作的取消、返回到前一个操作状态进行指示的按钮而发挥功能。
[摄影光学***、摄像元件的结构例]
摄影镜头12是由包含聚焦透镜、变焦透镜的多个的透镜构成的摄像光学***。在摄影模式时,表示被摄体的图像光经由摄影镜头12而成像于摄像元件16的受光面。
图3是对摄像元件16的结构例进行表示的图。
摄像元件16作为具有视差的图像(多个视点图像)检测用的CCD图像传感器而构成,具有分别排列为矩阵状的奇数行的像素(称作主像素、A面像素)和偶数行的像素(称作副像素、B面像素),由这些主、副像素分别进行光电转换而成的两画面量的图像信号(多个视点图像)能够独立读出。
如图3所示,在摄像元件16的奇数行(1、3、5、…),具备R(红)、G(绿)、B(蓝)滤色器的像素中的GRGR…的像素排列的行和BGBG…的像素排列的行交替地设置,另一方面,偶数行(2、4、6、…)的像素中,与奇数行同样地,GRGR…的像素排列的行和BGBG…的像素排列的行交替地设置,并且相对于偶数行的像素,像素彼此向行方向偏离二分之一的间距而配置。
图4是作为相位差图像传感器而发挥功能的摄像元件16的主要部分放大图。
如图4(a)所示,在摄像元件16的主像素的光电二极管PD的前表面侧(微透镜L侧)配置遮光构件16A,另一方面,如图4(b)所示,在副像素的光电二极管PD的前表面侧配置遮光构件16B。微透镜L以及遮光构件16A、16B具有作为光瞳分割单元的功能,如图4(a)所示,遮光构件16A对主像素(光电二极管PD)的受光面的左一半进行遮光。因此,在主像素,仅通过摄影镜头12的出射光瞳的光束的光轴的左侧接收光。另外,如图4(b)所示,遮光构件16B对副像素(光电二极管PD)的受光面的右一半进行遮光。因此,在副像素,仅通过摄影镜头12的出射光瞳的光束的光轴的右侧接收光。如此,利用作为光瞳分割单元的微透镜L以及遮光构件16A、16B,通过出射光瞳的光束被沿左右分割,并分别向主像素、副像素入射。
另外,在与通过摄影镜头12的出射光瞳的光束中的左一半的光束对应的被摄体图像和与右一半的光束对应的被摄体图像中,焦点对齐的部分成像于摄像元件16上的相同的位置,但是向前跑焦或向后跑焦的部分分别向摄像元件16上的不同的位置入射(相位偏离)。由此,能够取得与左一半的光束对应的被摄体图像和与右一半的光束对应的被摄体图像作为视差不同的视差图像(左眼图像、右眼图像)。另外,本实施方式的摄像元件16是CCD图像传感器,但是不限于此,也可以是CMOS型的图像传感器。
[立体摄像装置的内部结构]
图5是对上述立体摄像装置10的内部结构的实施方式进行表示的框图。该立体摄像装置10将所拍摄的图像记录于存储卡54,装置整体的动作由中央处理装置(CPU)40统一控制。
在立体摄像装置10设有快门按钮、模式拨盘、重放按钮、菜单/确定键、十字键、变焦按钮、返回键等的操作部38。来自该操作部38的信号向CPU40输入,CPU40基于输入信号对立体摄像装置10的各电路进行控制,例如,进行镜头驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、3D液晶显示器30的显示控制等。在操作部38设有用于由用户设定视差校正的视差量设定部。
当利用电源/模式开关3将立体摄像装置10的电源接通时,从未图示的电源部向各块供电,开始立体摄像装置10的驱动。
摄影镜头12是由多个透镜构成的摄像光学***。光圈14例如由5片光圈叶片构成,利用光圈驱动部34,例如将光圈值(F值)连续地或阶段性地光圈控制至F2~F8。通过了摄影镜头12、光圈14等的光束成像于摄像元件16,在摄像元件16上存储信号电荷。存储于摄像元件16的信号电荷基于从摄像元件控制部32施加的读出信号而作为与信号电荷对应的电压信号读出。从摄像元件16读出的电压信号向模拟信号处理部18施加。
模拟信号处理部18对于从摄像元件16输出的电压信号,通过相关双采样处理(以减轻摄像元件16的输出信号中所包含的噪声(特别是热噪声)等为目的,通过取得在摄像元件16的每1像素的输出信号中所包含的馈通(feedthrough)成分电平与像素信号成分电平之差而得到准确的像素数据的处理)对各像素的R、G、B信号进行采样保持,被放大后向A/D转换器20施加。A/D转换器20将顺次输入的R、G、B信号转换为数字的R、G、B信号而向图像输入控制器22输出。
数字信号处理部24对经由图像输入控制器22输入的数字的图像信号,进行偏移处理、包含白平衡校正、灵敏度校正的增益/控制处理、伽玛校正处理、去马赛克算法处理、YC处理及边缘增强处理等预定的信号处理。
在此,从摄像元件16的奇数行的主像素读出的主图像数据作为左眼图像数据而被处理,从偶数行的副像素读出的副图像数据作为右眼图像数据而被处理。
由数字信号处理部24处理后的左眼图像数据以及右眼图像数据(3D图像数据)向VRAM50输入。在VRAM50包含分别记录表示1幅量的3D图像的3D图像数据的A区域和B区域。在VRAM50中,表示1幅量的3D图像的3D图像数据在A区域和B区域中被交替地重写。从VRAM50的A区域以及B区域中的重写3D图像数据的一方的区域以外的区域读出所写入的3D图像数据。
从VRAM50读出的3D图像数据在视频编码器28中被编码,并向设于照相机背面的3D液晶显示器30输出,由此在3D液晶显示器30的显示画面上连续地显示3D的被摄体图像。
当存在操作部38的快门按钮2的第一阶段的按下(半按压)时,CPU40以如下方式进行控制:开始AF动作以及AE动作,经由镜头驱动部36使聚焦透镜沿光轴方向移动,使聚焦透镜到达对焦位置。
AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下,提取左眼图像以及右眼图像的至少一方的图像中的预定的聚焦区域内的图像的高频成分,对该高频成分进行积分,从而算出表示对焦状态的AF评价值。以该AF评价值变得极大的方式对摄影镜头12内的聚焦透镜进行控制,从而进行AF控制。另外,在进行相位差AF处理的情况下,对与左眼图像以及右眼图像中的预定的聚焦区域内的主像素、副像素对应的图像的相位差进行检测,基于表示该相位差的信息而求算散焦量。以该散焦量成为零的方式对摄影镜头12内的聚焦透镜进行控制,从而进行AF控制。
CPU40根据来自变焦按钮5的变焦指令而经由镜头驱动部36使变焦透镜沿光轴方向进行进退动作,而使焦距变更。
另外,在半按压快门按钮2时从A/D转换器20输出的图像数据被读入到AE检测部44。
在AE检测部44中,对画面整体的G信号进行累计,或对在画面中央部和周边部附加了不同的权重后的G信号进行累计,并将其累计值向CPU40输出。CPU40利用从AE检测部44输入的累计值来算出被摄体的亮度(摄影Ev值),基于该摄影EV值,按照预定的程序线图来确定光圈14的F值以及摄像元件16的电子快门(快门速度)。
另外,在图5中,标注了附图标记46的要素是用于对摄影视角内的人物的脸部进行检测并将包括该脸部的区域设定作AF区域、AE区域的公知的脸部检测电路(例如,参照日本特开平9-101579号公报)。
另外,标注了附图标记47的要素是除了存储照相机控制程序、摄像元件16的缺陷信息、用于图像处理等的各种参数、表之外还存储用于对本发明所涉及的左眼图像以及右眼图像的立体感进行校正(视差校正)的图像处理程序、滤光系数计算用的计算式或查找表、与视差、视差增强的程度对应的计算式的参数或用于确定查找表的信息的ROM(EEPROM)。另外,对于本发明所涉及的图像处理程序等的详细内容,留作后述。
当通过快门按钮2的半按压而AE动作以及AF动作结束并存在快门按钮的第二阶段的按下(全按压)时,将响应于该按下而从A/D转换器20输出的与主像素以及副像素对应的左视点图像(主图像)以及右视点图像(副图像)的2张量的图像数据从图像输入控制器22向存储器(SDRAM)48输入,并临时存储。
临时存储于存储器48的2张量的图像数据由数字信号处理部24适当读出,在此,进行包含去马赛克算法处理(对与原色滤光片的排列相伴的颜色信号的空间性偏离进行插值而以去马赛克的方式转换颜色信号的处理)、本发明所涉及的视差校正及边缘增强的图像处理以及YC处理(图像数据的亮度数据以及色差数据的生成处理)在内的预定的信号处理,被YC处理后的图像数据(YC数据)再次存储于存储器48。
存储于存储器48的2张量的YC数据分别向压缩扩展处理部26输出,在执行JPEG(jointphotographicexpertsgroup:联合图像专家小组)等的预定的压缩处理后,再次存储于存储器48。由存储于存储器48的2张量的YC数据(压缩数据)生成多图像文件(MP文件:将多个图像连接的格式的文件),该MP文件由介质控制器52读出,并记录于存储卡54。
另外,立体摄像装置10不仅能够取得立体图像(3D图像),而且也能够取得平面图像(2D图像)。
[视差校正的原理]
接下来,对本发明所涉及的图像处理方法中的视差校正的原理进行说明。
图6表示由摄像元件16通过光瞳分割的摄像而生成的视点不同的左眼图像60L以及右眼图像60R的例子。附图标记61是近距离的物体图像,附图标记62是中距离的物体图像,附图标记63是远距离的物体图像。左眼图像60L与右眼图像60R之间的相同的附图标记的物体图像的视差方向(是图中的左右方向)上的偏离量(附图标记61的物体图像彼此的视差方向上的偏离量、附图标记62的物体图像彼此的视差方向上的偏离量、附图标记63的物体图像彼此的视差方向上的偏离量)与实际的视差相当。
大致的流程是以下的[1]视差计测以及[2]视差校正。
[1]视差计测:在所取得的多个视点图像(通过光瞳分割方式的摄像而生成的视点不同的左眼图像60L以及右眼图像60R)间,通过相关运算进行块匹配而算出视差(称作“视差量”)。
[2]视差校正:基于多个视点图像(左眼图像60L以及右眼图像60R)的所算出的视差和与该所算出的视差对应的视差校正信息,对所算出的视差校正与实际的物体图像的视差方向上的偏离量相应的量(实际的视差)。
作为视差计测的方法,已知有相关法。例如能够对在x方向上是15像素、在y方向上是1像素那样的内核进行扫描,通过找出像素值之差的平方和最小的部位来进行匹配。视差的计测结果能够以越远越亮、越近越暗那样的单色图像(距离图像)进行表示。也能够进行以子像素为单位的视差的测定,对于详细的方法,在新井等所著的“图像的块匹配中的相关函数和副像素推定方式的最优化(信息处理学会研究报告,卷:2004,号:40(CVIM-144),页:33-40)”等中被记载。
在视差计测中,通常存在如下问题:进行块匹配并使用相关性算出的视差的值与人所感知的视差的值,存在稍微的差异。
对于该问题,使用图7~图12进行说明。
如图7所示,在由摄像元件16利用光瞳分割方式对存在于与完美对焦位置相比更近的位置上的点光源进行摄像的情况下,向该摄像元件16的摄像面16C赋予圆形状的模糊的点光源的光图像。
假若,如图8所示,在利用以往的摄像元件96以通常的摄像(非光瞳分割方式的摄像)对点光源进行摄像的情况下,如赋予于摄像面的那样,被拍摄作圆形状的模糊的点光源图像。
可是,在如图9所示,在利用本例的摄像元件16进行光瞳分割方式的摄像的情况下,被拍摄为半月形状的模糊的点光源图像。图10表示以光瞳分割方式对存在于与完美对焦位置相比更近的位置上的点光源进行摄像而得到的左眼图像71L以及右眼图像71R的例子。图11表示以光瞳分割方式对存在于与完美对焦位置相比更远的位置上的点光源进行摄像而得到的左眼图像72L以及右眼图像72R的例子。
在此,以图10所示的情况(以光瞳分割方式对与完美对焦位置相比更近的点光源进行摄像的情况)为例,使用图12,将利用相关性算出的视差和人所感知的视差进行对比而对问题点进行说明。
如图12所示,假若在点光源存在于完美对焦位置的情况下,如由附图标记12A所示地得到理想的脉冲形状的图像信号,但是在点光源存在于与完美对焦位置相比更近之处的情况下,如由附图标记12B所示地得到存在视差的左眼图像71L以及右眼图像71R。
假定,设进行块匹配而算出视差,并使右眼图像71R在x轴方向上移动与该所算出的视差相应的量。这样一来,如由附图标记12C所示地,存在左眼图像71L的像素值的峰位置和右眼图像71R的像素值的峰位置不一致的情况。即,不一定如由附图标记12D所示那样左眼图像71L的像素值的峰位置和右眼图像71R的像素值的峰位置一致。这意味着进行块匹配并利用相关性算出的视差(计算视差)和人所感知的视差(由峰位置的偏离量所表示的物体图像的视差方向上的偏离量)存在稍微的差异。
可是,假若当通过图像处理利用运算对峰位置的偏离量进行检测时,实际的摄影场景中并不一定存在点光源,存在难以检测视差的情况,因此实际上,进行块匹配并利用相关性来算出视差为优选。
这样一来,使用如由附图标记80所示地以作为计测结果的计算视差(视差量)为输入参数而输出用于对该计算视差进行校正的校正量(是附图标记12C的偏离量d)那样的查找表(或计算式)为优选。
另外,图12中,以使用表示计算视差与该计算视差的校正量(计算视差和峰位置的偏离量之差)的对应关系的视差校正信息(查找表或计算式)的情况为例而进行了说明,但是该视差校正信息也能够称作间接地表示计算视差和峰位置的偏离量(是实际的物体图像的视差方向上的偏离量)的对应关系。也可以使用直接地表示了计算视差和峰位置的偏离量的对应关系的视差校正信息(查找表或计算式)。
图13是表示本实施方式中的CPU40以及存储器48(存储单元)的功能性内部结构例的框图。
在图13中,存储器48存储视差校正信息,该视差校正信息表示利用通过光瞳分割来拍摄点光源而生成的多个视点的点光源图像中的点光源图像间的相关性算出的视差(计算视差)和点光源图像间的像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)的关系。换言之,视差校正信息表示通过光瞳分割对任意的被摄体进行摄像而生成的多个视点图像的视点图像间的计算视差与多个视点图像的视点图像间的像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)之间的关系。
以下,本例的存储器48存储将计算视差和校正量d(计算视差和峰位置的偏离量之差)建立对应而成的查找表(或者函数的计算式)作为视差校正信息。
CPU40具备:视差计算单元40a,利用相关性算出由摄像元件16以光瞳分割方式的摄像生成的多个视点图像中的视点图像间的视差(计算视差);视差校正单元40b,基于由视差计算单元40a算出的计算视差和存储于存储器48的视差校正信息,对计算视差校正与峰位置的偏离量(实际的物体图像的视差方向上的偏离量)相应的量;及视差增强单元40c,使由视差校正单元40b校正后的多个视点图像的视差增加。本例的视差校正单元40b基于存储于存储器48的查找表(或函数的计算式),取得用于对利用相关性算出的计算视差进行校正的校正量,并基于该取得的校正量,对计算视差校正与峰位置的偏离量相应的量。
另外,也可以在存储器48存储将计算视差和峰位置的偏离量直接建立对应而成的查找表(或者函数的计算式)作为视差校正信息。在该情况下,视差校正单元40b基于视差校正信息,对计算视差直接校正与峰位置的偏离量相应的量。
如上所述,本实施方式的立体摄像装置10具备:第一视差量计算单元(视差计算单元40a),算出多个视点图像的视点图像间的第一视差量(计算视差);存储单元(存储器48),存储视差校正信息,该视差校正信息表示第一视差量与由光瞳分割的摄像引起的多个视点图像的视点图像间的所对应的实际的物体图像的视差方向上的偏离量之间的关系;第二视差量计算单元(视差校正单元40b),基于第一视差量和存储于存储单元(存储器48)的视差校正信息,算出对第一视差量校正了与实际的物体图像的视差方向上的偏离量相应的量后的第二视差量;及视差增强单元40c,使由第二视差量计算单元(视差校正单元40b)算出的多个视点图像的第二视差量增加。
另外,在本例中,利用相关法的运算处理来进行视点图像间的匹配(对应关系的取得)而算出第一视差量,但是,本发明包括使用相关法以外的运算处理来进行视点图像间的特征点彼此的匹配而算出第一视差量的情况。另外,在本例中,对第一视差量校正与峰位置的偏离量相应的量,但是本发明包括作为表示峰位置的偏离量以外的实际的物体图像的视差方向上的偏离量的信息而算出第二视差量的情况。
作为视点图像间的匹配的其他实施例,可列举KLT(KanadeLucasTomasi)算法、SIFT(Scale-InvariantFeatureTransform:尺度不变特征变换)算法等的匹配。在使用了KLT算法、SIFT算法的情况下,从多个视点图像提取适于匹配的特征点,在视点图像间进行特征点彼此的匹配。在图像整体的亮度存在间隙(gap)的情况下,KLT法与相关法相比鲁棒(robust)性高。SIFT法虽然比较耗费处理时间,但是具有也能够应对图像的旋转、放大缩小的优点。因此,优选为,根据处理速度、摄像场景的多样性等而选择适当的运算方法。即使在使用了KLT算法、SIFT算法的情况下,在通过视点图像间的特征点彼此的匹配的运算处理而算出的计算视差和实际的物体图像的视差方向上的偏离量也产生差异,因此优选为,适用本发明,对计算视差校正与实际的物体图像的视差方向上的偏离量相应的量。
[相关性的例子]
作为在相关性中使用的函数,例如存在平方和(SSD)。即,将两视点图像的块之间的一致度的评价值作为左眼图像的关注块的各像素值L(i,j)和右眼图像的关注块的各像素值R(i,j)之差的平方和Σ{L(i,j)-R(i,j))}2而算出。在本例中,示出作为块之间的一致度的评价值的平方和越小,则块之间的一致度越高。
另外,一致度的评价值的计算不限于平方和(SSD)。例如,可列举总和(SAD)、互相关性(CC)、标准化互相关性(NCC)等。
本发明中的相关性不限于上述的例子。能够使用通过在多个视点图像间进行块匹配而对图像间的相关关系以像素或子像素为单位进行分析而算出视差的各种各样的方法(相关法)。
[计算视差和校正量的对应关系]
图14是表示在与完美对焦位置相比更近且距立体摄像装置10的距离不同的多个位置上放置点光源并在各位置上利用光瞳分割方式对点光源进行摄像而得到的多个视点图像(多个视点的点光源图像)的例子。在本例中,在与完美对焦位置相比更近的位置上放置点光源,因此越接近立体摄像装置10,则计算视差越大,点光源的模糊形状越变大。第一多个视点图像(第一左眼图像101L以及第一右眼图像101R)中,计算视差是2.64像素,像素值的峰位置的偏离量是2.78像素,视差校正量是0.14像素。第二多个视点图像(第二左眼图像102L以及第二右眼图像102R)中,计算视差是4.66像素,像素值的峰位置的偏离量是4.89像素,视差校正量是0.23像素。第三多个视点图像(第三左眼图像103L以及第三右眼图像103R)中,计算视差是7.90像素,像素值的峰位置的偏离量是8.19像素,视差校正量是0.29像素。
在此,计算视差是表示左眼图像中的点光源的图像的位置与右眼图像中的点光源的图像的位置之间的偏离量的视差,是利用左眼图像中的点光源的图像和右眼图像中的点光源的图像的相关性算出的视差。像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)是左眼图像中的像素值的峰位置与右眼图像中的像素值的峰位置之间的偏离量,表示与实际的点光源像的偏离量相应的量。视差校正量是计算视差与像素值的峰位置的偏离量之差。
如图14所示,在将点光源放置得与完美对焦位置相比更近的情况下,放置点光源的位置越近,则计算视差越变大,图像中的点光源的像的尺寸越变大,作为计算视差与像素值的峰位置的偏离量之差的视差校正量也越变大。另外,在将点光源放置得与完美对焦位置相比更远的情况下,放置点光源的位置越远,则计算视差越变大,图像中的点光源的像的尺寸越变大,作为计算视差与像素值的峰位置的偏离量之差的视差校正量也越变大。
图15是表示计算视差与视差校正量的对应关系的例子的曲线图。如使用图14而说明的那样,将点光源放置在远近不同的多个位置,在放置了该点光源的每个位置利用光瞳分割方式对点光源进行摄像,求算利用相关性算出的视差(计算视差)与像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)之差即视差校正量,通过插值处理,作为对任意的每个视差表示视差校正量的信息,而生成该曲线图。
如图14所示,视差校正量相对于利用相关性算出的视差(计算视差)具有一定的相关关系。预先实测而求算计算视差与视差校正量的关系,并作为查找表(LUT)而存储。也可以将计算视差与视差校正量的关系设为函数,将利用相关性算出的视差设为参数,而算出视差校正量。也可以通过模拟来算出视差校正量。另外,可以将计算视差与实际的物体图像的视差方向上的偏离量之间的直接的关系作为查找表(LUT)而存储,也可以将计算视差与实际的物体图像的视差方向上的偏离量之间的直接的关系设为函数。
在本例中,多个视点图像由具有排列有多个光电转换元件的摄像面16C的摄像元件16以光瞳分割进行摄像,存储器48对应摄像元件16的摄像面16C中的不同的每个位置而存储视差校正信息,视差计算单元40a(第二视差量计算单元)从存储器48取得与多个视点图像内的位置对应的、摄像元件16的摄像面16C的每个位置的视差校正信息,并基于该取得的视差校正信息对计算视差进行校正。
[彩色信道与视差校正量的关系]
图16是表示每个彩色信道的计算视差与视差校正量的对应关系的例子的曲线图。如图16所示,对应每个彩色信道,计算视差与视差校正量的对应关系不同。
在此,彩色信道是与摄像元件16的像素所具备的滤色器的各颜色(R、G、B)对应的、视点图像内的同色像素的系列。
排列于摄像元件16的摄像面16C的带滤色器的光电转换元件通常在R、G、B中B(蓝)的折射率最高,因此在摄像图像(多个视点图像)中,B信道(B像素系列)处的模糊形状的尺寸与R信道、G信道处的模糊形状的尺寸相比变大。因此,当对应每个彩色信道(对应各R、G、B)算出计算视差与像素值的峰的偏离量之差(视差校正量)时,所算出的差(视差校正量)的绝对值通常为R<G<B。
因此,本例的存储器48对应每个彩色信道存储用于输出视差校正量的查找表(或函数)。视差校正量是对应每个彩色信道利用相关性算出的点光源的视差(计算视差)与对应每个彩色信道算出的像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)之差。即,存储器48对应拍摄多个视点图像的摄像元件16的像素的颜色(光电二极管PD所具备的滤色器的颜色)而存储查找表(或函数)。
本例的视差校正单元40b对应每个彩色信道从存储器48取得利用相关性算出的点光源的视差(计算视差)与像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)之差(视差校正量),基于该取得的差,对应每个彩色信道,对多个视点图像中的视差(计算视差)进行校正。
由此,即使对应每个彩色信道而折射率不同,也能够以适当的校正量来校正视差。
另外,本例不限于如上所述地对应每个彩色信道进行视差校正的情况,也可以将与亮度的相关性最大的G信道的信息(计算视差与实际的物体图像的视差方向上的偏离量的对应关系)预先存储于存储器48,基于该G信道的信息,进行其他彩色信道的视差校正。
[画面内的位置与视差校正量的关系]
图17是用于说明画面内的位置、计算视差和峰位置的偏离量的关系的说明图,是表示以光瞳分割对点光源进行摄像而得到的左眼图像以及右眼图像的说明图。图18是表示画面内的每个位置(中心、端部)的计算视差与视差校正量的对应关系的例子的曲线图。
在此,画面内的位置是与摄像元件16的排列有光电转换元件的摄像面16C对应的画面,是与摄像图像(视点图像)的整个区域相当的画面。
在摄像元件16的摄像面16C排列的光电转换元件(光电二极管PD)在摄像面的中心和端部中光的入射角度不同。因此,通常,在与摄像元件16的摄像面16C对应的摄像图像的整个区域中,中心位置处的点光源的图像的模糊形状和左右的两端位置处的点光源的模糊形状不同。
因此,本例的存储器48对应画面内的每个位置而存储输出视差校正量的查找表(或函数)。即,存储器48对应拍摄多个视点图像的摄像元件16的摄像面中的每个不同的位置而存储查找表(或函数)。视差校正量是对应画面的每个位置利用相关性算出的点光源的视差(计算视差)与对应画面的每个位置所算出的像素值的峰位置的偏离量(实际的物体图像的视差方向上的偏离量)之差。即,存储器48对应摄像图像的整个区域中的每个预定的位置而存储视差校正量。在此,预定的位置只要是画面内的两部位以上的位置即可。例如,也可以仅将画面的中心的位置上的视差校正量和左右的两端的位置上的视差校正量存储于存储器48。
本例的视差校正单元40b从存储器48读出对应画面内的每个位置的视差校正量,基于该读出的差,对应画面内的每个位置对多个视点图像中的计算视差进行校正。
由此,即使光的入射角度根据摄像元件16的摄像面16C内的位置而不同,从而模糊形状根据与摄像图像对应的画面内的位置而不同,也能够以适当的校正量来校正视差。
另外,在图18中,仅对画面中心和画面端部进行了例示,但是画面内的位置的数量不特别地限定。为了提高精度,可以对应画面内的多个(例如16个部位)位置的各个位置,利用查找表或者函数对视差校正量进行管理。
另外,为了以简单的处理进行视差校正量的管理以及校正,也可以在画面内沿左右方向分割为长条状的多个区域,根据是哪一个区域而对视差校正量进行切换。其中,从提高校正的精度的观点出发,优选为,根据是画面内的左右方向上的哪一个位置,而平滑地对视差校正量进行切换。
[与光圈值(F值)的关系]
另外,优选为,根据F值来变更视差校正。在该情况下,存储器48对应摄影光学***11的每个F值而存储视差校正量,视差校正单元40b将使用摄影光学***11拍摄到多个视点图像时的F值作为参数,从存储器48读出视差校正量,基于该读出的视差校正量,对多个视点图像中的计算视差进行校正。
[视差增强]
图19是表示进行视差增强的情况下的图像处理例的流程的流程图。
另外,预先对应点光源的每个视差将利用光瞳分割对点光源进行摄像而得到的多个视点的点光源图像(左眼图像、右眼图像)中的利用相关性算出的点光源的视差与像素值的峰位置的偏离量之差作为视差校正量而存储于存储器48。
首先,取得以光瞳分割拍摄有任意的被摄体的多个视点图像(左眼图像、右眼图像)(步骤S11)。在此,设为多个视点图像不包含点光源作为被摄体。
接下来,利用相关性算出所取得的多个视点图像中的视差(步骤S12)。
接下来,从存储器48读出与多个视点图像中的利用相关性算出的视差对应的视差校正量,并基于该读出的视差校正量,对多个视点图像中的上述利用相关性算出的视差进行校正(步骤S13)。
接下来,执行使所校正后的多个视点图像的视差增加的视差增强(步骤S14)。
[生成多视点图像]
图20是表示进行多视点图像生成的情况下的图像处理例的流程的流程图。
步骤S11~14与图19的图像处理例相同。
在本例中,在步骤S15中,基于通过步骤S13校正后的多个视点图像的视差,生成视点数量与在步骤S11中取得到的多个视点图像不同的多视点图像。
[相位差AF]
图21是对以往的相位差AF(自动对焦)处理例的流程进行表示的流程图,图22是对适用了本发明的相位差AF处理例的流程进行表示的流程图。
如图21所示,在以往的相位差AF处理中,当取得左右的相位差像素的信号时(步骤S21),利用相关性求算作为散焦量的视差(步骤S22)。例如,作为相关性,利用最小二乘法,在预定的区域内对左右的相位差像素间的像素值之差的平方求算总和,将该总和为最小的视差作为正解的散焦量。
如图22所示,在本例的相位差AF处理中,当取得左右的相位差像素的信号时(步骤S31),利用相关性求算作为散焦量的视差而设为临时的正解(步骤S32),将该临时的正解作为参数并使用存储器48内的查找表而算出视差校正量(步骤S33),将在由步骤S32求出的临时的正解上加上视差校正量后的视差作为散焦量的正解(步骤S34)。
如以上说明的那样,本发明所涉及的图像处理方法具备以下步骤:取得由光瞳分割方式的摄像而生成的视点不同的多个视点图像;算出多个视点图像的视点图像间的第一视差量;及将视差校正信息预先存储于存储器48,该视差校正信息表示第一视差量与由光瞳分割方式的摄像引起的多个视点图像的视点图像间的所对应的实际的物体图像的视差方向上的偏离量的关系,基于第一视差量和存储于存储器48的视差校正信息来算出对第一视差量校正了与实际的物体图像的视差方向上的偏离量相应的量后的第二视差量。
另外,在图21以及图22中,为了使得本发明的理解容易,示出了到求算散焦量为止的流程,但实际上,还进行如下处理:基于算出的散焦量,使摄影光学***11的聚焦透镜沿摄影光学***11的光轴方向移动,从而使聚焦透镜与目标被摄体对焦的处理。
以上,以立体摄像装置(数码照相机)10为例说明了便携式电子设备,但是便携式电子设备的结构不限于此。作为适用本发明的其他便携式电子设备,例如,可列举内置型或外置型的PC用照相机或者如以下所说明的那样的具有摄影功能的移动终端装置。
作为本发明所涉及的便携式电子设备的第二实施方式的移动终端装置,例如,可列举移动电话、智能手机、PDA(PersonalDigitalAssistants:个人数字助理)、便携式游戏机。以下,将智能手机列举为例,参照附图,详细地进行说明。
<智能手机的结构>
图23是对作为本发明所涉及的便携式电子设备的其他实施方式的智能手机500的外观进行表示的图。图23所示的智能手机500具有平板状的壳体502,并在壳体502的一侧的面上具备显示输入部520,该显示输入部520是作为显示部的显示面板521与作为输入部的操作面板522成为一体而成的。另外,壳体502具备扬声器531、麦克风532、操作部540和照相机部541。另外,壳体502的结构不限于此,例如,也能够采用显示部和输入部独立而成的结构,或者采用具有折叠结构、滑动机构的结构。
图24是对图23所示的智能手机500的结构进行表示的框图。如图24所示,作为智能手机的主要的结构要素,具备无线通信部510、显示输入部520、通话部530、操作部540、照相机部541、存储部550、外部输入输出部560、GPS(GlobalPositioningSystem:全球定位***)接收部570、运动传感器部580、电源部590和主控制部501。另外,作为智能手机500的主要的功能,具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的指示而对收纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信,进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制对图像(静止图像以及动态图像)、文字信息等进行显示而视觉地向用户传递信息并检测对所显示的信息的用户操作的所谓操作面板,具备显示面板521和操作面板522。
显示面板521使用LCD(LiquidCrystalDisplay:液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay:有机发光显示器)等作为显示设备。操作面板522是载置成能够对在显示面板521的显示面上显示的图像进行目视确认且对由用户的手指、尖笔操作的一或多个坐标进行检测的设备。当通过用户的手指、尖笔来操作该设备时,因操作而产生的检测信号向主控制部501输出。接下来,主控制部501基于所接收的检测信号而对显示面板521上的操作位置(坐标)进行检测。
如图23所示,智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520,但是成为操作面板522完全覆盖显示面板521那样的配置。在采用该配置的情况下,操作面板522也可以具备对显示面板521以外的区域也检测用户操作的功能。换言之,操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域(以下,称作显示区域)和对于除此以外的未与显示面板521重叠的外缘部分的检测区域(以下,称作非显示区域)。
另外,也可以使显示区域的大小和显示面板521的大小完全一致,但是没有必要必须使两者一致。另外,操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且,对应于壳体502的大小等而适当设计外缘部分的宽度。而且,作为在操作面板522采用的位置检测方式,列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等,也能够采用任一个方式。
通话部530具备扬声器531、麦克风532,将通过麦克风532输入的用户的声音转换为能够由主控制部501处理的声音数据并向主控制部501输出,或者对由无线通信部510或外部输入输出部560所接收到的声音数据进行解码而从扬声器531输出。另外,如图23所示,也可以例如将扬声器531搭载于与设有显示输入部520的面相同的面。另外,能够将麦克风532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键,接收来自用户的指示。例如,如图23所示,操作部540是如下的按钮式的开关:搭载于智能手机500的壳体502的显示部的下部、下侧面,当由手指等按下时接通,当松开手指时利用弹簧等的回复力而成为断开状态。
存储部550存储主控制部501的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据、利用Web浏览下载到的Web数据、下载到的内容数据,另外临时地存储流数据等。另外,存储部550由智能手机内置的内部存储部551和装拆自如的具有外部存储器插槽的外部存储部552构成。另外,构成存储部550的各个内部存储部551和外部存储部552使用闪存式(flashmemorytype)、硬盘式(harddisktype)、微型多媒体卡式(multimediacardmicrotype)、卡式的存储器(例如,MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory:随机存取存储器)、ROM(ReadonyMemory:只读存储器)等存储介质而实现。
外部输入输出部560起到与连接于智能手机500的所有的外部设备的接口的作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或网络(例如,因特网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(RadioFrequencyIdentification:无线射频识别)、红外线通信(InfraredDataAssociation(红外数据协会):IrDA)(注册商标)、UWB(UltraWideband:超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而与其他外部设备直接地或间接地连接。
作为与智能手机500连接的外部设备,例如有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard:客户识别模块卡)/UIM(UserIdentityModuleCard:用户识别模块卡)卡、经由音频/视频I/O(Input/Output:输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备,有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部560能够将从这样的外部设备接收了传送后的数据传递给智能手机500的内部的各结构要素、将智能手机500的内部的数据传送给外部设备。
GPS接收部570根据主控制部501的指示而接收从GPS卫星ST1~STn发送的GPS信号,执行基于所接收的多个GPS信号的测位运算处理,对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如,无线LAN)取得位置信息时,也能够使用该位置信息来对位置进行检测。
运动传感器部580例如具备三轴加速度传感器等,根据主控制部501的指示,对智能手机500的物理性移动进行检测。通过对智能手机500的物理性移动进行检测,检测智能手机500移动的方向、加速度。该检测结果向主控制部501输出。
电源部590根据主控制部501的指示,向智能手机500的各部供给存储于蓄电池(未图示)的电力。
主控制部501具备微处理器,根据存储部550所存储的控制程序、控制数据而进行动作,对智能手机500的各部统一地进行控制。另外,主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信***的各部进行控制的移动通信控制功能和应用处理功能。
应用处理功能通过主控制部501根据存储部550所存储的应用软件进行动作而实现。作为应用处理功能,例如有对外部输入输出部560进行控制而进行与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功能等。
另外,主控制部501具备基于接收数据、所下载的流数据等的图像数据(静止图像、动态图像的数据)而在显示输入部520显示影像等的图像处理功能。图像处理功能是指,主控制部501对上述图像数据进行解码,对该解码结果实施图像处理,而在显示输入部520显示图像的功能。
而且,主控制部501执行对于显示面板521的显示控制和对通过操作部540、操作面板522进行的用户操作进行检测的操作检测控制。
通过执行显示控制,主控制部501显示用于启动应用软件的图标、滚动条等软件键,或者显示用于创建电子邮件的窗口。另外,滚动条是指用于对未完全收纳于显示面板521的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。
另外,通过执行操作检测控制,主控制部501对通过操作部540进行的用户操作进行检测,或者通过操作面板522接收对于上述图标的操作、对于上述窗口的输入栏的文字列的输入,或者接收通过滚动条进行的显示图像的滚动请求。
而且,通过执行操作检测控制,主控制部501具备如下的操作面板控制功能:判定对于操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的外缘部分(非显示区域),并对操作面板522的感应区域、软件键的显示位置进行控制。
另外,主控制部501也能够检测对于操作面板522的手势操作,根据所检测出的手势操作,执行预先设定的功能。手势操作并非以往的单纯的触摸操作,而是指通过手指等来描绘轨迹或者同时指定多个位置,或者将这些组合,而从多个位置对于至少一个位置描绘轨迹的操作。
照相机部541是利用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)、CCD(Charge-CoupledDevice:电荷耦合元件)等摄像元件而进行电子摄影的数码照相机。另外,照相机部541能够通过主控制部501的控制,将通过摄像得到的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup:联合图像专家小组)等压缩后的图像数据,并存储于存储部550,或通过外部输入输出部560、无线通信部510而输出。在图23所示的智能手机500中,照相机部541搭载于与显示输入部520相同的面,但是照相机部541的搭载位置不限于此,也可以搭载于显示输入部520的背面,或者,也可以搭载多个照相机部541。另外,在搭载有多个照相机部541的情况下,能够对用于摄影的照相机部541进行切换而单独地进行摄影,或者也能够同时使用多个照相机部541来进行摄影。
另外,照相机部541能够用于智能手机500的各种功能。例如,能够在显示面板521显示由照相机部541取得到的图像、作为操作面板522的操作输入之一利用照相机部541的图像。另外,在GPS接收部570对位置进行检测时,也能够参照来自照相机部541的图像而对位置进行检测。而且,也能够参照来自照相机部541的图像,不使用三轴加速度传感器,或者与三轴加速度传感器并用,而对智能手机500的照相机部541的光轴方向进行判断、对当前的使用环境进行判断。当然,也能够在应用软件内利用来自照相机部541的图像。
除此之外,也能够在静止图像或动画的图像数据中附加由GPS接收部570取得到的位置信息、由麦克风532取得到的声音信息(也可以利用主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580取得到的姿势信息等而记录于存储部550,或通过外部输入输出部560、无线通信部510而输出。
另外,本发明不限于本说明书中所说明的例子、附图所图示的例子,也可以在不脱离本发明的要旨的范围内进行各种设计变更、改良,这是不言而喻的。
附图标记说明
10…立体摄像装置(图像处理装置)12…摄影镜头16…摄像元件30…LCD40…CPU40a…视差计算单元40b…视差校正单元40c…视差增强单元42…AF处理部48…存储器500…智能手机
Claims (14)
1.一种图像处理装置,具备:
图像获取单元,取得由光瞳分割的摄像而生成的视点不同的多个视点图像;
第一视差量计算单元,算出所述多个视点图像的视点图像间的第一视差量;
存储单元,存储有视差校正信息,所述视差校正信息表示所述第一视差量与由所述光瞳分割的摄像引起的所述多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系;及
第二视差量计算单元,基于所述第一视差量和存储于所述存储单元的视差校正信息,算出对所述第一视差量校正了与所述物体图像的视差方向上的偏离量相应的量后的第二视差量,
所述物体图像的视差方向上的偏离量是所述多个视点图像的视点图像间的、所述物体图像的像素值的峰位置的偏离量,
所述第二视差量计算单元算出对所述第一视差量校正了与所述物体图像的像素值的峰位置的偏离量相应的量后的第二视差量。
2.根据权利要求1所述的图像处理装置,其中,
所述第一视差量计算单元利用相关性算出所述第一视差量。
3.根据权利要求1或2所述的图像处理装置,其中,
所述多个视点图像由具有排列有多个光电转换元件的摄像面的摄像元件以光瞳分割来进行摄像,
所述存储单元对应所述摄像元件的所述摄像面中的不同的每个位置而存储所述视差校正信息,
所述第二视差量计算单元从所述存储单元取得与所述多个视点图像内的位置对应的、所述摄像元件的所述摄像面的每个位置的所述视差校正信息,基于该取得的视差校正信息来算出所述第二视差量。
4.根据权利要求1或2所述的图像处理装置,其中,
所述存储单元对应所述视点图像的像素的每个彩色信道而存储所述视差校正信息,
所述第二视差量计算单元取得存储于所述存储单元的每个所述彩色信道的所述视差校正信息,并基于该取得的视差校正信息,对应每个所述彩色信道算出所述第二视差量。
5.根据权利要求1或2所述的图像处理装置,其中,
所述多个视点图像由包含绿色的像素在内的多个颜色的像素构成,
所述存储单元存储与所述绿色的像素对应的所述视差校正信息,
所述第二视差量计算单元基于存储于所述存储单元的与所述绿色的像素对应的所述视差校正信息而取得与所述绿色的像素对应的所述视差校正信息,基于该取得的视差校正信息,算出所述多个视点图像的所述绿色的像素以及所述绿色的像素以外的像素中的所述第二视差量。
6.根据权利要求1或2所述的图像处理装置,其中,
所述多个视点图像使用光圈值能够变化的摄影光学***来进行摄像,
所述存储单元对应所述摄影光学***的每个光圈值而存储所述视差校正信息,
所述第二视差量计算单元将使用所述摄影光学***拍摄了所述多个视点图像时的所述光圈值作为参数而取得所述视差校正信息,并基于该取得的视差校正信息来算出所述第二视差量。
7.根据权利要求1或2所述的图像处理装置,其中,
具备使由所述第二视差量计算单元算出的所述多个视点图像的所述第二视差量增加的视差增强单元。
8.根据权利要求1或2所述的图像处理装置,其中,
具备多视点图像生成单元,所述多视点图像生成单元基于由所述第二视差量计算单元算出的所述第二视差量,生成视点数量与由所述图像获取单元取得的所述多个视点图像不同的多视点图像。
9.根据权利要求1或2所述的图像处理装置,其中,
所述第一视差量计算单元通过在所述视点图像间进行块匹配而以预定的像素单位或者子像素单位算出表示一致程度的评价值,将所述评价值为最小的位置彼此的偏离量作为所述第一视差量。
10.根据权利要求9所述的图像处理装置,其中,
所述第一视差量计算单元通过求算所述视点图像间的像素值之差的平方和或所述视点图像间的像素值之差的总和而算出所述评价值。
11.根据权利要求1或2所述的图像处理装置,其中,
所述存储单元将所述视差校正信息作为查找表或者计算式而存储。
12.一种摄像装置,具备:
权利要求1~11中任一项所述的图像处理装置;及
进行光瞳分割方式的摄像的摄像单元。
13.根据权利要求12所述的摄像装置,其中,
所述摄像单元具有包含聚焦透镜的摄影光学***,
所述摄像装置具备自动对焦处理单元,所述自动对焦处理单元基于由所述第二视差量计算单元算出的第二视差量,进行调节所述摄影光学***的聚焦透镜的位置的控制。
14.一种图像处理方法,具备以下步骤:
取得由光瞳分割的摄像而生成的视点不同的多个视点图像;
算出所述多个视点图像的视点图像间的第一视差量;及
将视差校正信息预先存储于存储单元,所述视差校正信息表示所述第一视差量与由所述光瞳分割的摄像引起的所述多个视点图像的视点图像间的所对应的物体图像的视差方向上的偏离量之间的关系,基于所述第一视差量和存储于所述存储单元的视差校正信息来算出对所述第一视差量校正了与所述物体图像的视差方向上的偏离量相应的量后的第二视差量,
所述物体图像的视差方向上的偏离量是所述多个视点图像的视点图像间的、所述物体图像的像素值的峰位置的偏离量,
算出对所述第一视差量校正了与所述物体图像的像素值的峰位置的偏离量相应的量后的第二视差量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-077175 | 2012-03-29 | ||
JP2012077175 | 2012-03-29 | ||
PCT/JP2013/059206 WO2013146996A1 (ja) | 2012-03-29 | 2013-03-28 | 画像処理装置、撮像装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104221370A CN104221370A (zh) | 2014-12-17 |
CN104221370B true CN104221370B (zh) | 2016-01-20 |
Family
ID=49260244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380018241.2A Expired - Fee Related CN104221370B (zh) | 2012-03-29 | 2013-03-28 | 图像处理装置、摄像装置以及图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9167224B2 (zh) |
EP (1) | EP2833638B1 (zh) |
JP (1) | JP5655174B2 (zh) |
CN (1) | CN104221370B (zh) |
WO (1) | WO2013146996A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105122793B (zh) * | 2013-03-29 | 2017-05-10 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理程序 |
KR102032882B1 (ko) | 2014-09-30 | 2019-10-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 자동 포커싱 방법, 장치 및 전자 장치 |
WO2016117035A1 (ja) * | 2015-01-20 | 2016-07-28 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6275174B2 (ja) * | 2015-03-10 | 2018-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、および、撮像装置 |
WO2016181620A1 (ja) * | 2015-05-08 | 2016-11-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
JP6611588B2 (ja) * | 2015-12-17 | 2019-11-27 | キヤノン株式会社 | データ記録装置、撮像装置、データ記録方法およびプログラム |
US10999562B2 (en) * | 2017-03-27 | 2021-05-04 | Sony Corporation | Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image |
CN107214109B (zh) * | 2017-07-12 | 2023-05-05 | 合肥美亚光电技术股份有限公司 | 色选设备的动态校正装置及校正方法 |
CN108010538B (zh) * | 2017-12-22 | 2021-08-24 | 北京奇虎科技有限公司 | 音频数据处理方法及装置、计算设备 |
JP7294776B2 (ja) * | 2018-06-04 | 2023-06-20 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム |
JP2020027957A (ja) * | 2018-08-09 | 2020-02-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN112929640A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 多视点裸眼3d显示装置、显示方法、显示屏校正方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651842A (zh) * | 2008-08-12 | 2010-02-17 | 索尼株式会社 | 三维图像校正、显示和再生设备和方法及图像提供*** |
CN101960861A (zh) * | 2008-02-29 | 2011-01-26 | 伊斯曼柯达公司 | 具有多视角图像捕捉的传感器 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3516786B2 (ja) | 1995-10-05 | 2004-04-05 | 富士写真フイルム株式会社 | 顔領域抽出方法及び複写条件決定方法 |
JP4472166B2 (ja) | 2000-12-22 | 2010-06-02 | オリンパス株式会社 | 3次元撮像装量 |
JP2010066712A (ja) * | 2008-09-12 | 2010-03-25 | Olympus Corp | フォーカス調整装置及び撮像装置 |
JP5180407B2 (ja) * | 2010-03-24 | 2013-04-10 | 富士フイルム株式会社 | 立体撮像装置および視差画像復元方法 |
WO2011118089A1 (ja) | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置 |
TW201200959A (en) * | 2010-06-29 | 2012-01-01 | Fujifilm Corp | One-eyed stereo photographic device |
JP5628913B2 (ja) * | 2010-06-30 | 2014-11-19 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
WO2012036019A1 (ja) * | 2010-09-13 | 2012-03-22 | 富士フイルム株式会社 | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム |
JP5993937B2 (ja) * | 2012-03-30 | 2016-09-14 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
-
2013
- 2013-03-28 EP EP13769273.7A patent/EP2833638B1/en not_active Not-in-force
- 2013-03-28 CN CN201380018241.2A patent/CN104221370B/zh not_active Expired - Fee Related
- 2013-03-28 WO PCT/JP2013/059206 patent/WO2013146996A1/ja active Application Filing
- 2013-03-28 JP JP2014508013A patent/JP5655174B2/ja not_active Expired - Fee Related
-
2014
- 2014-09-24 US US14/495,174 patent/US9167224B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101960861A (zh) * | 2008-02-29 | 2011-01-26 | 伊斯曼柯达公司 | 具有多视角图像捕捉的传感器 |
CN101651842A (zh) * | 2008-08-12 | 2010-02-17 | 索尼株式会社 | 三维图像校正、显示和再生设备和方法及图像提供*** |
Also Published As
Publication number | Publication date |
---|---|
US9167224B2 (en) | 2015-10-20 |
JP5655174B2 (ja) | 2015-01-14 |
EP2833638B1 (en) | 2017-09-27 |
EP2833638A1 (en) | 2015-02-04 |
WO2013146996A1 (ja) | 2013-10-03 |
JPWO2013146996A1 (ja) | 2015-12-14 |
CN104221370A (zh) | 2014-12-17 |
EP2833638A4 (en) | 2015-11-25 |
US20150009299A1 (en) | 2015-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104221370B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
US9485430B2 (en) | Image processing device, imaging device, computer readable medium and image processing method | |
CN104380168B (zh) | 摄像装置及自动调焦方法 | |
CN105814875A (zh) | 选择用于立体成像的相机对 | |
US9277201B2 (en) | Image processing device and method, and imaging device | |
JP5926391B2 (ja) | 撮像装置及び合焦確認表示方法 | |
CN104871058A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
US9288472B2 (en) | Image processing device and method, and image capturing device | |
US9596455B2 (en) | Image processing device and method, and imaging device | |
WO2014155813A1 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
CN104641624A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN104641625A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN104737528A (zh) | 摄像装置以及图像显示方法 | |
CN105075235A (zh) | 图像处理装置、摄像装置、图像处理方法以及图像处理程序 | |
CN104247412B (zh) | 图像处理装置、摄像装置、图像处理方法、记录介质以及程序 | |
JP5972485B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901780B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20180328 |