CN102948141A - 图像捕获装置和图像捕获方法 - Google Patents

图像捕获装置和图像捕获方法 Download PDF

Info

Publication number
CN102948141A
CN102948141A CN2011800307777A CN201180030777A CN102948141A CN 102948141 A CN102948141 A CN 102948141A CN 2011800307777 A CN2011800307777 A CN 2011800307777A CN 201180030777 A CN201180030777 A CN 201180030777A CN 102948141 A CN102948141 A CN 102948141A
Authority
CN
China
Prior art keywords
area
light
image capture
capture apparatus
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800307777A
Other languages
English (en)
Other versions
CN102948141B (zh
Inventor
佐藤修三
大谷荣二
小泽谦
小林诚司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102948141A publication Critical patent/CN102948141A/zh
Application granted granted Critical
Publication of CN102948141B publication Critical patent/CN102948141B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3025Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3083Birefringent or phase retarding elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Polarising Elements (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

公开了一种成像方法和成像装置,该成像方法和成像装置具有简单的组成和结构,并且能够利用单个成像装置将被摄体成像为三维图像。该成像装置装配有第一偏振部件(130)、镜头***(20)、包括第二偏振部件(150)的成像元件阵列(40);第一偏振部件(130)包括沿第一方向排列的第一区域(131)和第二区域(132);第二偏振部件(150)包括沿第二方向交替排列的多个第三区域(151)和第四区域(152);已经通过第一区域(131)的第一区域通过光通过第三区域(151)并且到达成像元件;已经通过第二区域(132)的第二区域通过光通过第四区域(152)并且到达成像元件,从而成像用于获得三维图像的图像,所述三维图像是这样以便第一区域(131)的重心点(BC1)和第二区域(132)的重心点(BC2)之间的距离是双眼视差的基线的长度。

Description

图像捕获装置和图像捕获方法
技术领域
本公开涉及图像捕获装置和图像捕获方法。更具体地,本公开涉及用于作为三维图像捕获被摄体的图像捕获装置和图像捕获方法。
背景技术
过去,已经提出这样的***,其使得提供在右和左的两个视频摄像机同时捕获被摄体的图像,并且通过同时输出获得的两种类型的图像(右眼图像和左眼图像)来显示三维图像。然而,当使用两个视频摄像机时,该装置的尺寸增大,这是不实用的。两个视频摄像机之间的基线长度,即作为三维相机的双眼之间的距离,通常设置在对应于人的双眼之间的距离的约65mm,而不管镜头的变焦比。在这样的情况下,在放大的图像中,双眼之间的视差增大,并且这强迫观察者的光学***执行不同于普通处理信息处理,并且这成为视觉疲劳的原因。当通过两个视频摄像机捕获运动被摄体时,必需执行两个视频摄像的精确同步控制,这是非常困难的,并且精确地控制会聚角也是非常困难的。
为了便于调整用于三维拍摄的镜头***,已经提出了一种三维拍摄装置,其通过组合用于在相互垂直的方向偏振的偏振滤光镜共享相同的光学***(例如,参见日本专利申请公开No.H6-054991)。
已经提出一种方法,其中通过包括两个镜头和图像捕获部件的图像捕获装置执行三维拍摄(例如,参见日本专利申请公开No.2004-309868)。在该日本专利申请公开中公开的图像捕获装置包括:图像捕获部件,其中对应于预定数量的扫描线的整数倍的像素提供在图像捕获表面上;第一水平分量偏振部件,用于使来自被摄体的第一视频光的水平分量穿过;以及第一垂直分量偏振部件,其提供在远离第一水平分量偏振部件预定距离的位置,并且仅使来自被摄体的第二视频光的垂直分量穿过,其中穿过第一水平分量偏振部件的水平分量聚集到图像捕获表面上的预定范围的像素上,并且穿过第一垂直分量偏振部件的垂直分量聚集到除了预定范围的剩余范围中的像素上。更具体地,以对应于人的视差的间隔分离地水平分量偏振滤光镜和垂直分量偏振滤光镜提供有两个镜头,所述两个镜头位于以距CCD的图像捕获表面的预定距离相互远离的位置。
引用列表
专利文献
专利文献1:日本专利申请公开No.H6-054991
专利文献2:日本专利申请公开No.2004-309868
发明内容
本发明要解决的问题
附带地,在日本专利申请公开No.H6-054991中公开的技术中,通过重叠两个偏振滤光镜的输出使光学路径成为一个***,从而共享相同的镜头***。然而,为了在稍后的阶段中提取右眼图像和左眼图像,额外需要偏振滤光镜,以便再次划分光路本身以允许光入射到分离的偏振滤光镜上,这导致镜头***中的光损失,此外,还存在难以减小装置的尺寸的问题。在日本专利申请公开No.2004-309868中公开的技术中,要求镜头和偏振滤光镜的两个组合,这不可避免地导致复杂和巨大的装置。因为上述图像捕获装置复杂,所以使用该装置不仅拍摄三维图像而且拍摄普通二维图像都是不实用的。
因此,本公开的第一目的是提供一种图像捕获装置和使用具有简单配置和结构的相关图像捕获装置的图像捕获方法,其中通过单个图像捕获装置可以将被摄体捕获为三维图像。本公开的第二目标是提供一种具有简单配置和结构并且能够拍摄普通二维图像的图像捕获装置。
问题的解决方案
为了实现上述第一目的,根据本公开第一方面的图像捕获装置包括:(A)第一偏振部件,用于偏振来自被摄体的光;(B)镜头***,用于聚集来自第一偏振部件的光;以及(C)图像捕获元件阵列,其中在第一方向和垂直于第一方向的第二方向以二维矩阵形式排列图像捕获元件,其中第二偏振部件提供在光入射侧,并且图像捕获元件阵列将通过镜头***聚集的光转换为电信号,其中第一偏振部件包括沿第一方向排列的第一区域和第二区域,已经穿过第一区域的第一区域透射光的偏振状态不同于已经穿过第二区域的第二区域透射光的偏振状态,第二偏振部件包括沿第二方向交替排列并且在第一方向延伸的多个第三区域和第四区域,已经穿过第三区域的第三区域透射光的偏振状态不同于已经穿过第四区域的第四区域透射光的偏振状态,第一区域透射光穿过第三区域并且到达图像捕获元件,以及第二区域透射光穿过第四区域并且到达图像捕获元件,因此捕获图像以获得其中第一区域的重心和第二区域的重心之间的距离是双眼之间的视差的基线长度的三维图像。
为了实现上述第一目的,根据本公开的图像捕获方法是使用根据本公开第一方面的图像捕获装置的图像捕获方法,其中图像捕获元件用已经穿过第三区域并且已经到达图像捕获元件的第一区域透射光,生成用于获得右眼图像的电信号,图像捕获元件用已经穿过第四区域并且已经到达图像捕获元件的第二区域透射光,生成用于获得左眼图像的电信号,以及输出这些电信号。这些电信号可以同时输出,或者按时间序列交替输出。
为了实现上述目的,根据本公开第二方面的图像捕获装置包括:(A)四分之一波片;(B)镜头***,用于聚集来自四分之一波片的光;以及(C)图像捕获元件阵列,其中在第一方向和垂直于第一方向的第二方向以二维矩阵形式排列图像捕获元件,其中偏振部件提供在光入射侧,并且图像捕获元件阵列将通过镜头***聚集的光转换为电信号,其中偏振部件包括沿第二方向交替排列并且在第一方向延伸的多个第一区域和第二区域,已经穿过第一区域的第一区域透射光的偏振状态不同于已经穿过第二区域的第二区域透射光的偏振状态,以及四分之一波片的快轴与第一区域透射光的电场方向成预定角度。
应当注意,根据本公开第二方面的图像捕获装置的第一区域实质上对应于根据本公开第一方面的图像捕获装置的第三区域,并且根据本公开第二方面的图像捕获装置的第二区域实质上对应于根据本公开第一方面的图像捕获装置的第四区域。在该情况下,为了避免在根据本公开第二方面的图像捕获装置的第一区域和根据本公开第一方面的图像捕获装置的第一区域之间造成混淆,根据本公开第二方面的图像捕获装置的第一区域为了方便起见称为“第五区域”,并且为了避免在根据本公开第二方面的图像捕获装置的第二区域和根据本公开第一方面的图像捕获装置的第二区域之间造成混淆,根据本公开第二方面的图像捕获装置的第二区域为了方便起见称为“第六区域”。另一方面,已经穿过第五区域的光称为“第五区域透射光”,并且已经穿过第六区域的光称为“第六区域透射光”。
本发明的效果
在根据本公开第一方面的图像捕获装置和图像捕获方法中,图像捕获装置由一组第一偏振部件和第二偏振部件以及一个镜头***构成,因此可以提供具有简单配置和结构的、小的单筒图像捕获装置。由于不必具有两组镜头和偏振滤光镜的组合,所以在变焦、光圈、聚焦、会聚角等中不会存在偏移或差别。而且,双眼之间的视差的基线长度比较短,因此,可以获得自然的三维感觉。此外,通过附接和拆分第一偏振部件,可以容易地获得二维图像和三维图像。在根据本公开第二方面的图像捕获装置的情况下,具有简单配置和结构的图像捕获装置可以捕获普通二维图像,此外,根据本公开第二方面的图像捕获装置可以容易地并入根据本公开第一方面的图像捕获装置,因此,不仅可以拍摄三维图像,而且可以容易地拍摄具有高质量的普通二维图像。
附图说明
图1(A)、1(B)和1(C)是根据第一实施例的图像捕获装置的概念图,并且是示意性图示第一偏振部件和第二偏振部件的偏振状态的图。
图2(A)和2(B)是在根据第一实施例的图像捕获装置中图示穿过第一偏振部件的第一区域和第二偏振部件的第三区域并且到达图像捕获元件阵列的光的概念图,以及图示穿过第一偏振部件的第二区域和第二偏振部件的第四区域并且到达图像捕获元件阵列的光的概念图,并且图2(C)和2(D)是示意性地图示通过如图2(A)和2(B)所示的光在图像捕获元件阵列上形成的图像的图。
图3(A)和3(B)是示意性地图示在根据第一实施例的图像捕获装置中的图像捕获元件的局部剖视图,以及示意性地图示线栅偏振器的排列状态的图。
图4是图示在根据第一实施例的图像捕获装置中具有拜耳排列的图像捕获元件阵列的概念图。
图5是图示用于说明图像处理的具有拜耳排列的图像捕获元件阵列的概念图,所述图像处理用于通过对从图像捕获元件获得的电信号执行去马赛克处理获得信号值。
图6(A)和6(B)是示意性地图示通过在根据第二实施例的图像捕获装置中提供的第一偏振部件和第二偏振部件的偏振状态的图。
图7是图示在根据第二实施例的图像捕获装置中具有拜耳排列的图像捕获元件阵列的概念图。
图8(A)到8(D)是图示在根据第三实施例的图像捕获装置中提供的第一偏振部件的示意图。
图9是图示根据第四实施例的图像捕获装置的概念图。
图10(A)、10(B)和10(C)是根据第五实施例的图像捕获装置的概念图,并且是示意性地图示第一偏振部件和第二偏振部件的偏振状态的图。
图11(A)、11(B)和11(C)是用作通过根据第一、第四和第五实施例的图像捕获装置获得的左眼图像和右眼图像的画面的图。
图12(A)和12(B)是在第六实施例中用作示出通过研究消光比和视差之间的关系获得的结果的左眼图像和右眼图像的画面的图。
图13(A)、13(B)和13(C)是图示在第七实施例中的结果的曲线图,所述结果示出消光比和入射光的波长以及构成线栅偏振器的线的间距的关系、消光比和入射光的波长以及构成线栅偏振器的线的高度的关系、和消光比和入射光的波长以及构成线栅偏振器的线的(宽度/间距)的关系。
图14是图示在第七实施例中结果的曲线图,所述结果示出消光比和入射光的波长以及构成线栅偏振器的两条线的长度的关系。
图15是图示在根据第八实施例的图像捕获装置中具有拜耳排列的图像捕获元件阵列的概念图。
图16是图示根据第八实施例的图像捕获装置的第一修改的具有拜耳排列的图像捕获元件阵列的概念图。
图17是图示根据第八实施例的图像捕获装置的第二修改的具有拜耳排列的图像捕获元件阵列的概念图。
图18是图示根据第八实施例的图像捕获装置的第三修改的具有拜耳排列的图像捕获元件阵列的概念图。
图19是图示根据第八实施例的图像捕获装置的第四修改的具有拜耳排列的图像捕获元件阵列的概念图。
图20(A)、20(B)、20(C)和20(D)是图示根据第九实施例的图像捕获装置的概念图,图示四分之一波片的概念图,示意性地图示第一偏振部件的偏振状态的图,以及示意性地图示偏振部件(第二偏振部件)的偏振状态的图。
图21(A)、21(B)和21(C)分别是图示在根据第九实施例的图像捕获装置中的四分之一波片的概念图,示意性地图示第一偏振部件的偏振状态的图,以及示意性地图示偏振部件(第二偏振部件)中的偏振状态的图,图21(D)和21(E)是图示在根据第十实施例的图像捕获装置中的四分之一波片的概念图。
图22(A)和22(B)示意性地图示图像捕获元件的修改的局部剖视图。
具体实施方式
下文中,将基于参考附图的各实施例说明本公开。然而,本公开不限于各实施例。在各实施例中,各种数值和材料仅仅是示例。将按照以下顺序进行说明。
1.关于根据本公开第一和第二方面的图像捕获装置和图像捕获方法的总体说明
2.第一实施例(根据本公开第一方面的图像捕获装置和图像捕获方法)
3.第二实施例(第一实施例的修改)
4.第三实施例(第一实施例的另一修改)
5.第四实施例(第一实施例的另一修改)
6.第五实施例(第一实施例的另一修改)
7.第六实施例(第一实施例的另一修改)
8.第七实施例(第一实施例的另一修改)
9.第八实施例(第一实施例的另一修改)
10.第九实施例(根据本公开第二方面的图像捕获装置和第一实施例的另一修改)
11.第十实施例(第九实施例的修改)
其他
[关于根据本公开第一和第二方面的图像捕获装置和图像捕获方法的总体说明]
在根据本公开第一方面的图像捕获装置或适于与本公开的图像捕获方法共同使用的图像捕获装置中,第一偏振部件优选接近镜头***的光圈单元排列。可替代地,当一旦使得入射到镜头***的光成为平行光并且最终聚集在图像捕获元件上(形成图像)时,第一偏振部件优选在平行光状态下排列在镜头***的一部分中,在这些模式中,通常,不必以新的方式重新设计镜头***的光学***,并且机械(物理)设计改变可以通过固定第一偏振部件应用于现有的镜头***,或者允许其可拆卸地附接到现有的镜头***。为了将第一偏振部件可拆卸地附接到镜头***,例如,制造第一偏振部件以具有类似于镜头的光圈叶片的配置和结构,并且第一偏振部件可以排列在镜头***中。可替代地,配置和结构可以是这样的,以便在镜头***中具有第一偏振部件和孔部分二者的构件附接到旋转轴,使得绕平行于镜头***的光轴的旋转轴可旋转,并且这样的构件绕旋转轴旋转,以便穿过镜头***的光线穿过孔部分或者穿过第一偏振部件。可替代地,配置和结构可以是这样的,以便在镜头***中,例如,具有第一偏振部件和孔部分二者的构件在垂直于镜头***的光轴的方向以可滑动方式附接到镜头***,并且使得这样的构件滑动以便穿过镜头***的光线穿过孔部分或第一偏振部件。
在根据本公开第一方面的图像捕获装置、或适于与包括以上优选模式的本公开的图像捕获方法共同使用的图像捕获装置中,可以在第一偏振部件中的第一区域和第二区域之间提供中心区域,并且已经穿过中心区域的中心区域透射光的偏振状态不从入射到中心区域之前的状态改变。也就是说,关于偏振中心区域是透明状态。在第一偏振部件的中心区域中,光密度高,并且视差量小。因此,在该模式下,虽然图像捕获元件阵列接收的光密度维持在高水平,但是可以确保双眼之间的视差的充分基线长度。当第一偏振部件的外形是圆形时,中心区域可以是圆形,并且第一区域和第二区域可以是具有包围中心区域的180度的中心角的扇形,或者中心区域可以是菱形或方形,并且第一区域和第二区域可以是类似于具有包围中心区域的180度的中心角的扇形的形状。可替代地,第一区域、中心区域和第二区域是在第二方向延伸的带状形状。
在根据本公开第一方面的图像捕获装置、或适于与包括以上说明的各种类型的优选实施例的本公开的图像捕获方法共同使用的图像捕获装置(下文中,这些图像捕获装置可以称为“根据本公开第一方面等的图像捕获装置”)中,第一区域和第二区域可以由偏振器形成,并且可以配置第一区域透射光的电场方向垂直于第二区域透射光的电场方向。此外,在根据包括这样的配置的本公开第一方面等的图像捕获装置中,可以配置第一区域透射光的电场方向平行于第一方向,或者可以配置第一区域透射光的电场方向与第一方向成45度角。此外,在根据包括这些配置的任何组合的本公开第一方面等的图像捕获装置中,可以配置第一区域透射光的电场方向平行于第三区域透射光的电场方向,并且可以配置第二区域透射光的电场方向平行于第四区域透射光的电场方向。此外,在根据包括这些配置的任何组合的本公开第一方面等的图像捕获装置中,偏振器的消光比是3或更大,并且更优选是10或更大。
在该情况下,“偏振器”意味着进行从自然光(非偏振)的线性偏振和圆形偏振的偏振器,并且构成第一区域和第二区域的偏振器本身可以是具有公知配置和结构的偏振器(偏振片)。例如,第一区域透射光和第二区域透射光之一的偏振分量配置为主要是S波(TE波),并且第一区域透射光和第二区域透射光的另一个偏振分量配置为主要是P波(TM波)。第一区域透射光和第二区域透射光的偏振状态可以是线性偏振或者可以是圆形偏振(其中旋转方向互相相反)。一般,其振荡方向只在某一特定方向的横波称为偏振波,并且其振荡方向称为偏振方向或偏振轴。光的电场方向与偏振方向相同。当第一区域透射光的电场方向配置为平行于第一方向时,第一区域中的消光比意味着穿过第一区域的光中包含的电场方向在第一方向的光的分量与穿过第一区域的光中包含的电场方向在第二方向的光的分量之间的比率,并第二区域中的消光比意味着穿过第二区域的光中包含的电场方向在第二方向的光的分量与穿过第二区域的光中包含的电场方向在第一方向的光的分量之间的比率。当第一区域透射光的电场方向配置为与第一方向成45度角时,第一区域中的消光比意味着穿过第一区域的光中包含的电场方向与第一方向成45度的光的分量与穿过第一区域的光中包含的电场方向与第一方向成135度的光的分量之间的比率,并第二区域中的消光比意味着穿过第二区域的光中包含的电场方向与第一方向成135度的光的分量与穿过第二区域的光中包含的电场方向与第一方向成45度的光的分量之间的比率。可替代地,例如,当第一区域透射光的偏振分量主要是P波,并且二区域透射光的偏振分量主要是S波时,第一区域中的消光比可以是第一区域透射光中包含的P偏振分量和S偏振分量之间的比率,并且第二区域中的消光比可以是第二区域透射光中包含的S偏振分量和P偏振分量之间的比率。
在根据包括以上说明的各种类型的优选模式和配置的本公开第一方面等的图像捕获装置中,图像捕获元件可以由光电转换元件形成,以及由在其上层积的滤色镜、片上透镜和线栅偏振器构成,并且线栅偏振器可以构成第三或第四区域。可替代地,图像捕获元件可以由光电转换元件形成,以及由在其上层积的片上透镜、滤色镜和线栅偏振器构成,并且线栅偏振器可以构成第三或第四区域。然而,片上透镜、滤色镜和线栅偏振器的顺序可随需要改变。在这些模式中,当第一区域透射光的电场方向配置为平行于第一方向时,构成线栅偏振器的多条线延伸的方向可以平行于第一方向或第二方向。更具体地,在构成第三区域的线栅偏振器中,各条线延伸的方向平行于第二方向,并且在构成第四区域的线栅偏振器中,各条线延伸的方向平行于第一方向。可替代地,在这些模式中,当第一区域透射光的电场方向配置为与第一方向成45度时,构成线栅偏振器的多条线延伸的方向可以与第一方向或第二方向成45度。更具体地,在构成第三区域的线栅偏振器中,各条线延伸的方向与第一方向成135度,并且在构成第四区域的线栅偏振器中,各条线延伸的方向与第一方向成45度。线延伸的方向是线栅偏振器的光吸收轴,垂直于线延伸的方向的方向是线栅偏振器的光投射轴。基本上,以上说明也可以应用于根据本公开第二方面的图像捕获装置。
此外,在根据包括以上说明的各种类型的优选模式和配置的本公开第一方面等的图像捕获装置中,四分之一波片(λ/4波片)优选排列在第一偏振部件的光入射侧,以便避免所谓的双眼竞争。可以总是提供四分之一波片或者根据需要提供四分之一波片。更具体地,四分之一波片可以可拆卸地附接到镜头***中提供的滤光片附接单元。在该情况下,例如,双眼竞争意味着这样的现象,其中捕获反射P波分量而吸收S波分量的被摄体(诸如水面或窗户)的图像,并且从P波分量获得的图像和从S波分量获得的图像呈现给双眼时,不出现融合,并且以这样的方式交替看见图像,仅图像之一更强烈地被看见,而且在重叠区域图像相互抑制。穿过四分之一波片的光处于偏振方向相同的状态,并且在反射P波分量而吸收S波分量的被摄体的一部分的各图像之间不出现大的差别,所述各图像是在当这样的光穿过第一区域和第三区域并且到达图像捕获元件阵列时获得的图像和当这样的光穿过第二区域和第四区域并且到达图像捕获元件阵列时获得的图像之间,因此,可以避免双眼竞争。应当注意,四分之一波片快轴与第一区域透射光的电场方向成45度或45度±10度的角。
可替代地,如上所述,在第一区域和第二区域由偏振器形成,并且第一区域透射光的电场方向垂直于第二区域透射光的电场方向,以及第一区域透射光的电场方向平行于第一方向的配置中,或在第一区域透射光的电场方向与第一方向成45度角的配置中,四分之一波片排列在第一偏振部件的光入射侧,并且四分之一波片的快轴与第一区域透射光的电场方向成预定角度,或者四分之一波片可以包括在第二方向排列的第一四分之一波片和第二四分之一波片,第一四分之一波片的快轴可以与第一区域透射光的电场方向成预定角度,并且第二四分之一波片的快轴可以垂直于第一四分之一波片的快轴(换句话说,平行于第一四分之一波片的慢轴),并且在这些模式中,预定角度可以是45度或45度±10度,此外,在这些模式中,第一区域透射光的电场方向可以平行于第三区域透射光的电场方向,并且第二区域透射光的电场方向可以平行于第四区域透射光的电场方向。此外在这些模式中,第一偏振部件可以可拆卸地附接到镜头***,并且四分之一波片可拆卸地附接到镜头***。此外在这些模式中,可以邻近第一偏振部件提供四分之一波片,例如,四分之一波片可以提供在第一偏振部件的光入射侧。
在根据本公开第二方面的图像捕获装置中,四分之一波片可以包括在第二方向排列的第一四分之一波片和第二四分之一波片,第一四分之一波片的快轴可以与第五区域透射光的电场方向成预定角度,并且第二四分之一波片的快轴可以垂直于第一四分之一波片的快轴(换句话说,平行于第一四分之一波片的慢轴)。在根据包括这样的模式的本公开第二方面的图像捕获装置中,预定角度可以是45度或45度±10度,此外,在根据包括这样的模式的本公开第二方面的图像捕获装置中,第五区域透射光的电场方向可以垂直于第六区域透射光的电场方向,并且在该情况下,第五区域透射光的电场方向可以平行于第一方向,或者第五区域透射光的电场方向可以与第一方向成45度角。此外,根据包括这些模式的本公开第二方面的图像捕获装置中,四分之一波片可以可拆卸地附接到镜头***。
为了可拆卸地将四分之一波片附接到镜头***,例如,制造四分之一波片以具有类似于镜头的光圈叶片的结构的结构,并且四分之一波片可以排列在镜头***中。可替代地,配置和结构可以是这样的,以便在镜头***中具有四分之一波片和孔部分二者的构件附接到旋转轴,使得绕平行于镜头***的光轴的旋转轴可旋转,并且这样的构件绕旋转轴旋转,以便穿过镜头***的光线穿过孔部分或者穿过四分之一波片。可替代地,配置和结构可以是这样的,以便在镜头***中,例如,具有四分之一波片和孔部分二者的构件在垂直于镜头***的光轴的方向以可滑动方式附接到镜头***,并且使得这样的构件滑动以便穿过镜头***的光线穿过孔部分或四分之一波片。在该情况下,可以采用以下配置:四分之一波片包括多个构件,并且每个构件配置为在垂直于镜头***的光轴的方向以可滑动。
可替代地,在根据本公开第一方面等的图像捕获装置中,为了避免所谓的双眼竞争,具有α度的偏振轴的偏振片可以排列在第一偏振部件的光入射侧,第一区域可以包括第一波片,以及第二区域可以包括第二波片,并且第一区域透射光的电场方向可以垂直于第二区域透射光的电场方向。在该情况下,更具体地,α的值可以是45度,第一波片可以包括半波片(+λ/2波片)并且第二波片可以包括半波片(-λ/2波片),其相位差不同于构成第一波片的半波片。在该情况下,具有α度的偏振轴的偏振片固定到镜头***。
在根据包括以上说明的各种类型的优选模式和配置的本公开第一方面等的图像捕获装置中,图像捕获元件阵列可以具有拜耳排列,一个像素可以包括四个图像捕获元件,并且可以为一个像素提供一个第三区域或第四区域。在根据包括含有这些模式的以上说明的各种类型的优选模式和配置的本公开第一方面等的图像捕获装置中,可以沿第二方向为N个像素排列一个第三区域和一个第四区域(其中,N是2n,n为1到5的自然数)。然而,图像捕获元件阵列的排列不限于拜耳排列。其他排列包括行间***排列、G条RB棋盘排列、G条RB完全棋盘排列、棋盘互补色排列、条排列、对角线条排列、原色色差排列、场色色差接连排列、帧色色差接连排列、MOS型排列、改进MOS型排列、帧交织排列、场交织排列。基本上,以上说明也可以应用于根据本公开第二方面的图像捕获装置。
在使用根据包括以上说明的各种类型的优选模式和配置的本公开第一方面等的图像捕获装置的本公开的图像捕获方法中,沿第二方向为N个像素排列一个第三区域和一个第四区域(其中,N是2n,n为1到5的自然数),并且在该情况下,基于深度图(深度信息)和来自构成图像捕获元件阵列的所有图像捕获元件的电信号获得用于获得右眼图像的图像数据(右眼图像数据)和用于获得左眼图像的图像数据(左眼图像数据),所述深度图由从已经穿过第三区域的第一区域透射光获得的电信号、从已经穿过第四区域的第二区域透射光获得的电信号生成。基本上,以上说明也可以应用于根据本公开第二方面的图像捕获装置。
可替代地,当图像捕获元件阵列的排列是拜耳排列时,可以不为接收红色光的红色图像捕获元件和接收蓝色光的蓝色图像捕获元件提供第三区域和第四区域,并且可以为接收绿色光的两个绿色图像捕获元件之一提供第三区域,以及为它们中的另一个提供第四区域。可替代地,当图像捕获元件阵列的排列是拜耳排列时,在一个接收红色光的红色图像捕获元件、一个接收蓝色光的蓝色图像捕获元件、以及两个接收绿色光的绿色图像捕获元件中,可以在第一方向为两个彼此相邻图像捕获元件(例如,接收红色光的红色图像捕获元件和接收绿色光的绿色图像捕获元件之一)提供第三区域或第四区域,并且可以为剩余的两个图像捕获元件(例如,接收蓝色光的蓝色图像捕获元件和接收绿色光的绿色图像捕获元件的另一个)安排第四区域或第三区域。可替代地,当图像捕获元件阵列的排列是拜耳排列时,在接收红色光的一个红色图像捕获元件、接收蓝色光的一个蓝色图像捕获元件、以及接收绿色光的两个绿色图像捕获元件中,可以为图像捕获元件中的任一(例如,接收红色光的一个红色图像捕获元件和接收蓝色光的一个蓝色图像捕获元件)提供第三区域或第四区域,并且可以为在第二方向邻近图像捕获元件的图像捕获元件(例如,绿色图像捕获元件)提供第四区域或第三区域。即使在这些情况下,一个第三区域和一个第四区域可以配置为沿第二方向为N个像素排列,并且一个第三区域或一个第四区域可以配置为沿第一方向为M个像素排列。基本上,以上说明也可以应用于根据本公开第二方面的图像捕获装置。
在根据本公开的图像捕获方法、或根据包括以上说明的各种类型的优选模式和配置的本公开第一到第二方面的图像捕获装置(下文中,它们可以简单地统称为“本公开”)中,第一方向可以是水平方向,并且第二方向可以是垂直方向。沿第一方向的第三区域和第四区域(根据本公开第一方面等的图像捕获装置)或者第五区域和第六区域(根据本公开第二方面的图像捕获装置)的单位长度例如可以与沿图像捕获装置的第一方向的长度相同(当第一区域透射光的电场方向平行于第一方向时),或者可以与相当于一个图像捕获元件的长度相同(当第一区域透射光的电场方向与第一方向成45度角时)。镜头***可以是固定焦距镜头,或者可以是所谓变焦镜头,并且镜头和镜头***的配置和结构可以基于镜头***要求的规格确定。图像捕获元件可以是CCD传感器、CMOS传感器、或者CMD(电荷调制器件)类型的信号放大型图像传感器。图像捕获装置可以是正面照明型固态图像捕获装置,或者可以是背面照明型固态图像捕获装置。此外,例如,数字静态相机、视频相机和摄像放像机可以用根据第一方面到第二方面的图像捕获装置制造。
当线栅偏振器由第三区域和第四区域(根据本公开第一方面等的图像捕获装置)或者第五区域和第六区域(根据本公开第二方面的图像捕获装置)形成时,构成线栅偏振器的线不受限制,但是优选由铝(Al)或铝合金构成,线的宽度和线的间距之间的比率[(线的宽度)/(线的间距)]的值优选是0.33或更大,线的高度优选等于或大于5×10-8,并且优选提供10条或更多的线。
在根据本公开第一方面等的图像捕获装置中,第一区域的重心意味着基于第一区域的外形获得的重心,并且第二区域的重心意味着基于第二区域的外形获得的重心。当第一偏振部件的外形是具有半径r的圆形,并且第一区域和第二区域的每个是占据第一偏振部件的一半的新月形时,第一区域的重心和第二区域的重心之间的距离可以用简单的计算[(8r)/(3π)]获得。
第一实施例
第一实施例涉及根据本公开第一方面的图像捕获装置和图像捕获方法。更具体地,第一实施例涉及用于捕获被摄体作为三维图像的图像捕获装置和图像捕获方法。
在图1(A)中示出图示根据第一实施例的图像捕获装置的概念图。第一偏振部件和第二偏振部件的偏振状态在图1(B)和1(C)中示意性地示出。在图2(A)中示出图示穿过镜头***、第一偏振部件的第一区域和第二偏振部件的第三区域并且到达图像捕获元件阵列的光的概念图。在图2(B)中示出图示穿过第一偏振部件的第二区域和第二偏振部件的第四区域并且到达图像捕获元件阵列的光的概念图。在图2(C)和2(D)中示意性地示出通过图2(A)和2(B)的光在图像捕获元件阵列上形成的图像。在以下的说明中,光行进的方向表示为Z轴方向,第一方向表示为水平方向(X轴方向)并且第二方向表示为垂直方向(Y轴方向)。
根据第一实施例或者随后说明的第二到第十实施例的图像捕获装置包括:(A)第一偏振部件130、230、330、430、530、930,用于偏振来自被摄体的光;(B)镜头***20,用于聚集来自第一偏振部件130、230、330、430、530、930的光;以及(C)图像捕获元件阵列40,其中在第一方向(水平方向,X轴方向)和垂直于第一方向的第二方向(垂直方向,Y轴方向)以二维矩阵形式排列图像捕获元件41,其中第二偏振部件150、250提供在光入射侧,并且图像捕获元件阵列40将通过镜头***20聚集的光转换为电信号。
这样配置根据第一实施例或者随后说明的第二到第十实施例的图像捕获装置,以便第一偏振部件130、230、330、430、530、930包括沿第一方向(水平方向,X轴方向)排列的第一区域131、231、331、531、931和第二区域132、232、332、532、932,已经穿过第一区域131、231、331、531、931的第一区域透射光L1的偏振状态不同于已经穿过第二区域132、232、332、532、932的第二区域透射光L2的偏振状态,第二偏振部件150、250包括沿第二方向(垂直方向,Y轴方向)交替排列并且在第一方向(水平方向,X轴方向)延伸的多个第三区域151、251和第四区域152、252,已经穿过第三区域151、251的第三区域透射光L3的偏振状态不同于已经穿过第四区域152、252的第四区域透射光L4的偏振状态,第一区域透射光L1穿过第三区域151、251并且到达图像捕获元件41,以及第二区域透射光L2穿过第四区域152、252并且到达图像捕获元件41,因此捕获图像以获得其中第一区域131、231、331、531、931的重心BC1和第二区域132、232、332、532、932的重心BC2之间的距离是双眼之间的视差的基线长度的三维图像。
在该情况下,在根据第一实施例或者随后说明的第二到第十实施例的图像捕获装置中,例如镜头***20包括图像捕获透镜21、光圈单元22、和图像形成透镜23,并且用作变焦镜头。图像捕获透镜21是用于聚集来自被摄体的入射光的透镜。图像捕获透镜21包括用于聚焦的聚焦透镜、用于放大被摄体的变焦透镜等,一般地,图像捕获透镜21用用于校正色差相差的多个透镜的组合等实现。光圈单元22具有用于调整聚集的光的量的减少功能,一般地,光圈单元22由多个片状叶片的组合构成。至少在光圈单元22的位置,来自被摄体的一个点的光变为平行光。图像形成透镜23用已经穿过第一偏振部件130、230、330、430、530、930的光在图像捕获元件阵列40上形成图像。图像捕获元件阵列40排列在相机主体单元11中。在以上配置中,入射光瞳关于图像形成透镜23位于相机主体单元处。例如,由图像捕获装置构成数字静态相机、视频相机、和摄像放像机。
相机主体单元11不仅包括图像捕获元件阵列40,而且包括例如图像处理部件12和图像存储单元13。然后,基于图像捕获元件阵列40转换的电信号,形成右眼图像数据和左眼图像数据。例如用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)图像传感器等实现图像捕获元件阵列40。图像处理部件12将从图像捕获元件阵列40输出的电信号转换为右眼图像数据和左眼图像数据,并且将右眼图像数据和左眼图像数据记录到图像存储单元13。
第一偏振部件130、230、330、430、530、930接近镜头***20的光圈单元22排列。更具体地,第一偏振部件130、230、330、430、530、930尽可能地接近光圈单元22排列,只要光圈单元22的操作不受影响。如上所述,当入射到镜头***20的光一旦成为平行光并且最终聚集在图像捕获元件41上(使得形成图像)时,第一偏振部件130、230、330、430、530、930排列在处于平行光状态的镜头***20的一部分处。
在根据第一实施例的图像捕获装置110中,第一偏振部件130包括第一区域131和第二区域132。更具体地,第一偏振部件130的外形是圆形,并且第一区域131和第二区域132的每个具有占据第一偏振部件130的一半的新月外形。第一区域131和第二区域132之间的边界线沿第二方向延伸,包括两个偏振滤光镜的组合的第一偏振部件130将入射光分离为两个不同的偏振状态。如上所述,第一偏振部件130包括在垂直方向对称的偏振器,并且关于相机的竖直状态在左和右的两个位置处,生成在相互垂直的直线方向的偏振、或者在相互相反的旋转方向的偏振。第一区域131是用于将偏振施加到被摄体将由右眼看到的图像(将由右眼接收的光)的滤光镜。另一方面,第二区域132是用于将偏振施加到被摄体将由左眼看到的图像(将由左眼接收的光)的滤光镜。
在该情况下,在根据第一实施例的图像捕获装置110中,第一区域131和第二区域132由偏振器形成。第一区域透射光L1的电场方向(由轮廓线箭头指示)垂直于第二区域透射光L2的电场方向(由轮廓线箭头指示)(参见图1(B))。在该情况下,在第一实施例中,第一区域透射光L1的电场方向平行于第一方向。更具体地,例如,第一区域透射光L1主要包括P波(TM波)作为偏振分量,并且第二区域透射光L2主要包括S波(TE波)作为偏振分量。此外,第一区域透射光L1的电场方向平行于第三区域透射光L3的电场方向(由轮廓线箭头指示),并且第二区域透射光L2的电场方向平行于第四区域透射光L4的电场方向(由轮廓线箭头指示)(参见图1(C))。每个偏振器的消光比是3或更大,更具体地,10或更大。
在根据第一实施例的图像捕获装置110中,第一偏振部件130的外形是半径r为10mm的圆形。第一区域131和第二区域132制造为每个占据第一偏振部件130的一半的新月形。因此,第一区域131的重心BC1和第二区域132的重心BC2之间的距离是[(8r)/(3π)]=8.5mm。
在图3(A)中示出示意性局部剖视图,在图3(B)中示意性地示出线栅偏振器67的排列状态。如图3(A)和3(B)所示,图像捕获元件41例如包括在硅半导体基底60上排列的光电转换元件61。此外,在光电转换元件61上层积第一平坦化膜62、滤色镜63、片上透镜64、第二平坦化膜65、无机绝缘地层66、和线栅偏振器67。线栅偏振器67构成第三区域151和第四区域152的每个。在图3(B)中,像素的边界区域用实线指示。构成线栅偏振器67的多条线68延伸的方向平行于第一方向或第二方向。更具体地,在构成第三区域151的线栅偏振器67A中,线68A延伸的方向平行于第二方向,并且在构成第四区域152的线栅偏振器67B中,线68B延伸的方向平行于第一方向。线68延伸的方向变为线栅偏振器67的光吸收轴,并且垂直于线68延伸的方向的方向变为线栅偏振器67的光透射轴。
在根据第一实施例的图像捕获方法中,用于获得右眼图像数据的电信号用已经穿过第三区域151并且已经到达图像捕获元件41的第一区域透射光L1通过图像捕获元件41生成。另一方面,用于获得左眼图像数据的电信号用已经穿过第四区域152并且已经到达图像捕获元件41的第二区域透射光L2通过图像捕获元件41生成。然后,同时或按时间序列交替输出这些电信号。图像处理部件12对输出的电信号执行图像处理(用于获得通过图像捕获元件阵列40输出的右眼图像数据和左眼图像数据的电信号),并且将它们作为右眼图像数据和左眼图像数据记录到图像存储单元13。
如图2(A)和2(B)中示意性所示,镜头***20聚焦在矩形被摄体A上。圆形被摄体B比被摄体A接近镜头***20放置。矩形被摄体A的对焦图像形成在图像捕获元件阵列40上。圆形被摄体B的失焦图像形成在图像捕获元件阵列40上。在如图2(A)所示的示例中,在图像捕获元件阵列40上,被摄体B的图像形成在向被摄体A的右手侧远离距离(+ΔX)的位置。在如图2(B)所示的示例中,在图像捕获元件阵列40上,被摄体B的图像形成在向被摄体A的左手侧远离距离(-ΔX)的位置。因此,距离(2×ΔX)是关于被摄体B的深度的信息。也就是说,比被摄体A更接近图像捕获装置的放置的被摄体的散焦量和散焦方向不同于更远离图像捕获装置的放置的被摄体的散焦量和散焦方向,并且被摄体B的散焦量根据被摄体A和被摄体B之间的距离而不同。可以获得三维图像,其中第一偏振部件130的第一区域131和第二区域132的形状的重心之间的距离是双眼之间的视差的基线长度。也就是说,可以基于公知的方法从由此获得的右眼图像(参见图2(C)的示意图)和左眼图像(参见图2(D)的示意图)来获得三维图像。当右眼图像数据和左眼图像数据混合时,可以获得不是三维图像的普通二维(平面)图像。
如图4示出概念图,在第一实施例中,图像捕获元件阵列40具有拜耳排列,并且一个像素包括四个图像捕获元件(一个接收红色的红色图像捕获元件,一个接收蓝色的蓝色图像捕获元件,两个接收绿色的绿色图像捕获元件)。为沿第一方向排列的一行像素组排列第三区域151。同样地,为沿第一方向排列的一行像素组,在第二方向邻近该像素组排列第四区域152。在第二方向交替排列第三区域151和第四区域152。应当注意,第三区域151和第四区域152作为整体在第一方向延伸,但是第三区域151和第四区域152的沿第一方向和第二方向的单位长度与图像捕获元件41的沿第一方向和第二方向的长度相同。在该配置的情况下,沿第二方向交替生成基于主要具有P波分量的光在第一方向延伸的条状图像(右眼图像)和基于主要具有S波分量的光在第一方向延伸的条状图像(左眼图像)。在图4中,第三区域151用垂直线加阴影,并且第四区域152用水平线加阴影。这些示意性地表示线栅偏振器67A、67B的线。
如上所述,以某种交织方式沿第二方向生成用于右眼图像数据和左眼图像数据的电信号。因此,图像处理部件12对电信号施加去马赛克处理,以便生成右眼图像数据和左眼图像数据,并且例如通过执行基于超分辨率处理的内插处理,最终生成和制成右眼图像数据和左眼图像数据。例如,可以通过视差检测技术和视差控制技术强调和优化视差,该视差检测技术用于从左眼图像数据和右眼图像数据通过立体配合生成差异图,并且该视差控制技术用于基于该差异图控制视差。
图5是图示具有拜耳排列图像捕获元件阵列的概念图,用于说明通过对从图像捕获元件获得的电信号执行去马赛克处理获得信号值的的图像处理(马赛克处理)。应当注意,图5示出用于在左眼图像中生成关于绿色图像捕获元件的信号值的示例。在普通去马赛克处理中,通常使用接近的相同颜色的图像捕获元件的电信号的平均值。然而,如同第一实施例,当交替重复用于获得右眼图像数据的像素组(像素行)和用于获得左眼图像数据的像素组(像素行)时,按照原状接近的值的使用可以使得不可能获得原始图像数据。因此,鉴于查找的图像捕获元件的电信号是否对应于右眼图像数据和左眼图像数据的哪一个,来执行去马赛克处理。
在拜耳排列中,红色图像捕获元件R排列在位置(4,2)。在该场合,执行以下表达式表示的操作以生成对应于位置(4,2)的绿色图像捕获元件信号值g’。
g’4,2=(g4,1+g4,3+g5,2+g1,2×W3)/(3.0+W3
在该情况下,在左手侧的g’i,j是在位置(i,j)的绿色图像捕获元件信号值。另一方面,在右手侧的gi,j是在位置(i,j)的绿色图像捕获元件的电信号的值。此外,当从所讨论的图像捕获元件G4,2到邻近图像捕获元件G4,1、G4,3、G5,2的每个的距离(W1)是“1.0”时,其倒数采用为权重,并且“3.0”对应于权重的和。同样地,W3是用于远离3个图像捕获元件的图像捕获元件G1,2的电信号的值的权重,并且在该情况下,W3是“1/3”。当概括以上表达式时,获得以下表达式。
当i是偶数时(对应于红色图像捕获元件R的位置的绿色图像捕获元件G的信号值);
g’i,j=(gi,j-1×W1+gi,j+1×W1+gi+1,j×W1+gi-3,j×W3)/(W1×3.0+W3
当i是奇数时(对应于蓝色图像捕获元件B的位置的绿色图像捕获元件G的信号值);
g’i,j=(gi,j-1×W1+gi,j+1×W1+gi-1,j×W1+gi+3,j×W3)/(W1×3.0+W3
在该情况下,W1是1.0,并且W3是1/3。
在红色图像捕获元件R和蓝色图像捕获元件B的情况下,可以根据相同的思想执行去马赛克处理。
在去马赛克处理的情况下,可以获得在每个图像捕获元件位置的图像捕获元件信号值。在该阶段,如上所述,这是在某种交织的方式下。因此,对于不具有任何图像捕获元件信号值的区域,需要通过内插生成图像捕获元件信号值。内插方法包括公知的方法,诸如使用接近的值的算术平均值的方法。应当注意,可以并行于去马赛克处理执行该内插处理。在第一方向,完全维持图像质量,因此,图像质量劣化(诸如整体图像的分辨率的降低)很少可能出现。
在第一实施例中,通过一对第一偏振部件130和第二偏振部件150以及一个镜头***20构成图像捕捉装置110。因此,例如,可以同时生成分离为右和左的两个不同的图像,并且可以提供具有简单配置和结构并且具有较少数量组件的、小的单筒图像捕获装置。因为不必具有两组镜头和偏振滤光镜的组合,所以在变焦、光圈、聚焦、会聚角等中不会存在偏移或差别。而且,双眼之间的视差的基线长度比较短,因此,可以获得自然的三维感觉。此外,当采用用于附接和拆卸第一偏振部件130的结构时,可以容易地获得二维图像和三维图像。
第二实施例
第二实施例是第一实施例的修改。在第一实施例中,第一区域透射光L1的电场方向平行于第一方向。相反,在第二实施例中,第一区域透射光L1的电场方向与第一方向的方向成45度。在图6(A)和6(B)中示意性地示出提供在根据第二实施例的图像捕获装置中的第一偏振部件230和第二偏振部件250的偏振状态。
在图7中示出图示具有拜耳排列的图像捕获元件阵列40的概念图。在第二实施例中,这样配置图像捕获元件阵列40,以便一个像素包括四个图像捕获元件(一个接收红色的红色图像捕获元件R、一个接收蓝色的蓝色图像捕获元件B、以及两个接收绿色光的绿色图像捕获元件B)。为沿第一方向排列的一行像素组排列第三区域251。同样地,为沿第一方向排列的一行像素组,在第二方向邻近该像素组排列第三区域251。在第二方向交替排列第三区域251和第四区域252。应当注意,第三区域251和第四区域252作为整体在第一方向延伸,但是第三区域251和第四区域252的单位长度与一个图像捕获元件的长度相同。在该配置的情况下,沿第二方向交替生成基于主要具有P波分量的光在第一方向延伸的条状图像(右眼图像)和基于主要具有S波分量的光在第一方向延伸的条状图像(左眼图像)。在图7中,第三区域251和第四区域252用斜线加阴影,但是这些示意性地表示线栅偏振器的线。
除了这些特征,根据第二实施例的图像捕获装置的配置和结构可以与第一实施例中说明的图像捕获装置110的配置和结构相同,并且省略关于其的详细描述。根据第二实施例的图像捕获装置的配置和结构可以应用于根据随后说明的第三实施例到第十实施例的图像捕获装置。
第三实施例
第三实施例也是第一实施例的修改。在根据第三实施例的图像捕获装置中,这样配置第一偏振部件330,以便在第一区域331和第二区域332之间提供中心区域333,并且已经穿过中心区域333的中心区域透射光的偏振状态不从入射到中心区域333之前的光的偏振状态变化。也就是说,中心区域33关于偏振是透明状态。
附带地,当入射光穿过第一偏振部件时,光的量与光谱特性和消光比成比例地减少,并且光变暗。在该情况下,消光比是由偏振器选择并被允许穿过的光的量和偏振器没有选择的反射或吸收的泄露光的量之间的比率。更具体地,例如,当偏振器具有消光比10并且使P波分量穿过时,如下偏振器使穿过光。关于具有P波分量:S波分量的比率为50:50的亮度100的入射自然光,偏振器以比率50:5使P波分量和S波分量穿过。例如,当偏振器具有消光比∞并且使P波分量穿过时,偏振器使100%的P波分量穿过,并且完全反射S波分量或者彻底吸收S波分量。因此,当平均自然光入射到其上时,亮度变为约1/2。即使投射损失是0,如图1(B)和1(C)所示穿过第一偏振部件130和第二偏振部件150的光的量是还没有进入第一偏振部件130的光的量的约25%。当穿过第一区域和第二区域的光变为混合状态,并且以这样的方式入射到图像捕获元件阵列40上以便光不能被分离时,双眼之间的视差的基线长度与混合比率成比例地减小,并且左眼图像和右眼图像在完全混合的状态下变为相同的图像。因此,不能获得视差,并且图像不能被观看为三维视图。
在第一偏振部件330的中心区域333中,光密度强但是视差量小。
因此,当采用根据第三实施例的第一偏振部件330时,可以确保双眼之间的视差的足够长的继续长度,同时增大图像捕获元件阵列40接收的光密度。如图8(A)中的第一偏振部件330的示意图中所示,当第一偏振部件330的外形是圆形时,中心区域333可以是圆形,并且第一区域331和第二区域332可以是具有包围中心区域333的180度中心角的扇形。可替代地,如图8(B)和8(C)中的第一偏振部件330的示意图中所示,中心区域333可以是菱形或方形,并且第一区域331和第二区域332可以是类似于具有包围中心区域333的180度中心角的扇形的形状。可替代地,如图8(D)中的第一偏振部件330的示意图中所示,第一区域331、中心区域333和第二区域332可以是在第二方向延伸的条状形状。
除了这些特征,根据第三实施例的图像捕获装置的配置和结构可以与第一实施例中说明的图像捕获装置110的配置和结构相同,并且省略关于其的详细描述。根据第三实施例的图像捕获装置的配置和结构可以应用于根据随后说明的第四实施例到第十实施例的图像捕获装置。
第四实施例
第四实施例也是第一实施例的修改。在图9中示出图示根据第四实施例的图像捕获装置410的概念图。
在根据第四实施例的图像捕获装置410中,四分之一波片(λ/4波片)433排列在第一偏振部件430的光入射侧,以便可以避免所谓的双眼竞争。四分之一波片433可以可拆卸地附接到镜头***中提供的滤光片附接单元。穿过四分之一波片433的光处于偏振方向相同的状态(线性偏振的状态)。在通过已经穿过第一区域131和第三区域151并且已经到达图像捕获元件阵列40的这样的光获得的图像、和通过已经穿过第二区域132和第四区域152并且已经到达图像捕获元件阵列40的这样的光获得的图像中,在其中反射P波分量而吸收S波分量的被摄体的部分中各图像之间不存在大的差别,以便可以避免双眼竞争。
图11(A)和11(B)示出左眼图像(在图11(A)和11(B)的左手侧的图像)和右眼图像(在图11(A)和11(B)的右手侧的图像)。在第四实施例中,第一区域透射光L1配置为主要包括S波(TE波)作为偏振分量,并且第二区域透射光L2配置为主要包括P波(TM波)作为偏振分量。
可理解,当比较通过在第一实施例中说明的图像捕获装置110获得的图11(A)的左眼图像和右眼图像时,例如,在“A”指示的区域中的玻璃窗和位于该玻璃窗的下方的玻璃窗中光反射状态显著地不同。因此,当捕获反射P波分量而吸收S波分量的被摄体,并且从P波分量获得的图像和从S波分量获得的图像呈现给双眼时,不出现融合,并且出现双眼竞争,其中以这样的方式交替看到各图像,使得仅图像之一更强烈地看到,而且在重叠区域图像相互抑制。
另一方面,可理解,当比较通过在第四实施例中说明的图像捕获装置410获得的图11(B)的左眼图像和右眼图像时,例如,在“A”指示的区域中的玻璃窗和位于该玻璃窗的下方的玻璃窗中光反射状态几乎相同,使得可以避免双眼竞争。根据第四实施例的图像捕获装置410的配置和结构可以应用于根据随后说明的第六实施例到第八实施例的图像捕获装置。四分之一波片433的快轴优选与第一实施例或第二实施例中说明的图像捕获装置中的第一区域透射光的电场方向成预定角度(更具体地,45度的角或45度±10度的角)。
第五实施例
第五实施例也是第一实施例的修改。在图10(A)中示出图示根据第五实施例的图像捕获装置510的概念图。在图10(B)和10(C)中示意性地示出第一偏振部件和第二偏振部件的偏振状态。在根据第五实施例的图像捕获装置510中,具有α度偏振轴的偏振片534提供在第一偏振部件530的光入射侧以便防止双眼竞争。第一区域531由第一波片形成,并且第二区域532由第二波片形成。第一区域透射光L1的电场方向垂直于第二区域透射光L2的电场方向。更具体地,α的值是45度,并且构成第一区域531的第一波片由半波片(+λ/2波片)形成,并且构成第二区域532的第二波片由其相位差不同于构成第一波片的半波片的半波片(-λ/2波片)形成。因此,第一区域透射光L1的电场方向平行于第一方向,第二区域透射光L2的电场方向平行于第二方向。应当注意,偏振片534固定到镜头***。
图11(C)示出左眼图像(在图11(C)的左手侧的图像)和右眼图像(在图11(C)的右手侧的图像)。可理解,当比较通过在第五实施例中说明的图像捕获装置510获得的图11(C)的左眼图像和右眼图像时,例如,在“A”指示的区域中的玻璃窗和位于该玻璃窗的下方的玻璃窗中光反射状态几乎相同,使得可以避免双眼竞争,如同第四实施例。根据第五实施例的图像捕获装置510的配置和结构可以应用于根据随后说明的第六实施例到第十实施例的图像捕获装置。
第六实施例
第六实施例也是第一实施例的修改。在第六实施例中,研究消光比和视差之间的关系。也就是说,当分离为右和左的图像混合时,通过将消光比从∞(其中存在0%的串扰和左眼图像与右眼图像完全分离的状态)改变到1(其中存在50%的串扰和左眼图像和右眼图像完全混合(即,左眼图像和右眼图像完全相同)的状态)来执行合成图像仿真,以发现什么等级的混合消除视差,即什么等级的混合禁止三维视图。图12(A)和12(B)中示出该结果的一部分。
在该情况下,图12(A)示出消光比是∞的状态,并且图12(B)示出消光比是3(25%串扰)的状态。在图12(A)和12(B)的左手侧的图(左眼图像)和在右手侧的图(右眼图像)中,沿垂直方向延伸的实线和虚线之间的距离是相同的。当比较图12(A)和12(B)的左手侧的图(左眼图像)和在右手侧的图(右眼图像)时,位于苹果后面的石膏半身像的鼻子的位置稍微不同。当比较图12(A)和12(B)时,图12(A)中的石膏半身像的鼻子的位置的差别小于图12(B)中的石膏半身像的鼻子的位置的差别。虽然在图中没有示出,但是当消光比是1时,位于苹果后面的石膏半身像的鼻子的位置在左眼图像和右眼图像中是相同的。当消光比是10(10%串扰)时,石膏半身像的鼻子的位置的差别小于图12(A)中,并且大于图12(B)中。从以上结果可理解,偏振器的消光比优选3或更大。
第七实施例
第七实施例也是第一实施例的修改。在第七实施例中,通过计算获得线栅偏振器的规格和消光比之间的关系。更具体地,在图13(A)中示出消光比和入射光的波长(λ)以及构成线栅偏振器的线的间距的关系。线的宽度是线的间距的1/3,线的高度是150nm,并且线的长度是无穷。在图13(A)中,曲线“A”表示当间距是150nm时的数据,曲线“B”表示当间距是175nm时的数据,曲线“C”表示当间距是200nm时的数据,曲线“D”表示当间距是250nm时的数据,以及曲线“E”表示当间距是300nm时的数据。在图13(B)中示出消光比和入射光的波长(λ)以及构成线栅偏振器的线的高度之间的关系。线的宽度是50nm。线的长度是无穷。线的间距是150nm。在图13(B)中,曲线“A”表示当高度是250nm时的数据,曲线“B”表示当高度是200nm时的数据,曲线“C”表示当高度是150nm时的数据,以及曲线“D”表示当高度是100nm时的数据。此外,在图13(C)中示出消光比和入射光的波长(λ)以及构成线栅偏振器的线的(宽度/间距)之间的关系。线的宽度是50nm,线的高度是150nm,并且线的长度是无穷。在图13(C)中,曲线“A”表示当(宽度/间距)的值是0.50时的数据,以及曲线“B”表示当(宽度/间距)的值是0.33时的数据。
如从图13(A)可见的,可理解,例如,为了将消光比设置在10或更大,线的间距优选200nm或更小,线的高度优选5×10-8m(50nm)或更大,并且线的(宽度/间距)的值优选0.33或更大。此外,优选提供10条线或更多。
在图14中示出消光比和入射光的波长(λ)以及两条线的长度之间的关系。线的宽度是50nm,线的高度是150nm,并且线的间距是线的宽度的3倍。在图14中,“A”表示当长度是1μm时的数据,“B”表示当长度是2μm时的数据,“C”表示当长度是3μm时的数据,“D”表示当长度是4μm时的数据,“E”表示当长度是5μm时的数据,“F”表示当长度是6μm时的数据,以及“G”表示当长度是无穷时的数据。如从图14可见的,可理解,为了将消光比设置在10或更大,线的长度优选2μm或更大,并且更优选3μm或更大。此外,可理解,为了处理方便,构成线的材料优选铝或铝合金。
第八实施例
第八实施例也是第一实施例的修改。如图示具有拜耳排列的图像捕获元件阵列的概念图的图15所示,配置根据第八实施例的图像捕获装置,以便为沿第二方向的N个像素排列一个第三区域151和一个第四区域152(其中N是2n,n为1到5的自然数,更特别地在第八实施例中,n是3)。基于根据视差量的深度图(深度信息)以及来自构成图像捕获元件阵列40的所有图像捕获元件41的电信号获得用于获得右眼图像的电信号和用于获得左眼图像的电信号,该深度图由从已经穿过第三区域151的第一区域透射光获得的电信号、从已经穿过第四区域152的第二区域透射光获得的电信号生成,但是这样的方法本身可以是公知方法。应当注意,可以基于所有电信号执行去马赛克处理,所有电信号包括与第三区域和第四区域一起排列的所有图像捕获元件以及没有与第三区域和第四区域一起排列的所有图像捕获元件,或者也可以通过对交织与第三区域和第四区域一起排列的图像捕获元件组的各行的部分执行通过超分辨率处理的内插,也可以生成图像数据。深度图的像素的数量和图像质量对于图像的像素的数量和图像质量可以不是1:1。这是因为在图像捕获的大多数情形下,每个被摄体充分地大于像素分辨率,并且除非每个被摄体具有距离差,该距离差有与像素分辨率相同的细度,才不要求与图像的像素分辨率相同的距离信息分辨率。当在水平方向的分辨率在距离差的感觉方面是足够的时,在垂直方向的低分辨率不会导致过多的不协调。
可替代地,在图16中示出图示根据第八实施例的图像捕获装置的第一修改的具有拜耳排列的图像捕获元件阵列,并且可以为沿第一方向的两个像素排列一个第三区域151和一个第四区域152。在如图16所示的示例中,以z字形图案(棋盘图案)排列第三区域151和第四区域152。也就是说,沿第二方向,在第三区域151的边界之一第三区域151邻近第四区域152,但是在第三区域151的另一边界第三区域151不邻近第四区域152。
可替代地,在图17中示出图示根据按照第八实施例的图像捕获装置的第二修改的具有拜耳排列的图像捕获元件阵列的概念图,并且可以不为接收蓝色光的蓝色图像捕获元件B和接收红色光的红色图像捕获元件R排列第三区域151和第四区域152,并且可以为接收绿色光的两个绿色图像捕获元件G之一排列第三区域151,以及为它们中的另一个排列第四区域152。在图18中示出图示根据按照第八实施例的图像捕获装置的第三修改的具有拜耳排列的图像捕获元件阵列的概念图,并且可以为接收绿色光的两个绿色图像捕获元件G之一排列第三区域151,以及为它们中的另一个排列第四区域152,而且可以为沿第二方向的N个像素排列一个第三区域151和一个第四区域152(其中N是2n,并且在如图所示的示例中,n是2)。如图19中所示,以z字形图案(棋盘图案)排列第三区域151和第四区域152。
第九实施例
第九实施例涉及根据本公开第二方面的图像捕获设备,并且是第一实施例到第三实施例和第五实施例到第八实施例的修改。在图20(A)中示出图示根据第九实施例的图像捕获装置的概念图。图20(B)中示出图示四分之一波片的概念图。图20(C)中示意性地示出第一偏振部件的偏振状态。图20(D)中示意性地示出偏振部件(第二偏振部件)的偏振状态。
当根据按照本公开第二方面的图像捕获装置表示依据第九实施例的图像捕获装置910时,图像捕获装置910包括:(A)四分之一波片933;(B)镜头***20,用于聚集来自四分之一波片933的光;以及(C)图像捕获元件阵列40,其中在第一方向(水平方向,X轴方向)和垂直于第一方向的第二方向(垂直方向,Y轴方向)以二维矩阵形式排列图像捕获元件41,其中偏振部件150、250提供在光入射侧,并且图像捕获元件阵列40将通过镜头***20聚集的光转换为电信号。
偏振部件150、250沿第二方向(垂直方向,Y轴方向)交替排列,并且包括在第一方向(水平方向,X轴方向)延伸的多个第五区域151、251和第六区域152、252,已经穿过第五区域151、251的第五区域透射光的偏振状态不同于已经穿过第六区域152、252的第六区域透射光的偏振状态,以及四分之一波片933的快轴(在图20(B)、图21(A)、21(D)、21(E)中由黑色箭头指示)与第五区域透射光的电场方向成预定角度。在该情况下,预定角度是45度或45度±10度。这也可以应用于以下情况。第五区域透射光的电场方向垂直于第六区域透射光的电场方向。第五区域透射光的电场方向平行于第一方向(参见图20(D))。可替代地,第五区域透射光的电场方向与第一方向成45度(参见图21(C))。四分之一波片933具有类似于镜头的光圈叶片的配置和结构,并且在镜头***20内排列。
可替代地,当根据按照本公开第一方面的图像捕获装置表示根据第九实施例的图像捕获装置时,四分之一波片933排列在第一偏振部件930的光入射侧,并且四分之一波片933的快轴与第一区域透射光L1的电场方向成预定角度。应当注意,第一区域透射光L1的电场方向平行于第三区域透射光L3的电场方向,并且第二区域透射光L2的电场方向平行于第四区域透射光L4的电场方向。
第一偏振部件930可拆卸地附接到镜头***20,并且四分之一波片933也可拆卸地附接到镜头***20。四分之一波片933邻近第一偏振部件930排列。图20(A)示出从光入射侧按顺序排列的四分之一波片933和第一偏振部件930。可替代地,取决于各情况,可以先排列第一偏振部件930,然后可以随后排列四分之一波片933。当从光入射侧按顺序排列四分之一波片933和第一偏振部件930时,四分之一波片933和第一偏振部件930排列在镜头***中,可以捕获三维图像(三维图像),或者当第一偏振部件930排列在镜头***中并且四分之一波片933从镜头***卸下时,可以捕获三维图像(三维图像)。当四分之一波片933排列在镜头***中并且第一偏振部件930从镜头***卸下时,可以捕获二维图像。另一方面,当从光入射侧按顺序排列第一偏振部件930和四分之一波片933,并且第一偏振部件930排列在镜头***中,并且四分之一波片933从镜头***卸下时,可以捕获三维图像(三维图像)。当四分之一波片933排列在镜头***中并且第一偏振部件930从镜头***卸下时,可以捕获二维图像。在图20(B)中在45度倾斜的右方向延伸的黑色箭头指示的四分之一波片933的快轴不限于这样的方向。可替代地,其可以在45度倾斜的左方向延伸。图21(A)、21(B)和21(C)图示根据第九实施例的图像捕获装置的四分之一波片的修改、以及第一偏振部件的偏振状态、以及偏振部件(第二偏振部件)的偏振状态,并且该示例是如图6所示的第二实施例的修改。
当第一偏振部件930从镜头***20卸下以尝试二维图像的正常图像捕获,并且如果入射到图像捕获装置上的光包括线性偏振时,已经穿过第三区域(第五区域)151、251的光的强度变为不同于已经穿过第四区域(第六区域)152、252的光的强度,并且这引起获得的二维图像中的亮度的带状差异。在根据第九实施例的图像捕获装置中,并入其快轴与第五区域透射光的电场方向成预定角度(更具体地,45度或45度±10度)的四分之一波片933,因此入射到四分之一波片933上的线性偏振的光从四分之一波片933发射为圆形偏振状态下的光。因此,极少可能在已经穿过第三区域(第五区域)151、251的光的强度和穿过第四区域(第六区域)152、252的光的强度之间导致差异,并且在获得的二维图像中不会出现亮度的带状差异。
第十实施例是第九实施例的修改。如图示根据第十实施例的图像捕获装置的四分之一波片的概念图的图21(D)或21(E)所示,四分之一波片933包括在第十实施例中沿第二方向排列的第一四分之一波片933A和第二四分之一波片933B。整体形成第一四分之一波片933A和第二四分之一波片933B。第一四分之一波片933A的快轴与第五区域透射光的电场方向成预定角度,并且第二四分之一波片933B的快轴垂直于第一四分之一波片933A的快轴。换句话说,第一四分之一波片933A平行于慢轴。在该情况下,预定角度是45度或45度±10度。如图21(D)中所示的示例是如图20(B)中所示的示例的修改,并且如图21(E)中所示的示例是如图21(B)中所示的示例的修改。除了以上各点,根据第十实施例的图像捕获装置具有与根据第九实施例的图像捕获装置相同的配置和结构,并且省略关于其的详细描述。四分之一波片933包括第一四分之一波片933A和第二四分之一波片933B,以便差异很少可能出现在已经穿过第三区域(第五区域)151、251的光的强度和已经穿过第四区域(第六区域)152、252的光的强度之间。
在上文,已经基于优选实施例说明了本公开,但是本公开不限于各实施例。在各实施例中说明的图像捕获装置和图像捕获元件的配置和结构是示例,并且可以根据需要改变。例如,如图22(A)示意性地示出局部剖视图,图像捕获元件41可以配置为包括在硅半导体基底60上排列的光电转换元件61,此外,可以在光电转换元件61上层积第一平坦化膜62、无机绝缘地层66、线栅偏振器67、第二平坦化膜65、滤色镜63和片上透镜64。可替代地,如图22(B)示意性地示出局部剖视图,图像捕获元件41可以配置为包括在硅半导体基底60上排列的光电转换元件61,此外,可以在光电转换元件61上层积第一平坦化膜62、片上透镜64、第二平坦化膜65、滤色镜63、无机绝缘地层66和线栅偏振器67。图像捕获元件可以是如图所示的正面照明型,或者可以是未示出的背面照明型。
基于右眼图像数据和左眼图像数据显示三维图像,并且这样的显示方法的示例包括这种方法,其用于将圆形偏振或线性偏振滤光镜附接到两个投影仪以显示右和左眼图像并且允许观看者使用对应于显示的圆形偏振或线性偏振眼镜观看图像,这样的显示方法的示例还包括双凸透镜方法和视差屏障方法。当不使用圆形偏振或线性偏振眼镜观看图像时,可以观看普通二维(平面)图像。以上说明的处理过程可以理解为具有以上系列过程的方法,或者可以理解为用于使得计算机执行系列过程的程序或用于记录该程序的记录介质。记录介质的示例包括CD(致密盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡和蓝光盘(注册商标)。
参考标号列表
110、410、510、910…图像捕获装置,11…相机主体单元,12…图像处理部件,13…图像存储单元,20…镜头***,21…图像捕获透镜,22…光圈单元,23…图像形成透镜,130、230、330、430、530、930…第一偏振部件,131、231、331、531、931…第一区域,132、232、332、532、932…第二区域,333…中心区域,433、933…四分之一波片(λ/4波片),933A…第一四分之一波片(λ/4波片),933B…第二四分之一波片(λ/4波片),534…偏振片,40…图像捕获元件阵列,41…图像捕获元件,150、250…第二偏振部件(偏振部件),151、251…第三区域(第五区域),152、252…第四区域(第六区域),60…硅半导体基底,61…光电转换元件,62…第一平坦化膜,63…滤色镜,64…片上透镜,65…第二平坦化膜,66…无机绝缘地层,67、67A、67B…线栅偏振器,68、68A、68B…线

Claims (26)

1.一种图像捕获装置,包括:
(A)第一偏振部件,用于偏振来自被摄体的光;
(B)镜头***,用于聚集来自第一偏振部件的光;以及
(C)图像捕获元件阵列,其中在第一方向和垂直于第一方向的第二方向以二维矩阵形式排列图像捕获元件,其中第二偏振部件提供在光入射侧,并且所述图像捕获元件阵列将通过所述镜头***聚集的光转换为电信号,
其中所述第一偏振部件包括沿第一方向排列的第一区域和第二区域,
已经穿过第一区域的第一区域透射光的偏振状态不同于已经穿过第二区域的第二区域透射光的偏振状态,
第二偏振部件包括沿第二方向交替排列并且在第一方向延伸的多个第三区域和第四区域,
已经穿过第三区域的第三区域透射光的偏振状态不同于已经穿过第四区域的第四区域透射光的偏振状态,
所述第一区域透射光穿过第三区域并且到达所述图像捕获元件,以及所述第二区域透射光穿过第四区域并且到达所述图像捕获元件,因此捕获图像以获得其中第一区域的重心和第二区域的重心之间的距离是双眼之间的视差的基线长度的三维图像。
2.根据权利要求1所述的图像捕获装置,其中所述第一偏振部件接近镜头***的光圈单元排列。
3.根据权利要求1或2所述的图像捕获装置,其中中心区域提供在所述第一偏振部件中的第一区域和第二区域之间,以及
已经穿过所述中心区域的中心区域透射光的偏振状态不从入射到中心区域之前的状态改变。
4.根据权利要求1至3任一所述的图像捕获装置,其中第一区域和第二区域由偏振器形成,以及
第一区域透射光的电场方向垂直于第二区域透射光的电场方向。
5.根据权利要求4所述的图像捕获装置,其中第一区域透射光的电场方向平行于第一方向。
6.根据权利要求4所述的图像捕获装置,其中第一区域透射光的电场方向与第一方向成45度。
7.根据权利要求4至6任一所述的图像捕获装置,其中第一区域透射光的电场方向平行于第三区域透射光的电场方向,以及
第二区域透射光的电场方向平行于第四区域透射光的电场方向。
8.根据权利要求4至7任一所述的图像捕获装置,其中所述偏振器的消光比是3或更多。
9.根据权利要求4至8任一所述的图像捕获装置,其中所述图像捕获元件通过层积滤色镜、片上透镜和线栅偏振器制造,以及
所述线栅偏振器构成第三区域或第四区域。
10.根据权利要求4至8任一所述的图像捕获装置,其中所述图像捕获元件通过层积线栅偏振器、滤色镜和片上透镜制造,以及
所述线栅偏振器构成第三区域或第四区域。
11.根据权利要求9或10所述的图像捕获装置,其中构成线栅偏振器的多条线延伸的方向平行于第一方向或第二方向。
12.根据权利要求1至11任一所述的图像捕获装置,其中四分之一波片排列在第一偏振部件的光入射侧。
13.根据权利要求5或6所述的图像捕获装置,其中四分之一波片排列在第一偏振部件的光入射侧,以及
四分之一波片的快轴与第一区域透射光的电场方向成预定角度。
14.根据权利要求5或6所述的图像捕获装置,其中所述四分一波片包括排列在第二方向的第一四分之一波片和第二四分之一波片,
所述第一四分之一波片的快轴与第一区域透射光的电场方向成预定角度,以及
所述第二四分之一波片的快轴垂直于所述第一四分之一波片的快轴。
15.根据权利要求13或14所述的图像捕获装置,其中所述预定角度是45度。
16.根据权利要求13至15所述的图像捕获装置,其中所述第一区域透射光的电场方向平行于所述第三区域透射光的电场方向,以及
所述第二区域透射光的电场方向平行于所述第四区域透射光的电场方向。
17.根据权利要求13至16所述的图像捕获装置,其中所述第一偏振部件可拆卸地附接到所述镜头***,以及
所述四分之一波片可拆卸地附接到所述镜头***。
18.根据权利要求13至17所述的图像捕获装置,其中所述四分之一波片邻近所述第一偏振部件排列。
19.根据权利要求1至3任一所述的图像捕获装置,具有α度的偏振轴的偏振片排列在第一偏振部件的光入射侧,
第一区域包括第一波片,并且第二区域包括第二波片,以及
第一区域透射光的电场方向垂直于第二区域透射光的电场方向。
20.根据权利要求19所述的图像捕获装置,其中α的值是45度,
第一波片包括半波片,以及
第二波片包括其相位差不同于构成第一波片的半波片的相位差的半波片。
21.根据权利要求1至20任一所述的图像捕获装置,其中所述图像捕获元件阵列具有拜耳排列,并且一个像素包括四个图像捕获元件,以及
为一个像素排列一个第三或第四区域。
22.根据权利要求1至21任一所述的图像捕获装置,其中沿第二方向为N个像素排列一个第三区域和一个第四区域,其中N是2n,n为1到5的自然数。
23.一种图像捕获装置,包括:
(A)四分之一波片;
(B)镜头***,用于聚集来自四分之一波片的光;以及
(C)图像捕获元件阵列,其中在第一方向和垂直于第一方向的第二方向以二维矩阵形式排列图像捕获元件,其中偏振部件提供在光入射侧,并且所述图像捕获元件阵列将通过所述镜头***聚集的光转换为电信号,
其中所述偏振部件包括沿第二方向交替排列并且在第一方向延伸的多个第一区域和第二区域,
已经穿过第一区域的第一区域透射光的偏振状态不同于已经穿过第二区域的第二区域透射光的偏振状态,以及
所述四分之一波片的快轴与第一区域透射光的电场方向成预定角度。
24.一种使用图像捕获装置的图像捕获方法,所述图像捕获装置包括:
(A)第一偏振部件,用于偏振来自被摄体的光;
(B)镜头***,用于聚集来自第一偏振部件的光;以及
(C)图像捕获元件阵列,其中在第一方向和垂直于第一方向的第二方向以二维矩阵形式排列图像捕获元件,其中第二偏振部件提供在光入射侧,并且所述图像捕获元件阵列将通过所述镜头***聚集的光转换为电信号,
其中所述第一偏振部件包括沿第一方向排列的第一区域和第二区域,
已经穿过第一区域的第一区域透射光的偏振状态不同于已经穿过第二区域的第二区域透射光的偏振状态,
第二偏振部件包括沿第二方向交替排列并且在第一方向延伸的多个第三区域和第四区域,
已经穿过第三区域的第三区域透射光的偏振状态不同于已经穿过第四区域的第四区域透射光的偏振状态,
所述第一区域透射光穿过第三区域并且到达所述图像捕获元件,以及所述第二区域透射光穿过第四区域并且到达所述图像捕获元件,因此捕获图像以获得其中第一区域的重心和第二区域的重心之间的距离是双眼之间的视差的基线长度的三维图像,以及
其中所述图像捕获元件用已经穿过第三区域并且已经到达图像捕获元件的第一区域透射光,生成用于获得右眼图像的电信号,
所述图像捕获元件用已经穿过第四区域并且已经到达图像捕获元件的第二区域透射光,生成用于获得左眼图像的电信号,以及
输出这些电信号。
25.根据权利要求24所述的图像捕获方法,其中沿第二方向为N个像素排列一个第三区域和一个第四区域,其中N是2n,n为1到5的自然数。
26.根据权利要求25所述的图像捕获方法,其中基于深度图和来自构成图像捕获元件阵列的所有图像捕获元件的电信号获得用于获得右眼图像的图像数据和用于获得左眼图像的图像数据,所述深度图由从已经穿过第三区域的第一区域透射光获得的电信号和从已经穿过第四区域的第二区域透射光获得的电信号生成。
CN201180030777.7A 2010-05-28 2011-05-19 图像捕获装置和图像捕获方法 Expired - Fee Related CN102948141B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010122820 2010-05-28
JP2010-122820 2010-05-28
JP2011089238 2011-04-13
JP2011-089238 2011-04-13
PCT/JP2011/061521 WO2011148851A1 (ja) 2010-05-28 2011-05-19 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN102948141A true CN102948141A (zh) 2013-02-27
CN102948141B CN102948141B (zh) 2016-08-10

Family

ID=45003842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180030777.7A Expired - Fee Related CN102948141B (zh) 2010-05-28 2011-05-19 图像捕获装置和图像捕获方法

Country Status (6)

Country Link
US (1) US9077978B2 (zh)
EP (1) EP2579568B1 (zh)
JP (1) JP2012230341A (zh)
KR (1) KR101785754B1 (zh)
CN (1) CN102948141B (zh)
WO (1) WO2011148851A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105372903A (zh) * 2015-12-08 2016-03-02 苏州佳像视讯科技有限公司 一种ccd焦距快速调整装置
CN110381796A (zh) * 2017-03-08 2019-10-25 索尼奥林巴斯医疗解决方案公司 医疗设备与制造医疗设备的方法
CN110874829A (zh) * 2018-08-31 2020-03-10 北京小米移动软件有限公司 图像处理方法及装置、电子设备及存储介质
CN113473033A (zh) * 2021-07-02 2021-10-01 广州爱闪思光电科技有限公司 一种高动态成像设备
US11284046B2 (en) 2018-05-14 2022-03-22 Sony Semiconductor Solutions Corporation Imaging element and imaging device for controlling polarization of incident light

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5531483B2 (ja) * 2008-08-29 2014-06-25 ソニー株式会社 撮像装置および映像記録再生システム
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP6051519B2 (ja) * 2011-12-20 2016-12-27 株式会社リコー ワイヤグリッド素子の製造方法
US20140055664A1 (en) * 2012-02-02 2014-02-27 Panasonic Corporation Imaging device
JP6004235B2 (ja) * 2012-02-03 2016-10-05 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
JP5974658B2 (ja) * 2012-06-19 2016-08-23 ソニー株式会社 撮像装置
WO2015015717A1 (ja) * 2013-07-30 2015-02-05 パナソニックIpマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
CN104049438B (zh) * 2014-07-10 2017-05-24 王金志 一种矫正透视变形照相机
KR102299575B1 (ko) 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
JP6434947B2 (ja) * 2016-09-30 2018-12-05 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法、及びプログラム
US10365554B1 (en) * 2018-04-04 2019-07-30 Intuitive Surgical Operations, Inc. Dynamic aperture positioning for stereo endoscopic cameras
DE102019204759A1 (de) * 2019-04-03 2020-10-08 Richard Wolf Gmbh Endoskopisches Instrument

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04251239A (ja) * 1991-01-09 1992-09-07 Hiroyoshi Sugibuchi 立体視撮影装置
WO1998012879A1 (en) * 1996-09-17 1998-03-26 Imard Kabushikigaisha Image signal processor
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
US20070296829A1 (en) * 2004-11-15 2007-12-27 Olympus Corporation Imaging Device, Imaging System and Photography Method of Image
CN101147392A (zh) * 2005-03-24 2008-03-19 松下电器产业株式会社 成像装置及其中使用的透镜阵列

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
US5537144A (en) * 1990-06-11 1996-07-16 Revfo, Inc. Electro-optical display system for visually displaying polarized spatially multiplexed images of 3-D objects for use in stereoscopically viewing the same with high image quality and resolution
JP2971259B2 (ja) 1992-08-06 1999-11-02 富士車輌株式会社 ドライクリーニング機
JP3035129B2 (ja) * 1993-07-28 2000-04-17 富士写真光機株式会社 ステレオ光学装置
EP0841586B1 (en) * 1995-05-24 2003-04-16 Olympus Optical Co., Ltd. Stereoscopic endoscope system and tv image pickup system for the endoscope
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
JP2001045521A (ja) 1999-07-30 2001-02-16 Canon Inc 立体画像撮影光学系及びそれを用いた立体画像撮影装置
US20020054431A1 (en) * 2000-11-03 2002-05-09 Bryan Costales Single-lens stereoscopic infinity microscope
JP2004309868A (ja) 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
JP2009157043A (ja) * 2007-12-26 2009-07-16 Olympus Corp 撮像装置及びそれを有する撮像機器
JP2009169096A (ja) * 2008-01-16 2009-07-30 Fujifilm Corp 撮像デバイス
JP5152655B2 (ja) 2008-06-18 2013-02-27 株式会社リコー 撮像装置
JP2010056865A (ja) * 2008-08-28 2010-03-11 Fujifilm Corp 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04251239A (ja) * 1991-01-09 1992-09-07 Hiroyoshi Sugibuchi 立体視撮影装置
WO1998012879A1 (en) * 1996-09-17 1998-03-26 Imard Kabushikigaisha Image signal processor
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
US20070296829A1 (en) * 2004-11-15 2007-12-27 Olympus Corporation Imaging Device, Imaging System and Photography Method of Image
CN101147392A (zh) * 2005-03-24 2008-03-19 松下电器产业株式会社 成像装置及其中使用的透镜阵列

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105372903A (zh) * 2015-12-08 2016-03-02 苏州佳像视讯科技有限公司 一种ccd焦距快速调整装置
CN110381796A (zh) * 2017-03-08 2019-10-25 索尼奥林巴斯医疗解决方案公司 医疗设备与制造医疗设备的方法
US11166621B2 (en) 2017-03-08 2021-11-09 Sony Olympus Medical Solutions Inc. Medical apparatus and method of manufacturing medical apparatus
CN110381796B (zh) * 2017-03-08 2022-04-22 索尼奥林巴斯医疗解决方案公司 医疗设备与制造医疗设备的方法
US11982846B2 (en) 2017-03-08 2024-05-14 Sony Olympus Medical Solutions Inc. Medical apparatus and method of manufacturing medical apparatus
US11284046B2 (en) 2018-05-14 2022-03-22 Sony Semiconductor Solutions Corporation Imaging element and imaging device for controlling polarization of incident light
CN110874829A (zh) * 2018-08-31 2020-03-10 北京小米移动软件有限公司 图像处理方法及装置、电子设备及存储介质
CN110874829B (zh) * 2018-08-31 2022-10-14 北京小米移动软件有限公司 图像处理方法及装置、电子设备及存储介质
CN113473033A (zh) * 2021-07-02 2021-10-01 广州爱闪思光电科技有限公司 一种高动态成像设备

Also Published As

Publication number Publication date
US9077978B2 (en) 2015-07-07
JP2012230341A (ja) 2012-11-22
CN102948141B (zh) 2016-08-10
US20130063569A1 (en) 2013-03-14
EP2579568B1 (en) 2018-11-28
EP2579568A1 (en) 2013-04-10
KR20130100891A (ko) 2013-09-12
WO2011148851A1 (ja) 2011-12-01
KR101785754B1 (ko) 2017-10-16
EP2579568A4 (en) 2016-03-16

Similar Documents

Publication Publication Date Title
CN102948141A (zh) 图像捕获装置和图像捕获方法
CN202750183U (zh) 视差成像设备和视差成像***
US20230353718A1 (en) Imaging apparatus and image sensor array
JP5831105B2 (ja) 撮像装置及び撮像方法
CN103219350B (zh) 用于3d成像的有具有交替偏光的滤光器的图像传感器
CN102917235A (zh) 图像处理装置、图像处理方法和程序
CN102342116A (zh) 三维摄像装置
CN102681192A (zh) 成像装置、图像处理方法和程序
CN101995758A (zh) 成像装置和视频记录/播放***
CN103052914A (zh) 三维摄像装置
JP5995084B2 (ja) 3次元撮像装置、撮像素子、光透過部、および画像処理装置
JP5507362B2 (ja) 3次元撮像装置および光透過板
JP2013102322A (ja) 撮像装置及び撮像方法
US20160029005A1 (en) Image-capturing apparatus and image-capturing method
EP2716053B1 (en) Grid modulated single lens 3-d camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20200519