CN103582846B - 进深推定摄像装置 - Google Patents

进深推定摄像装置 Download PDF

Info

Publication number
CN103582846B
CN103582846B CN201380001268.0A CN201380001268A CN103582846B CN 103582846 B CN103582846 B CN 103582846B CN 201380001268 A CN201380001268 A CN 201380001268A CN 103582846 B CN103582846 B CN 103582846B
Authority
CN
China
Prior art keywords
light
diffraction
image
region
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380001268.0A
Other languages
English (en)
Other versions
CN103582846A (zh
Inventor
平本政夫
石井育规
物部祐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103582846A publication Critical patent/CN103582846A/zh
Application granted granted Critical
Publication of CN103582846B publication Critical patent/CN103582846B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明的摄像装置具备：光透过部(1)，其由分别具有使入射光发生衍射的衍射区域(1D1、1D2)、使入射光不发生衍射地透过的透明区域(1CLR)、以及被配置为与衍射区域(1D1、1D2)的至少一部分重叠的偏振区域(1P1、1P2)的多个部分(1AB)构成；摄像元件，其将分别具有第1感光单元、第2感光单元、以及配置于与所述第1感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面上形成透过所述透明区域的光所形成的像、以及由透过所述衍射区域的光所形成的像。

Description

进深推定摄像装置
技术领域
本申请涉及一种用于利用1组光学***和1个摄像元件取得被摄体的进深信息的单眼的三维摄像技术。
背景技术
近年来，关于采用了CCD或CMOS等固体摄像元件(以下称为“摄像元件”。)的数码相机或数字电影的高功能化、高性能化备受瞩目。尤其随着半导体制造技术的进步，摄像元件中的像素构造的微细化得到发展。其结果，实现了摄像元件的像素以及驱动电路的高集成化。因此，在仅仅数年中摄像元件的像素数便从100万像素程度显著地增加到1000万像素以上。进而，通过摄像所得到的图像的质量也飞跃地提高。另一方面，关于显示装置，由薄型的液晶或等离子制成的显示器不占地方、能够以高分辨率进行高对比度的显示，从而实现高的性能。这种影像的高品质化的潮流正在从二维图像向三维图像扩展。在最近，虽然需要偏振眼镜，但高画质的三维显示装置也开始开发。
关于三维摄像技术，作为具有单纯构成的代表性的方式，存在使用由2个照相机构成的摄像***，分别取得右眼用的图像以及左眼用的图像的方式。在这样的所谓双眼摄像方式中，由于使用2个照相机，因此摄像装置变得大型，成本也会变为很高。因此，对使用1个照相机取得具有视差的多个图像(以下有时称为“多视点图像”)的方式(单眼摄像方式)进行了研究。
例如，在专利文献1、2中，已经公开了使用透过轴的方向相互正交的2枚偏振板和旋转的偏振滤波器来取得多个视点图像的方式。此外，在专利文献3～5中，已经公开了使用设置了多个滤色器的光阑(光束限制板)来取得多个视点图像的方式。
在上述的专利文献1～5中公开的方式，在通过单眼的照相机主要生成多个视点图像时而被利用。另一方面，也存在如下技术：能够利用具备多个微透镜的单眼的照相机取得进深信息，并基于该信息自由改变取得后的图像的焦点位置的技术。这种技术被称为光场摄影术(light-field photography)，使用了该技术的单眼照相机被称为光场照相机。在光场相机中，在摄像元件上配置有多个微透镜。各微透镜被配置成覆盖多个像素。摄像后，根据所取得的图像信息算出与入射光的方向相关的信息，由此能够推定被摄体的进深。这种相机例如已经在非专利文献1中被公开。
在光场相机中，虽然能够算出进深信息，但是由于分辨率由微透镜的数目来决定，因此存在着分辨率比由摄像元件的像素数决定的分辨率有所下降的课题。针对该课题，在专利文献6中已公开了利用2个摄像***来提高分辨率的技术。在该技术中，将入射光进行2分割，由具有在空间上各错开1／2间距(pitch)地排列的微透镜组的摄像***对所分割后的各个入射光进行摄像，然后将所取得的图像进行合成，由此使分辨率提高。但是，在该技术中，需要2个摄像***，在尺寸以及成本方面存在课题。
针对上述课题，在专利文献7中已公开了下述技术：即，利用1个摄像***来切换通常摄像模式和基于光场摄影术的模式。根据该技术，用到了焦点距离会根据施加电压发生变化的微透镜，微透镜的焦点距离在前者的模式下被设定成无限大，在后者的模式下被设定成规定的距离。根据这种机构，能够获得高分辨率的图像和进深信息。但是，在这种手法中，需要对微透镜的焦点距离进行控制这种高度的控制技术。
另一方面，在专利文献8、9中也介绍了将重点置于进深信息的取得的技术。在这些技术中，通过在照相机的前面配置的衍射光栅进行摄像，基于透过衍射光栅的0次衍射光所形成的图像(0次光图像)和高次的衍射光所形成的图像(高次光图像)之间的位置偏离量，来测量从被摄体到衍射光栅的距离。
【在先技术文献】
【专利文献】
专利文献1：JP特开昭62-291292号公报
专利文献2：JP特开昭62-217790号公报
专利文献3：JP特开2002-344999号公报
专利文献4：JP特开2009-276294号公报
专利文献5：JP特开2003-134533号公报
专利文献6：JP特开平11-98532号公报
专利文献7：JP特开2008-167395号公报
专利文献8：JP特表平2-502398号公报
专利文献9：JP特开2011-2387号公报
【非专利文献】
非专利文献1：Ren Ng，et al，“Light Field Photography with a Hand-heldPlenoptic Camera”，Stanford Tech Report CTSR2005-02
发明内容
【发明要解决的课题】
在现有的光场照相机中，虽然能够获得进深信息，但存在图像的分辨率有所下降的课题。为了解决该课题，需要按照上述的专利文献6、7的技术进行光学***的改良，但为了进行改良，存在使用2个摄像***或者必须控制微透镜的焦点距离的课题。
此外，在利用了在专利文献8、9中公开的那样的衍射光栅的进深测量的方法中，由于难以分离0次光图像和高次光图像，因此存在如下课题，即可能发生不能正确地测量到被摄体的距离的情况。例如，根据在专利文献9中所公开的方法，基于衍射图像的亮度梯度，来识别0次光图像和1次光图像并测量他们的偏离量。然后，基于该偏离量，求出被摄体的进深。但是，实际上，正确地进行0次光图像以及1次光图像之类的亮度程度不同的2个图像的匹配非常困难。
本发明的1个实施方式提供一种使用与现有技术不同的光学***以及信号处理，能够取得抑制了分辨率的下降的图像和进深信息的摄像技术。此外，本发明的其他的实施方式提供一种虽然包含了同一被摄体，但能够容易地进行亮度程度不同的多个图像的匹配的图像处理技术。
【解决课题的手段】
为了解决上述课题，本发明的一个实施方式所涉及的进深推定摄像装置具备：光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及被配置为与所述衍射区域的至少一部分重叠的偏振区域的多个部分构成；摄像元件，其将分别具有第1感光单元、第2感光单元、以及配置于与所述第1感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成的像；和信号处理部，其处理从所述摄像元件输出的信号。
上述的一般且特定的方式，能够利用***、方法以及计算机程序来实现，或者利用***、方法以及计算机程序的组合来实现。
【发明效果】
根据本发明的一个实施方式，由于能够将衍射光所形成的图像和直进光所形成的图像分离，因此基于这些图像，能够算出到被摄体的进深。此外，根据其他的实施方式，能够容易地进行包含同一被摄体的多个图像的匹配。
附图说明
图1是例示的实施方式中的摄像装置的构成图。
图2是例示的实施方式中的摄像部的示意图。
图3A是例示的实施方式1中的透光板的俯视图。
图3B是图3A中的A-A’线剖面图。
图3C是图3A中的B-B’线剖面图。
图4是例示的实施方式中的摄像元件的基本像素构成图。
图5是例示的实施方式中的摄像元件的俯视图。
图6A是示出通过例示的实施方式中的摄像取得的图像的示例的示意图。
图6B是示出使2个衍射光图像接近了直接光图像的状态的示意图。
图6C是示出使2个衍射光图像进一步接近直接光图像而几乎重叠在一起的状态的图。
图7A是示出例示的实施方式1中的进深信息的生成处理的流程图。
图7B是示出例示的实施方式1中的进深信息的生成处理的其他的示例的流程图。
图8是示出例示的实施方式1中的像素移动数和R／B着色量的关系的图表。
图9A是示出例示的实施方式中的透光板的变形例的俯视图。
图9B是示出例示的实施方式中的透光板的其他的变形例的俯视图。
图10A是例示的实施方式2中的透光板的俯视图。
图10B是图10A中的C-C’线剖面图。
具体实施方式
本发明的例示的实施方式的概要如下所述。
(1)本发明的一个实施方式所涉及的进深推定摄像装置具备：光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及按照与所述衍射区域的至少一部分重叠的方式配置的偏振区域的多个部分构成；摄像元件，其将分别具有第1感光单元、第2感光单元、以及配置于与所述第1感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；成像部，其构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成的像；和信号处理部，其处理从所述摄像元件输出的信号。
(2)在某方式中构成为，将所述摄像面上的所述单位要素的排列方向作为x方向以及y方向时，所述衍射区域被构成为：主要使n次衍射光(n是1以上的整数)产生，且所述n次衍射光入射在所述摄像面上与透过所述透明区域的光所入射的位置相比朝x方向或y方向进行了移动的位置。
(3)在项目(2)所记载的进深推定摄像装置的某方式中，在将所述衍射区域称为第1衍射区域、将所述偏振区域称为第1偏振区域、将所述偏振滤波器称为第1偏振滤波器时，所述光透过部的所述多个部分还具有主要产生n次衍射光的第2衍射区域、以及被配置为与所述第2衍射区域的至少一部分重叠、且偏光透过轴的方向不同于所述第1偏振区域的第2偏振区域，所述摄像元件的所述单位要素还具有第3感光单元、以及与所述第3感光单元对置地配置、且偏光透过轴的方向不同于所述第1偏振滤波器的第2偏振滤波器。
(4)在项目(3)所记载的进深推定摄像装置的某方式中构成为，所述第1以及第2衍射区域，从所述第1衍射区域出射的所述n次衍射光、以及从所述第2衍射区域出射的所述n次衍射光，入射在所述摄像面上相对于透过所述透明区域的光入射的位置对称的位置。
(5)在项目(1)所记载的进深推定摄像装置的某方式中，所述衍射区域构成为使0次衍射光以及±n次衍射光(n是1以上的整数)产生，所述偏振区域具有配置在所述+n次衍射光的路径上的第1偏振区域、和配置在所述-n次衍射光的路径上、且偏光透过轴的方向不同于所述第1偏振区域的第2偏振区域，所述摄像元件的所述单位要素还具有第3感光单元、以及被配置为与所述第3感光单元对置、且偏光透过轴的方向不同于所述第1偏振滤波器的第3偏振滤波器。
(6)在项目(3)至(5)的任意一项所记载的进深推定摄像装置的某方式中，所述第1偏振区域以及所述第2偏振区域中的一方的偏光透过轴的方向，与所述第1偏振滤波器以及所述第2偏振滤波器中的一方的偏光透过轴的方向相同。
(7)在项目(3)至(6)的任意一项所记载的进深推定摄像装置的某方式中，所述第1偏振区域的偏光透过轴的方向，与所述第2偏振区域的偏光透过轴的方向正交，所述第1偏振滤波器的偏光透过轴的方向，与所述第2偏振滤波器的偏光透过轴的方向正交。
(8)在项目(1)或(2)所记载的进深推定摄像装置的某方式中，所述信号处理部具有图像处理部，所述图像处理部基于从所述第1感光单元输出的信号、以及从所述第2感光单元输出的信号，生成透过所述衍射区域的光所形成的第1图像和透过所述透明区域的光所形成的第2图像。
(9)在项目(6)所记载的进深推定摄像装置的某方式中，所述图像处理部基于所述第1图像中的被摄体的位置和所述第2图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
(10)在项目(3)至(5)的任意一项所记载的进深推定摄像装置的某方式中，所述信号处理部具有图像处理部，所述图像处理部基于从所述第1感光单元输出的第1信号、从所述第2感光单元输出的第2信号、以及从所述第3感光单元输出的第3信号，生成透过所述第1衍射区域的光所形成的第1图像、透过所述第2衍射区域的光所形成的第2图像、和透过所述透明区域的光所形成的第3图像。
(11)在项目(8)所记载的进深推定摄像装置的某方式中，所述图像处理部基于所述第1图像中的被摄体的位置和所述第3图像中的所述被摄体的位置的偏离、以及所述第2图像中的所述被摄体的位置和所述第3图像中的所述被摄体的位置的偏离，生成表示所述被摄体的进深的信息。
以下，参照附图对本发明的更具体的实施方式进行说明。在以下的说明中，对多个图中共通或相对应的要素附上同一符号。
(实施方式1)
首先，对本发明的第1实施方式的进深推定摄像装置进行说明。图1是示出本实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置是数字式电子照相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。摄像装置也可以具备不仅生成静止图像还生成运动图像的功能。
摄像部100具备：固体摄像元件2(以下简单称为“摄像元件”)，其具备在摄像面上排列的多个感光单元(以下有时称为“像素”)；透光板(光透过部)1，其一部分具有衍射光栅区域以及偏振区域；光学透镜(成像部)3，其用于在摄像元件2的摄像面上形成像；和红外截止滤波器4。另外，透光板1配置在光学透镜3的前面，但也可以配置在光学透镜3的后部。摄像元件2具有在其上面配置了偏振滤波器的像素和此外的其他像素。摄像部100还具备：信号产生／接收部5，其产生用于驱动摄像元件2的基本信号，并且接收来自摄像元件2的输出信号并向信号处理部200送出；和元件驱动部6，其基于由信号产生／接收部5生成的基本信号来驱动摄像元件2。摄像元件2典型的是CCD或CMOS传感器，能够利用公知的半导体制造技术来制造。信号产生／接收部5以及元件驱动部6例如能够由CCD驱动器等的LSI构成。
信号处理部200具备：图像处理部7，其处理从摄像部100输出的信号并生成多个图像；存储器30，其保存用于图像信号的生成的各种数据；和接口(IF)部8，其将所生成的图像信号以及进深信息向外部送出。图像处理部7具有：图像生成部7a，其基于从摄像部100输出的信号生成图像信息；和进深信息生成部7b，其生成进深信息。图像处理部7能够通过公知的数字信号处理处理器(DSP)等的硬件和执行包含图像信号生成处理在内的图像处理的软件的组合适当地实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时性地记录由图像处理部7生成的图像数据、压缩后的图像数据。这些图像数据通过接口部8向未图示的记录介质、显示部等送出。
另外，本实施方式的进深推定摄像装置会具备电子快门、取景器、电源(电池)、闪光灯等的公知的构成要素，但由于这些要素的说明对于本实施方式的理解不是特另需要，因而省略。此外，上述的构成为一个示例，在本实施方式中，除了透光板1、摄像元件2、图像处理部7以外的构成要素，能够适当地组合公知的要素进行适当组合来加以利用。
以下，对摄像部100的构成详细地进行说明。在以下的说明中，在说明摄像区域的位置、方向的情况下，使用图中所示的xy坐标。
图2是示意性地示出摄像部100中的光学透镜3、红外截止滤波器4、透光板1、以及摄像元件2的配置关系的图。光学透镜3并不只限于一个透镜，可以是由多个透镜组构成的透镜单元，但在图2为了简便，被描绘成一个透镜。光学透镜3是公知的透镜，对入射光进行聚光，并使其成像在摄像元件2的摄像部。另外，图2所示的各构成要素的配置关系终究是一个示例，本发明并不限于这样的示例。例如，即使调换光学透镜3和红外截止滤波器4的配置关系也没有问题，光学透镜3和透光板1也可以构成为一体。此外，由于在本实施方式中以取得可见光的图像为前提，因此虽然设置了红外截止滤波器4，但在取得红外光图像的用途(例如，夜间用监视照相机)上，不需要红外截止滤波器4。
图3A是透光板1的俯视图。在透光板1上，衍射光栅区域被配置为方格状(check形状)。如图3A所示，透光板1的衍射光栅区域具有二维排列的多个基本构成1AB。基本构成1AB由配置为2行2列的4个区域构成。在基本构成1AB中，由衍射光栅构成的衍射区域1D1被配置在第1行第1列，由透明构件构成的透明区域1CLR被配置在第1行第2列以及第2行第1列，由衍射光栅构成的衍射区域1D2被配置在第2行第2列。
该透光板1的尺寸例如直径为10mm～30mm，基本构成1AB的尺寸例如为100μm×100μm～1000μm×1000μm。但是，这些尺寸为例示，只要能够实现后述的功能，则并不限于这些尺寸。
衍射区域1D1是闪耀(blaze)型(也称为炫耀型)的衍射光栅(blazed grating，闪耀光栅)，被设计成使入射光沿水平方向(x方向)倾斜γ度。衍射区域1D2也是闪耀型的衍射光栅，被设计成使入射光沿水平方向倾斜-γ度。此外，在这些衍射区域1D1、1D2，分别重叠配置偏振滤波器(偏振区域)。透明区域1CLR能够由透光性的构件，例如玻璃、塑料、玻璃纸(cellophane)等形成。
图3B是图3A的A-A’线剖面图，图3C是图3A的B-B’线剖面图。如图3B所示，偏振滤波器1P1被叠合在衍射区域1D1的背部(摄像元件2侧)，此外，如图3C所示，偏振滤波器1P2被叠合在衍射区域1D2的背部。这些偏振滤波器1P1、1P2的偏光透过轴的方向(偏振方向)相差90度。在图3B、3C中，为了简便，描绘成衍射区域1D1、1D2具有长方形的剖面形状，但实际的闪耀型衍射光栅具有锯齿波状的剖面形状。通过适当地设计该形状，能够使衍射光沿特定的方向出射。另外，也可以和图3B、3C所示的构成相反，将衍射区域1D1、1D2分别配置于偏振滤波器1P1、1P2的背部。
在图3B、3C中，记载了垂直地入射至衍射区域1D1、1D2而被衍射的例示的光线。在本实施方式中，衍射区域1D1、1D2被设计成主要使1次衍射光产生、且几乎不会使其他次数的衍射光产生。因此，在图3B、3C中1次衍射光沿箭头所示的方向射出。另外，衍射区域1D1、1D2的特性并不限于这样的示例，也可以产生其他次数的衍射光。此外，也可从衍射区域1D1、1D2不是主要出射1次衍射光，而是主要出射2次衍射光之类的其他次数的衍射光。
图4是示出摄像元件2的基本像素构成的俯视图。如图所示，本实施方式中的摄像元件2具有基本像素构成，该基本像素构成具有配置为2行2列的4个感光单元2a、2b、2c、2d。在与第1行第1列的感光单元2a对置的位置配置了偏振滤波器2P1，在与第2行第2列的感光单元2d对置的位置配置了偏振滤波器2P2。在第1行第2列和第2行第1列的感光单元2b、2c上没有配置偏振滤波器。这些偏振滤波器2P1、2P2的偏振方向彼此相差90度。此外，偏振滤波器2P1、2P2分别相对于偏振滤波器1P1、1P2的偏振方向相差角度θ。
图5是示意性地示出由在摄像元件2的摄像面上排列成矩阵状的多个感光单元构成的感光单元阵列20的一部分和在这些感光单元上配置的偏振滤波器阵列的俯视图。各感光单元，典型包含光电二极管，通过光电变换输出与各自的受光量相应的光电变换信号。在本实施方式中，2行2列的感光单元2a～2d以及与其对置的偏振滤波器2P1、2P2构成1个单位要素，多个单位要素在摄像面被二维排列。
根据以上的构成，在曝光中入射到摄像装置的光，通过透光板1、透镜3、红外截止滤波器4而成像于摄像元件2的摄像面上，并由感光单元2a～2d进行光电变换。基于这些光电变换信号，图像处理部7的图像生成部7a生成图像。
图6A是示出通过摄像得到的图像的示意图。图6A示出对锁进行了摄像的情况的示例，实线表示来自被摄体的直接光所形成的图像，虚线表示衍射光所形成的图像。可以说该图像是将直接光所形成的图像和衍射光所形成的2个图像合成后的图像。在此，“直接光所形成的图像”是指由透过透光板1的透明区域1CLR的光形成的图像。此外，“衍射光所形成的图像”是指由从透光板1的衍射区域1D1、1D2分别出射的1次衍射光形成的图像。在以下的说明中，有时将直接光所形成的图像称为“直接光图像”，将衍射光所形成的2个图像称为“衍射光图像”。
在图6A所示的示意图中，衍射光所形成的图像相对于直接光所形成的图像在水平方向(图中的左右方向)发生了偏离。该偏离起因于，从衍射区域1D1出射的衍射光的行进方向朝+x方向倾斜，从衍射区域1D2出射的衍射光的行进方向朝-x方向倾斜。此外，由于2个衍射区域1D1、1D2被构成为，这些衍射光入射在摄像面上相对于透过透明区域1CLR的光所入射的位置对称的位置，因而2个衍射光图像相对于直接光图像出现在对称的位置。衍射光图像相对于直接光图像的偏离，依赖于从透光板1到被摄体的距离，该距离越长，则该偏离越大。因此，只要检测衍射光所形成的图像相对于直接光所形成的图像在水平方向的偏离的大小，就能够求出被摄体的距离。
在本实施方式中，表示衍射光所形成的图像在水平方向的偏离的大小和被摄体的距离之间的相关关系的信息(例如表、函数)被预先记录在存储器30等的记录介质中。基于该相关关系，图像处理部7中的进深信息生成部7b能够根据偏离的大小算出被摄体距离。该相关关系也可通过改变被摄体的距离的同时进行几次测试拍摄来求出。
接着，将通过感光单元2a、2b、2c、2d中的光电变换输出的信号分别作为S2a、S2b、S2c、S2d，来说明本实施方式中的信号处理。在此，为了简便，假定入射光为非偏振光，并假定衍射区域1D1、1D2使入射光100％产生衍射。然后，在假定为偏振滤波器1P1、1P2、2P1、2P2不存在的情况下，将通过透明区域1CLR、衍射区域1D1、衍射区域1D2入射到1个感光单元的光的量(强度)分别用D0、D1、D2来表示。但是，假定D0、D1、D2为透光板1的平均每单位面积的量。并且，将非偏振光的光入射到偏振滤波器1P1、1P2、2P1、2P2时的透过率作为T1、将向和偏振滤波器的偏振方向同一方向发生偏振的光入射到该偏振滤波器时的透过率作为T2。即，以T1×T2来表示非偏振的光入射到偏振方向一致的2个偏振滤波器时的透过率。T1以及T2为满足0＜T1＜1、0＜T2＜1的实数。
在曝光过程中，来自被摄体的光将首先透过透光板1。透明区域1CLR占透光板1的全面积的1／2，衍射区域1D1、1D2占透光板1的全面积的1／4。由于偏振滤波器1P1、1P2分别与衍射区域1D1、1D2叠合在一起，因而衍射区域1D1、1D2的透过率取决于偏振滤波器1P1、1P2的透过率，用T1来表示。因此，在上部未设置偏振滤波器的感光单元2b、2c，入射与D0／2+T1(D1+D2)／4成比例的量的光，且与该量成比例的大小的光电变换信号将被输出。
另一方面，关于配置了偏振滤波器2P1的感光单元2a，由于偏振滤波器2P1的影响，假设在非偏振的光入射的情况下，其透过光被限制为入射光的T1倍。但是，实际上在偏振滤波器2P1，从被摄体入射透过了透明区域1CLR的与D0／2成比例的量的光、透过了衍射区域1D1以及偏振滤波器1P1的与(D1×T1×cos2θ)／4成比例的量的光、以及透过了衍射区域1D2以及偏振滤波器1P2的与(D2×T1×sin2θ)／4成比例的量的光。因此，感光单元2a产生与(D0×T1)／2+(D1×T1×cos2θ×T1)／4+(D2×T1×sin2θ×T2)／4成比例的信号。
同样地，关于偏振滤波器2P2在上部配置的感光单元2d，由于偏振滤波器2P2的影响，假设在非偏振的光入射的情况下，其透过光被限制为入射光的T1倍。但是，实际上在偏振滤波器2P2，从被摄体入射透过了透明区域1CLR的与D0／2成比例的量的光、透过了衍射区域1D1以及偏振滤波器1P1的与(D1×T1×sin2θ)／4成比例的量的光、以及透过了衍射区域1D2以及偏振滤波器1P2的与(D2×T1×cos2θ)／4成比例的量的光。因此，感光单元2d产生与(D0×T1)／2+(D1×T1×sin2θ×T1)／4+(D2×T1×cos2θ×T2)／4成比例的信号。
若是将向摄像元件2的各像素入射的入射光量和产生的信号之间的比例常数设为1，则S2a、S2b(=S2c)、S2d分别用以下的算式1～3表示。并且，利用矩阵以算式4来表示算式1～3。其中，在算式4中，只将式1～3的右边设为4倍。
【算式1】
【算式2】
【算式3】
【算式4】
若在算式4的两边从左边乘以算式4中的3×3矩阵的逆矩阵，则得到以下的算式5。
【算式5】
利用算式5中的3×3的逆矩阵和像素信号S2a～S2d，能够得到来自被摄体的直接光所产生的图像信号D0、以及衍射光所产生的图像信号D1、D2。即，只要利用算式5，就能够将通过摄像取得的图像信号S2a～S2d分离为由直接光的信号D0构成的图像和由衍射光的信号D1、D2构成的2个图像。在以下的说明中，为了简便，有时将基于信号D0、D1、D2的图像分别称为“D0图像”、“D1图像”、“D2图像”。
上述的处理由图像处理部7中的图像生成部7a来执行。由各感光单元输出的光电变换信号通过信号产生／接收部5向信号处理部200送出、并被送到图像生成部7a。图像生成部7a进行上述的运算处理，按每个单位要素计算直接光的信号D0以及衍射光的信号D1、D2，并生成直接光所形成的图像和衍射光所形成的2个图像。
这样，根据本实施方式，能够分离直接光所形成的图像和衍射光所形成的2个图像。因此，能够利用这些图像得到被摄体的进深信息。此外，能够将直接光所形成的D0图像作为抑制住了分辨率的下降的通常的图像来处理。
进深信息的计算由图像处理部7的进深信息生成部7b来进行。在本实施方式中，将由直接光的信号D0构成的图像、以及由衍射光的信号D1、D2构成的2个图像假拟为彩色图像来进行处理。具体来说，将D0图像作为绿色(G)图像、D1图像作为红色(R)图像、D2图像作为蓝色(B)图像来处理，对这些彩色图像，进行白平衡(white balance)以及彩色化处理。然后，将D1、D2图像向接近D0图像的方向(水平方向)偏移使得该彩色化结果接近于白色，并检测各图像的偏离量。以上基于下述原理：即，如果原本由D0、D1、D2构成的3个图像为相同的图像，且也没有偏离，则即使取白平衡并进行彩色化处理，也不会发生着色。
以下，对计算D1图像以及D2图像相对于D0图像的偏离量来求出进深信息的处理的具体示例进行说明。在此，摄像的结果以获得图6A所示的图像的情况为例进行说明。
进深信息生成部7b首先将D0图像、D1图像、以及D2图像分别作为绿色(G)图像、红色(R)图像、以及蓝色(B)图像来制作彩色图像，并取白平衡。在该处理时，决定红色系的白平衡系数α0、以及蓝色系的白平衡系数β0。若用算式表示该处理，则能够用以下的算式6、7来表现。在此，D0(x，y)、D1(x，y)、D2(x，y)分别表示在D0图像、D1图像、D2图像中的像素的位置(x，y)的信号值，∑表示全部像素的总和。
【算式6】
α0=∑D1(x,y)／∑D0(x,y) (6)
【算式7】
β0=∑D2(x,y)／∑D0(x,y) (7)
接着，使用白平衡系数α0、β0，将以下的算式8、9所示的Cr(x，y)、Cb(x，y)分别作为红色以及蓝色的颜色信号来生成。
【算式8】
Cr(x,y)=D1(x,y)-α0×D0(x,y) (8)
【算式9】
Cb(x,y)=D2(x,y)-β0×D0(x,y) (9)
然后，通过以下的算式10所示的运算，求出信号Cr、Cb的绝对值的加算结果Cs。
【算式10】
Cs=∑|Cr(x,y)|+∑|Cb(x,y)| (10)
信号Cs被用作表示D1图像以及D2图像相对于D0图像的颜色偏离的程度的指标。进深信息生成部7b将2个衍射光图像向直接光图像的方向逐次偏移1个像素，且每次重复算式8～10所示的运算。该处理直到Cs变为最小被一直执行。
Cs变为最小是指3个图像的偏离为最小。进深信息生成部7b将从初始状态到颜色偏离成为最小的状态所偏移的总像素数决定为D1、D2图像相对于D0图像的偏离量。然后，基于该偏离量和作为表或函数而预先记录在存储器30中的相关信息，决定被摄体距离摄像装置的距离(进深信息)。
图6B示出该处理的途中经过，示出了与初始状态相比，衍射光图像接近了直接光图像的样态。此外，图6C示出了颜色偏离成为最小的状态，即，3个图像的匹配几乎完成的状态。在显示装置显示图6A～6C所示的那样的图像的同时只要执行上述的处理，用户就能够在视觉上判断这些图像的匹配程度。因此，能够进行现有技术中不存在的、容易的匹配处理。
图7A是示出上述的进深信息算出处理的流程的流程图。进深信息生成部7b首先在步骤S701，从存储器30取得图像生成部7a所生成的D0图像、D1图像、D2图像，并计算算式10所示的信号Cs。在此，也可以不直接对D0、D1、D2图像进行处理，而是截取包含作为进深推定的对象的被摄体在内的一部分的图像区域后进行处理。若是这样处理，则能够使处理步骤变少。接着，在步骤S702，将D1图像以及D2图像向D0图像接近1个像素，重新计算信号Cs。接下来，在步骤S703，将Cs的值与上次的值进行比较，判定是否已减少。在此，在Cs的值已减少的情况下，再次执行步骤S702，将D1图像以及D2图像进一步向D0图像接近1个像素后进行同样的计算。在步骤S703，反复进行以上的处理直到Cs的值转变为增加为止，即，直到判定为Cs的值达到了最小值为止。在Cs的值转变为增加的情况下，前进到步骤S704，进深信息生成部7b基于到此为止所偏移的总像素数和相关信息，生成被摄体的进深信息。在此，“进深信息”是指表示从拍摄时的摄像装置到被摄体的距离的信息，例如用表示该距离的数值、记号来表示。
图8是示出偏移的像素数(像素移动数)和信号Cs(R／B着色量)的值的关系的一个示例的图。在该示例中，在像素移动数为7时R／B着色量成为了最小。因此，移动数7被决定为偏离量。
通过以上的处理，能够求出进深信息。另外，在该示例中，使D1、D2图像逐次移动1个像素，但一次使之移动的像素数并不限于1个像素，也可以是2个像素以上。此外，在该示例中进深信息生成部7b自动地进行使D1、D2图像移动的处理直到Cs成为最小的状态，但也可以根据来自用户的指示执行该处理。例如，也可以用户指定移动的像素数，并在显示画面上显示该结果。此外，例如也可以是用户一边确认画面，一边进行使D1、D2图像逐渐接近D0图像的操作，并依次将该结果在画面进行显示那样的方式。在该情况下，如果进深信息生成部7b被构成为，在Cs的值成为了最小的时间点在画面显示表示该Cs的值成为了最小的意思、以及衍射光图像的偏离量以及进深量的计算结果，则便利性很高。
在以上的处理中，算式10所示的信号Cs表示图像整体的颜色偏离量，但并未正确地表示图像内的特定的被摄体的部分的偏离量。因此，仅通过上述的处理则有可能无法决定特定的被摄体的正确偏离量。因此，本实施方式中的进深信息生成部7b还可以进一步进行以下的处理。
图7B是示出该追加处理的流程的流程图。进深信息生成部7b在图7A的步骤S703判断为否后，在步骤S801，对各个D0图像、D1图像、D2图像在水平方向上进行M分割、在垂直方向上进行N分割，因而作成M×N个部分图像。在此，M、N为2以上的整数，各图像例如能够被分割成100×100程度的部分图像。在此，将D0图像、D1图像、D2图像的部分图像分别用zD0(x，y)、zD1(x，y)、zD2(x，y)表示。其中记号“z”表示部分图像的编号，为z=1～M×N。
接着，进深信息生成部7b在步骤S802，使用已经计算的白平衡系数α0、β0，改变D0图像、D1图像、D2图像的部分图像的组合的同时，选出着色最少的部分图像的组合。具体来说，首先，关于所选择的部分图像的组合，进行与算式8、9所示的运算同样的运算。即，将以下的算式11、12所示的ijCr(x，y)、ikCb(x，y)作为颜色信号来生成。在此，i、j、k表示为正整数，部分图像的编号表示为z=i、j、k，D0图像、D1图像、D2图像的各部分图像表示为iD0(x，y)、jD1(x，y)、kD2(x，y)。
【算式11】
ijCr(x，y)=jD1(x,y)-α0×iD0(x,y) (11)
【算式12】
ikCb(x,y)=kD2(x,y)-β0×iD0(x,y) (12)
然后，通过以下的算式13所示的运算，求出信号ijCr、ikCb的绝对值的加算结果ijkCs。其中，针对部分图像中包含的全部像素执行算式13中的总和∑运算。
【算式13】
ijkCs=Σ|ijCr(x,y)|+∑|ikCb(x,y)| (13)
进深信息生成部7b改变(i，j，k)的组合的同时计算ijkCs，并选择使ijkCs的值成为最小的部分图像的组合。对于像这样选择的部分图像的组合，将D1或D2图像的部分图像相对于D0图像的部分图像在x方向上的偏离量，与之前求出的偏离量进行加算，并作为最终的偏离量来处理。
接着，进深信息生成部7b在步骤S803，针对所选择的部分图像的组合，再次运行和算式6、7同样的运算来决定白平衡系数α0、β0。以前所求出的α0、β0是针对图像整体所决定的系数，并不是理想的系数。即，因为以D0图像为基准D1、D2图像向右或向左进行移动，D1、D2图像的左端或右端的部分在D0图像并不存在，所以以前所求出的α0、β0含有误差。使用不理想的白平衡系数α0、β0生成的合成图像不能成为正确的白色。因此，进深信息生成部7b基于所选择的部分图像，求出更加正确的白平衡系数α0、β0。因为从各个D0、D1、D2提取的部分图像全都是与同一被摄体部分有关的图像，所以根据这些部分图像求出的α0、β0与以前所求出的相比是更理想的系数。
进深信息生成部7b在接下来的步骤S804，使用重新决定的白平衡系数α0、β0，基于算式10，再次计算关于图像整体的Cs。在步骤S805，如果该计算结果比预先决定的阈值小，则判定为“OK”，如果为阈值以上，则判定为“NG”。在判定为“OK”的情况下，进深信息生成部7b在步骤S806，将D0图像的部分图像和D1或D2图像的部分图像之间在x方向的偏离量与之前所求出的偏离量进行相加，并决定为最终的偏离量。然后，在步骤S807，基于该偏离量算出所关注的被摄体的进深信息。
在步骤S805判定为“NG”的情况下，进深信息生成部7b在步骤S808，在画面显示表示无法取得进深信息的意思。另外，也可取代该画面显示，输出与在图7A的步骤S704所求出的总像素量相应的距离信息。
这样，进深信息生成部7b使用3个图像进行彩色图像处理，来决定进深信息。通过求出衍射光图像相对于直接光图像的偏离量，能够算出被摄体的相对进深信息。
如上所述，根据本实施方式，通过在摄像光学***中设置将衍射光栅1D1、1D2和偏振滤波器1P1、1P2重叠在一起的光学区域(透光板1)、并配置还在摄像元件2中配置了偏振滤波器2P1、2P2的像素，能够对来自被摄体的直接光所形成的图像和衍射光所形成的图像重叠地进行摄像。然后，能够通过像素间运算将这些图像进行分离。并且，对于从所分离的图像提取出来的适当的部分图像的组合，通过进行白平衡和彩色化的处理，能够算出直接光所形成的图像和衍射光所形成的图像之间的偏离量，其结果，能够算出被摄体的进深信息。
另外，在本实施方式中，关于透光板1，采用了衍射区域1D1、1D2如图3A所示被排列在透光板1的整个面的构成，但并不限定于此。例如，如图9A所示，也可以划分为2个结合的区域1a，如图9B所示，划分为3个以上的进行了分离的区域1a也没有问题。在该情况下，区域1a和图3A中的透光板1一样，由多个基本构成1AB构成，区域1a以外的部分为透明区域。如果采用这样的构成，与图3A所示的构成相比较，虽然衍射光的量减少，不过由于直接光的量增加，因而适于以高灵敏度取得通常图像的用途。另外，在该示例中，透光板1中的基本构成1AB也不限于2行2列的构成。
此外，在本实施方式中，关于2个偏振滤波器1D1、1D2，使用了偏振方向相互正交的偏振滤波器，但即使不正交只要能成立和算式4、5同样的关系式则也没问题。此外，关于摄像元件2中的偏振滤波器2D1、2D2，他们的偏振方向所形成的角度也没有必要正交。将上述的构成一般化，若将透光板1中的偏振滤波器1D1、1D2的偏光透过轴彼此形成的角度作为Φ1、将摄像元件2中的偏振滤波器2D1、2D2的偏光透过轴彼此形成的角度作为Φ2，则算式4、5分别变形为以下的算式14、15。
【算式14】
【算式15】
由于角度θ、Φ1、Φ2是已知的，因此图像生成部7a通过针对摄像元件1的每个单位要素进行基于算式15的运算，便能够生成D0图像、D1图像、以及D2图像。
再有，即使透光板1以及摄像元件2不具有2种偏振滤波器，而只有1种偏振滤波器则也没有关系。在该情况下，透光板1只要具有1种衍射区域即可。不过，在该情况下，取代算式4的关系式中的3行3列的矩阵将会使用2行2列的矩阵。作为简单的示例，考虑图3A中的偏振滤波器1P2和偏振滤波器1P1为同一特性、图4中的偏振滤波器2P2和偏振滤波器2P1为同一特性的情况。于是，摄像元件2能够以1行2列或2行1列的像素为单位进行处理，算式4、5被改写为以下的算式16、17。
【算式16】
【算式17】
在该情况下，图像生成部7a通过基于式17求出信号D0、D1，从而能够得到直接光图像和衍射光图像。在之后的彩色化处理中，只要将衍射光图像作为品红色(magenta)(红色和蓝色的混合色)图像来利用即可。在该情况下，只要进深信息生成部7b在算式6～9中，作为D1(x，y)=D2(x，y)、α0=β0、Cr(x，y)=Cb(x，y)，按照衍射光所形成的D1图像接近D0图像的方式沿水平方向偏移D1图像的同时，计算算式10所示的信号Cs即可。此外，关于图7B所示的处理也能够同样地应用。
此外，关于摄像元件2中的偏振滤波器，并不限定基本构成为方格排列，也可以是纵条纹、横条状的排列。例如，图4所示的偏振滤波器2P1、2P2也可以排列在同一行或同一列。
本实施方式中的透光板1的衍射区域1D1、1D2主要使1次衍射光产生，但也可以构成为主要使其他次数的衍射光产生。在本说明书中，衍射区域主要使n次衍射光(n是1次以上的整数)产生是指，对于从该衍射区域出射的衍射光，n次衍射光占所有衍射光的80％以上。各衍射区域被设置为n次衍射光相对于全部衍射光所占的比例优选为成为90％以上、进一步优选为成为95％以上。
此外，在本实施方式中，衍射区域1D1、1D2被构成为，由各个衍射区域产生的n次衍射光入射在摄像面上与透过了透明区域1CLR的光所入射的位置相比进一步在x方向进行了移动的位置，但本发明并不限于这样的示例。例如，也可以构成衍射区域1D1、1D2，使得n次衍射光与直接入射光相比入射在摄像面上进一步向y方向上移动了的位置、进一步向倾斜方向上移动了的位置入射的方式，。
此外，在本实施方式中，将D0图像作为绿色图像、D1图像作为红色图像、D2图像作为蓝色图像进行了处理，这样的颜色的分配是为了方便，也可以使用其他的颜色的组合。只要将各自的图像作为不同颜色的图像进行处理，则可以使用任何颜色的组合。例如，也可以将D0图像不是作为绿色图像而是作为红色图像、将D1图像作为蓝色图像、将D2图像作为绿色图像进行处理。
(实施方式2)
接着，对本发明的第2实施方式的进深推定摄像装置进行说明。本实施方式如果除去透光板1的构成，则和实施方式1一样。以下，以和实施方式1的不同点为中心进行说明，省略对于相同点的说明。
图10A是示出本实施方式中的透光板1的俯视图。图10B是图10A的C-C’线剖面图。在本实施方式中衍射光栅区域的基本构成1CC是方格状，但这不是必要要件。在透光板1的基本构成1CC中在第1行第1列和第2行第2列设置了衍射区域1D4。在第1行第2列以及第2行第1列设置了透明区域1CLR。衍射区域1D4为在透明构件形成直线状的槽的衍射区域，在此称为直线型的衍射光栅。该衍射光栅被设计为使入射光沿水平方向倾斜±γ度。在图10B中，将来自被摄体的直接光记为0次光，将相对于直接光的方向倾斜了γ度的光记为+1次光，将倾斜了-γ度的光记为-1次光。另外，衍射区域1D4也可构成为取代±1次光而主要使其他次数的衍射光产生。
此外，在该直线型的衍射区域1D4部分重叠配置了偏振滤波器1P1、1P2。偏振滤波器1P1、1P2被配置在来自线型的衍射区域1D4的±1次光所通过的位置。另外，偏振滤波器1P1、1P2的偏振方向在本实施方式中也相互正交，但也可以不正交。这样，在本实施方式中，对应于衍射区域1D4中的1个槽配置了2个偏振滤波器1P1、1P2。由此，±1次光被偏振，0次光未被偏振地直接透过。
本实施方式中使用的线型衍射区域1D4，由于使来自被摄体的直接光即0次光也透过，因此和实施方式1的构成相比较，感光单元2a、2d的信号量减少，感光单元2b、2c的信号量增加。该情况等效于实施方式1中的透光板1的透明区域1CLR、衍射区域1D1、1D2的面积比发生变化的情况，为设计事项。因此，只要使这些设计值反映在算式4，就能够通过和实施方式1完全相同的处理，算出被摄体的进深信息。
如上所述，根据本实施方式，摄像光学***的构成以及信号处理和实施方式1相同，衍射光栅为线型、且通过使用使偏振滤波器配置在衍射光的透过区域而形成的透光板1，从而能够和实施方式1同样地计算被摄体的进深信息。
另外，在本实施方式中，关于透光板1，采用了图10A所示的衍射区域1D4的配置形状，但并不限定于此。例如，即可以将衍射区域划分为如图9A所示那样2个结合而成的区域1a，也可以划分为如图9B所示那样3个以上分离的区域1a。关于透光板1以及摄像元件2的基本构成，也不限于2行2列。此外，关于所利用的2种偏振滤波器，也不限于偏振方向彼此正交，只要能够成立算式4的关系式则可以使用任何偏振滤波器。关于摄像元件2中的偏振滤波器，基本构成也并不限于方格状的排列，还可以是纵条纹排列、横条纹排列。关于其他的变形例，也能够和实施方式1同样地应用。
(实施方式3)
接着，对第3实施方式进行说明。本实施方式涉及不具有摄像***的图像处理装置。在实施方式1中，摄像装置自身进行图像生成处理、以及直接光图像和衍射光图像间的匹配处理，来求出衍射光图像相对于直接光图像的偏离量，但也可以使不同于摄像装置的其他装置来执行该处理。在该情况下，摄像装置自身无需具有图1所示的图像处理部7。
本实施方式中的图像处理装置的构成和图1中的信号处理部200的构成是同样的构成。图像处理装置除了能够内置于摄像装置之外，例如能够由个人计算机、便携式信息终端之类的计算机来实现。
图像处理装置，例如在接收由具有图2～5或图10A、10B所示的构成的摄像装置生成的像素信号，并分离成D0图像、D1图像、D2图像之后，例如执行图7A所示的进深推定处理。或者，也可以进行图7A的步骤S701～S703的处理以及图7B所示的处理。由此，能够生成被摄体的进深信息。
另外，本实施方式的图像处理并不限于由具有实施方式1、2中的摄像部100的摄像装置取得的图像，能够应用于像从不同的视点对同一被摄体进行了拍摄的多个图像一样需要匹配的任意图像。特别地，在进行亮度大小(对比度)不同的多个图像的匹配的情况下，利用公知的方法难以进行正确的匹配，但根据本实施方式，能够正确并且容易地进行匹配。在本实施方式中，由于对多个图像分配不同的颜色来进行处理，因此通过将这些图像在显示器显示的同时进行处理，用户能够在视觉上判断这些图像的匹配的程度。因此，能够进行现有技术中不存在的、容易的匹配处理。这样的图像处理装置也可以构成为并不生成进深信息，而是输出表示多个图像的偏离量的信息或匹配后的合成图像。
如上所述，本实施方式的图像处理装置具有能够容易地实现包含了同一被摄体的多个图像的匹配的效果。因此，并不限于进深信息的生成，能够广泛应用于需要进行图像的匹配的用途。
【工业实用性】
本发明的实施方式所涉及的进深推定摄像装置例如对于数码相机、数字电影、广播用的固体照相机、产业用的固体监视照相机之类的所有的照相机是有效的。
【符号说明】
1 透光板
1AB、1CC 透光板的基本构成部
1D1、1D2、1D4 衍射区域
1P1、1P2、2P1、2P2 偏振滤波器(偏振区域)
1CLR 透明区域
2 固体摄像元件
2a、2b、2c、2d 感光单元
3 光学透镜
4 红外截止滤波器
5 信号产生／接收部
6 元件驱动部
7 图像处理部
7a 图像生成部
7b 进深信息生成部
8 接口部
30 存储器
100 摄像部
200 信号处理部

Claims (11)

1.一种进深推定摄像装置，具备：
光透过部，其由分别具有使入射光发生衍射的衍射区域、使入射光不发生衍射地透过的透明区域、以及被配置为与所述衍射区域的至少一部分重叠的偏振区域的多个部分构成；
摄像元件，其将分别具有第1感光单元、第2感光单元、以及配置于与所述第1感光单元对置的位置的偏振滤波器的多个单位要素二维排列在摄像面上；
成像部，其被构成为在所述摄像面，形成透过所述透明区域的光所形成的像以及透过所述衍射区域的光所形成的像；和
信号处理部，其处理被从所述摄像元件输出的信号。
2.根据权利要求1所述的进深推定摄像装置，其中，
所述进深推定摄像装置被构成为：
在将所述摄像面上的所述单位要素的排列方向作为x方向以及y方向时，
所述衍射区域主要使n次衍射光产生，所述n次衍射光入射在所述摄像面上、与透过了所述透明区域的光所入射的位置相比在x方向或y方向上进行了移动的位置，其中n是1以上的整数。
3.根据权利要求2所述的进深推定摄像装置，其中，
在将所述衍射区域称为第1衍射区域、将所述偏振区域称为第1偏振区域、将所述偏振滤波器称为第1偏振滤波器时，
所述光透过部的所述多个部分还具有：主要使n次衍射光产生的第2衍射区域；以及被配置为与所述第2衍射区域的至少一部分重叠、且偏光透过轴的方向不同于所述第1偏振区域的第2偏振区域，
所述摄像元件的所述单位要素还具有：第3感光单元；以及与所述第3感光单元对置地配置、且偏光透过轴的方向不同于所述第1偏振滤波器的第2偏振滤波器。
4.根据权利要求3所述的进深推定摄像装置，其中，
所述第1衍射区域以及所述第2衍射区域被构成为：从所述第1衍射区域射出的所述n次衍射光、以及从所述第2衍射区域射出的所述n次衍射光，入射在所述摄像面上相对于透过了所述透明区域的光所入射的位置对称的位置。
5.根据权利要求1所述的进深推定摄像装置，其中，
所述衍射区域被构成为使0次衍射光以及±n次衍射光产生，其中n是1以上的整数，
所述偏振区域具有：配置在所述+n次衍射光的路径上的第1偏振区域；和配置在所述-n次衍射光的路径上、且偏光透过轴的方向不同于所述第1偏振区域的第2偏振区域，
所述摄像元件的所述单位要素还具有：第3感光单元；以及被配置为与所述第3感光单元对置、且偏光透过轴的方向不同于所述第1偏振滤波器的第3偏振滤波器。
6.根据权利要求3至5中任意一项所述的进深推定摄像装置，其中，
所述第1偏振区域以及所述第2偏振区域中的一方的偏光透过轴的方向，与所述第1偏振滤波器以及所述第2偏振滤波器中的一方的偏光透过轴的方向相同。
7.根据权利要求3至5中任意一项所述的进深推定摄像装置，其中，
所述第1偏振区域的偏光透过轴的方向，与所述第2偏振区域的偏光透过轴的方向正交，
所述第1偏振滤波器的偏光透过轴的方向，与所述第2偏振滤波器的偏光透过轴的方向正交。
8.根据权利要求1或2所述的进深推定摄像装置，其中，
所述信号处理部具有图像处理部，所述图像处理部基于从所述第1感光单元输出的信号、以及从所述第2感光单元输出的信号，生成透过了所述衍射区域的光所形成的第1图像和透过了所述透明区域的光所形成的第2图像。
9.根据权利要求8所述的进深推定摄像装置，其中
所述图像处理部基于所述第1图像中的被摄体的位置和所述第2图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
10.根据权利要求3至5中任意一项所述的进深推定摄像装置，其中，
所述信号处理部具有图像处理部，所述图像处理部基于从所述第1感光单元输出的第1信号、从所述第2感光单元输出的第2信号、以及从所述第3感光单元输出的第3信号，生成透过了所述第1衍射区域的光所形成的第1图像、透过了所述第2衍射区域的光所形成的第2图像、和透过了所述透明区域的光所形成的第3图像。
11.根据权利要求10所述的进深推定摄像装置，其中，
所述图像处理部，基于所述第1图像中的被摄体的位置和所述第3图像中的所述被摄体的位置之间的偏离、以及所述第2图像中的所述被摄体的位置和所述第3图像中的所述被摄体的位置之间的偏离，生成表示所述被摄体的进深的信息。
CN201380001268.0A 2012-05-28 2013-03-14 进深推定摄像装置 Expired - Fee Related CN103582846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012121022 2012-05-28
JP2012-121022 2012-05-28
PCT/JP2013/001736 WO2013179538A1 (ja) 2012-05-28 2013-03-14 奥行き推定撮像装置

Publications (2)

Publication Number Publication Date
CN103582846A CN103582846A (zh) 2014-02-12
CN103582846B true CN103582846B (zh) 2017-03-22

Family

ID=49672773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001268.0A Expired - Fee Related CN103582846B (zh) 2012-05-28 2013-03-14 进深推定摄像装置

Country Status (4)

Country Link
US (1) US9250065B2 (zh)
JP (1) JP5958837B2 (zh)
CN (1) CN103582846B (zh)
WO (1) WO2013179538A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9978154B2 (en) * 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
EP3902249A1 (en) * 2016-03-01 2021-10-27 Magic Leap, Inc. Depth sensing systems and methods
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
US10367020B2 (en) * 2017-11-15 2019-07-30 Taiwan Semiconductor Manufacturing Co., Ltd. Polarizers for image sensor devices
DE102018124442A1 (de) 2017-11-15 2019-05-16 Taiwan Semiconductor Manufacturing Co. Ltd. Polarisatoren für Bildsensorvorrichtungen
US11438571B2 (en) * 2017-12-05 2022-09-06 Airy3D Inc. Light field image processing method for depth acquisition
US10922829B2 (en) * 2018-06-06 2021-02-16 Qualcomm Incorporated Zero order light removal in active sensing systems
US10682955B1 (en) 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11352454A (ja) * 1998-06-11 1999-12-24 Asahi Glass Co Ltd アレイシート、その製造方法、３次元表示装置および３次元像表示システム
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
US20100322481A1 (en) * 2009-06-19 2010-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置
CN102292980A (zh) * 2008-11-25 2011-12-21 泰特拉维公司 高分辨率三维成像的***和方法
CN102472958A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748878B2 (ja) 1986-03-19 1995-05-24 日本放送協会 立体画像撮像表示システム
JPS62291292A (ja) 1986-06-11 1987-12-18 Sharp Corp 撮像装置
JP2528921B2 (ja) 1987-01-13 1996-08-28 デヴイット，トマス 回折による距離測定
EP0343158B1 (en) 1987-01-13 1994-05-25 DEWITT, Thomas Range finding by diffraction
JP3676916B2 (ja) 1997-09-25 2005-07-27 日本放送協会 立体撮像装置および立体表示装置
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
CN101548381B (zh) * 2007-08-06 2011-03-30 松下电器产业株式会社 摄像用光检测装置
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11352454A (ja) * 1998-06-11 1999-12-24 Asahi Glass Co Ltd アレイシート、その製造方法、３次元表示装置および３次元像表示システム
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
CN102292980A (zh) * 2008-11-25 2011-12-21 泰特拉维公司 高分辨率三维成像的***和方法
US20100322481A1 (en) * 2009-06-19 2010-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置
CN102472958A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Light Field Photography with a Hand-held Plenoptic Camera;Ren Ng，et al;《Stanford Tech Report 》;20050228;全文 *

Also Published As

Publication number Publication date
US9250065B2 (en) 2016-02-02
JP5958837B2 (ja) 2016-08-02
WO2013179538A1 (ja) 2013-12-05
JPWO2013179538A1 (ja) 2016-01-18
CN103582846A (zh) 2014-02-12
US20150138527A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN103582846B (zh) 进深推定摄像装置
US9100639B2 (en) Light field imaging device and image processing device
US9036004B2 (en) Three-dimensional image capture device
CN101800854B (zh) 图像拾取装置
CN102685377B (zh) 摄像装置
CN102917235A (zh) 图像处理装置、图像处理方法和程序
WO2011151948A1 (ja) ３次元撮像装置
JP5903670B2 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
US20120105598A1 (en) Three-dimensional imaging device
US9838665B2 (en) Image processing device, imaging device, and image processing program
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
CN103098480A (zh) 图像处理装置、三维摄像装置、图像处理方法、以及图像处理程序
JP5507362B2 (ja) ３次元撮像装置および光透過板
CN103621078A (zh) 图像处理装置和图像处理程序
CN103563369B (zh) 图像处理装置、摄像装置以及图像处理方法
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
US11436700B2 (en) Filter array for demosaicing
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
CN117278740A (zh) 裸眼3d显示屏的串扰测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160106

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170322