CN102113021A - 图像处理装置和模拟立体图像生成装置 - Google Patents

Abstract

本发明提供一种图像处理装置和模拟立体图像生成装置，由以下各部构成：彩色偏光图像取得部(201)、全天空偏光映射图取得部(202)、天气判定部(203)、晴天天空区域分离部(204)、阴天时法线推定部(207)和模拟立体化部(208)。该图像处理装置通过上述构成，考虑屋外天空的偏光状态，取得偏光信息，推定二维图像的被摄物体表面的面法线信息，生成表面的法线图像。利用该法线图像，对被摄物体进行区域分割，抽出三维信息，生成视点转换图像，生成模拟的三维立体图像。

Description

图像处理装置和模拟立体图像生成装置

技术领域

本发明涉及图像处理装置和模拟立体图像生成装置。特别涉及根据屋外等拍摄的通常的二维静止图像或动态图像等、没有给出进深方向信息的图像(二维图像)，推定出三维形状，制成模拟立体图像的模拟立体图像生成装置。

背景技术

对于二维静止图像，要想能任意改变视点来欣赏模拟立体图像，就必需使用各种方法，取得通常用来表现立体的进深方向信息。为此，只要使用例如特殊的测距仪和例如变动光源的所谓活动检测***即可。但是，这种结构很难在一般民用的相机上搭载。

因此，正在探讨一种方法，根据拍摄的场景图像，使用各种假设，推定出立体构造，实现图像合成和虚拟的视点移动。根据该方法，虽然不能根据一般场景，准确恢复推定立体构造所需要的信息，但却可以较为成功地模拟出立体构造。

专利文献1公开的方法是以诸如伸向无限远方的道路这类典型的进深场景为对象，通过合成3个基本种类的场景构造模型，赋予二维相片图像以进深模型，进行模拟的立体化合成。

非专利文献1公开的方法是例如以通用的摄影场景为对象，同样输入1张彩色图像，根据其像素的色彩信息、图像微小区域的纹理信息、图像上的配置信息、和作为被摄物体的建筑物等人工物体表面的平行线边缘，推定消失点。根据这些信息，识别场景中反映的各个区域，例如天空、地面、垂直于地面的墙壁等平面、草木等凹凸面。然后，根据检出的地面和建筑物面的法线信息，实行简单的三维立体化，就如同“立体画册”那样，将相片立体化，合成从任意视点看到的图像。一般认为，通过学习典型的场景图像，上述推定可以非常精准地实施。

然而，根据专利文献1的技术，立体信息与其说是从图像中抽出的，不如说是从基本图形中抽出的。其结果，对象场景被限定。因此，不得不说该技术通用性较差，实用性不强。而对于非专利文献1的技术来说，虽然是从图像中抽出信息，却存在以下课题。

1)无法正确推定相对于地表倾斜的斜面的法线。

2)在除长方形以外的侧面，无法正确推定法线。

3)会错误判定色彩信息接近天空和地面的面。

这些课题全都缘自于无法从二维图像直接推定表面法线。要想根据二维图像获得表面法线信息，已知有以下技术，例如使用现有激光测距仪，或使用立体摄影由距离求出。但是，如果对象是在屋外且是远处的巨大建筑物等，二者均不实用。

作为即便是对于这种远距离也能通过无源(passive)方法抽出面法线的技术，例如有使用偏光信息的技术。专利文献2的技术就是采用完全漫射照明，对被摄物体周围进行360度照明，用可取得其图像偏光信息的相机拍摄，取得被摄物体的形状。假设被摄物体的折射率已知，则能够取得通常测定困难的透明物体等的形状。

专利文献2的技术要点是：被摄物体是镜面反射(specular reflection)物体，反射光按照菲涅尔(Fresnel)法则发生偏光；对完全包住被摄物体的整个面进行照明，使被摄物体的整个面发生镜面反射。另外，专利文献2的技术有以下优点：形状推定不是诸如使用测距仪或进行立体测量，先测定距离再推定法线，而是直接求出表面法线，不用求出距离。

就白天屋外的环境而言，已知：虽然距离被摄物体很远，但其四周都被天空照明，而且，如果是晴天的话，被摄物体大多呈现镜面反射，所以，这种环境与本技术的状况极其类似。

另外，非专利文献1公开了根据二维图像形成模拟立体图像的技术。非专利文献2和非专利文献3中有关于天空偏光(偏振)的报告，专利文献3公开了偏光成像装置的现有例。

专利文献1：特开2006-186510号公报

专利文献2：特开平11-211433号公报

专利文献3：特开2007-86720号公报

非专利文献1：“Automatic photo pop-up”，Derek Hoiem et.al，ACM SIGGRPAH 2005

非专利文献2：“Polarization Analysis of the Skylight Caused by Rayleigh Scattering and Sun Orientation Estimation using Fisheye-Lens Camera”，Daisuke Miyazaki et.al，电子信息通信学会模式识别·媒介理解研究会，Vol.108，No，198，pp.25-32，2008

非专利文献3：“The Journal of Experimental Biology 204，2933-2942(2001)”

专利文献2的技术应用于屋外时，存在以下的课题。

在根据镜面反射光的偏光信息推定表面法线时，不仅需要对被摄物体的四周进行照明，还需要照射的照明是非偏光(随机的偏光)照明。所以，在专利文献2中，使用了一种非常特殊的装置，用完全漫射球完全覆盖被摄物体，从其外部进行照明。

而屋外环境的照明在晴天时是由太阳的直接光(平行光)和蓝天的表面照明组成。太阳光是非偏振光，蓝天是偏振光。在摄影时，被摄物体通常不会被太阳的直接光照射，其四周会被蓝天的偏光照射，发生镜面反射。所以，在这种情况下，现有技术无法使用。

发明内容

本发明的图像处理装置包括：偏光图像取得部，获取具有多个像素的偏光信息的偏光图像；被摄物体法线推定部，根据所述偏光图像拥有的偏光信息，推定屋外被摄物体表面的法线；和全天空偏光映射图取得部，获取全天空偏光映射图，它表示全天空的位置与所述位置的偏光信息之间的关系。所述被摄物体法线推定部利用所述全天空偏光映射图，从所述偏光信息中求出所述被摄物体表面的镜面反射光的偏光状态，由此推定所述被摄物体表面的法线。

本发明的另一图像处理装置包括：图像取得部，获取亮度图像和偏光图像，该亮度图像具有多个像素的亮度信息，该偏光图像具有所述多个像素的偏光信息；天气判定部，将天气状态判定为阴天状态或晴天状态；和被摄物体法线推定部，根据所述偏光状态，求出屋外被摄物体表面产生的镜面反射光的偏光状态，按照所述天气判定部决定的天气状态，采取不同方法，推定所述被摄物体的表面法线。

在优选的实施方式中，所述图像取得部针对多种不同颜色取得所述亮度图像。

在优选的实施方式中，所述天气判定部根据天空的偏光度或偏光度在基准水平以上的区域的面积，决定天气状态。

在优选的实施方式中，所述天气判定部将天气状态判定为天空偏光度低于规定的基准水平的阴天状态，或所述偏光度在所述基准水平以上的晴天状态。

在优选的实施方式中，所述天气判定部将天空局部有云的部分晴天判定为晴天状态。

在优选的实施方式中，所述天气判定部从外部获取表示天气状态的信息，决定天气的状态。

在优选的实施方式中，具备全天空偏光映射图取得部，获取表示以下两者关系的全天空偏光映射图，即整个天空中的一个位置与所述位置的偏光状态间的关系。当所述天气判定部判定天气状态为晴天状态时，利用所述全天空偏光映射图，推定所述被摄物体表面的法线。

在优选的实施方式中，具备：阴天时法线推定部，实行基于镜面反射偏光的法线推定；和晴天时法线推定部，实行基于几何学的法线推定、以及基于镜面反射偏光的法线推定。所述晴天时法线推定部在实行基于几何学的法线推定时，会利用所述全天空偏光映射图表示的整个天空中的一个位置与所述位置的偏光状态间的关系。

在优选的实施方式中，所述全天空偏光映射图取得部利用广角镜头，获取整个天空的偏光图像。

在优选的实施方式中，所述全天空偏光映射图取得部从外部获取所述全天空偏光映射图的数据。

在优选的实施方式中，具备：晴天天空区域分离部，晴天时将天空区域从所述图像中分离出去；和阴天天空区域分离部，阴天时将天空区域从所述图像中分离出去。根据所述天气判定部的输出，选择性切换晴天天空区域分离部和阴天天空区域分离部的动作或输出。

在优选的实施方式中，所述图像取得部具有：彩色偏光同时取得部，在具有彩色马赛克滤片的单板彩色摄像元件的同一个多色像素内，具有角度不同的透过偏振波面的多个偏光子相邻配置；偏光信息处理部，将对所述取得的每种颜色的多个偏光子的观测亮度近似为正弦函数，对得到的近似参数进行颜色间的平均化，取得归总的偏光信息；和色彩信息处理部，根据所述取得的多个观测亮度，进行亮度平均化，生成平均色彩亮度。输出(i)彩色图像；(ii)基于所述偏光图像的偏光度信息和偏光相位图像。

在优选的实施方式中，(i)当光源的入射角小于规定值时，采用基于几何学的法线推定；(ii)当光源的偏光度小于规定值时，采用基于镜面反射偏光的法线推定。

在优选的实施方式中，天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线。当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述视线向量的水平面方向朝上的向量，当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向量。

本发明的模拟立体图像生成装置具有：面抽出部，根据上述任意一项所述的图像处理装置所推定的被摄物体的表面法线，抽出与所述表面法线垂直的面；和模拟立体化部，根据所述抽出部抽出的面，实施视点转换，生成其它视点下的生成场景图像。

在优选的实施方式中，所述模拟立体化部推定所述面抽出部抽出的面的顶点的世界坐标。

本发明的图像处理方法包含以下步骤：取得屋外场景的偏光图像；取得全天空偏光映射图；判定天气状态。还包含推定步骤，根据所述偏光图像，检测屋外被摄物体表面的镜面反射光的偏光状态，根据天气状态，采取不同方法，推定所述被物体的表面法线。

在优选的实施方式中，在天气状态被判定为晴天的情况下，利用两种法线，即基于几何学的法线和基于镜面反射偏光的法线，来实施法线推定。

在优选的实施方式中，光源的入射角小时，增加基于几何学推定法线的可靠度。光源的偏光度小时，增加基于镜面反射偏光推定法线的可靠度。最终采用可靠度高的法线。

在优选的实施方式中，当天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线。当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述视线向量的水平面方向朝上的向量。当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向量。

本发明的模拟立体图像的生成方法包含以下步骤：取得屋外场景的偏光图像；根据所述偏光图像具有的偏光信息，推定屋外被摄物体表面的法线；根据推定的被摄物体的表面法线，抽出垂直于所述表面法线的面；和实施视点转换，以生成其它视点下的场景图像。

在优选的实施方式中，还包含：对所抽出的面的顶点的世界坐标进行推定的步骤。

根据本发明，就可以提供一种图像处理方法和装置，在例如推定屋外距离相机较远的巨大建筑物的三维形状时，即使现有的测距仪和立体摄影都不奏效，也可以利用天空的偏光信息，推定被摄物体的表面法线，推定出三维形状。此外，还可以对例如天空、地面、墙壁面、屋顶等进行识别处理。另外，通过利用本发明的图像处理，还可以提供一种模拟立体化装置，实现虚拟的立体化。

附图说明

图1A是屋外被摄物体镜面反射的说明图。

图1B是屋外被摄物体镜面反射的另一说明图。

图1C是与本发明有关的图像处理装置的一个实施方式的外观图。

图2是与本发明有关的图像处理装置的框图。

图3(A)是本发明的实施方式的彩色偏光图像取得部的构成框图，(B)是全天空偏光映射图取得部的构成图。

图4(A)是彩色偏光同时取得部的立体构成图，(B)沿光轴方向从正上方观察其一部分摄像面的示图，(C)是图(B)的局部放大图。

图5(A)至(C)分别是表示B、G、R偏光像素波长特性的示意图。

图6是表示透过4种偏光主轴方向不同的偏光子的光的亮度。

图7(A)至(C)表示拍摄建筑物场景时彩色偏光图像取得部取得的3种图像实例。

图8(A)至(C)分别是说明图7(A)至(C)图像的示意图。

图9(A)和(B)表示全天空偏光映射图取得部取得的两种图像。

图10A是说明一例天气判定部动作的流程图。

图10B是说明另一例天气判定部动作的流程图。

图11是说明晴天天空区域分离部的框图。

图12(A)至(H)是利用偏光和亮度从实际的场景中分离出天空区域的结果(成功例)。

图13(A)至(F)是利用偏光和亮度从实际的场景中分离出天空区域的结果(失败例)。

图14(A)至(D)是利用色相和亮度从实际的场景中分离出天空区域的结果(成功例)。

图15是说明阴天天空区域分离部的框图。

图16是表示晴天或阴天时天空区域被分离之后的场景图像示意图。

图17(A)和(B)是晴天时与阴天时被摄物体镜面反射现象的偏光现象差异的说明图。

图18是利用与入射角的关系来表现镜面反射中菲涅尔反射率的图线。

图19是实现晴天时法线推定部的流程图。

图20A是表示根据几何学实施法线推定时的偏光相位图。

图20B是用被摄物体镜头拍摄的被摄物体图像的示图。

图20C是用拍摄天空的广角镜头拍摄的天空图像的示图。

图21是根据几何学计算法线的处理说明图。

图22是基于几何学的法线和可靠度的示图。

图23是表示根据镜面反射偏光实施法线推定时的偏光相位图。

图24是入射角α与偏光度ρ的关系式的说明图线。

图25是基于镜面反射偏光的法线和可靠度的示图。

图26是可靠度评价后的法线推定结果的示图。

图27是阴天时实施法线推定的流程图。

图28是表示模拟立体化部处理流程的流程图。

图29是表示世界坐标系与相机坐标系之间关系的示图。

图30是表示视点转换后的模拟立体化效果的示图。

图31是根据本发明的图像处理装置的另一实施方式的框图。

图32是根据本发明的图像处理装置的又一实施方式的框图。

图33是与本发明的第2实施方式有关的图像处理装置的框图。

图34是表示本发明的第2实施方式的单色偏光图像取得部的构成框图。

图35是本发明的第2实施方式的晴天天空区域分离部的说明框图。

图36是本发明的第2实施方式的阴天天空区域分离部的说明框图。

图37是阴天天空区域分离部3304的构成框图。

图中：200-偏光信息取得部，201-彩色偏光图像取得部，202-全天空偏光映射图取得部，203-天气判定部，204-晴天天空区域分离部，205-阴天天空区域分离部，206-晴天时法线推定部，207-阴天时法线推定部，208-模拟立体化部，210-法线推定部。

具体实施方式

已知：屋外的偏光(偏振)现象几乎都是仅因镜面反射(Specular Reflection)发生的。本发明就是在屋外的被摄物体被天空照明时，利用被摄物体表面所产生的镜面反射光的偏光状态，来推定被摄物体的表面法线。但是，由于晴天和阴天天空的偏光状态不同，所以优选的实施方式是将二者分开，实施处理。

图1A示意地表现了如下情况：光从天空的某个位置103a向屋外的被摄物体(例如“房屋”)1600表面的某个位置1600a照射，由于镜面反射，光改变方向，射入相机100。被摄物体1600表面的位置1600a的法线N是将该位置1600a指向天空位置103a的向量L和相机100的视线向量V二等分的向量。所以，如图1A所示，当光的入射角为θ时，出射角也等于0。

图1B示意地表现了如下情况：光从天空的另一位置103b向屋外的被摄物体1600表面的另一位置1600b照射，由于镜面反射，光改变方向，射入相机100。所以，法线N是随被摄物体表面位置的变化而变化，天空发出射入相机的光的位置(103a，103b)也会变化。

另外，在图1A和图1B所示的例子中，法线N是与图面(纸面)平行的。当然，由于法线N会随被摄物体表面的形状和位置而发生改变，所以有时也不与图面平行。为了求出法线N，不仅需要图1A所示的角度θ，还需要决定围绕相机的视线向量V的转角ψ。

晴天时，由于天空发生偏光，所以无法使用专利文献2所示的方法，也就是说，无法利用被摄物体表面产生的镜面反射的偏光，推定被摄物体的表面法线。然而，晴天时，由于被摄物体表面会发生镜面反射，所以，在完全镜面的条件下，天空特定位置上的偏光状态会在被摄物体的一部分上原样体现。例如，在图1B所示的例子中，天空位置103b上的天空的偏光状态会反映到被摄物体1600表面的位置1600b上。所以，如果利用另行取得的全天空偏光映射图上的偏光信息与偏光图像上显现的偏光信息的对应关系，就可以确定射入相机的光是从天空的哪一个位置发出的。而且，在清楚该位置以后，就可以像图1A、1B所示的那样，按照几何学原理，决定被摄物体表面的法线N。

这里，对虽说是晴天但局部有云的“局部晴天”的情况进行说明。本发明优选的实施方式会将这种局部晴天的状态全部作为“晴天”处理。在进行这种处理时，本发明会根据可信度来决定是采用阴天前提下的基于镜面反射偏光的法线，还是晴天前提下的基于几何学的法线。

如果是全阴天，整个天空都被云均匀覆盖，那么天空可以视为非偏光照明(半球状照明)。这样，就可以使用与专利文献2所述的同样的方法，在全阴天的情况下推定被摄物体表面的法线。

根据本发明，根据取自屋外的被摄物体的偏光信息，可以推定出二维图像上被摄物体表面的法线。然后，使用这样推定出来的法线信息，就可以从二维图像中抽出三维信息(进深信息)，生成模拟的三维立体图像。

另外，对本发明而言，实现方式不仅可以表现为图像处理方法和模拟立体图像生成方法，也可以表现为具备执行处理的各个步骤的机构的图像生成装置；让计算机执行各个步骤的计算机程序；和存放该程序的CD-ROM等计算机可读取的存储介质等。

本发明的图像处理装置包括：获取偏光图像的偏光图像取得部；和根据取从偏光图像获得的上述偏光信息，推定屋外被摄物体表面法线的被摄物体法线推定部。

另外，本说明书中的“偏光图像”是指，包含被摄物体的二维图像中具有偏光信息的多个像素所组成的图像。也就是说，偏光图像的意思是，构成该图像的多个像素的每一个通过表示该像素的偏光信息而构成的图像。偏光信息包含偏光度和偏光相位(偏光角)。所以，只要没有特别限定，“偏光图像”就是“偏光度图像”和“偏光相位图像”的总称。“偏光度图像”是各像素偏光度的二维表示；“偏光相位图像”是各像素偏光相位的二维表示。各像素的偏光度和偏光相位的大小(数值)可以通过该像素的亮度或色相(色调)表现。在本申请的附图中，偏光度和偏光相位的大小由亮度的高低表现。

此外，本说明书中的“图像”不一定像人的视觉所能识别的那样，是像素二维排列呈现的状态。也就是说，“图像”这一用语有时表现的是构成图像的各个像素的信息(数值)的排列(图像数据)，例如亮度、偏光度、偏光相位等。

本发明的图像处理装置具备被摄物体法线推定部，用来根据从这种偏光图像得到的偏光信息，推定屋外被摄物体的表面法线。

在优选的实施方式中，本图像处理装置具备全天空偏光映射图取得部，用来取得全天空偏光映射图，该图表示全天空的位置与该位置的偏光信息间的关系。本图像处理装置根据全天空偏光映射图，推定被摄物体表面的法线。

优选本发明的图像处理装置具备天气判定部，判定天气的状态是偏光度低于基准水平的阴天状态，还是偏光度为该基准水平以上的晴天状态。本发明的图像处理装置会测定屋外被摄物体表面的镜面反射光的偏光状态，根据天气判定部决定的天气状态，采用不同方法来推定被摄物体表面的法线。

下面，利用附图，对本发明的实施方式进行说明。

(实施方式1)

首先，对本发明的图像处理装置的第1实施方式进行说明。

本实施方式是具有相机形态的图像处理装置，外观构成如图1C所示。图1C的图像处理装置(相机100)包括：被摄物体镜头部101，用来通过摄影，获取被摄物体的偏光图像和彩色图像信息；广角镜头部102，设置在相机顶部，用来通过摄影，获取天空的偏光图像信息；和水准仪等水平指示装置103。被摄物体的摄像是在相机100维持水平的状态下，水平指示装置103表示方向为水平方向、广角镜头部102垂直向上的状态下进行。

下面，参照图2，对本实施方式的构成进行更加详细的说明。图2是本实施方式的图像处理装置的功能框图。

图2的图像处理装置具有偏光信息取得部200，它包含彩色偏光图像取得部201和全天空偏光映射图取得部202。

彩色偏光图像取得部201通过图1C的镜头部101，取得被摄物体的偏光度图像ρ、偏光相位图像Φ、彩色图像C的信息。全天空偏光映射图取得部202被设置在相机顶部，用来通过图1C的广角镜头部102，获取天空的偏光图像信息。这里，“全天空偏光映射图”是表示整个天空多个位置(点)的天空偏光信息的映射图。

本实施方式的图像处理装置还包括法线推定部210和模拟立体化部208。法线推定部210包含：天气判定部203、晴天天空区域分离部204、阴天天空区域分离部205、晴天时法线推定部206和阴天时法线推定部207。

本实施方式中，测定屋外被摄物体表面的镜面反射光的偏光状态，根据天气的状态，采用不同方法推定被摄物体表面的法线。天气判定部203是根据天空的偏光度决定天气状态的机构，用来判定场景拍摄时天气是晴是阴。具体而言就是，当天空的偏光度低于基准水平时，就判定“阴天状态”；当天空的偏光度为基准水平以上时，就判定“晴天状态”。

本实施方式中，测定屋外被摄物体表面的镜面反射光的偏光状态，根据天气的状态，采用不同方法推定被摄物体表面的法线。天气判定部203是根据天空的偏光度决定天气状态的机构，用来判定场景拍摄时天气是晴是阴。具体用两个例子说明。一个例子是，当天空的偏光度低于基准水平时，就判定“阴天状态”；当天空的偏光度为基准水平以上时，就判定“晴天状态”。另一个例子是，当天空偏光度低于基准水平的区域在整个天空占有一定面积以上时，就判定“阴天状态”；除此之外就判定“晴天状态”。本发明的“阴天状态”可以视为整个天空都被云覆盖的完全阴天状态。所以，“晴天状态”包含天空局部有云存在的状态。

晴天天空区域分离部204输入ρ、Φ、C，晴天时将天空区域和被摄物体区域从图像中分离出去，输出将天空区域分离后的晴天时被摄物体偏光度图像ρfo、晴天时被摄物体偏光相位图像Φfo。另一方面，阴天天空区域分离部205是在阴天时，将天空区域和被摄物体区域从图像中分离出去，同样生成将天空区域分离后的阴天时被摄物体偏光度图像ρco、阴天时被摄物体偏光相位图像Φco。

晴天时法线推定部206在晴天时利用全天空偏光映射图，根据偏光度图像和偏光相位图像的信息，推定法线图像N；阴天时法线推定部207在阴天时，根据偏光度图像和偏光相位图像的信息，推定并取得法线图像N。

模拟立体化部208利用取得的晴天或阴天的法线图像N，对彩色图像C实行模拟立体化。

图3(A)是表示偏光信息取得部200的内部构成的框图，也就是彩色偏光图像取得部201和全天空偏光映射图取得部202。如图所示，本实施方式的偏光信息取得部200包括：拍摄被摄物体的被摄物体镜头部101、在相机正上方朝上设置的广角镜头部102、可动式反射板303、驱动机构304、彩色偏光摄像元件(彩色偏光取得部)305、偏光信息处理部306、和色彩信息处理部307。

在图3(A)所示的状态下，天空的光310通过广角镜头部102被可动式反射板303反射，到达彩色偏光摄像元件305。所以，在摄像时，彩色偏光摄像元件305可以拍摄整个天空。大范围的天空区域可以利用例如鱼眼相机拍摄，能够观测天空(整个天空)的偏光状态。

偏光信息处理部306根据彩色偏光摄像元件305的输出，获得表示天空偏光状态的全天空偏光映射图。另外，取得全天空偏光映射图的具体方法在非专利文献2中有述。在非专利文献2中，方向向上的数码相机上设置了规格为F3.5焦距为8mm的鱼眼镜头，其前端设置了偏光板。通过手动，将偏光板的偏光透过轴旋转0度、45度、90度，可以获得整个天空130度范围的天空偏光模式(pattern)。本实施方式也基本上采取相同的处理，但是不使用转动的偏光板，使用的是偏光摄像元件，这样，可以实时取得偏光映射图。因此优点在于：在偏光板转动期间，不会由于云的移动等造成伪影(artifact)。

接下来，驱动机构304将反射板303向上方(箭头312)转动，此时，如图3(B)所示，来自被摄物体镜头部101的光311会进入彩色偏光摄像元件305。如此，在拍摄被摄物体时，偏光信息处理部306和色彩信息处理部307工作。被摄物体和整个天空的摄像顺序也可以颠倒过来。

下面，以拍摄被摄物体为例，说明彩色偏光图像取得部201的动作。对于全天空偏光映射图取得部202的动作，同样也只有与偏光处理有关的部分。

优选，同时或以较短的时间间隔取得屋外的场景图像和场景偏光图像。由于会有风起云动等情况，所以优选采取实时取得方式。在取得偏光图像时，转动偏光板、进行多个图像拍摄的技术不适合屋外。所以，必须使用实时偏光相机。

专利文献3公开了同时实时取得单色图像和偏光图像的技术。根据该技术，要想同时取得亮度图像和被摄物体的部分偏光图像，就要对摄像元件空间上设置多个偏光主轴(偏光透过轴)不同的模式化偏光子(偏振器)。作为模式化偏光子，利用的有：光子结晶或构造多折射波片阵列(構造複屈折波長板アレイ)。但是，这些技术仍然不能使彩色图像和偏光图像同时取得。

相对于此，采取图3(A)的结构下，可以对被摄物体实时取得彩色图像，并同时取得偏光图像，输出两种偏光图像(偏光度图像ρ和偏光相位图像Φ)。

入射光射入到彩色偏光摄像元件305中。通过该入射光，彩色偏光摄像元件305可以实时取得彩色动态信息和偏光图像信息两方。彩色偏光摄像元件305输出表示彩色动态图像信息和偏光图像信息的信号，分别输入到偏光信息处理部306和色彩信息处理部307。偏光信息处理部306和色彩信息处理部307对上述信号实施各种处理，输出彩色图像C、偏光度图像ρ、偏光相位图像Φ。

图4(A)是表示彩色偏光摄像元件305的基本构成的示意图。在图示的例子中，彩色滤片和模式化偏光子被叠设在摄像元件像素的前面。入射光透过彩色滤片和模式化偏光子到达摄像元件，通过摄像元件像素，可观测到亮度。这样，根据本实施方式，就可以利用彩色马赛克型单板彩色摄像元件，同时获得彩色图像信息和偏光图像信息。

图4(B)是沿光轴方向从正上方观察彩色偏光摄像元件305的一部分摄像面的示图。为了简化起见，图中只图示了摄像面中的16个像素(4×4)。图示的4个矩形区域401～404分别表示设置在4个像素单元上的拜耳型(bayer)彩色马赛克滤片的对应部分。矩形区域404是B(蓝色)滤片区，罩住了像素单元B1～B4。像素单元B1～B4上紧密附着了偏光主轴互不相同的B(蓝色)用模式化偏光子。这里，“偏光主轴”是指，与透过偏光子的光的偏波面(透过偏波面)平行的轴。在本实施方式中，颜色相同的像素内，具有角度不同的透过偏波面的偏光子单位(微小偏光板)被相邻配置。具体而言就是，4种透过偏波面方向互不相同的偏光子单位被配置在R(红色)、G(绿色)、B(蓝色)的各个颜色相同的像素群中。1个偏光子单位对应1个细微的偏光像素。图中，对每个偏光像素赋予了例如G1等符号。

图4(C)是表示紧密附着了B(蓝色)用偏光子的4个细微的偏光像素上分配的偏光主轴。在图4(B)中，各细微偏光像素上的直线示意了微小偏光板的偏光主轴方向。对于图中的例子，4个细微偏光像素的偏光主轴角度各异，分别是ψi＝0°、45°、90°、135°。

矩形区域402、403的像素上分别紧密附着了4个G(绿色)用偏光子，矩形区域401的像素上附着了4个R(红色)用偏光子。图中，参照符号“405”所示的位置是一个虚拟像素位置，表示的是本摄像体系中将4个像素视为一个整体时的像素位置。如图所示，各矩形区域401～403的模式化偏光子也被分割成4个具有不同偏光主轴的部分。

这样，本实施方式就具备了以下特征：各彩色像素都包含偏光主轴不同的多个细微的偏光像素。彩色马赛克排列本身是任意的。在以下的说明中，称各个细微的偏光像素为“偏光像素”。

图5(A)至(C)是分别示意地表示B(蓝色)、G(绿色)、R(红色)偏光像素的波长特性的图线。各图线的纵轴是透过光的强度，横轴是波长。B、G、R用偏光像素具有在B、G、R的各波长频带中透过TM(Transverse Magnetic Wave)波、反射(不使其透过)TE(Transverse Electric Wave)波的偏光特性。TM波是磁场分量相对于入射面为横向的波，TE波是电场分量相对于入射面为横向的波。

图5(A)示出了B(蓝色)偏光图像的偏光特性502、503以及B(蓝色)用彩色滤片的透过特性501。偏光特性502、503分别表示TM波和TE波的透过率。

图5(B)示出了G偏光图像的偏光特性505、506以及G用彩色滤片的透过特性504。偏光特性505、506分别表示TM波和TE波的透过率。

图5(C)示出了R偏光图像的偏光特性508、509以及R用彩色滤片的透过特性507。偏光特性508、509分别表示TM波和TE波的透过率。

图5(A)至(C)所示的特性可以利用例如专利文献3所述的光子结晶来实现。在使用光子结晶的情况下，具有与该结晶表面形成的沟槽平行的电场向量振动面的光是TE波；具有与该结晶表面形成的沟槽垂直的磁场向量振动面的光是TM波。

如图5(A)至(C)所示，本实施方式的要点在于，在B、G、R的各个透过波长频带中，都使用了体现偏光分离特性的模式化偏光子。

在使用单色图像亮度和偏光滤片时，不用对表现偏光分离特性的波长频带进行优化；而在对每个彩色像素取得偏光信息时，需要整合色彩的分离特性和偏光的分离特性。

本说明书中，采用4个数字“1、2、3、4”和3个符号“R、G、B”的组合(例如“R1”或“G1”等)来表示偏光像素的特性，4个数字表示偏光像素的偏光主轴方位，3个符号用来区别颜色。对于偏光像素R1和偏光像素G1，数字是相同的，所以偏光主轴的方向一致，但RGB的符号不同，所以它们是不同的偏光像素，透过的光具有不同的波长频带。本实施方式通过图4(A)所示的彩色滤片和模式化偏光子的组合实现了这种偏光像素的排列。

下面，利用图6，对图3的偏光信息处理部306的处理进行说明。图6示出了透过4种偏光主轴方向不同(ψi＝0°、45°、90°、135°)的偏光子的光的亮度601～604。这里，设偏光主轴的转角ψ为ψi时，观测亮度为Ii。其中，“i”为1以上N以下的整数，“N”是采样数量。在图6所示的例子中，N＝4，所以i＝1，2，3，4。图6示出了与4个像素的取样(ψi，Ii)相对应的亮度601～604。

偏光主轴的角度ψi与亮度601～604的关系被表现为正弦函数曲线。图6记述了亮度601～604的4个点在一条正弦曲线上的情况。在根据更多的观测亮度来决定正弦曲线的情况下，一部分观测亮度有时稍微偏离正弦曲线。

另外，本详细说明书中的“偏光信息”指的是正弦曲线上的调幅度和相位信息，表示亮度对偏光主轴角度的依赖性。

实际处理时，对图4(A)所示的每个颜色相同的区域401～404取样内部的4个像素亮度值，按照以下公式，对模式化偏光子主轴角ψ所对应的反射光亮度I进行近似。

[数式1]

I(ψ)＝A·sin 2(ψ-B)+C

(式1)

这里，如图6所示，A、B、C是常数，分别表现偏光亮度变动曲线的振幅、相位、平均值。(式1)可以如下展开。

[数式2]

I(ψ)＝a·sin 2ψ+b·cos 2ψ+C    

                                (式2)

其中，A和B分别由以下的(式3)和(式4)表示。

[数式3]

$A=\sqrt{a^2+b^2},\sin (-2B)=\frac{b}{\sqrt{a^2+b^2}},\cos (-2B)=\frac{a}{\sqrt{a^2+b^2}}$ (式3)

[数式4]

$B=-\frac{1}{2}{\tan }^{-1}\left(\frac{b}{a}\right)$ (式4)

如果求出使以下的(式5)最小的A、B、C，亮度I与偏光主轴角ψ之间的关系就可以用(式1)的正弦函数来近似表示。

[数式5]

$f(a,b,C)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(I_i-a\·\sin 2{\mathrm{\ψ}}_i-b\·\cos 2{\mathrm{\ψ}}_i-C)}^2$ (式5)

通过以上处理，针对一种颜色确定正弦函数近似的A、B、C三个参数。如此，求出表示偏光度ρ的偏光度图像和表示偏光相位Φ的偏光相位图像。偏光度ρ表示相应像素的光发生偏光的程度，偏光相位Φ表示相应像素的光的部分偏光的主轴角的正交方向，也就是偏光的正弦函数亮度为最小值时的相位。根据菲涅尔反射理论，这就是镜面反射时被摄物体表面法线所在的面(入射面)。另外，偏光的主轴角度为0和180°(π)。值ρ和Φ(0≤Φ≤π)分别使用以下的(式6)和(式7)算出。

[数式6]

$\mathrm{\ρ}=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}=\frac{A}{C}=\frac{A}{\stackrel{\‾}{I}}$ (式6)

[数式7]

$\mathrm{\φ}=\frac{3\mathrm{\π}}{4}+B$ (式7)

另外，本实施方式的模式化偏光子也可以是光子结晶、薄膜式偏光元件、丝网型(wire grid)、和基于其他原理的偏光元件。

下面，对图3所示的色彩信息处理部307的处理进行说明。色彩信息处理部307利用彩色偏光摄像元件305输出的信息，计算色彩亮度。透过偏光子的光的亮度与射入偏光子前的光的本来亮度不同。在非偏光照明的情况下，理论上讲，偏光在所有偏光主轴下的观测亮度的平均值相当于射入偏光子前的光的本来亮度。设角度偏光像素R1的像素上的观测亮度为IR1，根据以下的(式8)，可以算出色彩亮度。

[数式8]

${\stackrel{\‾}{I}}_R=(I_{R1}+I_{R2}+I_{R3}+I_{R4})/4$

${\stackrel{\‾}{I}}_G=(I_{G1}+I_{G2}+I_{G3}+I_{G4})/4$

${\stackrel{\‾}{I}}_B=(I_{B1}+I_{B2}+I_{B3}+I_{B4})/4$ (式8)

通过取得各偏光像素上的亮度，就可以生成通常的彩色马赛克图像。根据马赛克图像，进行往彩色图像的转换，使各像素具有RGB像素值，从而生成彩色图像C。这种转换是利用公知的插值技术例如拜耳型马赛克插值方法来实现的。

彩色图像C、偏光度图像ρ、偏光相位图像Φ中各像素的亮度和偏光信息可以利用图4(B)所示的4个偏光像素取得。所以，可以认为各个亮度和偏光信息代表的是，图4(B)所示的4个偏光像素的中心位置上的虚拟像素点405的值。因此，彩色图像和偏光图像的分别率降低，为原来的彩色单板摄像元件所拥有的分辨率的纵1/2×横1/2。为此，优选尽可能增加摄像元件的像素数。

图7(A)～(C)是在拍摄远方建筑物的场景时由彩色偏光图像取得部201取得的3种图像(偏光度图像ρ、偏光相位图像Φ、彩色图像C)。图7(A)的偏光度图像ρ表现偏光的强度，图像越白(亮度越高)，偏光度越高。图7(B)的偏光相位图像Φ用数值表现偏光相位的方向(角度)。偏光相位的表现方式是对亮度分配0至180度的值。偏光相位具有周期性，180度为一个周期，所以应注意，偏光图像上的白和黑代表相位的角度在0度和180度连续。图7(C)的彩色图像C是通常的RGB颜色的亮度图像。实际上，一个彩色图像是通过取得RGB的各个亮度图像并将它们合成起来构成的。为了方便起见，图7(C)只表示了彩色图像的亮度(单色图像)。

图7(A)～(C)***均为圆形，这是因为规范观景角度的开口部为圆形。另外，由这些图可知，以下处理的前提是，在进行场景摄影时，水平线在画面内水平拍摄。

图8(A)～(C)是相同场景图像的示意图。图8(A)的偏光度图像ρ，表示屋顶部分801的白色部分偏光度最高。图8(B)的偏光相位图像Φ，偏光的相位角表现为偏光相位向量表现803。图8(C)的彩色图像C表示色彩的亮度值。

图9(A)和(B)示意地表现摄影时由全天空偏光映射图取得部202取得的两种图像(偏光度映射图和偏光相位映射图)。图9(A)的全天空偏光度映射图是表现整个天空的偏光度的全天空图像。中心点901表示天空的正中央；周边圆周902表示地平线；与周边相连的被摄物体903表示要拍摄的被摄物体；虚线905表示太阳904周围偏光度较低的区域。虚线区域906表示拍摄被摄物体时的摄影范围。

另一方面，图9(B)的偏光相位图像上的曲线群905～912，在各个像素具有偏光相位向量表现803。该全天空偏光相位图像的位置关系与图9(A)相同。偏光相位向量的角度，被以相对于摄影范围906中的局部水平线902的角度唯一定义。这样，偏光相位角度的比较，就可以在上述的图8(B)的偏光相位向量表现与图9(B)的偏光相位向量表现之间进行。这一性质对以后探讨偏光相位至关重要。

在图9(A)的偏光度图像中，偏光度在虚线905表示的区域也就是太阳904及其周围的区域较低，在地平线附近较高。也就是说，整个天空中偏光度是不均匀的。这是白天晴朗时典型的状况。虽然天空的偏光度会随太阳的高度变化，但偏光度为不均匀模式的事实不会改变。也就是说，在晴朗时，对于天空照明来说，形成非偏光区域和各种偏光区域是分布整个天空的光源。因此，只要有图9(A)和(B)所示的“全天空偏光映射图”，通过确定全天空位置，就可以根据该位置(光源位置)搞清楚照射被摄物体的光(照明光)的偏光度和偏光相位。另外，当地面的被摄物体发生镜面反射时，因该镜面反射而入射到相机观测视点的光是，利用相机观测视点和被摄物***置按照几何学决定的天空中的光源位置发出的光。也就是说，只有利用相机观测视点和被摄物***置按照几何学决定的天空中光源位置上的偏光状态的光，才能射入到被摄物体的位置，引发镜面反射。

全天空偏光映射图的偏光度，在阴天时整体会明显降低。这是因为，发生晴天时偏光的蓝色天空的氧分子等产生的瑞利散射(Rayleigh scattering)，在阴天时变为水蒸气等产生的Mie散射等。其结果，阴天时，除了云下仍有蓝天区域的情况以外，整个天空几乎都会变成一样的极低的偏光状态。

图10A是一例表示图2的天气判定部203的动作流程图。

在该流程中，如果全天空偏光映射图的偏光度信息的平均值ρave大于阈值ρw，就判定天气为晴天；如果小于阈值ρw，就判定天气为阴天。由于观测的不是场景某个观景角度的摄影图像，而是整个天空，所以天气的判定更为准确。对ρ、Φ、C的各图像进行的是晴天还是阴天的判定结果，输出到晴天天空区域分离部204和阴天天空区域分离部205。

图10B是另一例表示图2的天气判定部203的动作流程图。

在该流程中，首先是求出全天空偏光映射图的偏光度信息的平均值ave和标准偏差值σ。另外，针对上述全天空偏光映射图，计算偏光度ρ是ave±3σ的面积S。然后，判定偏光度信息的平均值ave和标准偏差值σ是否小于阈值AV、ST。

如果偏光度信息的平均值ave和标准偏差值σ均小于阈值AV、ST且偏光度ρ是ave±3σ的面积S小于常数AT，就判定天气是(完全)阴天状态，否则就判定是晴天。

上述判定方法对阴天的判定更严格。在判定为阴天的情况下，整个天空的状态是几乎被云完全覆盖，亮度均匀，与现有技术中被完全漫射球覆盖的状态大致相同。由于观测的不是场景中某个观景角度的摄影图像，而是整个天空，所以天气的判定更为准确。对ρ、Φ、C各图像进行的是晴天还是阴天的判定结果，输出到晴天天空区域分离部204和阴天天空区域分离部205。

下面，对图2的晴天天空区域分离部204和阴天天空区域分离部205进行说明。

在场景图像包含天空的情况下，由于只有模拟立体化的被摄物体是处理对象，所以两种天空区域分离部204、205，将天空区域从图7和图8的场景图像中分离出去。

图11是说明晴天天空区域分离部204的框图。

晴天天空区域分离部204输入偏光度图像ρ和彩色图像C，输出天空区域已从场景中分离的被摄物体偏光度图像ρfo、被摄物体偏光相位图像Φfo。

偏光度二值化部1101使用阈值Tρ对偏光度图像ρ进行二值化。亮度转换部1102将彩色图像C转换为亮度图像Y。亮度二值化部1103、1104使用阈值TC1和TC2对亮度转换部1102转换的亮度图像进行二值化。色相误差转换部1105对彩色图像C进行HSV转换，生成色误差图像，表现相对于天空色色相的色相偏差。色相二值化部1106利用阈值对色误差图像进行处理，只抽出天空色相区域。运算部1107对偏光度二值化部1101二值化过的偏光图像、与亮度二值化部1103二值化过的亮度图像进行AND(逻辑与)运算。运算部1108对亮度二值化部1104二值化过的亮度、与色相二值化部1106使用阈值TH进行二值化处理的特定色相进行AND运算。

被摄物体遮罩(Mask)选择部1110，根据偏光度判定部1109的结果，决定采用以下哪种遮罩：(i)根据偏光度和亮度生成的第一蓝天区域遮罩1111；(ii)根据色相相似度和亮度生成的第二蓝天区域遮罩1112。

运算部1113和运算部1114，对输出的被摄物体遮罩图像1115实施与偏光度图像ρ、偏光相位图像Φ的逻辑与运算，生成晴天时被摄物体偏光度图像ρfo、晴天时被摄物体偏光相位图像Φfo。

要想检测蓝天区域，目前存在的方法是，根据彩色图像，寻找色彩色相类似蓝色、且在图像上平坦的区域。但是，如果使用色彩信息时，会存在以下课题：在(i)色彩的色相信息变动很大，例如晚霞出现时天空由蓝变为品红、大红；或者(ii)地面上的建筑物为蓝色或白色的情况下，无法识别实际的天空或云。

优选，不使用这种因天空的物理要素而产生种种变化的色彩信息，而只使用亮度信息来检测天空。为了对这类天空区域进行检测，例如可以假定场景图像中亮度最高的区域是天空。在基于该假定的方法中，虽然根据实验，阴天或有晚霞时能够取得某种程度的良好结果，但晴天时，地面建筑物的镜面反射亮度大多比天空的亮度高，所以无法取得良好结果。这是因为，不是由于太阳光的正反射而是由于蓝色天空的整体照明造成的人工物体光滑表面上的镜面反射格外强烈。

因此，本实施方式除了场景亮度之外，还使用场景偏光度，检测蓝天区域。利用的就是晴朗的白天天空偏光度在水平线附近非常高的情况。

非专利文献3中报告了对整个天空从早(日出)到晚(日落)12小时每一小时记录下的偏光状态的结果。根据该文献，除了早和晚的东西方向，地平线附近的天空偏光度在几乎所有的时间都很强。根据实验，大多数情况下，该天空偏光度比地上的山峦等远景、建筑物等人工物体的偏光度更强。所以，根据偏光度检测天空区域，可以成为有效的天空检测方法。地面建筑物的屋顶或玻璃等也有很强的偏光，要想除去这种建筑物等引发的偏光，只要同时使用上述偏光度和亮度，生成遮罩进行检测即可。但是，对于早上西向的天空和晚上东向的天空，由于偏光度低，亮度也低，所以，本方法并不适用。在这种情况下，使用色彩色相和亮度检测天空。

下面，利用表示实际场景图像的图12(A)～(H)来说明图11所示的晴天天空区域分离部204的动作。另外，在以下的说明中，场景图像的摄像范围为圆形区域，而原因是实验时的相机装置有镜头暗角，可以认为该场景图像本质上是矩形图像。

图12(A)是场景图像的偏光度图像ρ。光度图像ρ经偏光度二值化部901的处理(Tρ＝0.14)之后，偏变为图12(B)的图像。二值化阈值由偏光度的直方图决定。在该场景中，天空区域与地上建筑物等风景被分为偏光度较高的区域和较低的区域，形成双峰性分布。设偏光度直方图中的两个峰值的中间值为阈值。图中，建筑物右侧的云区域在偏光度较低时也被去除。只有下部黑色的相机支架台，由于偏光较强，会被保留下来，无法除去。

图12(C)是场景图像的彩色图像经亮度转换部1102处理后得到的亮度图像。将亮度转换后得到的亮度图像经，过亮度二值化部1103进行二值化处理(TC1＝0.4)，变为图12(D)的图像。在该场景中，蓝色天空的亮度与建筑物的亮度几乎相等，所以很难利用亮度将二者分离。但是，在这种情况下，通过适当设定阈值，也可以除去相机支架台等暗部。

以上的两种遮罩图像经运算部1107进行处理后，可以像图12(E)那样除去一部分偏光度较低的云区域，只分离出蓝天区域。图12(F)是使用通常的矩形图像来表现该遮罩图像的示意图，相当于图11的第一蓝天区域遮罩1111。

最后，在运算部1113、1114，进行上述遮罩与偏光度图像、偏光相位图像的逻辑与计算，生成图12(G)的被摄物体偏光度图像以及图12(H)的被摄物体偏光相位图像。

下面，利用图13中黄昏拍摄的东边天空的场景，说明上述方法不适用的情况。图13(A)至(D)分别是场景偏光度图像ρ、场景偏光度图像的二值化结果、场景亮度图像C、和场景亮度图像的二值化结果。最终，得到图13(E)所示的遮罩图像，显现出蓝色天空区域的检测失败了。

失败的原因是，由于图13(A)的场景偏光图像的天空偏光度低，亮度也低。因此，在这种情况下，偏光度判定部1109会根据场景图像的偏光度直方图，对平均偏光度实施判定，如果平均偏光度小于规定阈值(Tρ1＝0.1)，就不采用上述方法，采取利用色彩色相和亮度的方法。下面，利用图11和图14，对这种处理进行该说明。

首先，通过图11的色相误差转换部1105，求出色相角度的误差，该误差是表示作为天空色相的蓝色色相角与彩色图像C的色相角之间的差异，由此，彩色图像C被转换为色相误差图像。

这里，之所以将天空的色相设为蓝色的原因在于，利用上述彩色图像的处理仅限于天空的偏光度低亮度也低的情况，这是基于以下假定：所选的天空要么是早上西边的天空，要么是黄昏东边的天空，所以，天空的颜色可以视为蓝色。

设典型的天空蓝色的色相角(0°～360°)为Hsky(＝254°)，设输入场景的色相角为Htest。当使用众所周知的RGB色空间到HSV(色相、饱和度、亮度)空间的色相H的转换式(RGB_toH)，进而考虑色相角的周期视为360度时，色相误差ΔH由下式表现。

[数式9]

Htest＝RGB_to_H(R，G，B)

Hmin＝min(Htest，Hsky)

Hmax＝max(Htest，Hsky)

ΔH＝min(Hmax-Hmin，Hmin+360-Hmax)    (式9)

通过图11的色相二值化部1106对该色相误差ΔH进行阈值处理，从彩色图像C之中求出蓝色天空的候补。

图14(A)表示对与图13相同的场景图像，以图11的色相误差转换部1105转换后的色相误差图像。图14(B)表示该色相误差图像被在色相二值化部1106中进行色相二值化处理(TH＝220°)后得到的遮罩图像。图14(C)的图像是在图11的亮度二值化部1104中利用阈值(TC2＝0.29)对亮度进行二值化后的结果，图14(D)的图像是经图11的运算部1108计算得到的遮罩图像。晴天时，该遮罩图像部分会被输出选择部1110采用，生成晴天天空区域图像。

图15是表示阴天天空区域分离部205的构成框图。

根据实验，阴天时场景内亮度最高的区域大多为天空。因此，用亮度转换部1102将彩色图像C转换为亮度图像，用亮度二值化部1103对亮度图像进行二值化，形成遮罩。用运算部1113和运算部1114，对该遮罩进行与偏光度图像和偏光相位图像的逻辑与运算，就可以分别生成阴天时被摄物体偏光度图像ρco和阴天时被摄物体偏光相位图像Φco。

图16表示晴天或阴天时天空区域被分离后的场景图像，被摄物体表面的集合已被分离。此后要进行的就是推定建筑物各表面的法线。在该场景中，建筑物是由参照符号“1601”所示的屋顶R1、参照符号“1602”所示的屋顶R2、参照符号“1603”所示的正对的墙壁面B1、参照符号“1604”所示的侧面的墙壁面B2、和参照符号“1605”所示的墙壁面B1上的玻璃部W构成，假设它们是在参照符号“1606”所示的地表面G上。

下面，参照图17(A)、(B)，说明晴天时天空的偏光和阴天时天空的偏光与被摄物体镜面反射现象的关系。

根据实验，晴天时，屋外被摄物体表面的镜面反射结果极依赖于入射光的偏光状态。图17(A)的箭头1701表示入射光的偏光方向(偏光主轴方向：与振动面平行)和大小，长方形1702表示该被摄物体表面上的P波和S波的能量反射率的变化。当折射率n＝1.4时，该P波和S波的能量反射率就会像图18那样，S波的反射率总是高于P波。另外，图18是以与入射角之间的关系来表示镜面反射的菲涅尔反射率的图。

这里，由于入射光是只有一个振动面的直线偏光(linearly polarized light)，所以，来自该表面的反射光会形成让入射的偏光(polarized light)的偏光相位角略转动，往箭头1703所示方向的方向偏光的反射光。但是，反射光的主轴方向不旋转，指向S方向。也就是说，当偏光作为照明射入被摄物体时，发生镜面反射之后，该偏光的相位与表面法线之间没有直接关系，无法根据偏光来取得法线信息。与后述的非偏光照明的情况相比，这一点相差很远，是采用屋外天空照明时最大的问题。但是，在这种情况下，也存在可以可靠使用偏光信息的情况。

如图18所示，在例如入射角为0度附近(从正上方射入)的区域1801和入射角为90度附近的区域1802等中，P波和S波的反射率彼此相等。所以，以这些区域1801、1802的角度发生镜面反射的偏光，不会发生上述那样的偏光相位的变化，会形成完全的镜面状态，所以，反射光会原样反映天空的偏光状态。也就是说，在存在相对相机为从完全背面或正对的入射的表面，会原样反映天空的偏光状态，所以可以作为法线信息使用。

另一方面，阴天时入射光为非偏光，非偏光状态如图17(B)的圆1704所示，是由振幅大致相等的、多个方向不同的振动面合成的波来表现。理由是，当这种光(非偏光照明)在被摄物体表面反射时，P波和S波的能量反射率会产生差异。如长方形1702那样调制后，会变为椭圆状的部分偏光(partially polarized light)1705。此时，部分偏光的主轴方向为S方向，被摄物体表面的法线包含在上述平面中。最终，在阴天屋外非偏光照明的条件下，被摄物体表面上的镜面反射的结果，能够根据反射光的偏光相位求出被摄物体表面的法线信息。

通过以上的考察，晴天时和阴天时，可以如下创建法线推定处理。

图19是表示晴天时法线推定部206的动作的流程图。图20A是利用了场景图像的示意图的说明图。

首先，步骤S1901中，取得被摄物体某个像素的偏光度和偏光相位。步骤S1902中，对偏光度是否低于固定值ρ1进行判断。如果偏光度低于固定值ρ1，很可能该像素不是直接从太阳受光，而是多重反射的环境光。根据实验，如果接受的是环境光，地面附近正对相机的面的受光可能性极高。因此，此时就将该像素当成地面附近正对相机的面上的像素，设定法线。这类面相当于例如图20A中正对相机的墙壁面B1。另外，图20A内的“×”代表偏光度极低。

步骤S1903中，根据图9的天空偏光映射图，搜索偏光相位与该像素的偏光相位类似的部分，从天空中找出使该像素发生镜面反射的光的光源位置。这里，偏光相位角度表现的基准位置，如上所述，是图9(A)、(B)所示的摄影范围906的局部水平线902。因此，当根据该基准决定以图9(B)的天空中心位置901作为中心的天空位置坐标(θL，ΦL)中的偏光相位角Φsky(0°≤sky≤180°)，并取得相对由相机拍摄的被摄物体的水平线基准的偏光相位角Φobj(0°≤Φobj≤180°)时，则求出后述的(式10)DiffΦ最小时的天空位置坐标(θL，ΦL)。

采用该方法，搜索出图20A的G、W区域。首先，假设已经判明G区域1606的偏光相位的角度(相对于水平线的角度)极其接近天空区域2002上的偏光的偏光相位角。此时，记录该天空区域2002在相机坐标系中的角度(θL，ΦL)。

这里应该注意的是，在被摄物体的正对面附近，会从相机背面的天空射入光，所以图20A的W区域1605会以约0度的入射角，反射作为光源的来自相机背面的天空区域2003的光。图18的区域1801的入射角下，在正对相机的状态下，会发生镜面反射，所以，天空的偏光相位以水平线为基准左右颠倒。在图20A的例子中，作为入射到W区域1605的光的光源位置，找出的是偏光相位方向与W区域1605的偏光相位方向左右相反的天空区域2004。

本实施方式的相机包括图1C所示的被摄物体镜头部101和广角镜头部102，由于二者的坐标系不同，所以搜索偏光相位时需要些步骤。

图20B表示用被摄物体镜头拍摄的被摄物体影像。为了确定偏光轴的角度，需要相机水平基准线2010是水平的，也就是说需要平行于地表水平线。这一目的通过使用水平指示装置103可实现，不需要用相机拍摄水平线。被摄物体反射光的偏光相位Φobj是相对于图20B所示的相机基准线2010的角度。当该基准错乱时，偏光相位的角度基准就会不清楚，就不能够进行搜索。

图20C是用拍摄天空的广角镜头摄影的天空影像。下面，一边参照图20C，一边说明在搜索整个天空的偏光相位时所进行的坐标转换。

方向2021是相机的被摄物体镜头所朝的方向。整个天空的偏光相位角全都是相对于基准线2022的角度。以基准线2022为界，可以将方向2021上的区域分为两个区域：“相机前面的天空区域”2023和“相机背后的天空区域”2024。

按照上述，可从被摄物体镜头拍摄的图像中，对摄影范围906，抽出基准为局部水平线902的偏光相位2011。这里，由于局部水平线902与全天偏光相位角基准线2022平行，所以，在对“相机前面的天空区域”2023进行搜索时，可以原封不动地利用该区域中的天空偏光相位角Φsky(区域2025)。

然后，在对“相机背后的天空区域”2024进行搜索时，只要转换为相对于基准线2022的正对称的角度进行搜索即可。如果认为偏光相位角本来是在0°到180°的范围，那么DiffΦ就用下式(式10)表示。

[数式10]

1)搜索相机前的天空区域时

Diffφ＝|φsky-φobj|

2)搜索相机背后的天空区域时    (式10)

Diffφ＝|(180°-φsky)-φobj|

这样，只要搜索使式10的DiffΦ为最小值的天空位置即可。

步骤1905中，根据这样找到的天空的光源位置、被摄物体的像素位置和相机的观测视点，运用几何学理论，计算被摄物体像素位置上的法线。图21是该处理的说明图。在相机坐标系中，在确定了相当于天空光源位置坐标(θL，ΦL)2101的向量L(2102)和相机的视线向量V(2103)的情况下，可以通过平分这两个向量求出法线N(2104)。

另外，本说明书将这样推定法线的方法称为“基于几何学的法线推定”，而将不是偏光的光射入被摄物体由被摄物体表面的镜面反射产生的偏光来推定法线的方法称为“基于镜面反射偏光的法线推定”。

再次参照图19。

步骤1906中，设入射角θ为运用几何学求出的法线的可靠度。这是因为，如上所述，即使被摄物体的偏光与天空的偏光类似，也只是在入射角θ为0度或90度附近发生镜面反射，可以认为θ为45度附近时不会正确反映天空的偏光。也就是说，可靠度Conf例如由下式表示。

[数式11]

Conf＝min(θ，90-θ)    (式11)

像这样决定可靠度Conf的话，可靠度Conf的值越接近0可靠度就越高，越接近45可靠度就越低。

图22示意地表示了对运用几何学求出的法线，给予入射角θ和可靠度Conf的状态。以下区域的可靠度较高(此处的数值为0)，即地表面的G区域2201、正对相机的墙壁面B1的区域2202、同样正对相机的窗户玻璃的W区域。

图19的步骤1907中，根据不是偏光(非偏光)的光的镜面反射光，计算法线。一般来讲，晴天时，也存在由于天空的一部分云区域带来的非偏光区域。在这种情况下，可以根据镜面反射光的偏光状态，推定表面法线。可以采用阴天时取得法线的相同方法，实施根据该镜面反射光的偏光的法线取得。

参照图23。图23是表示对场景图像观测到的偏光相位。

图23中用两个箭头表示的被摄物体表面的点的偏光相位(图像面内的角度)，表示了反射的结果像(式7)那样，部分偏光的主轴的正交方向。根据菲涅尔反射理论，在发生镜面反射的情况下，被摄物体的法线包含在平行于该相位角所示方向的面内。据此，可以求出具有两个自由度(ψN，θN)的法线方向中的一个自由度。也就是说，图23所示的被摄物体各部的偏光相位所示方向，本身就会成为法线的一个自由度(ψN)。但是，相位方向有180度的不确定性。对于这一点，如图21所示，只要假定屋外的被摄物体的屋顶等倾斜面向相机一定是向上的，就可以确定。

对于另一个自由度θN，可以根据专利文献1的方法，从入射角θ与偏光度ρ所具有的以下关系来决定。这是由于，当设被摄物体的折射率为n时，入射角θ与偏光度ρ之间，以下的关系式成立。

[数式12]

$\mathrm{\ρ}=\frac{F_S-F_P}{F_S+F}=\frac{2\sin \mathrm{\θ}\tan \mathrm{\θ}\sqrt{n^2-{\sin }^2\mathrm{\θ}}}{n^2-{\sin }^2\mathrm{\θ}+{\sin }^2\mathrm{\θ}{\tan }^2\mathrm{\θ}}$ (式12)

图24是将上式的关系图线化的结果，横轴为入射角θ，纵轴为偏光度ρ。这里，通过偏光观测取得偏光度ρ后，将n假定为典型的材料常数例如1.4，得到θ。但问题是，会得到两个候补的解θ1、θ2，二者中间是参照符号2402表示的布儒斯特偏振角(Brewster′s angle)θB。因此，本实施方式中，将候补解限制在小于布儒斯特偏振角的范围内(箭头2401表示的范围)，从该范围中选择一个候补θ1。这是因为，在拍摄屋外建筑物的情况下，当对其墙壁面进行入射角为60～70度以上的照明时，很有可能是来自背景天空的光引发图18的完全镜面状态，所以，极有可能采用基于几何学的法线。θ推定后，使用相机的视线向量V，确定法相向量。

步骤S1908中，对刚刚求出的基于镜面反射偏光的法线计算可靠度。该可靠度可以通过检查入射光的非偏光性得到，入射光的非偏光性是使用镜面反射偏光的前提。具体而言就是，根据法线向量和视线向量求出光源向量，从全天空偏光映射图中调查相应的光源位置的偏光度ρ。

[数式13]

Conf＝ρ    (式13)

图25是表示基于镜面反射偏光的法线两个自由度已确定的状态、及其所附的可靠度的图。

步骤S1909中，从两种法线候补，即图22所示的法线候补和图25所示的法线候补之中，根据各自的评价基准，采用可靠度Conf较高(值接近0)的法线。然后，将这样采用的基于几何学的法线或基于镜面反射偏光的法线放置到该像素位置上。

这一处理例如是通过消除图22所示的Conf为10以上的法线2204、2205，消除图25所示的Conf为0.5以上的法线2501、2502来完成。

图26表示可靠度评价后的法线例。由该例可知，B1区域除外，G、W区域采用了基于几何学的法线，其余的区域R1、R2、B2采用了基于镜面反射偏光的法线。

图27是阴天时实施法线推定的流程图。流程内容与晴天时法线推定部206基于镜面反射偏光的法线推定相同。但是，阴天时，整个天空是非偏光照明，因为有这一前提，所以，无需计算可靠度等(图19的步骤S1909)。

下面，说明图27的流程。

首先，步骤S2701中，在被摄物体的该位置上取得偏光度和偏光相位。然后，步骤S2702中，对偏光度是否低于固定值ρ1进行判断。如果偏光度低于固定值ρ1，就进入步骤S2703，将该像素当成地面附近正对相机的面上的像素，设定法线。如果偏光度为固定值ρ1以上，就进入步骤S2704，按照上述方法，根据镜面反射偏光计算法线。步骤S2705中，将求出的表面法线保存在存储器中。

接下来，对利用上述经处理得到的法线信息、进行模拟立体化的模拟立体化部205中的处理进行说明。

图28是表示模拟立体化部208的处理流程的流程图。步骤S2801取得被摄物体的法线图像，步骤S2802中，将类似的法线归总构成面。这相当于识别图16的G、W、B1、B2、R1、R2各区。步骤S2803检测各面的顶点，抽出它在图像上的二维坐标(u，v)。步骤S2804中取得相机参数。相机参数由内部参数和外部参数组成。如果忽略相机的镜头失真，内部参数就是焦距f和光轴中心(u0，v0)。外部参数由相机坐标系和世界坐标系的平移矩阵和旋转矩阵组成。相机的内部和外部参数的求法使用计算机视觉中典型的方法，详细内容省略。

内部参数预先保存在相机内。外部参数依赖于摄影方法，这里，为了简单起见，设光轴与地表平行，正对地表，也就是说，光轴的俯仰角、横摇(roll)角为0。

图29是图示这种摄影状态下世界坐标系与相机坐标系的关系，表示的是地表平面2901、图像面2902、光轴中心2903和被摄物体上的面2904。相机坐标系是以视点C为原点的(xc，yc，zc)坐标系。世界坐标系是以地表上的任意点为原点的(Xw，Yw，Zw)坐标系。被摄物体的面2904带有法线N，底面上的P1W、P2W投影到相机上，就是P1、P2。

步骤S2805用下式表现地表平面。

[数式14]

Yw＝0    (式14)

这里，h相当于相机坐标系与地表平面上的世界坐标系在Y轴上的偏差，也就是相机距离地表的高度。

步骤S2806中，计算地表平面与被摄物体底面的交点P1、P2的世界坐标P1W、P2W。在以P1为例进行计算时，P1(u，v)与相机坐标系中的(xc，yc，zc)存在以下关系。

[数式15]

$\left\{\begin{array}{c}\mathrm{Xc}=\frac{u-u_0}{f}\mathrm{Zc}\\ \mathrm{Yc}=\frac{v-v_0}{f}\mathrm{Zc}\end{array}\right.$ (式15)

现在，用以下的(式16)来表示相机坐标系与世界坐标系的关系。

[数式16]

$\left\{\begin{array}{c}\mathrm{Xc}=X_W\\ \mathrm{Yc}=Y_W-h\\ \mathrm{Zc}=\mathrm{Zw}\end{array}\right.$ (式16)

根据以上，P1W的世界坐标值是直线2905与地表平面2901的交点，用以下公式表示。

[数式17]

$\left\{\begin{array}{c}{X}_W=\frac{-\mathrm{hf}(u-u_0)}{v-v_0}\\ Y_W=0\\ Z_W=\frac{-\mathrm{hf}}{v-v_0}\end{array}\right.$ (式17)

步骤S2807中，计算P2等图30(A)表示的各顶点的世界坐标位置。该计算就像上述的那样，先确定与地表平面的交点P1、P2、P3，然后，利用面的法线N确立平面，像上述那样，只要计算相机平面上的坐标与出自相机视点原点的引线与被确立的平面的交点即可。

步骤S2808中，设定新的相机视点位置Cnew，实施视点转换，实现模拟立体化。该处理可以通过以下实现：建立相机外部参数、也就是取代(式15)的世界坐标系与相机坐标系的新的关系式，利用(式14)的相机投影式，将世界坐标系中的P1～P7各顶点投影到相机平面上。图30(A)的图像经视点转换后就会变为图30(B)那样的图像。

另外，全天空偏光映射图取得部无需具有实际测定天空偏光状态的机构，可以根据摄影时间和摄影地点的纬度等，访问全天空偏光映射图的数据库，从数据库取得必要的全天空偏光映射图，同时结合从GPS装置得到的相机方向信息来使用。在这种情况下，全天空偏光映射图取得部202不需要配置在偏光信息取得部200内。

在图31所示的实施方式中，全天空偏光映射图取得部202向数据库3100通知摄影时间和摄影地点的纬度，从数据库3100中取得相应的全天空偏光映射图。此外，从GPS取得与全天空偏光映射图对应的相机的摄影方向。

图像处理装置既可以本身在存储装置中配备数据库310，也可以像图32所示的那样，通过通信装置3110，访问外部数据库(未图示)，此外，天气判定部203也可以通过图32的通信装置3110，从外部取得表示当前天气阴晴状况的信息，并利用该信息，切换法线推定方法，而不使用根据彩色偏光图像取得部201的输出判定天气的方式。

(实施方式2)

下面，对根据本发明的图像处理装置的第2实施方式进行说明。

上述实施方式1的图像处理装置具有彩色偏光图像摄像部，可以取得不同颜色的亮度信息，然而，要根据本发明实行图像处理，不一定就要取得彩色图像。例如，本发明的图像处理也可以利用例如单色图像的亮度图像来实现。

图33是本实施方式的图像处理装置的构成图。对于图33的构成，与第1实施方式的不同点在于，图像处理装置具有偏光信息取得部3300，包含偏光图像取得部3301和全天空偏光映射图取得部3302；法线推定部210包含的晴天天空区域分离部3303和阴天天空区域分离部3304的动作与实施方式1不同。

图34表示偏光信息取得部3300的构成。偏光信息取得部3300具有偏光亮度摄像元件3401，以取代彩色偏光摄像元件。偏光亮度摄像元件3401实时取得场景的亮度图像和偏光图像。所以，可以利用例如专利文献3公开的技术(模式化偏光子)。

图35表示此类偏光亮度摄像元件3401的构成例。在图示的构成例中，窄带彩色滤片和模式化偏光子被叠设在摄像元件像素的前面。入射光透过窄带彩色滤片、模式化偏光子到达摄像元件，通过摄像元件像素，可观测到单色图像亮度，另外，为了选择使模式化偏光子工作的频带，窄带彩色滤片具有例如500～550nm的透过频带。

本实施方式中，对偏光透过角为0度、45度、90度、135度的模式化偏光子，将4个像素总体视为1个像素实施处理。对这些像素实行亮度平均化时，可以实行用(式8)对RGB色彩实施的处理相同处理，算出单色图像的亮度。

图34所示的图像信息处理部3402中，通过该处理，生成亮度图像Y。偏光信息处理部306实施的处理与参照(式1)至(式6)说明的处理相同。本实施方式的模式化偏光子也可以是光子结晶、薄膜式偏光元件、丝网型、和基于其他原理的偏光元件。

图36是晴天天空区域分离部3303的构成例的框图。晴天天空区域分离部3303输入偏光度图像ρ和亮度图像Y，输出天空区域已从场景中分离的被摄物体偏光度图像ρfo、被摄物体偏光相位图像Φfo。偏光度二值化部1101使用阈值Tρ对偏光度图像ρ进行二值化。亮度二值化部1103、1104使用阈值TC1和TC2对亮度图像进行二值化。运算部1107对偏光度二值化部1101二值化过的偏光图像与亮度二值化部1103二值化过的亮度图像进行AND(逻辑与)运算。

被摄物体遮罩选择部1110根据偏光度判定部1109的结果，决定采用以下哪种遮罩：(i)根据偏光度和亮度生成的第一蓝天区域遮罩1111；(ii)根据亮度生成的第二蓝天区域遮罩3601。

运算部1113和运算部1114，实施输出的被摄物体遮罩图像1115与偏光度图像ρ、和偏光相位图像Φ的逻辑与运算，生成晴天时被摄物体偏光度图像ρfo、晴天时被摄物体偏光相位图像Φfo。

由于该晴天天空区域分离部3303只使用单色亮度图像，所以，色相信息不如使用彩色图像的第1实施方式的情况。其结果，对于偏光度、亮度皆低的黄昏时刻的东方天空、清晨时分的西方天空，信息较少有可能很难检测。不过，在大多数应用中，白天进行屋外摄影的情况最多，所以不会有很大问题。

图37是阴天天空区域分离部3304的构成框图。阴天时场景内亮度最高的区域大多为天空。因此，用亮度二值化部1103对亮度图像进行二值化，形成遮罩。用运算部1113和运算部1114，对该遮罩进行与偏光度图像和偏光相位图像的逻辑与运算，就可以分别生成阴天时被摄物体偏光度图像ρco和阴天时被摄物体偏光相位图像Φco。

本实施方式的晴天时法线推定部206、阴天时法线推定部207、模拟立体化部208，构成和动作均与第1实施方式的晴天时法线推定部206、阴天时法线推定部207、模拟立体化部208相同，所以，说明省略。

产业上的利用可能性

本发明可以从屋外拍摄的通常的二维静止图像、动态图像，也就是没有给出进深信息的图像推定出三维形状，通过实行视点转换，生成模拟的立体图像。尤其是，可以利用由屋外的天空照明而得到偏光信息，并借此无源(passive)地取得形状，所以，很适合取得巨大建筑物或远距离被摄物体的形状，适合对它们进行立体观察。可以广泛适用于民用相机、电影、ITS、监控摄像机、建筑领域、屋外建筑物的地图信息应用等。

Claims (23)

1.一种图像处理装置，其特征在于，

包括：偏光图像取得部，获取具有多个像素的偏光信息的偏光图像；

被摄物体法线推定部，根据所述偏光图像拥有的偏光信息，推定屋外被摄物体表面的法线；和

全天空偏光映射图取得部，获取全天空偏光映射图，它表示全天空的位置与所述位置的偏光信息之间的关系，

所述被摄物体法线推定部，利用所述全天空偏光映射图，从所述偏光信息中求出所述被摄物体表面的镜面反射光的偏光状态，由此推定所述被摄物体表面的法线。

2.一种图像处理装置，其特征在于，

包括：图像取得部，获取亮度图像和偏光图像，该亮度图像具有多个像素的亮度信息，该偏光图像具有所述多个像素的偏光信息；

天气判定部，将天气状态判定为阴天状态或晴天状态；和

被摄物体法线推定部，根据所述偏光状态，求出屋外被摄物体表面产生的镜面反射光的偏光状态，按照所述天气判定部决定的天气状态，采取不同方法，推定所述被摄物体的表面法线。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像取得部针对多种不同颜色取得所述亮度图像。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述天气判定部根据天空的偏光度或偏光度在基准水平以上的区域的面积，决定天气状态。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述天气判定部将天气状态判定为天空偏光度低于规定的基准水平的阴天状态，或所述偏光度在所述基准水平以上的晴天状态。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述天气判定部将天空局部有云的部分晴天判定为晴天状态。

7.根据权利要求2所述的图像处理装置，其特征在于，

所述天气判定部从外部获取表示天气状态的信息，决定天气的状态。

8.根据权利要求2所述的图像处理装置，其特征在于，

具备全天空偏光映射图取得部，获取表示整个天空中的一个位置与所述位置的偏光状态间的关系的全天空偏光映射图，

当所述天气判定部判定天气状态为晴天状态时，利用所述全天空偏光映射图，推定所述被摄物体表面的法线。

9.根据权利要求8所述的图像处理装置，其特征在于，

具备：阴天时法线推定部，实行基于镜面反射偏光的法线推定；和

晴天时法线推定部，实行基于几何学的法线推定、以及基于镜面反射偏光的法线推定，

所述晴天时法线推定部，在实行基于几何学的法线推定时，利用所述全天空偏光映射图表示的整个天空中的一个位置与所述位置的偏光状态间的关系。

10.根据权利要求8所述的图像处理装置，其特征在于，

所述全天空偏光映射图取得部利用广角镜头，获取整个天空的偏光图像。

11.根据权利要求8所述的图像处理装置，其特征在于，

所述全天空偏光映射图取得部，从外部获取所述全天空偏光映射图的数据。

12.根据权利要求2所述的图像处理装置，其特征在于，

具备：晴天天空区域分离部，晴天时将天空区域从所述图像中分离出去；和

阴天天空区域分离部，阴天时将天空区域从所述图像中分离出去，

根据所述天气判定部的输出，选择性切换晴天天空区域分离部和阴天天空区域分离部的动作或输出。

13.根据权利要求2～12任意一项所述的图像处理装置，其特征在于，

所述图像取得部具有：

彩色偏光同时取得部，在具有彩色马赛克滤片的单板彩色摄像元件的同一个多色像素内，具有角度不同的透过偏振波面的多个偏光子相邻配置；

偏光信息处理部，将对所述取得的每种颜色的多个偏光子的观测亮度近似成为正弦函数，对得到的近似参数进行颜色间的平均化，取得归总的偏光信息；和

色彩信息处理部，根据所述取得的多个观测亮度，进行亮度平均化，生成平均色彩亮度，

输出(i)彩色图像；(ii)基于所述偏光信息的偏光度图像和偏光相位图像。

14.根据权利要求9所述的图像处理装置，其特征在于，

(i)当光源的入射角小于规定值时，采用基于几何学的法线推定；

(ii)当光源的偏光度小于规定值时，采用基于镜面反射偏光的法线推定。

15.根据权利要求2所述的图像处理装置，其特征在于，

天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线，

当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述视线向量的水平面方向朝上的向量，

当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向量。

16.一种模拟立体图像生成装置，其特征在于，具有：

面抽出部，根据权利要求1～13任意一项所述的图像处理装置所推定的被摄物体的表面法线，抽出与所述表面法线垂直的面；和

模拟立体化部，根据所述抽出部抽出的面，实施视点转换，生成其它视点下的场景图像。

17.根据权利要求16所述的模拟立体图像生成装置，其特征在于，

所述模拟立体化部推定所述面抽出部抽出的面的顶点的世界坐标。

18.一种图像处理方法，其特征在于，

包含以下步骤：

取得屋外场景的偏光图像；

取得全天空偏光映射图；

判定天气状态，

还包含推定步骤，根据所述偏光图像，检测屋外被摄物体表面的镜面反射光的偏光状态，根据天气状态，采取不同方法，推定所述被物体的表面法线。

19.根据权利要求18所述的图像处理方法，其特征在于，

在天气状态被判定为晴天的情况下，利用两种法线，即基于几何学的法线和基于镜面反射偏光的法线，来实施法线推定。

20.根据权利要求19所述的图像处理方法，其特征在于，

光源的入射角小时，增加基于几何学推定法线的可靠度，

光源的偏光度小时，增加基于镜面反射偏光推定法线的可靠度，

最终采用可靠度高的法线。

21.根据权利要求18所述的图像处理方法，其特征在于，

当天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线，

当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述视线向量的水平面方向朝上的向量，

当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向量。

22.一种模拟立体图像生成方法，其特征在于，

包含以下步骤：

取得屋外场景的偏光图像；

根据所述偏光图像具有的偏光信息，推定屋外被摄物体表面的法线；

根据推定的被摄物体的表面法线，抽出垂直于所述表面法线的面；和

实施视点转换，以生成其它视点下的场景图像。

23.根据权利要求22所述的模拟立体图像生成方法，其特征在于，

还包含：对所抽出的面的顶点的世界坐标进行推定的步骤。

Images