CN102782720B - 对象识别装置、移动主体控制装置及信息提供装置 - Google Patents

Abstract

本发明提供一种对象识别装置，包括：成像部件和对象识别处理部件。成像部件接收从所述图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像。对象识别处理部件进行用于通过使用所述成像部件捕获的两个偏振图像，识别在与所述图像拾取区中的多个处理区域中的每个对应的位置上存在的对象的识别过程。

Description

对象识别装置、移动主体控制装置及信息提供装置

技术领域

本发明通常涉及用于识别图像拾取区内存在的对象的对象识别装置、用于通过使用对象识别装置的识别结果来控制比如车辆、船只、飞机或工业机器人之类的移动主体的移动的移动主体控制装置、以及用于将指示信息提供给移动主体的驾驶者的信息提供装置。

背景技术

作为对象识别装置，例如，比如ACC(自适应巡航控制)等的驾驶者辅助***所用的装置公知用来减少车辆的驾驶者的工作负荷。在车辆驾驶支持***中，要求正确地区分并识别比如障碍物、前方车辆、或通车车道等的对象，以便实现各种功能，比如用于防止车辆撞到障碍物等上以及减少碰撞时的冲击的自动刹车功能或告警功能，用于维持自身和前方车辆之间的距离的车速调整功能，以及用于支持防止离开驾驶车道的功能。相应地，通常已经存在各种对象识别装置。

日本专利申请No.11-175702公开了一种对象识别装置，用于识别通车车道(对象)，以便检测通过捕获图像而获取的道路图像(摄像图像)中的直线，以及检测车辆相对于用于分割车辆的驾驶车道的通车车道线(白线)的相对位移。这种对象识别装置用于克服下述问题：在由于下雨而造成道路上存在水坑时，太阳光等造成镜面反射。因此，利用与道路上的通车车道线(白线)相似的亮度对水坑进行成像，并且不能将水坑的一部分与通车车道线区分开。

具体而言，为了在白线识别过程之前从道路的图像中去除水坑的该部分，通过从道路的图像中单独地消除镜面反射分量来去除水坑的该部分，并且从残余的散射光分量中识别出白线。用于单独消除镜面反射分量的方法使用下述事实：镜面反射的水平偏振分量的布儒斯特角(Brewster's angle)近似为0度，以及散射光分量包括近似相同量的垂直偏振分量和水平偏振分量，并且进行下述操作。也就是，该方法计算道路图像中的垂直偏振分量和水平偏振分量之差，并且将该差值与响应于水平偏振分量中包括的入射角的用于消除镜面反射分量的校正系数相乘，从而计算镜面反射分量。接着，该方法从水平偏振分量中减去所计算出的镜面反射分量，并且从道路图像中获取散射光分量的图像，从散射光分量中单独消除镜面反射分量。

然而，对于上述常规的用于识别图像拾取区内存在的对象的对象识别装置，该装置可以确凿地指明对象是什么的对象类型不足。该常规对象识别装置受限于用于识别对象的对象行为的类型。也就是，如果用于识别对象的对象行为的类型增加，则可以对对象识别的分段进一步进行分段。结果是，可以提高对象识别的准确度，以及可以增加对象行为的类型。

例如，一种上述常规对象识别装置识别来自图像拾取区中存在的对象(也就是，由于摄像图像中的亮度差而导致的道路上的白线(对象))的反射光量(从该对象接收的光量)之差。在该对象识别装置中，通过使用不同的反射光特征，从其它对象中识别出道路上的白线。在通过使用这个特征识别对象的情况下，如日本专利申请No.11-175702中所述，不能将所具有的反射光量与白线的反射光量近似相同的对象(水坑等)与白线区分开。响应于这个问题，类似于日本专利申请No.11-175702中公开的对象识别装置，可以通过使用镜面反射，将白线与作为具有近似相同量的反射光的对象的水坑区分开。

另外，例如，在其它常规对象识别装置中，使用作为摄像图像中的另一特征的对象形状，并且将摄像图像中包含的对象形状与要被确凿地指明来识别该对象的对象的形状模板进行比较。

由于用于识别对象的对象特征的类型有限，上述关于该装置可以确凿地指明对象是什么的对象类型不足的问题不仅在用于驾驶者辅助***的对象识别装置中出现，而且在包括用于机器人控制的装置的各种对象识别装置中出现。

由于费用增加，响应于用于识别对象的对象行为的类型增加而另外准备用于检测新特征的新检测设备来解决上述问题不是优选的。相应地，如果可以通过使用常规对象识别装置中的作为通常用于检测来自对象的反射光量(亮度)的检测设备的成像部件来检测新特征，则从费用的角度看，它是有利的。

此外，作为另一常规对象识别装置，日本专利申请No.2009-59260公开了一种三维对象识别装置，其中甚至可以正确地区分开相同颜色且彼此重叠的两个对象。该三维对象识别装置使用相同颜色的两个对象的偏振光的主轴方向不同的特征，即使两个相同颜色的对象重叠，也可以将这些对象区分开。具体而言，该三维对象识别装置通过多个偏振器获取图像，通过使用预定图像部分的光接收量，计算分别从不同偏振方向的多个偏振光中获取的该预定图像部分中的偏振分量，并且还可以计算整个图像的偏振分量。接着，该三维对象识别装置对偏振分量中包括的偏振光的主轴方向相同的区域进行分段，计算每个分段区域的移动方向，并且将包括移动方向相同的区域的图像部分识别为单个对象。

在上述常规三维对象识别装置中，通常，通过使用摄像图像的亮度差，提取预定平面中存在的平面对象(例如，道路表面中的沥青)和所具有的外表面面朝与该预定平面的方向不同的方向立体对象(例如，前方车辆)之间的边缘。因此，将利用该边缘分段出的区域识别为该立体对象(solid object)。然而，在使用亮度差来区分立体对象和平面对象的常规方法中，存在的问题是如果在摄像图像中没有明显地示出亮度差，则难以高准确度地分别识别出立体对象和平面对象。

此外，在上述三维对象识别装置中，通常，通过使用摄像图像中的亮度差，提取预定平面中存在的平面对象(例如，道路表面中的沥青)和所具有的外表面面朝与该预定平面的方向不同的方向的立体对象(例如，道路边缘的侧壁、护栏、电线杆、街灯以及比如人行道的台阶(step)等的道路边缘上的障碍物等)之间的边缘。因此，将利用该边缘分段出的区域识别为立体对象。然而，在使用亮度差来区分立体对象和平面对象的常规方法中，如果在相同平面对象中存在具有差别非常大的亮度的部分，则将该部分的边界不正确地提取为边缘。存在下述问题：甚至在单个平面对象包括该部分时，也将相同平面对象中的该部分与另一部分不正确地识别为不同的对象。具体地，例如，在道路平面上的日照部分和庇荫部分之间示出大的亮度差。结果是，将该庇荫部分(弱亮度部分)与日照部分(强亮度部分)不正确地分离识别出。由于这种不正确的识别，例如，如果应用ACC，则该ACC可以将庇荫部分识别为比如道路边缘上存在的侧壁之类的障碍物，并且可以进行碰撞避免操作。因此，这个不正确的识别可以造成错误控制或错误处理。

上述问题不仅在用于驾驶者辅助***的三维对象识别装置中出现，而且在包括用于机器人控制的装置的各种三维对象识别装置中出现。

由于费用增加，响应于用于识别对象的对象行为的类型增加而另外准备用于检测新特征的新检测设备来解决上述问题不是优选的。相应地，如果可以通过使用常规三维对象识别装置中的作为通常用于检测来自对象的反射光量(亮度)的检测设备的成像部件来检测新特征，则从费用的角度看，它是有利的。

发明内容

本发明解决或减少一个或多个上述问题。

在本公开的一个方面，提供了一种用于识别图像拾取区中存在的对象的对象识别装置，该对象识别装置包括：成像部件，被配置为接收从该图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及对象识别处理部件，被配置为进行识别过程，用于通过使用成像部件捕获的两个偏振图像，识别在与图像拾取区中的多个处理区域中的每个对应的场所上存在的对象。

此外，提供一种移动主体控制装置，包括：对象识别部件，被配置为捕获移动主体的环境(surroundings)作为成像对象，以及识别成像对象中存在的对象；以及移动控制部件，被配置为基于对象识别部件的识别结果，进行移动主体的移动控制，其中对象识别部件包括：成像部件，被配置为接收从该图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及对象识别处理部件，被配置为进行识别过程，用于通过使用成像部件捕获的两个偏振图像，识别在与图像拾取区中的多个处理区域中的每个对应的场所上存在的对象。

此外，提供一种信息提供装置，包括：对象识别部件，被配置为捕获根据驾驶者的驾驶操作移动的移动主体的环境作为成像对象，以及识别成像对象中存在的对象；有用信息生成部件，被配置为通过使用对象识别部件的识别结果生成对于驾驶者有用的有用信息；以及信息报告部件，被配置为报告由有用信息生成部件生成的有用信息，其中对象识别部件包括：成像部件，被配置为接收从该图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及对象识别处理部件，被配置为进行识别过程，用于通过使用成像部件捕获的两个偏振图像，识别在与图像拾取区中的多个处理区域中的每个对应的场所上存在的对象。

在本公开的另一方面，提供了一种用于识别图像拾取区中存在的所具有的外表面面朝与预定平面不同的方向的立体对象的立体对象识别装置，该立体对象识别装置包括：成像部件，被配置为接收从该图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光；以及立体对象识别处理部件，被配置为进行立体对象识别过程，用于通过使用成像部件捕获的两个偏振图像，确定在与图像拾取区中的多个处理区域中的每个对应的场所上存在的对象是否是立体对象。

在本公开的另一方面，提供了一种用于识别图像拾取区中存在的所具有的外表面面朝与预定平面不同的方向的立体对象的立体对象识别装置，该立体对象识别装置包括：成像部件，被配置为接收从该图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光；亮度计算部件，被配置为将成像部件捕获的两个偏振图像中的每个分割为预定处理区域，以及针对每个预定处理区域计算两个偏振图像中的总亮度值；偏振强度差计算部件，被配置为针对每个预定处理区域，计算指示两个偏振图像之间的偏振强度差值与总亮度差之比的偏振强度差；以及立体对象识别处理部件，被配置为进行立体对象识别过程，用于通过使用总亮度值和偏振强度差，识别在与图像拾取区中的多个处理区域中的每个对应的场所上存在的对象是否是立体对象。

附图说明

当结合附图阅读时，根据下述详细描述，本发明的其它目的、特征和优点将变得更加显而易见，在附图中：

图1是例示根据实施例的驾驶者辅助***的功能配置的示图。

图2是例示用于驾驶者辅助***的偏振照相机的第一配置示例的示图。

图3是例示用于驾驶者辅助***的偏振照相机的第二配置示例的示图。

图4是例示用于驾驶者辅助***的偏振照相机的第三配置示例的示图。

图5是例示用于驾驶者辅助***的偏振照相机的第四配置示例的示图。

图6是例示用于驾驶者辅助***的偏振照相机的第五配置示例的示图。

图7是例示用于驾驶者辅助***的偏振照相机的第六配置示例的示图。

图8A是作为识别对象的博茨点(Botts'Dot)的顶视图，以及图8B是博茨点的侧视图。

图9A是作为识别对象的猫眼的顶视图，以及图9B是猫眼的侧视图。

图10是用于说明指明道路表面结构的过程的流程的流程图。

图11是例示由黑白图像处理部件根据偏振照相机获取的原始偏振图像数据生成的黑白图像(亮度图像)的一个示例的示图。

图12是例示由偏振强度差图像处理部件根据偏振照相机获取的原始偏振图像数据生成的偏振强度差图像的示图。

图13是绘出沿着图11中的白色虚线箭头获取的亮度值的图示。

图14是绘出沿着图12中的白色虚线箭头获取的亮度值的图示。

图15是例示当由实验室中的针对光源相对于沥青表面和金属表面的每个变化位置布置并固定的照相机捕获P偏振图像和S偏振图像时的偏振强度差的变化示例的图示。

图16是用于说明挡风玻璃的影响的示图。

图17是例示由黑白图像处理部件根据从捕获道路表面图像的偏振照相机获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图，在该道路表面图像上，博茨点用作分割线。

图18是例示由偏振强度差图像处理部件根据原始偏振图像数据生成的偏振强度差图像的示图。

图19是指示在由实验室中的布置并固定在相对于涂覆表面变化的光源位置上的照相机捕获的P偏振图像和S偏振图像时的偏振强度差的变化的图示，在涂覆表面上，将沥青表面和钢筋表面与涂料一起涂覆。

图20是例示由黑白图像处理部件根据捕获粘接有柏油的道路表面的偏振照相机所获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图。

图21是例示由偏振强度差图像处理部件根据原始偏振图像数据生成的偏振强度差图像的示图。

图22是用于说明指明固体图像的过程的流程的流程图。

图23是例示由黑白图像处理部件根据偏振照相机获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图。

图24是例示由偏振强度差图像处理部件根据原始偏振图像生成的偏振强度差图像的示图。

图25是例示针对100帧的由图23中的白色矩形勾勒出的三个位置上的亮度值分布的示图。

图26是例示针对100帧的由图24中的白色矩形勾勒出的三个位置上的偏振亮度差值分布的示图。

图27是由黑白图像处理部件根据偏振照相机获取的原始偏振图像数据生成的黑白图像(亮度图像)的另一示例的示图。

图28是例示在图27中例示的图像中绘制的处理线(沿着横向方向延伸的直线J-J)的每个点上的偏振强度差的图示。

图29是例示在图27中例示的图像中绘制的处理线(沿着横向方向延伸的直线J-J)的每个点上的亮度(黑白亮度)的图示。

图30是例示绘出除了日照道路表面之外的识别对象的类型中的每个的亮度的二维分布的示图。

图31是例示除了日照道路表面之外的识别对象的类型中的每个的三维分布的示图。

图32是用于说明指明立体对象的过程的修改例的流程的流程图。

具体实施方式

下面，将参照附图描述本发明的实施例。

将描述本发明作为移动主体控制装置和信息提供装置应用于驾驶者辅助***的实施例。

图1是例示根据该实施例的驾驶者辅助***的功能配置的方框图。

作为移动主体的车辆周围的景观由作为安装在车辆(未示出)上的成像部件的偏振照相机10摄取，该景观包括车辆正在其上行驶的道路表面(移动表面)。获取包括垂直偏振强度(下文中简称为“S偏振强度”)和水平偏振强度(下文中简称为“P偏振强度”)的原始偏振图像数据。根据原始偏振图像数据中包括的P偏振强度数据获取的水平偏振图像数据存储在水平偏振图像存储器11中，以及根据原始偏振图像数据中包括的S偏振强度数据获取的垂直偏振图像数据存储在垂直偏振图像存储器12中。这两组图像数据被分别发送到作为亮度计算部件的黑白图像处理部件13，以及作为亮度差计算部件或者作为偏振强度差计算部件和相对偏振强度差计算部件的偏振强度差图像处理部件15。

偏振照相机10通过作为光接收设备的比如CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)的图像识别设备拾取***图像，该***图像例如包括具有百万像素级别的像素。偏振照相机10优选在接近于实时的较短间隔内连续拾取该***图像。例如，偏振照相机10可以附在后视镜上，并且可以拾取车辆前方的景观(包括道路表面的前方示图)。偏振照相机10可以附在侧视镜上，并且可以拾取车辆的侧面景观。或者，偏振照相机10可以附在后备箱门上，并且可以拾取车辆后面的景观。在该实施例中，将说明偏振照相机10附在后视镜上并且拾取车辆的前方示图的情形。

图2是用于说明偏振照相机10的第一配置示例的示图。

在图2中，作为第一配置示例，偏振照相机10A是其中可转动地致动的转动偏振器102布置在具有比如CCD的图像拾取设备的照相机101前方的设备。偏振照相机10A响应于转动偏振器102的转动角而改变入射光的偏振方向。相应地，照相机101可以交替地拾取P偏振图像和S偏振图像。

图3是用于说明偏振照相机10的第二配置示例的示图。

在图3中，作为第二配置示例，偏振照相机10B是包括两个分别具有比如CCD等的图像拾取设备的照相机111和112的设备。在照相机111和112的前方，分别布置透射S偏振光的S偏振滤光器113和透射P偏振光的P偏振滤光器114。由于图2中例示的偏振照相机10A利用一个照相机101交替地拾取P偏振图像和S偏振图像，所以不能同时拾取P偏振图像和S偏振图像。另一方面，图3中例示的偏振照相机10B可以同时拾取P偏振图像和S偏振图像。

图4是用于说明偏振照相机10的第三配置示例的示图。

在图4中，作为第三配置示例，类似于图3中例示的偏振照相机10B，偏振照相机10C具有分别用于P偏振图像和S偏振图像的图像拾取设备。与偏振照相机10B不同，上述图像拾取设备被布置为彼此更靠近。因此，与图3中例示的偏振照相机10B相比，偏振照相机10C可以更加小型化。在图4中例示的偏振照相机10C中，层叠有透镜阵列122、遮光间隔物123、偏振滤光器123、间隔物125以及固态图像感测单元126。透镜阵列122包括两个图像拾取透镜122a和122b。两个图像拾取透镜122a和122b分别由比如非球透镜等的具有相同形状的对应单个透镜形成，从而各自的光轴121a和121b相互平行，并且布置在相同的平面上。遮光间隔物123包括两个开口部分123和123b，并且相对于透镜阵列122布置在与对象侧相反的一侧上。两个开口部分123a和123b被开口为预定尺寸，其中中心聚焦在各自光轴121a和121b上。利用黑碳、粗糙表面或消光，对开口部分123a和123b的内表面进行光反射处理。偏振滤光器124是区域分割型偏振滤光器，包括偏振平面彼此相差90°的两个偏振区域124a和124b，并且相对于遮光间隔物123布置在与透镜阵列122相反的一侧上。偏振区域124a和124b仅仅透射非偏振光中的沿着各自偏振平面的方向上的振荡分量(偏振分量)，并且形成线性(straight)偏振光，其中在非偏振光中电磁场沿着未指明的方向振荡。通过使用采用精制的奇特形状的金属的线网格法、或自动繁殖型光子晶体法等，可以获取区域分割型偏振滤光器，其中边界部分清晰。间隔物125被形成为矩形框形，包括使得偏振滤光器124的偏振区域124a和偏振区域124b的区域穿过的开口部分125a，并且相对于偏振滤光器124布置在与遮光间隔物123相反的一侧上。固态图像感测单元126包括安装在基板127上的两个固态图像感测设备126a和126b，并且相对间隔物125布置在与偏振滤光器124相反的一侧上。在该实施例中，针对感测黑色和白色，固态图像感测设备126a和126b不包括彩色滤光器。在感测彩色图像时，固态图像感测设备126a和126b分别具有彩色滤光器。

图5是用于说明偏振照相机10的第四配置示例的示图。

在图5中，作为第四配置示例，偏振照相机10D包括具有1:1的透射率的半透明反射镜131、反射镜132、S偏振滤光器133、P偏振滤光器134、用于S偏振以及接受通过S偏振滤光器133的S偏振光的CCD 135、以及用于P偏振以及接受通过P偏振滤光器134的P偏振光的CCD 136。图3中的偏振照相机10B和图4中的偏振照相机10C可以同时拾取S偏振图像和P偏振图像。然而，在照相机10B和10C中，产生方位差。相反，偏振照相机10D(图5中例示)通过使用通过未示出的同一图像拾取***(透镜)接受的相同光，同时拾取S偏振图像和P偏振图像。因此，上述偏振照相机不会产生方位差。相应地，不需要进行比如方位差校正的处理过程。

取代半透明反射镜131，可以使用比如棱镜的偏振光束分离器来反射P偏振光以及透射S偏振光。通过使用偏振光束分离器，S偏振滤光器133和P偏振滤光器134变为不必要。因此，可以简化光学***，以及提高该光学***的使用效率。

图6是用于说明偏振照相机10的第五配置示例的示图。

在图6中例示的偏振照相机10E中，层叠有单个图像拾取透镜142、遮光间隔物143、偏振滤光器144、间隔物145以及固态图像感测单元146。在图6中，作为第五配置示例，偏振照相机10E是沿着图像拾取透镜142a的光轴141层叠照相机组件的单元，类似于图4中例示的偏振照相机10C。然而，与偏振照相机10C不同，S偏振图像和P偏振图像由单个图像拾取透镜142拾取。可以相对于光轴层叠多个图像拾取透镜。类似于图5中例示的偏振照相机10D，偏振照相机10E不会产生S偏振图像和P偏振图像之间的方位差。另外，与图5中例示的偏振照相机10D相比，偏振照相机10E可以更加小型化。遮光间隔物143包括开口部分143a，并且相对于单个图像拾取透镜142布置在与对象侧相反的一侧上。间隔物145被形成为矩形框形，包括使得偏振滤光器144的偏振区域144a和偏振区域144b的区域穿过的开口部分145a，并且相对于偏振滤光器144布置在与遮光间隔物143相反的一侧上。图6中的偏振照相机10E是区域分割型偏振滤光器，具有偏振平面彼此相差90°的两组偏振区域144a和144b。由于这种配置，导致为偏振照相机10E提供四个固态图像感测设备146a、146b、146c和146d。

图7是用于说明偏振照相机10的第六配置示例的示图。

在图7中，作为第六配置示例，将区域分割型滤光器应用于偏振照相机10F。在图7中，矩阵中对准的方块中的每个指示每个光接收设备中的光接收部件151，填充有垂直线的区域指示用于S偏振滤光器152的区域，以及填充有水平线的区域指示用于P偏振滤光器153的区域。在偏振照相机10F中，取代1:1地对应于光接收设备的像素，用于S偏振滤光器152和P偏振滤光器153的区域中的每个在横向方向上具有一个光接收设备的宽度，并且具有倾斜区域形状，其中区域之间的边界线的倾斜度为2。也就是，倾斜区域形状具有一个角度，其中对于横向方向中的一个像素变化，径向方向上进行两个像素变化。通过将上述特定滤光器布置图案与信号处理过程组合，即使在将图像拾取设备阵列与区域分割滤光器结合时对准的准确度不够，也可以将透过滤光器的图像中的每个作为整个屏幕再现。此外，可以实现能够在较低的花费的情况下拾取S偏振图像和P偏振图像的偏振照相机。

回见图1，黑白图像处理部件13根据水平偏振图像存储器11和垂直偏振图像存储器12中的P偏振强度数据和S偏振强度数据，计算每个像素的黑白亮度(P偏振强度和S偏振强度)。黑白图像可以通过使用利用上述计算获取的所有像素的黑白亮度数据生成。黑白图像处理部件13计算出的黑白亮度数据输出到作为线检测部件的白线识别部件14。

偏振强度差图像处理部件15根据水平偏振图像存储器11和垂直偏振图像存储器12中的P偏振强度数据和S偏振强度数据，计算每个像素的偏振强度差。偏振强度差图像可以通过使用偏振强度差生成。偏振强度差利用下述等式(1)获取。

极化强度差＝(P极化强度-S极化强度)/(P极化强度+S极化强度)         (1)

也就是，偏振强度差是P偏振强度与S偏振强度的差值(亮度差值)和P偏振强度与S偏振强度的总值(总亮度值)之比。换言之，偏振强度差是P偏振强度与总亮度值之比(P偏振比值)和S偏振强度与总亮度值之比(S偏振比值)之间的差值。在该实施例中，将描述从P偏振强度中减去S偏振强度的情形。或者，可以从S偏振强度中减去P偏振强度。通过偏振强度差图像处理部件15计算出的偏振强度差的数据输出到道路表面结构识别部件16和作为对象识别处理部件的立体对象识别部件18。

白线识别部件14基于黑白图像处理部件13计算出的黑白亮度数据，通过使用下述方法来识别驾驶道路上的白线。该白线可以是用于分割道路的各种线中的任何一种，比如任意颜色线(比如黄线等)、实线、虚线、点划线、双线等。

常规道路上的通车线(分割线)形成为相对于比如沥青等的黑色部分具有高对比度颜色(例如，白色)，以便驾驶者容易看见。相应地，通车线(在本实施例中应用的白线)的亮度远大于其它地方中存在的比如沥青等的对象。因此，通过使用黑白亮度数据，可以将比预定值更亮的部分确定为白线。本实施例中使用的黑白亮度数据是通过使用从上述偏振照相机10获取的P偏振强度和S偏振强度的总值获取的数据。

在根据本实施例的白线识别过程中，首先，通过黑白图像处理部件13，将针对每个像素的从偏振照相机10获取的P偏振强度和S偏振强度的总值计算为是每个像素的黑白亮度。白线识别部件14相对于根据黑白亮度获取的黑白图像，设置多个处理线。根据本实施例的处理线针对在偏振强度差图像中的一个水平线上对准的像素序列设置。处理线的方向不要求是沿着横向方向，并且可以是沿着径向方向或倾斜方向。此外，每个处理线上的像素数目可以相同或不同。此外，处理线不总是要求相对于偏振强度差图像中的所有像素设置，并且可以针对在偏振强度差图像中合适选择的部分像素设置。此外，如稍后所述，取代处理线，可以利用处理块单元执行白线识别过程，其中一个处理块由每列和每行中多于两个像素形成。白线识别部件14针对每个处理线，计算两个相邻像素之间的黑白亮度差，并且确定计算结果是否等于或大于白线边缘阈值。当确定计算结果等于或大于白线边缘阈值时，这两个相邻像素之间的区域被确定并记录为白线边缘。通过针对所有处理线执行白线识别过程，可以提取黑白图像中的白线边缘。

白线识别部件14的白线边缘识别结果可以用于各个过程。

例如，一个过程在车辆中的作为信息通知部件的显示单元上显示通过使用黑白图像处理部件13计算出的亮度数据生成的黑白图像(正视图像)，该显示单元包括CRT(阴极射线管)或LCD(液晶显示器)，其中显著地显示关于黑白图像中的白色部分的信息，从而作为有用信息报告给驾驶者。通过应用这个过程，例如，即使驾驶者难以在视觉上识别出白线，驾驶者也可以通过查看显示单元上的正视图像，了解驾驶者的车辆和白线之间的相对位置关系。相应地，驾驶者可以容易地将车辆维持在利用白线分割出的驾驶车道中。

此外，例如，可以执行另一过程来根据白线识别部件14识别出的白线的位置信息，了解驾驶者的车辆和白线之间的相对位置关系，以及确定驾驶者的车辆是否偏离利用白线分割出的驾驶车道上的正确驾驶位置。当车辆偏离正确驾驶位置时，发出告警声音等。或者，在车辆偏离正确驾驶位置时，执行自动刹车功能来降低车辆速度。

道路表面结构识别部件16是用于基于偏振强度差图像处理部件15计算出的偏振强度差，利用稍后描述的方法识别道路表面上存在的结构(下文中称为“道路表面结构”)的处理部件。道路表面结构识别部件16将识别结果输出到道路表面结构指明部件17和白线识别部件14。道路表面结构可以是井盖(manhole cover)、比如公路之类的道路上存在的道路连接部分中的金属、或路桥等、比如博茨点、和猫眼等的由金属、和光连接板形成的复合结构等，其中形成分割线来分割驾驶车道。此外，在本实施例中，道路表面结构可以是覆盖道路上的一部分的外部材料，比如不是有意铺设的柏油。道路表面结构识别部件16将所具有的外表面被放置为与道路表面基本上齐平的平面对象，识别为道路表面结构。道路表面结构指明部件17指明道路结构表面是井盖、道路连接部分、博茨点或猫眼。

道路表面结构识别部件16可以基于白线识别部件14的白线边缘的识别结果，从偏振强度差图像中消除白线，并且可以进行针对从中消除白线的偏振强度差图像的道路表面结构识别过程。在这种情况下，可以合适地消除包括白线的噪声，以及提高道路表面结构的识别准确度。

在这种情况下，井盖是通过***到井口的开口部分来装配的金属板，并且通常由坚固且笨重的铸铁制成。

例如，图8A和图8B中的博茨点由陶瓷制成，并且主要用于形成北美的公路的分割线。如图8B中所示，博茨点B是具有直径近似为100mm的圆形屋顶状态且嵌入在道路表面上的对象。如图9A中所示，多个博茨点沿着道路上的驾驶车道布置，并且用作分割线。

此外，图9A和图9B中的猫眼用于形成分割线。如图9B中所示，具有沿着相同的方向反射入射光的特征的反射器D附在近似矩形的主体中。如图8A中所示，多个猫眼C沿着道路上的驾驶车道布置，并且用作分割线。

博茨点B和猫眼C被布置为从道路表面稍微突出。

立体对象识别部件18基于偏振强度差图像处理部件15计算出的偏振强度差，利用稍后描述的方法识别在偏振照相机10的图像拾取区域中存在的立体对象。立体对象可以是行驶在道路表面上的另一车辆、道路表面的道路边缘附近存在的护栏、电线杆、街灯、标记牌、比如道路边缘上的路肩等的道路侧的障碍物、用于避免与道路表面碰撞的障碍物或者道路路肩上的障碍物(比如人、动物、或自行车等)。也就是，立体对象可以是任何种类的所具有的外表面面朝与道路表面不同的方向的障碍物。立体对象识别部件18将识别结果输出到立体对象指明部件19。立体对象识别部件18将立体对象与道路表面以及外表面与道路表面基本上齐平的平面对象区分开，以及立体对象指明部件19指明立体对象是另一车辆、不在道路上的障碍物、或避免碰撞的障碍物。

作为形状信息存储部件的形状存储部件20存储各种形状模块的数据，作为道路表面结构指明部件17和立体对象指明部件19使用的形状信息。形状存储部件20中存储的形状模板指示要由道路表面结构指明部件17和立体对象指明部件19指明的对象(指明对象)的形状(摄像图像中的指明对象的形状)，其中该对象(指明对象)由偏振照相机10拍摄。例如，由于偏振照相机10从向上的对角方向捕获道路表面上的井盖的图像，所以井盖的形状模板(圆形形状)指示为椭圆形。应该注意的是，形状模板可以包括尺寸信息。在本实施例中，例如，要由道路表面结构指明部件17使用的形状模板可以是用于指明井盖的形状模板、用于指明由博茨点或猫眼形成的分割线的形状模板以及用于指明比如公路之类的道路上存在的道路连接部分、或路桥等的形状模板。此外，例如，要由立体对象指明部件19使用的形状模板可以是用于指明另一车辆的形状模板、用于指明电线杆或街灯的形状模板、以及用于指明道路边缘处的台阶部分的形状模板。另外，如果除了上面例示的对象之外的对象可以根据它们的形状指明，则可以准备其它形状模板来指明该对象。

基于道路表面结构识别部件16的识别结果，道路表面结构指明部件17将被识别为道路表面结构的图像数据的形状与形状存储部件20中存储的每个形状模板进行比较。随后，道路表面结构指明部件17利用稍后描述的方法，指明道路表面结构是井盖、道路连接部分、由博茨点或猫眼形成的分割线，还是除了这些之外的另一道路表面结构。

基于立体对象识别部件18的识别结果，立体对象指明部件19将被识别为立体对象的图像区域的形状与形状存储部件20中存储的形状模板进行比较。随后，立体对象指明部件19利用稍后描述的方法，指明该立体对象是另一车辆、道路之外的障碍物、避免碰撞的障碍物，还是除了这些之外的另一立体对象。

接着，在根据上述实施例的驾驶者辅助***中，将描述用于指明道路表面结构的过程的流程图。

图10是用于说明指明道路表面结构的过程的流程图。

当原始偏振图像数据被偏振照相机10获取到时，将根据原始偏振图像数据中包括的P偏振强度获取的水平偏振图像数据存储到水平偏振图像存储器11中。同时，将根据原始偏振图像数据中包括的S偏振强度获取的垂直偏振图像数据存储到垂直偏振图像存储器12中(步骤S1)。

此后，偏振强度差图像处理部件15通过使用上述表达式(1)，根据水平偏振图像存储器11和垂直偏振图像存储器12中的P偏振强度数据和S偏振强度数据计算每个像素的偏振强度差(识别索引值)(步骤S2)。根据计算结果获取的偏振强度差图像的数据被存储到偏振强度差图像处理部件15中的图像存储器(未示出)中。

接着，将描述边缘确定过程。

当获取到偏振强度差图像时，偏振强度差图像处理部件15针对该偏振强度差图像设置多个处理线。根据上述实施例的处理线针对偏振强度差图像中的在一个水平线上对准的像素序列设置。处理线的方向不总是要求是沿着横向方向，并且可以是沿着径向方向或倾斜方向。此外，每个处理线上的像素数目可以相同或不同。处理线不总是要求相对于偏振强度差图像中的所有像素设置，并且可以针对在偏振强度差图像中合适选择的部分像素设置。

取代处理线，可以利用处理块单元执行边缘确定过程，其中一个处理块由每列和每行中多于两个像素形成。在这种情况下，例如，稍后描述的边缘确定部件为该偏振强度差图像设置多个处理块，并且计算指示该偏振强度差的分散量(散射角)的标准差。当标准方差等于或大于参考方差阈值时，确定在该处理块中存在边缘。应该注意的是，该处理块可以设置在长方形部分中，以及可以设置在另一形状部分中。例如，处理块的尺寸可以近似为10像素×10像素。每个处理块可以具有相同尺寸或不同尺寸。取代标准方差，可以使用统计值，比如离散度、平均方差等。

偏振强度差图像处理部件15计算每个处理线的两个相邻像素之间的偏振强度差的差值，并且确定计算结果是否等于或大于预定边缘阈值(步骤S3)。当确定计算结果等于或大于预定边缘阈值时，偏振强度差图像处理部件15存储与上述确定相关的两个相邻像素之间的信息，作为边缘(步骤S4)。通过执行上述步骤S3和S4(步骤S5)，可以指明偏振强度差图像中的不同对象之间的边界。

在相关边缘确定过程中，通常，针对每个处理线，计算相邻像素之间的黑白亮度差，并且确定出计算结果等于或大于预定边缘阈值。然而，在相关边缘确定过程中，例如，关于使得照相机接收到近似相同的反射度(黑白亮度)的不同对象(比如井盖、和沥青等)之间的边界，不能正确地区分该不同的对象，以及不能确定边缘。相反，取代黑白亮度，根据上述实施例的边缘确定过程可以通过使用偏振强度差来确定边缘。相应地，可以高准确度地确定具有近似相同的反射度的不同对象之间的边缘。下面，将说明这个更为准确的确定过程。

图11是例示由黑白图像处理部件13根据偏振照相机10获取的原始偏振图像数据生成的黑白图像(亮度图像)的一个示例的示图。

图12是例示由偏振强度差图像处理部件15根据原始偏振图像数据生成的偏振强度差图像的示图。

图13是绘出沿着图11中的白色虚线箭头获取的亮度值的图示。

图14是绘出沿着图12中的白色虚线箭头获取的偏振强度差的图示。

如从图13的图示中看出，亮度值指示沥青区域13a和井盖区域13b中近似相同的值(从-0.4到-0.5的范围内)，并且在这些区域13a和13b之间亮度值没有变化。相反，如从图14的图示中看出，沥青区域13a中的偏振强度差近似为0。相反，井盖区域13b中的偏振强度差近似为-0.3。在这些区域13a和13b之间，可以看到偏振强度差中的大变化。相应地，通过设置0到-0.3内的合适阈值(例如，-0.2)以及使用这些区域13a和13b中的偏振强度差之间的差值，可以更高准确度地确定沥青区域13a和井盖区域13b之间的边缘，该沥青区域13a和井盖区域13b难以通过使用黑白亮度区分开。

在根据上述实施例的对象识别中，稍后将描述取代偏振强度差，使用相对偏振强度差的理由。

接着，将描述由道路表面结构识别部件16执行的道路表面结构识别过程。

在说明道路表面结构识别过程之前，首先，说明根据偏振强度差识别道路表面结构的理由。

在对象上反射的光包括被称为“光泽(luster)”的镜面反射分量，在对象表面上具有微观不规则结构的漫射分量，以及在对象内部散射且从对象释放出的内部散射分量。反射光的强度被指示为上述三种分量之和。镜面反射分量可以被理解为漫反射分量的一部分。即使照射对象的光源被放置在任一方向上，也可以观测到漫反射分量和内部散射分量(即，对入射角的低依赖性)。另一方面，镜面反射分量是对入射角具有强依赖性的分量，并且仅仅在光源相对于反射光的接收部件放置在近似正反射方向上时观测到。此外，偏振特性与上述特性相同。如上所述，可以与照射对象的光源的方向无关，观测到漫反射分量和内部散射分量，但是它们的偏振特性彼此不同。具体地，可以假定在漫反射分量中，在每个分割对象表面的微小区域中满足菲涅耳(Fresnel)反射特性。因此，漫反射分量具有下述偏振特性：当使得非偏振光入射时，S偏振强度大于P偏振强度。另一方面，内部散射分量是在对象内部散射且释放到对象外部的分量。当使得非偏振光入射时，内部散射分量不容易受进入对象的光的偏振分量影响，并且具有下述偏振特性：当光从对象内部释放到对象外部时，P偏振强度变为更强。

如该实施例中例示，由于图像拾取区中的几乎所有可能的对象(沥青、井盖等)具有不规则表面，所以可以理解的是，当从车辆拾取正视图时，镜面反射分量较少。结果是，在该实施例中，要理解的是，在从偏振照相机10的图像拾取区中存在的对象反射的光中，漫反射分量和内部散射分量占主导地位。因此，通过将反射光中的S偏振强度与P偏振强度进行比较，可以确定如果S偏振强度更强，则漫反射分量更大。此外，可以确定如果P偏振强度更强，则内部散射分量更大。

图15是例示当由实验室中的针对光源相对于沥青表面和金属表面(光滑表面)的每个变化位置布置并固定的照相机捕获的P偏振图像和S偏振图像时的偏振强度差的变化示例的图示。

在该图示中，横轴表示入射角(光源位置)，以及纵轴表示偏振强度差。照相机的仰角处于从水平倾斜10度的状态。偏振强度差根据每个入射角的摄像图像中的近似中心部分的亮度信息计算。该图示中的偏振强度差是从P偏振强度(Rp)中减去S偏振强度(Rs)得到的值相对于P偏振强度(Rp)和S偏振强度(Rs)之和的比值。相应地，当P偏振强度比S偏振强度更强时，偏振强度差是正值。当S偏振强度比P偏振强度更强时，偏振强度差是负值。

如从图15的图示中看出，关于沥青表面，在所有入射角上，偏振强度差近似都是负值。也就是，由于漫反射分量在从沥青表面反射的光中占主导地位，所以S偏振强度比P偏振强度更强。另一方面，关于金属表面，在入射角超过30度的整个区域中，偏振强度差是正值。也就是，由于内部散射分量在从金属表面反射的光中占主导地位，P偏振强度比S偏振强度更强。

如上所述，通过计算反射光中包括的S偏振强度和P偏振强度之差，可以了解在对象的反射特性中，是漫反射分量更强，还是内部散射分量更强。相应地，可以基于反射光中包括的S偏振强度和P偏振强度之差，区分所具有的反射特性彼此不同的对象，比如所具有的漫反射分量更强的沥青，以及所具有的内部散射分量更强的道路表面结构。

通常，由于不同的材料具有不同的折射率，这个特性影响S偏振强度和P偏振强度之差。因此，可以基于反射光中包括的S偏振强度和P偏振强度之差，区分所具有的材料不同的对象。

应该注意的是，考虑图15的图示中例示的结果受沥青表面和金属表面之间的表面条件之差影响。沥青表面具有非常大的不规则性，而金属表面是光滑的。相应地，正在检测的S偏振强度和P偏振强度的值根据要被识别的对象的表面条件变化。由于沥青区域13a和作为道路上的结构(金属)的井盖区域13b之间的偏振强度差(示出实际应用的环境下的实验结果的图14的图示中所例示的)与图15中的实验室结果不同，所以这是可以理解的。然而，在不同材料的对象之间，即使表面条件彼此相同，由于它们的材料不同，对象的反射特性也彼此不同。每个反射特性可以基于S偏振强度和P偏振强度之差得到。因此，通过使用考虑实际环境而设置的阈值，可以在由不同材料制成的对象之间进行区分。

在根据上述实施例的道路表面结构识别过程中，通过在由利用上述边缘确定过程确定的边缘分割出的每个区域中，将偏振强度差用作识别索引值，可以确定每个区域是否指示道路表面结构。如上所述，通过将S偏振强度和P偏振强度之间的差值用作识别索引值，道路表面结构识别过程可以确定每个区域是否是道路表面结构。然而，在由于亮度不够，导致作为识别索引值计算的S偏振强度和P偏振强度之间的差值是更小值的情况下，变得难以确定每个区域是否是道路表面结构。相反，在该实施例中，通过使用其中将差值除以S偏振强度和P偏振强度的总值(黑白亮度)的偏振强度差，即使亮度不够，对于作为识别索引值的偏振强度差，也可以获得相对大的值。相应地，可以确定每个区域是道路表面结构。

下面将描述根据上述实施例的道路表面结构识别过程的流程图。首先，对于每个由利用上述边缘确定过程确定出的边缘分割出的区域，计算偏振强度差和偏振强度差的参考值之间的差值(步骤S6)。接着，确定该差值是否等于或小于预先定义的道路表面结构的阈值(步骤S7)。在该确定中，当确定该差值等于或小于预先定义的道路表面结构的阈值时，该区域被识别为道路表面结构，并且存储该区域的信息(步骤S8)。通过执行这些步骤S7和S8(步骤S9)，可以得到摄像图像中的示出道路表面结构的区域。

在上述实施例中，作为用于区域中的对象识别的识别索引值，取代使用该区域中的偏振强度差(绝对量)，使用相对偏振强度差(相对量)，该相对偏振强度差是从参考偏振强度差中减去该区域中的偏振强度差后得到的。因此，即使由于比如环境差异等的影响导致在被关注的区域的偏振强度差的计算值中出现偏差，也可以通过使用相对于参考偏振强度差的相对量来减少这些影响，其中该差值由于相同的影响造成。在该实施例中，在占据道路表面的大部分的沥青区域中使用该偏振强度差，作为参考偏振强度差。另外，在上述实施例中，在实际环境中经验性地证明的是，在将偏振强度差与关于沥青的偏振强度差比较时，道路表面结构中的偏振强度差至少等于或大于0.2。相应地，道路表面结构的相对偏振强度差变为最低小于-0.2的负值。在该实施例中，将-0.2用作道路表面结构的阈值，以及将所具有的相对偏振强度差在等于或小于该阈值的范围内的区域识别为道路表面结构。

从对象反射的光的亮度强度在上部和底部之间存在差异。由于摄像图像的上部是放置在远处的对象的图片部分，从该远处的对象反射的光的亮度强度比在底部捕获的从被靠近放置的对象反射的光的亮度强度低。考虑到这个差异，在上部中的一个摄像图像和底部中的另一摄像图像之间，道路表面结构的阈值可以不同。

此外，由于摄像图像中的对靠近放置的对象拍摄图片的底部比上部具有更高的对象识别准确度，所以优选定义从底部朝向上部处理处理线的顺序。

接着，将描述由道路表面结构指明部件17执行的道路表面结构的类型指明过程。

首先，道路表面结构指明部件17识别出通过上述道路表面结构识别过程识别为道路表面结构的每个区域的形状(步骤S10)，并且确定是否存在与所识别出的区域的形状近似相同的形状模板(步骤S11)。在该确定中，当确定存在与所识别出的区域的形状近似相同的形状模板时，将所识别出的区域的道路表面结构指明为与该形状模板相关联的类型，并且存储关于该道路表面结构和该类型的信息(步骤S12)。例如，如果椭圆形的形状模板与道路表面结构近似相同，则该道路表面结构被指明为是井盖。如果该图像中的在横向方向上交叉的棒状的形状模板与道路表面结构近似相同，则道路表面结构被指明为是道路连接部分。如果沿着车辆的移动方向在直线上对准的形状的形状模板近似与多个道路表面结构相似，则该多个道路表面结构被指明为是由博茨点或猫眼形成的分割线。在针对所有道路表面结构执行步骤S11和S12(步骤S13)后，指明道路表面结构的过程结束。

具体地，通过使用道路表面结构的区域中的边缘信息以及形状存储部件20中存储的形状模板的信息，获得近似曲面，并且可以通过使用最小二乘法、哈夫变换(Hough transform)、或模型方程(model equation)等，进行形状近似识别。当获得近似曲面时，针对朝向作为更高可靠性的摄像图像的底部的边缘信息，优选给形状近似的候选值赋予更大的权重。如上所述，即使存在在作为较低可靠性的摄像图像的上部上误认(misrecognize)的边缘信息，也存储在作为较高可靠性的摄像图像的底部上正常识别出的边缘信息。因此，可以正确地指明道路表面结构的类型。

此外，例如，当井盖被指明时，可以利用形态运算等预先去除关于比井盖大的对象的特征点。相应地，可以提高指明井盖的准确性。

为了提高指明道路表面结构的类型的准确性，可以增加下一过程。

在该实施例中，针对由以预定时间间隔连续捕获的偏振照相机10获取的偏振图像数据，执行上述道路表面结构指明过程(步骤S1到S13)。通过执行上述道路表面结构的类型指明过程(步骤S10到S13)，将指明道路表面结构的类型的区域处理结果存储在预定存储器中。通过使用存储在预定存储器中的先前处理结果(例如，关于最近的偏振图像数据的处理结果)，如果确定在当前过程中指明的道路表面结构的类型和与所指明的区域对应的先前处理结果相同，则该当前处理结果被确定为是高度可靠的结果。可靠的当前处理结果用于道路表面结构的类型的最终指明。例如，通过使用边缘信息并且基于关于当前处理结果的区域以及车辆的移动方向搜索与先前处理结果对应的区域的位置，指明与关于当前处理结果的所指明的区域对应的先前处理结果。

上面描述了道路表面结构的上述类型指明过程(步骤S10到S 13)，为了提高识别道路表面结构的准确性，可以以相同的方式，将先前处理结果用于道路表面结构识别过程(步骤S6到S9)。

此外，用于边缘确定过程的上述确定(步骤S3)的边缘阈值以及用于上述确定(步骤S7)的道路表面结构的阈值中的每个可以根据捕获图像的环境的不同而改变。例如，边缘阈值和道路表面结构的阈值可以根据比如白天或夜晚的时间段或者比如雨天或晴天的天气而改变。这个改变过程可以通过使用时间信息、从雨水传感器或日照传感器获取的信息实现。

在将根据上述实施例的偏振照相机10与后视镜等附在一起的情况下，由于挡风玻璃影响偏振照相机10捕获的图像，优选考虑挡风玻璃的偏振特性。如图16中所示，挡风玻璃的玻璃表面被布置为相对于偏振照相机10的光轴布置成预定角度。通常，在将玻璃板倾斜地布置到光路上的情况下，从玻璃板透射的光的偏振状态改变。满足称为菲涅耳的透射和反射的计算。在玻璃表面上反射的S偏振分量比P偏振分量多。就透射光的衰减因子而言，S偏振分量比P偏振分量大。具体地，例如，如图16中所示，由于玻璃表面上的菲涅耳反射，P偏振分量被衰减大约8％，而S偏振分量被衰减到大约一半。在该示例中，挡风玻璃的折射率是1.5。

如上所述，优选考虑的是，进入到偏振照相机10中的光的偏振信息包括挡风玻璃的影响。例如，当计算偏振强度差(步骤S2)时，对于P偏振强度和S偏振强度中的每个，抵消(cancel)挡风玻璃上的衰减分量。在上述示例中，S偏振分量近似乘以2，以及P偏振分量近似乘以1/0.9。或者，例如，用于抵消P偏振强度和S偏振强度的衰减分量中的每个的光学设备布置在挡风玻璃和偏振照相机10之间。作为该情形下的光学设备，可以使用将S偏振分量透射通过死区且将P偏振分量乘以0.5/0.9的光学设备。

为了减轻重量和降低费用，假定将来将使用由塑料制成的挡风玻璃。已知的是，与玻璃相比，由于内部失真，塑料具有双折射。在这种情况下，要求考虑双折射的影响。具体地，例如，针对进入到偏振照相机10中的光的偏振分量，由于双折射，通过考虑P偏振强度和S偏振强度来计算偏振强度差。

道路表面结构指明部件17指明道路表面结构的类型得到的结果可以用于各个过程。

例如，道路表面结构指明部件17的处理结果可以用于由白线识别部件14进行的白线边缘的识别过程。具体地，由于其中道路表面结构的类型通过道路表面结构指明部件17的处理指明的区域不是白线区域，所以从白线识别部件14进行的白线边缘的识别过程的对象(subject)中去除该区域。因此，可以减少将比如井盖等的道路表面结构误认为白线的情形，并且可以提高白线的识别准确性。由白线识别部件14执行的白线边缘的识别过程如上所述。然而，在执行识别除了白线之外的对象的摄像图像的过程的情况下，通常，通过从识别过程的对象中去除指明道路表面结构的类型的区域，可以提高识别过程的准确性。例如，在用于基于雷达的测距结果和摄像图像利用传感器融合识别比如前方车辆的障碍物的***中，可以避免将比如井盖等的各种道路表面结构误认为障碍物。结果是，可以防止发生由于各种道路表面结构被误认为障碍物而导致车辆速度快速降低。

另外，例如，可以将道路表面结构指明部件17的处理结果应用于汽车导航***。例如，根据基于道路表面结构指明部件17的处理结果指明的井盖的位置，生成指示车辆和井盖之间的距离、和角度等的车辆位置信息，并且通过使用车辆位置信息，将车辆的进一步详细的位置指明在由汽车导航***计算出的车辆位置的范围内。因此，可以提高汽车导航***中指明车辆位置的准确性。

此外，例如，根据道路表面结构指明部件17的处理结果，可以得到井盖、和道路连接部分等相对于车辆的位置和方向。因此，通过使用这个有益效果，可以将其应用于辅助驾驶者的ECU(电子控制单元)等中。

具体地，例如，类似于由白线识别部件14进行的白线边缘的识别结果，用于指明由博茨点或猫眼形成的分割线的道路表面结构指明部件17的结果可以用于各个过程。具体地，例如，一个过程在车辆中的作为信息通知部件的显示单元上显示通过使用黑白图像处理部件13计算出的亮度数据生成的黑白图像(正视图像)，该显示单元包括CRT(阴极射线管)或LCD(液晶显示器)，其中显著地显示关于黑白图像中的白色部分的信息，从而作为有用信息报告给驾驶者。通过应用这个过程，例如，即使驾驶者难以在视觉上识别出白线，驾驶者也可以通过查看显示单元上的正视图像，了解驾驶者的车辆和分割线之间的相对位置关系。相应地，驾驶者可以容易地将车辆维持在利用白线分割出的驾驶车道中。

此外，例如，可以执行另一过程来根据道路表面结构识别部件17识别出的分割线的位置信息，得到驾驶者的车辆和分割线之间的相对位置关系，以及确定驾驶者的车辆是否偏离利用分割线分割出的驾驶车道上的正确驾驶位置。当车辆偏离正确驾驶位置时，发出告警声音等。或者，在车辆离开正确驾驶位置时，执行自动刹车功能来降低车辆速度。

图17是例示由黑白图像处理部件13根据从捕获道路表面图像的偏振照相机10获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图，在该道路表面图像上，博茨点37用作分割线。

图18是例示由偏振强度差图像处理部件15根据原始偏振图像数据生成的偏振强度差图像的示图。

如从图17中的黑白图像和图18中的偏振强度差图像之间的比较中看出的，图18中的偏振强度差图像中的沥青和博茨点37之间的对比度高于图17中黑白图像(亮度图像)的对比度。相应地，通过使用偏振强度差图像，即使难以通过使用黑白图像(亮度图像)识别边缘，也可以识别出沥青区域和博茨点37的区域之间的边缘。

主要地，在该实施例中如上描述金属作为可识别材料的情形。或者，可以识别其它材料。

图19是指示在由实验室中的布置并固定在相对于涂覆表面变化的光源位置上的照相机捕获的P偏振图像和S偏振图像时的偏振强度差的变化的图示，在涂覆表面上，将沥青表面和钢筋与涂料一起涂覆。通过比较沥青表面和金属表面，在与图15中的图示相同的条件下例示图19中的图示。如从图19的图示中看出，在沥青表面和涂覆表面之间存在偏振强度差。涂覆表面的偏振强度差也与金属表面的偏振强度差不同。相应地，可以利用偏振强度差之间的差异(偏振特性之间的差异)，区分并且识别涂覆表面和金属表面之间的边界。

类似地，偏振强度差图像不仅可以用于涂覆表面，也可以用于比如由于道路表面的建设或劣化而粘附在道路表面上的柏油的道路表面结构。因此，可以以高对比度检测道路表面结构。

图20是例示由黑白图像处理部件13根据捕获粘接有柏油38的道路表面的偏振照相机10所获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图。

图21是例示由偏振强度差图像处理部件15根据原始偏振图像数据生成的偏振强度差图像的示图。

如从图20中的黑白图像(亮度图像)与图21中的偏振强度差图像的比较中看出，图21中的偏振强度差图像中的沥青和柏油38之间的对比度高于图20中的黑白图像(亮度图像)的对比度。相应地，通过使用偏振强度差图像，即使难以通过使用黑白图像(亮度图像)识别边缘，也可以更高的准确度识别出沥青区域和柏油38的区域之间的边缘。

接着，将描述根据上述实施例的在驾驶者辅助***中指明立体对象的过程的流程。

图22是用于说明指明立体对象的过程的流程的流程图。

边缘确定过程之前的步骤与道路表面结构指明过程中的上述步骤相同，并且将省略其说明。然而，在边缘确定过程中使用的边缘阈值与上述道路表面结构指明过程中使用的边缘阈值不同。下面将说明用于设置边缘确定过程中的边缘阈值的方法。

图23是例示由黑白图像处理部件根据偏振照相机10获取的原始偏振图像数据生成的黑白图像(亮度图像)的示例的示图。

图24是例示由偏振强度差图像处理部件15根据原始偏振图像生成的偏振强度差图像的示图。

图25是例示针对100帧的由图23中的白色矩形勾勒出的三个位置上的亮度值分布的示图。

图26是例示针对100帧的由图24中的白色矩形勾勒出的三个位置上的偏振强度差分布的示图。

如从图25的柱状图中看出，亮度值重叠在沥青区域中的亮度分布中，另一车辆的侧边的区域内的亮度分布中，以及另一车辆的后侧的区域的亮度分布中。相反，如从图26中例示的柱状图中看出，偏振强度差没有重叠，并且可以在沥青区域中的亮度分布中，另一车辆的侧边的区域内的亮度分布中，以及另一车辆的后侧的区域的亮度分布中分别看见。相应地，即使难以利用黑白图像(亮度图像)区分沥青区域、另一车辆的侧边的区域以及另一车辆的后侧的区域的亮度分布，也可以通过设置可以分割这些区域的合适阈值，区分并确定这些区域。

接着，将说明由立体对象识别部件18进行的立体对象识别过程。

在说明立体对象识别过程之前，首先，将说明可以根据偏振强度差识别立体对象的理由。

在道路表面上反射的光以与立体对象的侧面上反射的光不同的入射角，进入到偏振照相机10中。因此，对于道路表面和立体对象的侧面，P偏振强度和S偏振强度分别不同。具体地，在立体对象的侧面与道路表面近似垂直的情况下，从立体对象的侧面反射的光中包括的P偏振分量和S偏振分量之间的相对关系对应于从道路表面反射的光中包括的P偏振分量和S偏振分量之间的相对关系的倒数。通常，反射光中包括的P偏振分量和S偏振分量之间的相对关系指示下述关系：作为与入射平面垂直的偏振分量的S偏振分量大于作为与入射平面平行的偏振分量的P偏振分量。相应地，当偏振照相机10接收到从道路表面或与道路表面平行的平面反射的光时，S偏振强度大于P偏振强度。当偏振照相机10接收到与道路表面近似垂直的立体对象的侧面反射的光时，P偏振分量大于S偏振分量。由于道路表面和立体对象之间的偏振特性的差异，通过比较由偏振照相机10接收的反射光中的S偏振分量和P偏振分量的强度，可以得出，如果S偏振分量大于P偏振分量，则反射光来自与道路表面平行的表面。此外，可以得出，如果P偏振分量强于S偏振分量，则反射光来自与道路表面垂直的表面。结果是，通过获取S偏振分量和P偏振分量的差值，根据该差值的正负，可以确定立体对象具有与道路表面平行的表面，还是立体对象具有面朝与道路表面不同的方向的外表面。

在根据上述实施例的立体对象识别过程中，通过将利用上述边缘确定过程中确定的边缘分割出的每个区域的偏振强度差用作识别索引值，确定该区域指示立体对象。如上所述，在立体对象识别过程中，可以通过将S偏振强度和P偏振强度之间的差值用作识别索引值，确定该区域是否指示立体对象。然而，如果亮度不够，则作为识别索引值计算的S偏振强度和P偏振强度之间的差值变得更小。因此，变得难以确定区域是否指示立体对象。相反，在该实施例中，通过使用其中将差值除以S偏振强度和P偏振强度的总值(黑白亮度)而获取的偏振强度差，即使亮度不够，也可以获取相对大的偏振强度差值，作为识别索引值。

下面将描述根据上述实施例的立体对象识别过程的流程。对于利用上述边缘确定过程中确定的边缘分割出的每个区域，确定该区域的偏振强度差等于或小于预先定义的立体对象的阈值(步骤S21)。在该实施例中，如从图26的柱状图中看出，关于立体对象的偏振强度差是正值。相应地，在该实施例中，应用零值附近的正值(例如，+0.05)作为立体对象的阈值。如果区域具有位于等于或大于该阈值的范围内的偏振强度值，则该区域被识别为立体对象。在上述道路表面结构识别过程中，即使使用相对偏振强度差，也可以实现相似的过程。如果确定偏振强度差等于或小于立体对象的阈值，则将该区域与庇荫道路表面区分开，并将该区域识别为立体对象，并且存储该区域的信息(步骤S22)。通过针对所有区域执行步骤S21和S22(步骤S23)，可以得到示出摄像图像中的立体对象的区域中的每个。

此外，在摄像图像的上部和下部之间，从对象反射的光的强度存在差值。考虑这个差值，并且在摄像图像的上部和下部中，要被使用的立体对象的阈值可以改变。

此外，识别捕获位于更靠近的位置上的对象的摄像图像中的下部中的对象的准确性高于上部。因此，优选制作从摄像图像的下部到上部的处理线的处理顺序。

接着，将描述由立体对象指明部件19执行的立体对象的类型指明过程。

首先，立体对象指明部件19识别出上述立体对象识别过程利用立体对象识别出的区域的形状(步骤S24)，并且确定是否存在与该区域的形状近似相同的形状模板(步骤S25)。在该确定中，当确定存在与该区域的形状近似的形状模板时，指明该区域的立体对象是与该形状模板相关联的类型，并且存储该类型的信息(步骤S26)。例如，如果立体对象近似于车辆形状的形状模板，则指明立体对象是另一车辆。通过针对所有对象执行步骤S25和S26(步骤S27)，结束指明立体对象的过程。应该注意的是，用于在立体对象指明部件19中近似并识别形状的方法与上述道路表面结构指明部件17执行的方法相同。

为了提高立体对象的类型指明过程和立体对象识别过程的准确性，可以类似于上述指明道路表面结构的类型的过程，使用先前处理结果。

此外，边缘确定过程的上述确定(步骤S3)中使用的边缘阈值以及立体对象的识别过程的上述确定(步骤S21)中使用的立体对象的阈值可以根据图像拾取环境大致改变。例如，这些阈值可以根据比如白天或夜晚的时间段或者比如雨天或晴天的天气而改变。这个切换可以通过使用根据时间信息获取的信息、从雨水传感器或日照传感器获取的信息实现。

此外，在将根据上述实施例的偏振照相机10与车辆内的后视镜等附接在一起的情况下，类似于道路表面结构指明过程，优选考虑挡风玻璃的偏振特性。

立体对象指明部件19执行的立体对象类型指明的结果可以用于各个过程。

例如，基于立体对象指明部件19的处理结果，利用告警向驾驶者报告避免将立体对象识别为障碍物的方案，并且对车辆的自动刹车***进行控制，以便避免碰撞或者降低碰撞冲击。

例如，立体对象指明部件19的处理结果可以用于由白线识别部件14进行的白线边缘的识别过程。具体地，由于其中道路表面结构的类型通过立体对象指明部件19的处理指明的区域不是白线区域，所以从白线识别部件14进行的白线边缘的识别过程的对象(subject)中去除该区域。因此，可以减少将比如另一车辆等的道路表面结构误认为白线的情形，并且可以提高白线的识别准确性。由白线识别部件14执行的白线边缘的识别过程如上所述。然而，在执行识别除了白线之外的对象的摄像图像的过程的情况下，通常，通过从识别过程的对象中去除指明立体对象的类型的区域，可以提高识别过程的准确性。

另外，例如，可以将立体对象指明部件19的处理结果应用于汽车导航***。具体地，根据由立体对象指明部件19的结果指明的比如电线杆、街灯、和交通标记牌等的外部道路障碍物的位置，生成指示车辆和外部道路障碍物之间的距离、和角度等的车辆位置信息。通过使用车辆位置信息，可以将车辆的进一步详细的位置指明在由汽车导航***计算出的车辆位置的范围内。因此，可以提高在汽车导航***中指明车辆位置的准确性。

此外，例如，根据立体对象指明部件19的结果，可以得到各种立体对象中的每个相对于车辆的位置和方向。因此，立体对象指明部件19的结果可以用于ECU(电子控制单元)中。

具体地，关于应该防止与之碰撞的立体对象，例如，在车辆中作为信息报告部件的显示器上，显示通过使用由黑白图像处理部件计算出的亮度数据生成的黑白图像(正视图像)，该显示器包括CRT(阴极射线管)、或LCD(液晶显示器)等。为了将黑白图像中的立体对象的信息作为驾驶者的有用信息报告给驾驶者，可以执行以显示格式显示黑白图像的过程，以便驾驶者容易地识别立体对象。例如，即使驾驶者难以利用他的眼睛识别出立体对象，驾驶者也可以通过抬头看显示器上的正视图像确认立体对象，并且防止与立体对象碰撞。

如上所述，类似于道路表面结构识别过程，在根据上述实施例的立体对象识别过程中，可以确定区域是否指示立体对象，对于利用边缘确定过程确定的边缘分割出的每个区域，将差值用作识别索引值，在边缘确定过程中，该差值是偏振强度差和参考偏振强度之间的相对偏振强度差，并且确定每个区域是否指示立体对象可以实现。然而，例如，如图27中所示，在沥青区域中，存在位于F的左侧的日照部分(参考处理区域)和庇荫部分F-G，如果在沥青区域中存在所具有的亮度大大不同的部分，则在边缘确定过程中，庇荫部分(较低亮度部分)F-G和F左侧的日照部分(较高亮度部分)之间的直线J-J上的边界F被误认为边缘。相应地，即使捕获相同的道路表面，也可以将庇荫部分(庇荫道路表面)F-G与F左侧的日照部分(日照道路表面)区分开。关于与日照道路表面区分开的庇荫道路表面，即使尝试通过将偏振强度差和参考偏振强度之间的差值用作识别索引值来识别为立体对象，也存在误认为立体对象的可能性。

图28是指示图27中例示的图像中绘出的处理线(沿着横向方向延伸的直线J-J)上的每个点的偏振强度差的图示。

在图28的这个图示中，关于偏振强度差，在庇荫道路表面F-G和H右侧的侧壁之间存在差值。因此，通过将相对偏振强度值设置为识别索引值，可以区分并识别庇荫道路表面F-G和H右侧的侧壁(立体对象)。然而，根据发明人的研究，已经发现，在实际环境中，难以以更高的准确性区分并识别庇荫道路表面和道路边缘上的包括侧壁的各种障碍物(立体对象)。

另一方面，即使尝试通过使用将亮度用作识别索引值的常规对象识别方法来识别庇荫道路表面和道路边缘上的障碍物(立体对象)，它的准确性也远低于使用相对偏振强度差作为识别索引值的过程。

图29是例示在图27中例示的图像中绘制的处理线(沿着横向方向延伸的直线J-J)的每个点上的亮度(黑白亮度)的图示。

如从图29的图示中看出，在黑白亮度上，庇荫道路表面和侧壁(立体对象)之间没有差别。因此，在将黑白亮度设置为识别索引值的情况下，难以识别庇荫道路表面和侧壁之间的边界，即使该边界可以使用偏振强度差识别出也是如此。

此外，在图29中，利用响应于偏振强度差的表示法而被归一化到从-1到+1的范围中的值，呈现亮度。具体地，例如，在利用1到256的灰阶呈现黑白亮度的值的情况下，灰阶中的阶1(黑色)对应于图29的亮度中的等级-1，以及灰阶中的阶256(白色)对应于图29的亮度中的等级+1。

图30是例示绘出除了日照道路表面之外的识别对象的类型中的每个的亮度的二维分布的示图。在图30中，x轴表示日照道路表面的亮度，以及y轴表示除了日照道路表面之外的对象的类型中的每个的亮度。

识别对象是与日照道路表面处于同一道路表面上的庇荫道路表面(图27中的右侧上的白色矩形部分)，日照部分以及道路边缘上的障碍物(立体对象)的庇荫部分。具体地，道路边缘上的障碍物是粗糙墙、白墙、护栏、和墙式反射器等。在图30中，黑点表示庇荫道路表面的数据，以及除了黑点之外的点表示包括日照部分和如上所述的道路边缘上的每种类型的障碍物的庇荫部分的数据。

如从图30中例示的二维分布中看出，在可以在实际环境下针对日照道路表面的亮度获取的等于或小于0.6的范围中，由黑点表示的庇荫道路表面的分布区域与由其它点表示的道路边缘上的障碍物的分布区域彼此重叠。因此，如果仅仅使用亮度数据，则不能设置阈值来区分庇荫道路表面和道路边缘上的障碍物。庇荫道路表面和道路边缘上的障碍物不能分别识别出。

因此，在上述实施例中，除了相对偏振强度差之外，通过使用通常单独作为识别索引值使用的黑白亮度，可以以更高的准确性，区分并识别所具有的亮度与日照道路表面和道路边缘上的障碍物(立体对象)不同的庇荫道路表面。

图31是例示除了日照道路表面之外的识别对象的类型中的每个的三维分布的示图。在图31中，x轴表示日照道路表面的偏振强度差，y轴表示除了日照道路表面之外的对象的偏振强度差，以及z轴表示识别对象的亮度。

如从三维分布中看出，在可以在实际环境下针对日照道路表面的亮度获取的范围中，可以确认的是，分割出由黑点表示的庇荫道路表面的分布区域和由其它点表示的道路边缘上的障碍物的分布区域，而不会彼此重叠。相应地，通过使用定义用于分割这些分布区域的边界表面的阈值，可以将道路边缘上的障碍物与庇荫道路表面单独地区分和识别。为了分离数据，可以使用比如SVM(支持向量机)的公知技术。

接着，将参照图32描述根据实施例的用于指明立体对象的过程的修改例的流程。图32是用于说明根据实施例的指明立体对象的过程的修改例的示图。首先，对于利用通过边缘确定过程确定的边缘分割出的每个区域，确定相对偏振强度差是否等于或小于预先定义的立体对象的阈值(步骤S121)。在上述实施例中，如从图26中例示的柱状图中看出，关于立体对象的偏振强度差是正值。此外，关于沥青区域的偏振强度差在-0.05附近，该偏振强度差用作参考偏振强度差。因此，在上述实施例中，零值附近的正值(例如，+0.08)被应用为立体对象的阈值，以及表示相对偏振强度差属于等于或大于该阈值的范围中的区域被识别为立体对象。

然而，在被确定为立体对象的区域中，如上所述，可以包括庇荫道路表面。因此，在上述实施例中，通过使用(用于排除庇荫道路表面的)阈值，执行排除被误认为是立体对象不过却是庇荫道路表面的区域的过程(步骤S122)，该阈值定义图31中例示的三维分布图中的边界表面，该边界表面可以用于将庇荫道路表面的一个分布区域与道路边缘上的障碍物的另一分布区域分割开。在排除庇荫道路表面的区域后，将剩余区域识别为立体对象，并且存储该剩余区域的信息(步骤S123)。通过执行上述步骤S121到S123(步骤S124)，可以得到显示图像拾取区中的立体对象的区域。

此外，在摄像图像的上部和下部之间，从对象反射的光的强度存在差值。考虑这个差值，并且在摄像图像的上部和下部的每个中，用于立体对象的阈值以及用于排除庇荫道路表面的阈值可以改变。

此外，在捕获靠近地放置的对象的摄像图像中，下部比上部具有更高的对象识别准确性。因此，优选制作从摄像图像的下部到上部处理处理线的处理顺序。

接着，将描述上述过程的修改例中的由立体对象指明部件19执行的类型指明过程。

首先，立体对象指明部件19识别出上述立体对象识别过程中被识别立体对象的区域的形状(步骤S125)，并且确定是否存在与该区域的形状近似相同的形状模板(步骤S126)。在该确定中，当确定存在与该区域的形状近似的形状模板时，指明该区域的立体对象是与该形状模板相关联的类型，并且存储该类型的信息(步骤S127)。例如，如果立体对象近似于车辆形状的形状模板，则指明立体对象是另一车辆。通过针对所有对象执行步骤S126和S127(步骤S128)，结束指明立体对象的过程。应该注意的是，用于在立体对象指明部件19中近似并识别形状的方法与上述道路表面结构指明部件17执行的方法相同。

为了提高立体对象的类型指明过程和立体对象识别过程的准确性，可以类似于上述指明道路表面结构的类型的过程，使用先前处理结果。

此外，边缘确定过程的上述确定(步骤S3)中使用的边缘阈值以及立体对象的识别过程的上述确定(步骤S121)中使用的立体对象的阈值可以根据图像拾取环境近似改变。例如，这些阈值可以根据比如白天或夜晚的时间段或者比如雨天或晴天的天气而改变。这个切换可以通过使用根据时间信息获取的信息、从雨水传感器或日照传感器等获取的信息实现。

此外，在将根据上述实施例的偏振照相机10与车辆内的后视镜等附在一起的情况下，类似于道路表面结构指明过程，优选考虑挡风玻璃的偏振特性。

在上述实施例中，用于排除庇荫道路表面的阈值定义图31中的三维分布图中的边界表面。通过增加参数，该阈值可以定义更高维度的分布图(比如四维或五维分布图)中的边界表面，从而实现高度精确的识别能力。例如，太阳方向可以用作上述参数。在这种情况下，可以通过从导航***中提取关于太阳方向以及车辆移动方向的信息，获取太阳的方向信息。可以基于太阳方向的信息，得到针对道路边缘上的障碍物(立体对象)形成庇荫的方向。因此，可以提高识别能力。或者，可以将太阳的纬度信息额外用作上述参数。类似地，可以通过经由导航***提取车辆驾驶日期和时间的信息，获取太阳的纬度信息。此外，还可以使用来自用于车灯的阳光传感器的信息。

立体对象指明部件19执行的立体对象类型指明的结果可以用于各个过程。

例如，基于立体对象指明部件19的处理结果，利用告警向驾驶者报告避免将立体对象识别为障碍物的方案，并且对车辆的自动刹车***进行控制，以便避免碰撞或者降低碰撞冲击。

例如，立体对象指明部件19的处理结果可以用于由白线识别部件14进行的白线边缘的识别过程。具体地，由于其中立体对象的类型通过立体对象指明部件19的处理指明的区域不是白线区域，所以从白线识别部件14进行的白线边缘的识别过程的对象(subject)中去除该区域。因此，可以减少将比如另一车辆等的立体对象误认为白线的情形，并且可以提高白线的识别准确性。由白线识别部件14执行的白线边缘的识别过程如上所述。然而，在执行识别除了白线之外的对象的摄像图像的过程的情况下，通常，通过从识别过程的对象中去除指明立体对象类型的区域，可以提高识别过程的准确性。

另外，例如，可以将立体对象指明部件19的处理结果应用于汽车导航***。具体地，根据由立体对象指明部件19的处理结果指明的比如电线杆、街灯、和交通标记牌等的外部道路障碍物的位置，生成指示车辆和外部道路障碍物之间的距离、和角度等的车辆位置信息。通过使用车辆位置信息，可以将车辆的进一步详细的位置指明在由汽车导航***计算出的车辆位置的范围内。因此，可以提高汽车导航***中指明车辆位置的准确性。

此外，例如，根据立体对象指明部件19的结果，可以得到各种立体对象中的每个相对于车辆的位置和方向。因此，立体对象指明部件19的结果可以用于ECU(电子控制单元)中。

具体地，关于应该防止与之碰撞的立体对象，例如，在车辆中作为信息报告部件的显示器上，显示通过使用由黑白图像处理部件计算出的亮度数据生成的黑白图像(正视图像)，该显示器包括CRT(阴极射线管)、或LCD(液晶显示器)等。为了将黑白图像中的立体对象的信息作为驾驶者的有用信息报告给驾驶者，可以执行以显示格式显示黑白图像的过程，以便驾驶者容易地识别立体对象。例如，即使驾驶者难以利用他的眼镜识别出立体对象，驾驶者也可以通过抬头看显示器上的正视图像确认立体对象，并且防止与立体对象碰撞。

在本发明的第一方面中，提供了对象识别装置、包括对象识别装置的移动主体控制装置以及包括对象识别装置的信息提供装置，以便增加可以用于识别对象的对象特征类型的数目，以及最终增加可以指明的对象类型的数目。

如上所述，根据上述实施例的对象识别装置包括偏振照相机10、偏振强度差图像处理部件15、道路表面结构识别部件16以及立体对象识别部件18。作为成像部件的偏振照相机10接收从图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两种偏振光(P偏振和S偏振)，并且捕获对应的偏振图像(P偏振图像和S偏振图像)。作为亮度差计算部件的偏振强度差图像处理部件15(以一个像素为单位，)将偏振照相机10捕获的P偏振图像和S偏振图像中的每个分割为预定处理区域，并且针对每个像素，计算P偏振图像和S偏振图像之间的亮度差值。作为对象识别部件的道路表面结构识别部件16和立体对象识别部件18中的每个执行用于通过使用根据偏振强度差图像处理部件15计算的亮度差值获取的作为识别索引值的偏振强度差，识别存在于图像拾取区中与每个像素对应的位置上的对象的过程。

因此，可以在不能利用黑白亮度差区分的道路表面和道路表面结构之间，或者在不能利用黑白亮度差区分的道路表面和立体对象之间进行区分和识别。

此外，道路表面结构识别部件16和立体对象识别部件18中的每个执行用于确定偏振强度差属于多个数值范围中的哪个的确定过程，其中针对多个不同对象中的每个定义该多个数值范围，以及执行用于识别存在于与处理区域对应的位置上的对象是与上述确定过程中确定的一个数值范围对应的对象的识别过程。

此外，在上述实施例中，偏振照相机10装配在作为在道路表面上驾驶的移动主体的车辆上，并且从相对于道路表面向上倾斜的方向，捕获包括道路表面的图像拾取区的图像。为P偏振图像和S偏振图像中的每个的被分段到上方和下方的至少多于两个分段设置针对同一对象定义的数值范围。在识别过程中，针对上述两个分段中的每个设置多个数值范围，并且确定一个分段中的处理区域的偏振强度差属于针对该一个分段的多个数值范围中的哪个。相应地，可以在考虑偏振照相机10针对P偏振图像和S偏振图像中的每个在上方和下方接收的光量的情况下，正确地识别对象。

此外，在上述实施例中，道路表面结构识别部件16执行用于识别存在于与图像拾取区中的处理区域中的每个对应的位置上的对象的材料(金属)的过程。即使在使用相同平面中的由不同材料制成的对象之间的黑白亮度差的情况下不能区分对象，在上述实施例中也可以正确地识别出每个对象。

另外，在上述实施例中，偏振照相机10装配在作为在道路表面(该道路表面是供移动主体移动的表面)上行驶的移动主体的车辆上，捕获包括道路表面的图像拾取区的图像，以及执行用于识别外表面被露出为庇荫与道路表面基本齐平的对象(道路表面结构)的过程。相应地，可以识别道路表面结构，比如井盖、道路连接部分、或由博茨点或猫眼形成的分割线等。

此外，在上述实施例中，道路表面结构识别部件16将偏振强度差图像处理部件15计算出的偏振强度差，设置为与沥青的位置对应的参考处理区域的参考索引值，该沥青是预先假设为存在于图像拾取区中的参考对象，并且针对与参考处理区域不同的处理区域中的每个，计算相对于由偏振强度差图像处理部件15计算出的参考索引值的相对值(相对偏振强度差)。道路表面结构识别部件16执行用于基于相对偏振强度差，识别存在于与处理区域对应的位置上的对象的过程。因此，即使由于比如环境差异等的影响造成的对象区域的偏振强度差的计算值发生偏差，这些影响也可以通过使用相对于参考偏振强度差的相对量降低，其中上述参考偏振强度差是由于上述相同的影响造成的。

此外，在上述实施例中，指示亮度差值(P偏振强度-S偏振强度)与总亮度值(P偏振强度+S偏振强度)的比值的偏振强度差被用作识别索引值，从而即使亮度不足，也可以以更高的准确性识别对象。

此外，在上述实施例中，在道路表面结构识别部件16和立体对象识别部件18的每个中，将识别过程的结果存储在作为存储先前执行的识别过程的结果的识别处理结果存储部件的存储器中，并且通过使用存储器中存储的先前识别过程的结果，执行识别过程。因此，可以根据是否获取与先前识别结果相同的结果，确定识别结果的可靠性。

另外，在上述实施例中，包括作为形状信息存储部件的形状存储部件20，用于存储作为指示偏振照相机10捕获的预定特定对象的形状的形状信息的形状模板。在识别过程中，道路表面结构识别部件16和立体对象识别部件18中的每个识别由多个相邻像素形成的一个对象(道路表面结构或立体对象)。道路表面结构指明部件17和固定对象指明部件19中的每个确定该一个对象的形状是否近似于由形状存储部件20中存储的形状模板指示的形状。当确定为该一个对象的形状与由形状模板指示的形状近似时，在用于指明对象的过程中，与多个像素对应的位置上的一个对象被指明为与该形状模板对应的特定对象。因此，可以通过不仅使用该一个对象的偏振特性，而且使用该一个对象的形状信息，指明该一个对象。

此外，如上所述，根据上述实施例的对象识别装置可以应用于作为包括ECU的移动主体控制装置的自动刹车***，该移动主体控制装置是用于通过使用对象识别装置的识别结果，控制作为移动主体的车辆的移动的移动控制部件。

此外，如上所述，根据上述实施例的对象识别装置可以应用于信息提供装置，该信息提供装置通过使用对象识别装置的识别结果生成对于驾驶作为移动主体的车辆的驾驶者而言有用的信息，并且将所生成的信息报告给驾驶者。

应该注意，根据上述实施例的驾驶者辅助***不总是要求整体装配在车辆上。例如，仅仅偏振照相机10装配在车辆上，而其它***组件可以布置在远离车辆的另一位置上。在这种情况下，***可以被构造为使得除了驾驶者之外的个人能够客观地了解车辆的驾驶状态。

此外，在上述实施例中，将偏振强度差用作识别索引值。或者，可以使用P偏振图像和S偏振图像之间的亮度差值。

根据本发明，例如，关于成像部件捕获的两个偏振图像，针对每个预定处理区域计算两个偏振图像之间的亮度差值，并且通过使用根据亮度差值获取的识别索引值，针对与每个处理区域对应的位置上存在的对象执行识别过程。通常，从由自然光和照射灯照射的同一位置反射的光包括具有不同偏振方向的多个偏振光。即使被照射到同一位置的光的亮度强度和入射角相同，当该位置上的每个对象的偏振特性不同时，这些多个偏振光的偏振方向中的每个的强度也不同。发明人关注到偏振光的这个特征。作为发明人的专门研究的结果，他们已经实现了根据对象的不同偏振特性识别对象。例如，已经发现，可以通过使用对象的不同偏振特性大大影响通过接收具有不同偏振方向的两个偏振光而获取的两个偏振图像之间的亮度差值的事实，识别对象。相应地，通过使用根据两个偏振图像之间的亮度差获取的识别索引值(包括亮度差值本身)，可以以更高的准确性，区分具有不同偏振特性的对象并识别每个对象。

如上所述，根据本发明的第一方面，由于可以使用作为对象的偏振特性且可以由成像部件获取的新特征来识别对象，能够增加用于识别对象的对象特征类型的数目。因此，可以实现的优异效果在于要被指明的对象类型的数目。

在本发明的第二方面中，提供了立体对象识别装置，包括立体对象识别装置的移动主体控制装置以及包括立体对象识别装置的信息提供装置，以便通过使用成像部件，以更高的准确性，识别图像拾取区中的立体对象和平面对象之间的边界，该立体对象和平面对象的亮度之间没有明显差别。

如上所述，立体识别装置识别立体对象，该立体对象存在于图像拾取区中并且所具有的外表面朝向与预定平面(道路表面)不同的方向，并且该立体识别装置包括偏振照相机10、偏振强度差图像处理部件15以及立体对象识别部件18。偏振照相机10接收从图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光。作为亮度差计算部件，偏振强度差图像处理部件15(以一个像素为单位，)将偏振照相机10捕获的P偏振图像和S偏振图像中的每个分割为预定处理区域，并且针对每个像素，计算P偏振图像和S偏振图像之间的亮度差值。作为对象识别处理部件，立体对象识别部件18执行用于通过使用根据偏振强度差图像处理部件15计算的亮度差值获取的作为识别索引值的偏振强度差，识别对象是否存在于图像拾取区中与每个像素对应的位置上的立体对象识别过程。相应地，可以区分并识别道路表面和立体对象之间的边界，该道路表面和立体对象在使用它们的黑白亮度差的情况下不能识别出。

此外，在上述实施例中，立体对象识别部件18执行用于确定偏振强度差属于多个数值范围中的哪个的确定过程，其中针对存在于与道路表面相同的平面上的平面对象(沥青)和立体对象中的每个定义该多个数值范围，以及执行用于识别存在于与处理区域对应的位置上的对象是与上述确定过程中确定的一个数值范围对应的对象的识别过程，从而执行对象识别过程。因此，可以利用与对应阈值简单比较的过程，实现立体对象识别过程。

偏振照相机10的配置与第一方面类似。此外，立体对象识别部件18的配置与第一方面类似。

此外，如上所述，根据上述实施例的立体对象识别装置可以应用于作为包括ECU的移动主体控制装置的自动刹车***，该移动主体控制装置是用于通过使用立体对象识别装置的识别结果，控制作为移动主体的车辆的移动的移动控制部件。

此外，如上所述，根据上述实施例的立体对象识别装置可以应用于信息提供装置，该信息提供装置通过使用立体对象识别装置的识别结果生成对于驾驶作为移动主体的车辆的驾驶者而言有用的信息，并且将所生成的信息报告给驾驶者。

根据本发明，例如，关于成像部件捕获的两个偏振图像，针对每个预定处理区域计算两个偏振图像之间的亮度差值，并且通过使用根据亮度差值获取的识别索引值，针对与每个处理区域对应的位置上存在的对象执行识别过程。通常，从由自然光和照射灯照射的同一位置反射的光包括具有不同偏振方向的多个偏振光。关于多个偏振光，反射光中包括的偏振分量根据反射表面(入射表面)的方向变化。发明人注意到偏振光的这个特征。作为发明人的专门研究的结果，他们已经发现，可以通过基于反射光的对象的表面所面对的方向识别立体对象。例如，反射光的对象的表面所面对的方向严重地影响通过接收具有不同偏振方向的两个偏振光而获取的两个偏振图像之间的亮度差值。通过使用这个特征，可以识别立体对象。因此，可以通过使用根据从反射光中获取的两个偏振图像之间的偏振强度差值获取的识别索引值(包括亮度差值)，可以以更高的准确性，将作为反射光的对象的立体对象与平面对象区分开并识别出。

如上所述，根据本发明的第二方面，所具有的优异效果在于可以通过使用根据由成像部件获取的两个偏振图像之间的亮度差值获取的识别索引值，识别图像拾取区中的立体对象和平面对象之间的边界，该立体对象和平面对象的亮度之间没有明显差别。

应该注意，根据上述实施例的驾驶辅助***不总是要求整体装配在车辆上。例如，仅仅偏振照相机10装配在车辆上，而其它***组件可以布置在远离车辆的另一位置上。在这种情况下，***可以被构造为使得除了驾驶者之外的个人能够客观地了解车辆的驾驶状态。

此外，在上述实施例中，将偏振强度差用作识别索引值。或者，可以使用P偏振图像和S偏振图像之间的亮度差值。

在本发明的第三方面中，提供了立体对象识别装置，包括立体对象识别装置的移动主体控制装置以及包括立体对象识别装置的信息提供装置，以便甚至当在相同平面对象中存在所具有的亮度大大不同的部分的情况下，也可以通过使用成像部件，以更高的准确性，识别图立体对象和平面对象之间的边界。

如上所述，立体识别装置识别立体对象，该立体对象存在于图像拾取区中并且所具有的外表面朝向与预定平面(道路表面)不同的方向，并且该立体对象识别装置包括偏振照相机10、黑白图像处理部件13、偏振强度差图像处理部件15以及立体对象识别部件18。作为成像部件，偏振照相机10接收从图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光。作为亮度计算部件，黑白图像处理部件13(以一个像素为单位，)将由偏振照相机10捕获的P偏振图像和S偏振图像中的每个分割到预定处理区域，并且针对每个像素，计算作为P偏振图像和S偏振图像之间的总亮度值的亮度差值。作为偏振强度差计算部件，偏振强度差图像处理部件15计算指示P偏振图像和S偏振图像之间的亮度差值相对于黑白亮度的比值的偏振强度差。参考平面对象(沥青)假定预先存在于与预定平面相同的平面中。对于参考处理区域(与光照道路表面对应的区域)偏振强度差图像处理单元15计算偏振强度差，该参考处理区域是在与参考平面对象(沥青)所存在的位置对应的处理区域中亮度相对更大的部分。此外，作为相对偏振强度差部件，偏振强度差图像处理部件15将所计算出的偏振强度差设置为参考偏振强度差，并且计算相对偏振强度差，该相对偏振强度差是由偏振强度差图像处理部件15针对除了参考处理区域之外的每个处理区域计算出的偏振强度差与参考偏振强度差之间的差值。作为对象识别处理部件，立体对象识别部件18使用黑白图像处理部件13计算出的黑白亮度以及偏振强度差图像处理部件15计算出的相对偏振强度差，作为识别索引值，并且执行用于在与图像拾取区中的每个像素对应的位置上存在的对象是否是立体对象的立体对象识别过程。相应地，可以以更高的准确性，区分并识别庇荫道路表面和立体对象之间的边界

此外，立体对象识别部件18执行用于确定识别索引值属于多个数值范围中的哪个的确定过程。针对庇荫道路表面和立体对象中的每个定义多个数值范围。庇荫道路表面存在于与较低亮度处理区域(与庇荫道路表面对应的区域)对应的位置上，该较低亮度处理区域是与沥青(道路表面)所存在的位置对应的处理区域中的具有较低亮度的部分。因此，立体对象识别部件18执行用于将存在于与处理区域对应的位置上的对象识别为与上述确定过程中确定的一个数值范围对应的对象，其中识别索引值属于该一个数值范围，从而执行立体对象识别过程。因此，可以利用与对应阈值简单比较的过程实现立体对象识别过程。

偏振照相机10的配置与第一方面类似。

此外，在上述实施例中，将立体对象识别部件18先前执行的识别过程的结果存储在作为存储先前执行的识别过程的结果的识别过程结果存储部件的存储器中。立体对象识别部件18通过不仅使用存储器中存储的先前识别过程的结果，而且使用识别索引值，执行识别过程。

此外，如上所述，根据上述实施例的立体对象识别装置可以被应用于作为包括ECU的移动主体控制装置的自动刹车***，该移动主体控制装置是用于通过使用立体对象识别装置的识别结果，控制作为移动主体的车辆的移动的移动控制部件。

此外，如上所述，根据上述实施例的立体对象识别装置可以应用于信息提供装置，该信息提供装置通过使用立体对象识别装置的识别结果生成对于驾驶作为移动主体的车辆的驾驶者而言有用的信息，并且将所生成的信息报告给驾驶者。

应该注意，根据上述实施例的驾驶辅助***不总是要求整体装配在车辆上。例如，仅仅偏振照相机10装配在车辆上，而其它***组件可以布置在远离车辆的另一位置上。在这种情况下，***可以被构造为使得除了驾驶者之外的个人能够客观地了解车辆的驾驶状态。

作为专门研究的结果，发明人已经发现了一种如上所述具有创新性的立体对象识别方法，该立体对象识别方法通过使用偏振强度差作为识别索引值，以更高的准确性，将与每个处理区域对应的位置上存在的立体对象与平面对象区分开并识别出，其中偏振强度差表示成像部件捕获的两个偏振图像之间的亮度差与总亮度值之比。例如，在立体对象识别方法中，将参考处理区域和识别对象处理区域之差(相对偏振强度差)用作识别索引值。与使用亮度作为识别索引值的常规方法相比，立体对象识别方法可以以更高的准确性，区分并识别存在于与每个处理区域对应的位置上且是平面对象的立体对象。然而，即使使用偏振强度差，在参考处理区域所存在的平面对象中存在亮度大大不同的部分的情况下，其中平面对象具有与参考处理区域的偏振强度不同的偏振强度的处理区域可能被误认为立体对象。

作为进一步研究的结果，发明人发现可以通过使用偏振强度差和在常规方法中用作识别索引值使用的亮度两者，区分并识别所具有的偏振强度与参考处理区域不同的一个处理区域和立体对象所存在于的另一处理区域。

甚至在由于该部分所具有的偏振强度在同一平面对象中大大不同且该偏振强度与参考处理区域不同，该平面对象可能被误认为立体对象的情况下，根据上述使用偏振强度差和亮度两者的实施例，可以以更高的准确性，识别立体对象和处理区域部分的平面对象之间的边界。另外，根据上述实施例，由成像部件捕获的两个偏振图像的总偏振强度值用于用作识别索引值的亮度，该总偏振强度值用于计算偏振强度差。因此，无需新的检测装置。

如上所述，根据上述实施例，即使该部分所具有的偏振强度在同一平面对象中大大不同，也可以通过使用成像部件，以更高的准确性，从平面对象中识别出立体对象。

本发明不限于具体公开的实施例，并且可以在不背离本发明的范围的情况下进行变型和修改。

本申请基于2009年12月25日提交的日本优先权申请No.2009-295885、2009年12月25日提交的日本优先权申请No.2009-295902、2009年12月25日提交的日本优先权申请No.2009-295963、2010年10月29日提交的日本优先权申请No.2010-243925、2010年10月29日提交的日本优先权申请No.2010-243951以及2010年10月29日提交的日本优先权申请No.2010-243989，在此通过引用将上述申请全文并入。

Claims (13)

1.一种用于识别图像拾取区中存在的对象的对象识别装置，所述对象识别装置包括：

成像部件，被配置为接收从所述图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及

对象识别处理部件，被配置为执行识别过程，所述识别过程用于通过使用所述成像部件捕获的两个偏振图像，识别在与所述图像拾取区中的多个处理区域中的每一个对应的位置处存在的对象；

其中，

所述对象识别处理部件被配置为执行用于确定识别索引值属于多个数值范围中的哪一个的确定过程，其中针对相应的不同对象来定义所述多个数值范围，以及通过识别存在于与所述处理区域中的每一个对应的位置处的对象是与在所述确定过程中确定的数值范围对应的对象，来执行所述识别过程；

在所述确定过程中，针对至少多于两个分段中的每一个设置针对同一对象定义的数值范围，所述至少多于两个分段针对所述两个偏振图像中的每一个来分段为上方和下方，并且针对属于所述分段的处理区域的识别索引值确定针对分段设置的所述数值范围中的一个；

所述的对象识别处理部件，还包括：

亮度计算部件，被配置为将所述成像部件捕获的两个偏振图像中的每一个分割为预定处理区域，以及针对所述预定处理区域中的每一个计算所述两个偏振图像中的总亮度值，并且计算所述两个偏振图像之间的亮度差值；

偏振强度差计算部件，被配置为针对所述处理区域中的每一个，计算指示所述两个偏振图像之间的偏振强度差值与总亮度值之比的偏振强度差；以及

相对偏振强度差计算部件，被配置为将所述偏振强度差计算部件计算出的偏振强度差设置为，在预先假定为与预定平面处于相同平面中的参考平面对象对应的处理区域中亮度相对更大的参考处理区域中的参考偏振强度差，以及被配置为计算参考偏振强度和由所述偏振强度差计算部件针对与所述参考处理区域不同的处理区域计算出的偏振强度差之间的相对差值，

其中，所述对象识别处理部件被配置为执行对象识别过程，所述对象识别过程用于通过使用由所述亮度计算部件计算出的总亮度值和由所述相对偏振强度差计算部件计算出的作为识别索引值的相对差值，识别在与所述图像拾取区中的每一个处理区域对应的位置处存在的对象是否是所述对象。

2.如权利要求1所述的对象识别装置，其中，所述成像部件被配置为装配在移动主体上，所述移动主体在移动表面上移动，并且所述成像部件被配置为从相对于所述移动表面向上倾斜的方向捕获包括所述移动表面的所述图像拾取区。

3.如权利要求1所述的对象识别装置，其中，所述识别过程被配置为包括材料识别过程，所述材料识别过程用于识别存在于与所述图像拾取区中的处理区域中的每一个对应的位置处的对象的材料。

4.如权利要求3所述的对象识别装置，其中，通过所述材料识别过程所识别出的对象的材料包括金属。

5.如权利要求1所述的对象识别装置，其中，所述成像部件装配在车辆上，所述车辆作为在作为移动表面的道路表面上移动的移动主体，

所述对象识别处理部件被配置为执行识别外表面被露出为与所述道路表面齐平的对象的识别过程。

6.如权利要求1所述的对象识别装置，其中，所述对象识别处理部件被配置为将识别索引值设置为参考索引值，从而相对于从所述亮度计算部件针对与参考处理区域不同的处理区域计算出的亮度差值获取的识别索引值的参考索引值，来计算相对值，并基于所述相对值识别在与所述不同处理区域对应的位置处存在的对象，从而执行所述识别过程，其中根据所述亮度计算部件针对与预先假定的参考对象的位置对应的参考处理区域计算出的亮度差值来获取所述识别索引值。

7.如权利要求1所述的对象识别装置，还包括：

识别过程结果存储部件，被配置为存储由所述对象识别处理部件先前执行的识别过程的先前结果，

其中，所述对象识别处理部件使用所述识别索引值和存储在所述识别过程结果存储部件中的所述识别过程的先前结果。

8.如权利要求1所述的对象识别装置，还包括：

形状信息存储部件，被配置为存储形状信息，所述形状信息指示通过所述成像部件捕获预定的特定对象而获取的形状，

其中，所述对象识别处理部件被配置为确定由多个相邻处理区域指示的第一形状是否与由存储在所述形状信息存储部件中的形状信息指示的第二形状近似，以及当所述第一形状与所述第二形状近似时，执行用于指明与所述多个处理区域对应的位置处存在的对象的对象指明过程，其中通过所述识别过程识别同一对象。

9.一种移动主体控制装置，包括：

对象识别部件，被配置为捕获移动主体的环境作为成像对象，以及识别所述成像对象中存在的对象；以及

移动控制部件，被配置为基于所述对象识别部件的识别结果，对所述移动主体进行移动控制，

其中，所述对象识别部件包括：

成像部件，被配置为接收从图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及

对象识别处理部件，被配置为执行识别过程，所述识别过程用于通过使用所述成像部件捕获的两个偏振图像，识别在与图像拾取区中的多个处理区域中的每一个对应的位置处存在的对象；

其中，

所述对象识别处理部件被配置为执行用于确定识别索引值属于多个数值范围中的哪一个的确定过程，其中针对相应的不同对象来定义所述多个数值范围，以及通过识别存在于与所述处理区域中的每一个对应的位置处的对象是与在所述确定过程中确定的数值范围对应的对象，来执行所述识别过程；

在所述确定过程中，针对至少多于两个分段中的每一个设置针对同一对象定义的数值范围，所述至少多于两个分段针对所述两个偏振图像中的每一个来分段为上方和下方，并且针对属于所述分段的处理区域的识别索引值确定针对分段设置的所述数值范围中的一个；

所述的对象识别处理部件，还包括：

亮度计算部件，被配置为将所述成像部件捕获的两个偏振图像中的每一个分割为预定处理区域，以及针对所述预定处理区域中的每一个计算所述两个偏振图像中的总亮度值；

偏振强度差计算部件，被配置为针对所述处理区域中的每一个，计算指示所述两个偏振图像之间的偏振强度差值与总亮度值之比的偏振强度差；以及

相对偏振强度差计算部件，被配置为将所述偏振强度差计算部件计算出的偏振强度差设置为，在预先假定为与预定平面处于相同平面中的参考平面对象对应的处理区域中亮度相对更大的参考处理区域中的参考偏振强度差，以及被配置为计算参考偏振强度和由所述偏振强度差计算部件针对与所述参考处理区域不同的处理区域计算出的偏振强度差之间的相对差值，

其中，所述对象识别处理部件被配置为执行对象识别过程，所述对象识别过程用于通过使用由所述亮度计算部件计算出的总亮度值和由所述相对偏振强度差计算部件计算出的作为识别索引值的相对差值，识别在与所述图像拾取区中的每一个处理区域对应的位置处存在的对象是否是所述对象。

10.一种信息提供装置，包括：

对象识别部件，被配置为捕获根据驾驶者的驾驶操作移动的移动主体的环境作为成像对象，以及识别在所述成像对象中存在的对象；

有用信息生成部件，被配置为通过使用所述对象识别部件的识别结果生成对于驾驶者有用的有用信息；以及

信息报告部件，被配置为报告由所述有用信息生成部件生成的有用信息，

其中，所述对象识别部件包括：

成像部件，被配置为接收从图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及

对象识别处理部件，被配置为执行识别过程，所述识别过程用于通过使用所述成像部件捕获的两个偏振图像，识别在与所述图像拾取区中的多个处理区域中的每一个对应的位置处存在的对象；

其中，

所述对象识别处理部件被配置为执行用于确定识别索引值属于多个数值范围中的哪一个的确定过程，其中针对相应的不同对象来定义所述多个数值范围，以及通过识别存在于与所述处理区域中的每一个对应的位置处的对象是与在所述确定过程中确定的数值范围对应的对象，来执行所述识别过程；

在所述确定过程中，针对至少多于两个分段中的每一个设置针对同一对象定义的数值范围，所述至少多于两个分段针对所述两个偏振图像中的每一个来分段为上方和下方，并且针对属于所述分段的处理区域的识别索引值确定针对分段设置的所述数值范围中的一个；

所述的对象识别处理部件，还包括：

亮度计算部件，被配置为将所述成像部件捕获的两个偏振图像中的每一个分割为预定处理区域，以及针对所述预定处理区域中的每一个计算所述两个偏振图像中的总亮度值；

偏振强度差计算部件，被配置为针对所述处理区域中的每一个，计算指示所述两个偏振图像之间的偏振强度差值与总亮度值之比的偏振强度差；以及

相对偏振强度差计算部件，被配置为将所述偏振强度差计算部件计算出的偏振强度差设置为，在预先假定为与预定平面处于相同平面中的参考平面对象对应的处理区域中亮度相对更大的参考处理区域中的参考偏振强度差，以及被配置为计算参考偏振强度和由所述偏振强度差计算部件针对与所述参考处理区域不同的处理区域计算出的偏振强度差之间的相对差值，

其中，所述对象识别处理部件被配置为执行对象识别过程，所述对象识别过程用于通过使用由所述亮度计算部件计算出的总亮度值和由所述相对偏振强度差计算部件计算出的作为识别索引值的相对差值，识别在与所述图像拾取区中的每一个处理区域对应的位置处存在的对象是否是所述对象。

11.一种用于识别图像拾取区中存在的所具有的外表面面朝与预定平面不同的方向的立体对象的立体对象识别装置，所述立体对象识别装置包括：

成像部件，被配置为接收从所述图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；以及

立体对象识别处理部件，被配置为执行立体对象识别过程，所述立体对象识别过程用于通过使用所述成像部件捕获的两个偏振图像，确定在与所述图像拾取区中的多个处理区域中的每一个对应的位置处存在的对象是否是立体对象；

其中，

所述立体对象识别处理部件被配置为执行用于确定识别索引值属于多个数值范围中的哪一个的确定过程，以及执行用于识别与所述确定过程中确定的一个数值范围对应的对象的过程，从而执行所述立体对象识别过程，其中针对所述立体对象和与所述预定平面存在于相同平面中的平面对象中的每一个来定义所述多个数值范围；

在所述确定过程中，针对至少多于两个分段中的每一个设置针对同一对象定义的数值范围，所述至少多于两个分段针对所述两个偏振图像中的每一个来分段为上方和下方，并且针对属于所述分段的处理区域的识别索引值确定针对分段设置的所述数值范围中的一个；

所述的立体对象识别装置，还包括：

亮度计算部件，被配置为将所述成像部件捕获的两个偏振图像中的每一个分割为预定处理区域，以及针对所述预定处理区域中的每一个计算所述两个偏振图像中的总亮度值；

偏振强度差计算部件，被配置为针对所述处理区域中的每一个，计算指示所述两个偏振图像之间的偏振强度差值与总亮度值之比的偏振强度差；以及

相对偏振强度差计算部件，被配置为将所述偏振强度差计算部件计算出的偏振强度差设置为，在预先假定为与所述预定平面处于相同平面中的参考平面对象对应的处理区域中亮度相对更大的参考处理区域中的参考偏振强度差，以及被配置为计算参考偏振强度和由所述偏振强度差计算部件针对与所述参考处理区域不同的处理区域计算出的偏振强度差之间的相对差值，

其中，所述立体对象识别处理部件被配置为执行立体对象识别过程，所述立体对象识别过程用于通过使用由所述亮度计算部件计算出的总亮度值和由所述相对偏振强度差计算部件计算出的作为识别索引值的相对差值，识别在与所述图像拾取区中的每一个处理区域对应的位置处存在的对象是否是所述立体对象。

12.如权利要求11所述的立体对象识别装置，其中，所述成像部件被配置为装配在移动主体上，并且从相对于移动表面向上倾斜的方向捕获包括所述移动表面的所述图像拾取区，其中所述移动主体在移动表面上移动。

13.一种用于识别图像拾取区中存在的所具有的外表面面朝与预定平面不同的方向的立体对象的立体对象识别装置，所述立体对象识别装置包括：

成像部件，被配置为接收从所述图像拾取区中存在的对象反射的光中包括的具有不同偏振方向的两个偏振光，并且捕获两个偏振图像；

亮度计算部件，被配置为将所述成像部件捕获的两个偏振图像中的每一个分割为预定处理区域，以及针对所述预定处理区域中的每一个计算所述两个偏振图像中的总亮度值；

偏振强度差计算部件，被配置为针对所述处理区域中的每一个，计算指示所述两个偏振图像之间的偏振强度差值与总亮度值之比的偏振强度差；以及

立体对象识别处理部件，被配置为执行立体对象识别过程，所述立体对象识别过程用于通过使用所述总亮度值和偏振强度差，识别在与所述图像拾取区中的多个处理区域中的每一个对应的位置处存在的对象是否是立体对象；

其中，所述立体对象识别处理部件被配置为执行用于确定识别索引值属于多个数值范围中的哪个数值范围的确定过程，以及执行用于识别与所述确定过程中确定的一个数值范围对应的对象的过程，从而执行所述立体对象识别过程，其中针对所述立体对象和参考平面对象的较低亮度部分中的每一个定义所述多个数值范围，所述较低亮度部分存在于与在所述参考平面对象所存在的处理区域中指示较低亮度的较低亮度处理区域对应的位置处；

所述的立体对象识别装置，还包括：

相对偏振强度差计算部件，被配置为将所述偏振强度差计算部件计算出的偏振强度差设置为，在预先假定为与所述预定平面处于相同平面中的参考平面对象对应的处理区域中亮度相对更大的参考处理区域中的参考偏振强度差，以及被配置为计算参考偏振强度和由所述偏振强度差计算部件针对与所述参考处理区域不同的处理区域计算出的偏振强度差之间的相对差值，

其中，所述立体对象识别处理部件被配置为执行立体对象识别过程，所述立体对象识别过程用于通过使用由所述亮度计算部件计算出的总亮度值和由所述相对偏振强度差计算部件计算出的作为识别索引值的相对差值，识别在与所述图像拾取区中的每一个处理区域对应的位置处存在的对象是否是所述立体对象。