CN1818929A - 图像识别装置及图像识别方法 - Google Patents

Abstract

本发明提供一种图像识别装置和图像识别方法，即使在只利用拍摄的图像信息难以进行良好的图像识别时，也能够提高识别对象物的识别率。该图像识别装置具有：获取在道路上拍摄的图像信息(G)的图像信息获取机构(3)；从地图信息获取与图像信息(G)的拍摄位置周边的地上物有关的道路特征信息(C)的道路特征信息获取机构(9)；利用道路特征信息(C)对图像信息(G)进行识别处理，对图像信息(G)中所包含的与上述地上物对应的识别对象物的图像进行识别的图像信息识别机构(10)。

Description

图像识别装置及图像识别方法

技术区域

本发明涉及一种例如装载在车辆等上而对在道路上拍摄的图像信息中所包含的规定的识别对象物的图像进行识别处理的图像识别装置及图像识别方法。

背景技术

作为基于在道路上拍摄的图像信息而对规定的识别对象物进行图像识别的技术，例如在下述的专利文献1中公开了如下这样的技术。该文献中公开的技术为基于在道路上拍摄的图像信息而对设置在道路路面上的车道线(车道标识)进行识别的装置。即，该装置装载于在道路上行驶移动的车辆上，具有对车辆前方的道路进行拍摄的拍摄机构、和基于该拍摄机构拍摄的图像信息对设置在上述道路路面上的车道线进行识别的识别机构。并且，上述识别机构利用具有对应于拍摄图像中的车道线的图像特征量进行变形的特性的成串模型(string model)，对车道线进行识别。这里，车道线的图像特征量采用像素单位的亮度和色度等。

该装置的目的在于通过不对所拍摄的图像信息进行“二值化处理”和“从点到线的扩张处理”，消除由于这些处理产生的相对于外部环境的变动的识别不稳定性，提高车道线的识别率。

专利文献1：JP特开平11-213155号公报(第2-3页，图1)。

上述这样的现有技术是要基于利用摄像机等拍摄的图像信息，通过在识别算法上下功夫来提高车道线等识别对象物的识别率。但是，这种现有技术中，用于识别处理的信息只有图像信息，因此如果从图像信息不能获得良好的图像特征量时，就会出现识别率下降很多的问题。

因此，例如在具有容易被误认为是识别对象物的图像特征量的物体包含于所拍摄的图像信息中的情况下，或者由于拍摄时的天气、亮度等条件，或由于识别对象物、其周边的状态或种类等，使得识别对象物与其周边的亮度、色彩的差别很小的情况下，常常难以对识别对象物进行正确的识别。

发明内容

本发明是考虑到上述问题而提出的，其目的在于提供一种图像识别装置及图像识别方法，即使在只利用所拍摄的图像信息难以进行良好的图像识别的情况下，也能够提高识别对象物的识别率。

为了达到上述目的，本发明的图像识别装置的特征在于，具有：图像信息获取机构，其获取在道路上拍摄的图像信息；道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别。地上物地上物

根据该特征结构，不是只基于拍摄的图像信息进行图像识别，还利用从地图信息获取的与图像信息的拍摄位置周边的地上物有关的道路特征信息进行图像信息的识别处理，因此在只利用拍摄的图像信息难以进行良好的图像识别时，也能够提高识别与上述地上物对应的识别对象物的图像的识别率。

这里，上述图像信息识别机构能够从上述图像信息中提取上述识别对象物的候选图像，与上述道路特征信息进行对比，将与上述道路特征信息的匹配性高的上述候选图像作为上述识别对象物的图像进行识别。

这样，由于能够将与从地图信息获取的道路特征信息匹配性高的候选图像作为识别对象物的图像进行识别，即使当拍摄的图像信息中包含具有容易与识别对象物误认的图像特征的物体，也可以大幅减少误识别，提高识别对象物的识别率。

还有，优选上述图像信息识别机构基于上述道路特征信息，推测上述图像信息中的上述识别对象物的图像存在的区域，基于该推测结果，在推测上述识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述识别对象物的判断基准低于其它区域。

这样，在基于从地图信息获得的道路特征信息而推测识别对象物存在的区域内，以使比其它区域更容易识别识别对象物的方式调整识别算法，进行图像识别，因此，即使由于拍摄时的天气和亮度等条件、或由于识别对象物及其周边状态或种类等，使得识别对象物与其周边的亮度和色彩的差别很小时，也能够提高识别对象物的识别率。

还有，如果上述道路特征信息包括与上述地上物有关的位置信息、形状信息以及色彩信息中的至少一方，就能够以容易与拍摄的图像信息进行对比的形式获取道路特征信息。

这里，作为上述地上物，包括例如设置在道路路面上的车道线、表示各个前进方向通行区域等的涂料标记、以及与道路相邻的路肩、人行道等不可行驶区域的一方或双方。

本发明的图像识别装置的进一步的特征结构在于，具有：图像信息获取机构，其获取在道路上拍摄的图像信息；道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的第一和第二地上物有关的道路特征信息；第一对象物识别机构，其对上述图像信息中所包含的、比较容易识别的与上述第一地上物对应的第一识别对象物的图像进行识别；道路特征信息核对机构，其对上述第一对象物识别机构的上述第一识别对象物的图像的识别结果、和利用上述道路特征信息获取机构获取的与上述第一地上物有关的上述道路特征信息进行对比，进行上述图像信息和上述道路特征信息的核对；区域推测机构，其基于上述道路特征信息核对机构的核对结果，推测上述图像信息中的比上述第一识别对象物难识别的与上述第二地上物对应的第二识别对象物的图像存在的区域；第二对象物识别机构，其基于上述区域推测机构的推测结果，在推测上述第二识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述第二识别对象物的判断基准低于其它区域，对上述图像信息中所包含的上述第二识别对象物的图像进行识别。地上物地上物地上物地上物

根据该特征结构，对比较容易识别的与第一地上物对应的第一识别对象物的图像的识别结果、和有关上述第一地上物的道路特征信息进行对比，对图像信息和道路特征信息进行核对，基于该核对结果，推测第二识别对象物的图像存在的区域，因此能够正确地推测第二识别对象物的图像存在的区域。从而基于该推测结果，在推测第二识别对象物存在的区域内，以比其它区域更容易识别第二识别对象物的方式调整识别算法，进行图像识别，从而能够提高比第一识别对象物更难识别的第二识别对象物的识别率。

这里，优选上述第一对象物识别机构，从上述图像信息中提取上述第一识别对象物的候选图像，上述道路特征信息核对机构对上述第一识别对象物的候选图像和利用上述道路特征信息获取机构获取的与上述第一地上物有关的上述道路特征信息进行对比，将匹配性高的上述第一识别对象物的候选图像作为上述第一识别对象物的图像进行识别，以所识别的上述第一识别对象物的图像为基准，对上述图像信息和上述道路特征信息进行核对。

这样，由于将与从地图信息获取的道路特征信息匹配性高的候选图像作为第一识别对象物的图像进行识别，所以即使所拍摄的图像信息中包括具有容易误认为第一识别对象物的图像特征的物体，也能够提高第一识别对象物的识别率。并且，由于以这样识别的第一识别对象物的图像为基准，对图像信息和地图信息进行核对，因此能够更高精度地对图像信息和地图信息进行核对。

还有，上述道路特征信息如果包括与上述第一和第二地上物有关的位置信息、形状信息及色彩信息中的至少一方时，就能够以容易与所拍摄的图像信息进行对比的形式获取道路特征信息，从而能够减轻第一和第二识别对象物的识别处理的负荷。

这里，作为比较容易识别的第一地上物，例如相当于设置在道路路面上的车道线、表示各个前进方向通行区域等的涂料标记地上物，而作为比第一地上物难识别的第二地上物，例如相当于与道路相邻的路肩、人行道等不可行驶区域地上物地上物。

还有，优选上述道路特征信息获取机构从构成导航装置的地图信息数据库所具有的地图信息中，在利用上述拍摄装置拍摄上述图像信息时，获取利用构成上述导航装置的位置信息获取机构所获取的位置周边的上述道路特征信息。

这样，利用导航装置必备的结构，可容易地获取道路特征信息。因此，不需要设置作为图像识别装置的专用结构的具有道路特征信息的地图信息数据库和图像信息的拍摄位置的识别装置等，就可以构成廉价的图像识别装置。

还有，优选上述图像信息获取机构以规定的时间间隔获取利用装载在车辆上的拍摄装置拍摄的图像信息。

这样，当本发明的图像识别装置通过装载在车辆上等而移动时，可以对移动中的道路实时进行图像识别。

本发明的车辆控制装置的特征结构在于，具有：图像信息获取机构，其获取在道路上拍摄的图像信息；道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；行驶控制机构，其基于上述图像信息识别机构的识别结果，进行车辆的行驶控制。地上物地上物

根据该特征结构，可以基于图像信息的识别结果来识别车辆周围的状态，从而能够适当地进行例如为了保持车道和防止碰撞等的操舵和加减速等这样的车辆行驶控制。

本发明的导航装置的特征结构在于，具有：地图信息数据库，其具有地图信息；位置信息获取机构，其获取自身位置信息；图像信息获取机构，其获取在道路上拍摄的图像信息；道路特征信息获取机构，其从上述地图信息获取与利用上述位置信息获取机构获取的自身位置周边的地上物有关的道路特征信息；图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；自身位置修正机构，其基于上述图像信息识别机构的识别结果，对上述自身位置信息进行修正。地上物地上物

根据该特征结构，可以基于图像信息的识别结果，对自身位置进行更详细地识别，从而在导航装置中，能够详细显示例如在车道单位等的自身位置，能够基于详细识别的自身位置信息，在最佳时刻进行路线引导等。

本发明的图像识别方法的特征结构在于，具有：图像信息获取工序，获取在道路上拍摄的图像信息；道路特征信息获取工序，从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；图像信息识别工序，利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别。地上物地上物

根据该特征结构，不是只基于拍摄的图像信息进行图像识别，还利用从地图信息获取的与图像信息的拍摄位置周边的地上物有关的道路特征信息进行图像信息的识别处理，因此在只利用拍摄的图像信息难以进行良好的图像识别时，也能够提高识别与上述地上物对应的识别对象物的图像的识别率。

本发明的图像识别方法的进一步的特征结构在于，具有：图像信息获取工序，获取在道路上拍摄的图像信息；道路特征信息获取工序，从地图信息获取与上述图像信息的拍摄位置周边的第一和第二地上物有关的道路特征信息；第一对象物识别工序，对上述图像信息中所包含的、比较容易识别的与上述第一地上物对应的第一识别对象物的图像进行识别；道路特征信息核对工序，对上述第一对象物识别工序的上述第一识别对象物的图像的识别结果、和利用上述道路特征信息获取工序获取的与上述第一识别对象物有关的上述道路特征信息进行对比，进行上述图像信息和上述道路特征信息的核对；区域推测工序，基于上述道路特征信息核对工序的核对结果，推测上述图像信息中的比上述第一识别对象物难识别的与上述第二地上物对应的第二识别对象物的图像存在的区域；第二对象物识别工序，基于上述区域推测工序的推测结果，在推测上述第二识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述第二识别对象物的判断基准低于其它区域，对上述图像信息中所包含的上述第二识别对象物的图像进行识别。地上物地上物地上物

根据该特征结构，对比较容易识别的与第一地上物对应的第一识别对象物的图像的识别结果、和与该第一地上物有关的道路特征信息进行对比，对图像信息和道路特征信息进行核对，基于该核对结果来推测第二识别对象物的图像存在的区域，因此能够正确地推测第二识别对象物的图像存在的区域。从而基于该推测结果，在推测第二识别对象物的图像存在的区域内，以比其它区域更容易识别第二识别对象物的方式调整识别算法，进行图像识别，从而能够提高比第一识别对象物难识别的第二识别对象物的识别率。

附图说明

图1为表示本发明实施方式的图像识别装置的硬件结构的概略方框图。

图2为表示本发明实施方式的图像识别装置中的拍摄装置的配置例的图。

图3为表示本发明实施方式的图像识别装置中的地图信息数据库中存储的地图信息的内容的说明图。

图4为表示本发明实施方式的图像识别装置中的图像识别处理的具体例的流程图。

图5(a)为利用拍摄装置拍摄的图像信息的一例，图5(b)为对图5(a)所示的图像信息进行前处理后的图像信息的一例。

图6为图形化表示利用本发明实施方式的图像识别装置中的道路特征信息获取运算部而获得的道路特征信息的一例的图。

图7为表示本发明实施方式的图像识别装置中的、图像信息和道路特征信息的核对处理(步骤#07)的流程图。

图8(a)为只表示了通过步骤#72的处理而从图像信息提取的涂料标记的图像的图，图8(b)为表示基于图8(a)所示的图像而通过车道线区分了区域的状态的图。

图9为表示对于图5(a)、图5(b)所示的图像信息，检测出道路宽度方向的各位置的边界点数的结果的曲线图。

图10为表示在本发明实施方式的图像识别装置中，利用步骤#7和步骤#10的处理而识别的图像信息G中的图像的图。

具体实施方式

以下参照附图，说明本发明的实施方式。

本实施方式中，以将本发明的图像识别装置1装载在车辆M上的情况为例进行说明。图1为表示本实施方式的图像识别装置1的硬件结构的概略方框图。

如该图1所示，本实施方式的图像识别装置1，作为主要的结构，具有：获取来自被装载在车辆M(参照图2)上的拍摄装置2的图像信息G的图像信息获取部3、GPS(全球定位***)接收机4、为了基于来自方位传感器5和距离传感器6的输出来确定拍摄装置2的拍摄位置而进行运算的位置确定运算部7、为了从存储在地图信息数据库8中的地图信息获取与拍摄装置2的拍摄位置周边的地上物有关的道路特征信息C而进行运算的道路特征信息获取运算部9、为了利用所获取的道路特征信息C而进行图像信息G的识别处理、对图像信息G中所包含的与上述地上物相对应的识别对象物的图像进行识别而进行运算的图像信息识别运算部10。

这里，位置确定运算部7、GPS接收机4、方位传感器5、距离传感器6、和地图信息数据库8可以利用装载在车辆上、用于进行车辆的路线引导等的导航装置的结构。此时，位置确定运算部7、GPS接收机4、方位传感器5、距离传感器6等相当于本发明的“位置信息获取机构”。

拍摄装置2具有例如CCD传感器、CMOS传感器等拍摄元件、和构成将光引导到该拍摄元件的光学***的透镜等。该拍摄装置2在车辆M的例如图2的Q1-Q3所示的位置上朝向前方或后方配置，能够拍摄车辆M行驶的道路11的路面及其周围。作为这种拍摄装置2，为了拍摄车辆M的前方或后方等的映像而可以采用以前设置的车载摄像机等。

图像信息获取部3具有与拍摄装置2连接的接口电路12、对来自拍摄装置2的图像信息G进行前处理的图像前处理电路13、存储前处理后的图像信息G的图像存储器14。接口电路12具有模拟/数字转换器等，以规定时间间隔获取拍摄装置2所拍摄的模拟的图像信息G，并转换成数字信号，输出到图像前处理电路13。利用该接口电路12获取图像信息G的时间间隔可以为例如10-50ms左右。这样，图像信息获取部3基本上可以连续地获取车辆M行驶中的道路11的图像信息。这里，图像前处理电路13，进行二值化处理、边界检测处理等的、使利用图像信息识别运算部10的图像识别能够容易进行的处理，而作为对图像信息G的前处理。并且，这种前处理后的图像信息G被存储在图像存储器14中。

还有，接口电路12，不同于向图像前处理电路13传送的图像信息G，直接向图像存储器14也输出图像信息G。因此，利用图像前处理电路13进行前处理后的图像信息G2、和没有进行前处理的原来的图像信息G1二者都存储在图像存储器14中。

本实施方式中，该图像信息获取部3构成本发明的“图像信息获取机构”。

本实施方式中，位置确定运算部7与GPS接收机4、方位传感器5、和距离传感器6连接。这里，GPS接收机4为接收来自GPS卫星的信号的装置，可以获得GPS接收机4的位置(纬度和经度)和移动速度等各种信息。方位传感器5由地磁传感器或陀螺传感器、或安装在方向盘的旋转部上的光学性旋转传感器或旋转型的电阻调节器、安装在车轮部的角度传感器等构成，可以检测车辆M的前进方向。距离传感器6由检测车轮转速的车速传感器、或检测车辆M的加速度的横摆·G传感器、和对所检测的加速度进行2次积分的电路的组合等构成，可以检测车辆M的移动距离。位置确定运算部7基于来自这些GPS接收机4、方位传感器5、和距离传感器6的输出，进行对车辆M的现在位置进行确定的运算。这样运算的车辆M的位置为拍摄装置2的位置。

还有，位置确定运算部7也与图像信息获取部3的接口电路12连接。该接口电路12在拍摄装置2进行拍摄的时刻，向位置确定运算部7输出信号。因此，位置确定运算部7通过运算接收到来自该接口电路12的信号的输入的时刻的拍摄装置2的位置，可以对图像信息G的拍摄位置进行确定。这样，利用位置确定运算部7确定的图像信息G的拍摄位置由纬度和经度来表示，并输出到道路特征信息获取运算部9。

该位置确定运算部7以CPU等运算处理装置为核心构件，利用硬件或软件或二者安装有对输入的数据进行各种处理的功能部。

道路特征信息获取运算部9与位置确定运算部7和地图信息数据库8连接。

图3为表示地图信息数据库8中存储的地图信息的内容的说明图。如图所示，本实施方式的地图信息数据库8中存储有作为地图信息的道路网络层L1、道路形状层L2、地上物层L3。

道路网络层L1是表示道路11之间的连接信息的层。具体来说，包括具有通过纬度和经度表示的地图上的位置信息的许多节点N的信息、和连接2个节点N来构成道路11的多个路段L的信息。还有，各路段L具有作为路段信息的道路11的类型(高速公路、收费公路、国道、省道等类型)和路段长度等的信息。

道路形状层L2是与道路网络层L1建立关联而被存储的、表示道路11的形状的层。具体来说，包括配置在2个节点N之间(路段L上)并具有通过纬度和经度表示的地图上的位置信息的多个道路形状补充点S的信息、和各道路形状补充点S处的道路宽度W的信息。

地上物层L3是与道路网络层L1和道路形状层L2建立关联而被存储的、表示设置在道路11上和道路11周边的各种地上物的信息的层。作为存储在该地上物层L3中的地上物信息，至少存储有与在该图像识别装置1中能够成为识别对象物的地上物相关的位置、形状、色彩等信息。本实施方式中，具体来说，对于设置在道路11的路面上的涂料标记P、与道路11相邻的不可行驶区域I、设置在道路11上的各种标识15或信号机16等各种地上物，包括以道路形状补充点S或节点N为基准的地图上的位置、和形状及色彩等地上物信息。这里，涂料标记P中，例如包括区分车道的车道线(也包括实线、虚线、双重线等车道线的种类的信息)、斑马线区、指定各车道前进方向的前进方向通行标记、停止线、人行横道、速度表示等。还有，虽然准确来说不是涂料标记，但同样设置在道路11的路面上的窨井在这里也被包括在涂料标记P中。不可行驶区域I包括例如与道路相邻的路肩、人行道、隔离带等。

另外，地图信息数据库8由具有可以存储信息的记录介质及其驱动机构的装置构成硬件结构，例如硬盘驱动器、具有DVD-ROM的DVD驱动器、具有CD-ROM的CD驱动器等。

道路特征信息获取运算部9基于利用位置确定运算部7确定的表示图像信息G的拍摄位置的纬度和经度的信息进行运算，从存储在地图信息数据库8中的地图信息，获取与图像信息G的拍摄位置周边的地上物有关的道路特征信息C。这里，道路特征信息获取运算部9进行运算处理，从作为道路特征信息C的地图信息数据库8的地上物层L3中，提取图像信息G的拍摄位置周边的、至少包括拍摄装置2的拍摄区域的区域内所包含的地上物的位置、形状和色彩等地上物信息。

该道路特征信息获取运算部9以CPU等运算处理装置为核心部件，利用硬件或软件或二者而安装有对输入的数据进行各种处理的功能部。

本实施方式中，该道路特征信息获取运算部9构成本发明的“道路特征信息获取机构”。

图像信息识别运算部10与图像信息获取部3的图像存储器14和道路特征信息获取运算部9连接。并且，图像信息识别运算部10利用由道路特征信息获取运算部9获取的道路特征信息C，对图像信息G进行识别处理，进行用于识别图像信息G中所包含的识别对象物的图像的运算。

还有，在该图像信息识别运算部10中进行图像识别的识别对象物为上述涂料标记P、不可行驶区域I、以及各种标识15或信号机16等作为地上物信息而存储在地上物层L3中的与地上物对应的物体。

该图像信息识别运算部10以CPU等运算处理装置为核心部件，利用硬件或软件或二者而安装有对输入的数据进行各种处理的功能部。

本实施方式中，该图像信息识别运算部10构成本发明的“图像信息识别机构”。

作为图像信息识别运算部10的利用了道路特征信息C的图像信息G的识别处理的具体方法，该图像识别装置1分别单独或组合采用以下2个方法。

第一图像识别处理方法为从图像信息G提取识别对象物的候选图像，与道路特征信息C进行对比，将与道路特征信息C匹配性高的候选图像作为识别对象物的图像进行识别。

还有，第二图像识别处理方法为基于道路特征信息C，推测图像信息G中的识别对象物的图像存在的区域，基于该推测结果，在推测识别对象物的图像存在的区域内，调整识别算法，以使判断是否为识别对象物的判断基准低于其它区域，从而从图像信息G中识别出识别对象物的图像。

本实施方式中，如后面利用流程图说明的那样，图像信息识别运算部10组合该第一和第二图像识别处理方法，对设置在道路11的路面的涂料标记P和与道路11相邻的不可行驶区域I进行识别处理。因此，该图像信息识别运算部10具有涂料标记识别运算部10a、道路特征信息核对部10b、区域推测部10c、和不可行驶区域识别部10d。

下面利用图4所示的流程图，详细地说明组合这些第一和第二图像识别处理方法，对设置在道路11的路面上的涂料标记P、和与道路11相邻的不可行驶区域I进行识别时的具体的图像识别处理的各工序。

另外，该图像识别处理例中，由于涂料标记P与道路11的路面的亮度和色彩的差别大，比较容易识别，故相当于本发明的“第一识别对象物”。另一方面，路肩、人行道、隔离带等不可行驶区域I，因为与道路11及其周围的亮度和色彩的差别小，即使利用边界检测等也常常难以对其轮廓进行确定，相比于涂料标记P难以进行图像识别，故相当于本发明的“第二识别对象物”。

如图4所示，图像识别装置1首先进行获取拍摄装置2拍摄的图像信息G的处理(步骤#01)。具体来说，进行处理而将利用由车载摄像机等构成的拍摄装置2拍摄的图像信息G通过接口电路12传送到图像前处理电路13和图像存储器14。还有此时，接口电路12在从拍摄装置2获取图像信息G的时刻、即在与用拍摄装置2进行拍摄的时刻基本相同的时刻，向位置确定运算部7输出信号。该信号为用于向位置确定运算部7通知拍摄的时刻的信号。

在接收到图像信息G的输入后的图像前处理电路13，对图像信息G进行前处理(步骤#02)。这里进行的前处理例如是进行二值化处理、边界检测处理等使利用图像信息识别运算部10的图像识别能够容易进行的各种处理。图5(a)为利用拍摄装置2拍摄的图像信息G(G1)的一例。图5(b)为对于图5(a)所表示的图像信息G进行了前处理后的图像信息G(G2)的一例。该图5(b)所示例中，由边界检测处理，提取表示作为图像信息G而被拍摄的物体轮廓的图像。并且，在该步骤#02进行了前处理后的图像信息G2、及从接口电路12直接传送来的图像信息G1被存储在图像存储器14中(步骤#03)。

还有，位置确定运算部7中，与步骤#02和#03的处理并行地进行对图像信息G的拍摄位置进行确定的处理(步骤#04)。具体来说，当输出表示从接口电路12获取图像信息G的时刻的信号时，将其作为拍摄装置2的拍摄的时刻，基于GPS接收机4、方位传感器5、和距离传感器6，进行确定车辆M的现在位置的运算。这样确定的车辆M的现在位置被作为图像信息G的拍摄位置。并且，将这里被确定的拍摄位置的信息作为纬度和经度的信息，被传送到道路特征信息获取运算部9。

接着，在道路特征信息获取运算部9，进行处理而从存储在地图信息数据库8的地图信息，获取与图像信息G的拍摄位置周边的地上物有关的道路特征信息C(步骤#05)。此时，道路特征信息获取运算部9从存储在地图信息数据库8的范围广大的地图信息中，提取并获取在步骤#04被确定的拍摄位置的周边的一定范围R内的道路特征信息C。在这里，优选将拍摄位置周边的一定范围R设定为包括利用拍摄装置2作为图像信息G拍摄的区域。

图6为图形化表示利用道路特征信息获取运算部9获得的道路特征信息C的一例的图。本例中，作为道路特征信息C所包含的地上物，作为涂料标记P，有表示单侧3车道的道路11的车道外缘的2根实线的车道线P1a、P1b，将3车道之间分割的2根虚线的车道线P2a、P2b，设置在3车道中的左侧车线的窨井P3。还有，作为不可行驶区域I，有与道路11的左侧相邻的人行道I1、和与道路11的右侧相邻的中央隔离带I2。另外，该图6仅为一个例子，随着图像信息G的拍摄位置的变化，道路特征信息C中会包含各种各样的地上物。

并且，该道路特征信息C的内容由这些各地上物的位置信息、形状信息和色彩信息构成。这里，各地上物的位置信息通过以道路形状补充点S(如果交叉点等节点N存在时，也包括节点N(参照图3))为基准的位置信息来表示。即，对于例如涂料标记P中的实线的车道线P1a、P1b、或虚线的车道线P2a、P2b、或不可行驶区域I的人行道I1或中央隔离带I2等沿着道路11设置的地上物，只利用离开道路形状补充点S(或节点N)的距离(偏移量)来表示。另一方面，对于不是沿着道路11设置的窨井P3、停止线、标识等地上物，则利用离开确定的道路形状补充点S(或节点N)的距离和方向来表示位置信息。

还有，各地上物的形状信息包括以根据上述位置信息确定的位置为基准而在纵、横、高的方向上分别具有多大的尺寸、具有怎样的形状(轮廓)等的信息。优选该形状信息为被简略表示的信息，以便容易与图像信息G进行对比。

当不是跟例如道路标识等一样的色彩的地上物时，优选各地上物的色彩信息为在每个上述形状信息中的区域中存储色彩信息的信息。

接着，在图像信息识别运算部10的涂料标记识别运算部10a中，对图像信息G中所包含的涂料标记P的图像进行识别处理(步骤#06)。本实施方式中，在该步骤中，进行到从在步骤#02进行了前处理后的图像信息G2中提取可能为涂料标记P的候选图像的处理。这里，具体来说，如图5(b)所示，进行处理，从进行了边界检测处理等前处理后的图像信息G2中，提取与表示车道线和窨井等涂料标记P的特征的模板等预先规定的特征数据匹配性高的图像，将其作为涂料标记P的候选图像。在图5(a)、图5(b)所示例中，除去前方行驶的车辆的图像GS和与其重叠的右侧虚线的车道线的图像GP2b，其他的图像、即左侧虚线的车道线的图像GP2a、左侧实线的车道线的图像GP1a、处于其外侧的人行道的路边石的图像GI1a、右侧实线的车道线的图像GP1b、以及窨井的图像GP3均作为涂料标记P的候选图像而被提取出。

如上所述，因为本例中涂料标记P相当于本发明的“第一识别对象物”，所以进行该涂料标记P的图像识别的涂料标记识别运算部10a构成本发明的“第一对象物识别机构”。

然后，在图像信息识别运算部10的道路特征信息核对部10b中，将在步骤#06中的涂料标记P的图像的识别结果、和在步骤#05获得的道路特征信息C中的与涂料标记P相关的信息进行对比，对图像信息G和道路特征信息C进行核对(步骤#07)。本实施方式中，对涂料标记P的候选图像和与涂料标记P有关的道路特征信息C进行对比，将匹配性高的涂料标记P的候选图像作为涂料标记P的图像进行识别，以所识别的涂料标记P的图像为基准，对图像信息G和道路特征信息C进行核对。

因此，本实施方式中，该道路特征信息核对部10b构成本发明的“道路特征信息核对机构”。

图7表示本实施方式的步骤#07的处理的流程图。如该图所示，该步骤#07的处理首先将在步骤#06提取的涂料标记P的候选图像、和在步骤#05获得的道路特征信息C中的与涂料标记P相关的信息进行对比(步骤#71)，提取位置关系、形状、色彩和亮度等各信息的匹配性高的候选图像(步骤#72)。在图6所示例中，基于与涂料标记P相关的道路特征信息C，可以得知实线和虚线的车道线P1a、P1b、P2a、P2b的位置关系(间隔)、这些车道线P1a、P1b、P2a、P2b与窨井P3的位置关系、以及这些车道线P1a、P1b、P2a、P2b和窨井P3的形状、色彩和亮度等。因此，通过提取这些与道路特征信息C匹配性高的图像信息G中的涂料标记P的候选图像，可以只提取涂料标记P的可能性高的候选图像。在图5(a)、图5(b)所示例中，通过步骤#72的处理，除去处于左侧实线的车道线的图像GP1a的外侧的人行道的路边石的图像GI1a。并且，将这样提取的候选图像识别为涂料标记P的图像。另外，可以从存储在图像存储器14中的没有进行前处理的图像信息G中，获得涂料标记P的候选图像的色彩、亮度等信息。

图8(a)为只表示了由步骤#72的处理而从图像信息G提取的涂料标记P的图像的图。另外，由于右侧虚线的车道线的图像GP2b与车辆的图像GS一起被从涂料标记P的候选图像中除去，因此在这里没有被包括在提取的涂料标记P的图像中(另外，在图8(a)中以虚线表示)。

接着，以所识别的涂料标记P的图像为基准，对图像信息G与道路特征信息C进行核对(步骤#73)。即，通过让图像信息G中的所识别的涂料标记P的图像的位置、与道路特征信息C所包含的涂料标记P的位置以一致的方式建立对应，可以使道路特征信息C所包含的各地上物的信息与图像信息G所包含的图像建立对应。此时，通过以沿道路11设置的车道线GP1a、GP2a等地上物为基准，可以正确地将道路11宽度方向的位置关系建立对应关系。通过以不沿道路11设置的窨井P3、图中未表示的停止线、标识等地上物为基准，可以正确地将沿着道路11的方向的位置关系建立对应。

然后，如图4所示，在图像信息识别运算部10的区域推测部10c，基于步骤#07的道路特征信息C与图像信息G的核对结果，进行处理而推测图像信息G中的不可行驶区域I的图像存在的区域(步骤#08)。即，如果基于上述步骤#07的图像信息G与道路特征信息C的核对结果，就可以推测图像信息G中包括涂料标记P和不可行驶区域I的各地上物的图像的配置。这里，进行运算而根据步骤#07的核对结果，推测与道路特征信息C中包含的不可行驶区域I的位置和形状对应的图像信息G中的区域。并且，推测作为该步骤#08的处理的结果而运算的区域为不可行驶区域I的图像存在的区域。

本实施方式中，如图8(b)所示，基于通过步骤#72的处理提取的涂料标记P中的车道线P1a、P1b、P2a，将作为图像信息G而拍摄的图像范围简单分割为车道线P1a、P1b、P2a各自相属的区域A1-A3、和被这些A1-A3区域相隔的区域A4-A7。并且，进行处理而基于步骤#07的核对结果，判断各自的区域A4-A7是否包含不可行驶区域I，从而推测不可行驶区域I的图像存在的区域。这里，如图6所示，基于道路特征信息C，可以判断在道路11两侧的实线的车道线P1a、P1b的外侧分别存在不可行驶区域I，因此可以推测在该道路11两侧的实线的车道线P1a、P1b所属的区域A1和A3的外侧区域A4和A7内，存在不可行驶区域I的图像。

接着，基于步骤#08的推测结果，调整图像信息识别运算部10的不可行驶区域识别部10d的识别算法(步骤#09)，识别图像信息G中包含的不可行驶区域I的图像(步骤#10)。

本实施方式中，对于在步骤#08中推测存在不可行驶区域I的图像的区域A4和A7内，调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域(这里为区域A5和A6)。即，如上所述，由于人行道I1、隔离带I2、路肩等不可行驶区域I与道路11及其周围相比，亮度和色彩的差别小，即使利用边界检测等，也常常很难对轮廓进行确定，一般来说，其图像识别比涂料标记P要困难。这里，对于推测存在不可行驶区域I的图像的区域A4和A7，通过调整识别算法，以使比其他区域更容易识别不可行驶区域I，从而可以提高不可行驶区域I的识别率。

另外，为了调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域，除了使推测不可行驶区域I的图像存在的区域A4和A7的判断基准低于其他区域的方法之外，还有相对区域A4和A7而提高其他区域的判断基准的方法、或在使区域A4和A7的判断基准低于其他区域的同时、相对区域A4和A7提高其他区域的判断基准的方法等。该识别算法的具体的调整方法为适应于不可行驶区域I的识别方法的方法。

例如，本实施方式中，作为不可行驶区域I的图像的识别算法是如下这样的算法：对图像信息G进行边界检测处理，检测出道路11的宽度方向的各位置的边界点数，将该边界点数大于等于规定的阈值的地方识别为不可行驶区域I。并且，作为此时的阈值，如图9所示，采用设定为低的值的第一阈值t1、和设定为高的值的第二阈值t2。即，在推测不可行驶区域I的图像存在的区域A4和A7内，采用第一阈值t1，在除此之外的区域A5和A6内，采用第二阈值，从而针对推测不可行驶区域I的图像存在的区域A4和A7内调整识别算法，以使判断是否为不可行驶区域I的判断基准低于其它区域A5和A6。

图9为表示对于图5(a)、图5(b)所示的图像信息G、检测出道路11宽度方向的各位置的边界点数的结果的曲线图。如该图所示，区域A1-A3由于存在车道线P1a、P1b、P2a，因此边界点数多，这些区域A1-A3不会成为不可行驶区域I的图像识别的对象。因为区域A5除了窨井P3存在的位置外，只有柏油路面，所以整体上边界点数少。

另一方面，区域A4、A6、A7的边界点数在某种程度上增多。从结论上来说，区域A4和A7分别由于存在人行道I1或中央隔离带I2这样的不可行驶区域I而边界点数增多。相对于此，区域A6是由于存在前方车辆的图像Gs和隐藏在该车辆的图像Gs中的虚线的车道线GP2b而边界点数增多。但是，只根据边界点数，很难判断是否为不可行驶区域I。

此时，基于步骤#08的推测结果，针对推测不可行驶区域I的图像存在的区域A4和A7内，使判断为不可行驶区域I的阈值为被设定为低的值的第一阈值t1。针对其它区域A5和A6内，使判断为不可行驶区域I的阈值为被设定为高的值的第二阈值t2。这样，基于步骤#08的推测结果，在推测不可行驶区域I的图像存在的区域A4和A7内，可以减少不可行驶区域I的漏检，同时能够防止在其它区域A5和A6内误检测为不可行驶区域I。因此，可以提高不可行驶区域I的识别率。这些第一阈值t1和第二阈值t2的合适的数值可以通过实验或统计方法求出。还有，作为1个适当的实施方式，可以使这些第一阈值t1和第二阈值t2的值为可变值，该可变值基于从图像信息G提取的其他信息或来自装载在车辆M上的其他传感器的信号等而进行变化。

通过这种不可行驶区域I的图像的识别处理，可以对路肩、人行道、隔离带等不可行驶区域I进行高精度的图像识别。本实施方式中，如图10所示，除了通过步骤#72的处理提取的涂料标记P的图像，还分别识别车道线P1a的图像GP1a左侧的人行道I1的图像GI1、车道线P1b的图像GP1b右侧的中央隔离带I2的图像GI2。

以上说明的步骤#01-#10的一系列工序以规定的时间间隔反复进行。这样，可以实现行驶中的车辆M的实时的图像识别。

并且，该图像识别装置1可以适用于对车辆M进行行驶控制的车辆控制装置、和显示自身位置的导航装置等。例如，将该图像识别装置1用于车辆控制装置时，可以基于图像信息识别运算部10的图像识别结果，识别车辆M的周围状况、例如从车辆M到人行道或隔离带等不可行驶区域I的距离和方向、到停止线、车道线、人行横道线等的距离和方向等，因此能够适当地进行例如为了保持车道、防止碰撞、防止事故等的操舵或加减速等这样的车辆行驶控制。

还有，将该图像识别装置1用于导航装置时，可以基于图像信息识别运算部10的图像识别结果，比过去的只利用GPS接收机4、方位传感器5、和距离传感器6等的情况相比，能够更加详细地识别自身位置，因此能够以例如车道单位等进行自身位置的详细显示，或者能够基于详细识别的自身位置的信息，在最佳时刻进行路线引导等。

(其他实施方式)

(1)如上所述，说明了在图4的流程图所示的实施方式中，组合第一图像识别处理方法和第二图像识别处理方法，对道路11的路面上设置的涂料标记P、和与道路11相邻的不可行驶区域I进行识别的情况，但是当然也可以只利用第一图像识别处理方法，提取涂料标记P、不可行驶区域I的候选图像，与道路特征信息C进行对比，将与道路特征信息C匹配性高的候选图像作为涂料标记P或不可行驶区域I的图像而进行图像识别。

还有，也可以只利用第二图像识别处理方法，对涂料标记P或不可行驶区域I的图像进行识别。即，基于位置确定运算部7所确定的拍摄位置和道路特征信息C，推测图像信息G中的涂料标记P、不可行驶区域I的图像的存在的区域，基于该推测结果，在推测涂料标记P或不可行驶区域I的图像存在的区域内，调整识别算法，以使判断是否为涂料标记P或不可行驶区域I的判断基准低于其它区域，进行从图像信息G中对识别对象物的图像进行识别的图像识别也是可以的。

(2)在上述实施方式中，以将图像识别装置1装载在车辆M上的情况为例进行了说明，但该图像识别装置1的用途并不局限于装载在车辆M上。即，本发明的图像识别装置1可以适用于拍摄装置2在道路上移动的情况。还有，也可以适用于对在道路上拍摄的静止图像进行图像识别。

还有，并不是图像识别装置1的整体结构都必须装载在车辆M上。即，除了拍摄装置2以外的一部分结构也可以在通过因特网等通信网络而被连接的状态下，设置在车辆M之外，通过因特网进行信息、信号的发送接收，从而构成图像识别装置1。此时，可以利用车外的服务器等执行例如图像信息识别运算部10的功能。

本发明的图像识别装置及图像识别方法，可以适用于如装载在车辆等上的情况那样的、对通过在道路上移动的拍摄装置所拍摄的图像信息进行识别处理等的用途中。

Claims (15)

1.一种图像识别装置，其特征在于，具有：

图像信息获取机构，其获取在道路上拍摄的图像信息；

道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；

图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别。

2.根据权利要求1所记载的图像识别装置，其特征在于，上述图像信息识别机构从上述图像信息中提取上述识别对象物的候选图像，与上述道路特征信息进行对比，将与上述道路特征信息匹配性高的上述候选图像作为上述识别对象物的图像而进行识别。

3.根据权利要求1所记载的图像识别装置，其特征在于，上述图像信息识别机构基于上述道路特征信息，推测上述图像信息中的上述识别对象物的图像存在的区域，基于该推测结果，在推测上述识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述识别对象物的判断基准低于其它区域。

4.根据权利要求1～3中任意一项所记载的图像识别装置，其特征在于，

上述道路特征信息包括与上述地上物有关的位置信息、形状信息以及色彩信息中的至少一方。

5.根据权利要求1～4中任意一项所记载的图像识别装置，其特征在于，作为上述地上物，包括设置在道路路面上的涂料标记以及与道路相邻的不可行驶区域的一方或者双方。

6.一种图像识别装置，其特征在于，具有：

图像信息获取机构，其获取在道路上拍摄的图像信息；

道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的第一和第二地上物有关的道路特征信息；

第一对象物识别机构，其对上述图像信息中所包含的、比较容易识别的与上述第一地上物对应的第一识别对象物的图像进行识别；

道路特征信息核对机构，其对上述第一对象物识别机构的上述第一识别对象物的图像的识别结果、和利用上述道路特征信息获取机构获取的与上述第一地上物有关的上述道路特征信息进行对比，进行上述图像信息和上述道路特征信息的核对；

区域推测机构，其基于上述道路特征信息核对机构的核对结果，推测上述图像信息中的比上述第一识别对象物难识别的与上述第二地上物对应的第二识别对象物的图像存在的区域；

第二对象物识别机构，其基于上述区域推测机构的推测结果，在推测上述第二识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述第二识别对象物的判断基准低于其它区域，对上述图像信息中所包含的上述第二识别对象物的图像进行识别。

7.根据权利要求6所记载的图像识别装置，其特征在于，上述第一对象物识别机构从上述图像信息中提取上述第一识别对象物的候选图像，

上述道路特征信息核对机构，对上述第一识别对象物的候选图像和利用上述道路特征信息获取机构获取的与上述第一地上物有关的上述道路特征信息进行对比，将匹配性高的上述第一识别对象物的候选图像作为上述第一识别对象物的图像进行识别，以所识别的上述第一识别对象物的图像为基准，进行上述图像信息和上述道路特征信息的核对。

8.根据权利要求6或7所记载的图像识别装置，其特征在于，上述道路特征信息包括与上述第一和第二地上物有关的位置信息、形状信息及色彩信息中的至少一方。

9.根据权利要求6～8中任意一项所记载的图像识别装置，其特征在于，

上述第一地上物为设置在道路路面上的涂料标记，上述第二地上物为与道路相邻的不可行驶区域。

10.根据权利要求1～9中任意一项所记载的图像识别装置，其特征在于，

上述道路特征信息获取机构，从构成导航装置的地图信息数据库所具有的地图信息中，在利用上述拍摄装置拍摄上述图像信息时，获取利用构成上述导航装置的位置信息获取机构所获取的位置周边的上述道路特征信息。

11.根据权利要求1～10中任意一项所记载的图像识别装置，其特征在于，上述图像信息获取机构，以规定的时间间隔获取利用装载在车辆上的拍摄装置拍摄的图像信息。

12.一种车辆控制装置，其特征在于，具有：

图像信息获取机构，其获取在道路上拍摄的图像信息；

道路特征信息获取机构，其从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；

图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；

行驶控制机构，其基于上述图像信息识别机构的识别结果，进行车辆的行驶控制。

13.一种导航装置，其特征在于，具有：

地图信息数据库，其具有地图信息；

位置信息获取机构，其获取自身位置信息；

图像信息获取机构，其获取在道路上拍摄的图像信息；

道路特征信息获取机构，其从上述地图信息获取与利用上述位置信息获取机构获取的自身位置周边的地上物有关的道路特征信息；

图像信息识别机构，其利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别；

自身位置修正机构，其基于上述图像信息识别机构的识别结果，对上述自身位置信息进行修正。

14.一种图像识别方法，其特征在于，具有：

图像信息获取工序，获取在道路上拍摄的图像信息；

道路特征信息获取工序，从地图信息获取与上述图像信息的拍摄位置周边的地上物有关的道路特征信息；

图像信息识别工序，利用上述道路特征信息进行上述图像信息的识别处理，对上述图像信息中所包含的与上述地上物对应的识别对象物的图像进行识别。

15.一种图像识别方法，其特征在于，具有：

图像信息获取工序，获取在道路上拍摄的图像信息；

道路特征信息获取工序，从地图信息获取与上述图像信息的拍摄位置周边的第一和第二地上物有关的道路特征信息；

第一对象物识别工序，对上述图像信息中所包含的、比较容易识别的与上述第一地上物对应的第一识别对象物的图像进行识别；

道路特征信息核对工序，对上述第一对象物识别工序的上述第一识别对象物的图像的识别结果、和利用上述道路特征信息获取工序获取的与上述第一识别对象物有关的上述道路特征信息进行对比，进行上述图像信息和上述道路特征信息的核对；

区域推测工序，基于上述道路特征信息核对工序的核对结果，推测上述图像信息中的比上述第一识别对象物难识别的与上述第二地上物对应的第二识别对象物的图像存在的区域；

第二对象物识别工序，基于上述区域推测工序的推测结果，在推测上述第二识别对象物的图像存在的区域内，调整识别算法，以使判断是否为上述第二识别对象物的判断基准低于其它区域，对上述图像信息中所包含的上述第二识别对象物的图像进行识别。

Images