CN118140158A - 物体识别方法及物体识别装置 - Google Patents

Abstract

本发明的物体识别方法，对从物体检测传感器获取的测距点进行聚类，并以一定的周期生成聚类，使聚类对应到由摄像单元拍摄的图像上，将聚类对应的图像上的区域设定为处理区域，从设定的处理区域内的图像中提取特征点，计算提取出的特征点的移动速度，基于与不同时间点的聚类对应的两个特征点的位置差和与不同时间点的聚类对应的两个特征点的移动速度差，判定不同时间点的聚类是否为同一物体的聚类。

Description

物体识别方法及物体识别装置

技术领域

本发明涉及一种识别存在于车辆的周围的物体的物体识别方法及其装置。

背景技术

以往，作为检测车辆的周围的物体的物体检测装置，公开了专利文献1。专利文献1所公开的物体检测装置中，将通过LIDAR获取的测量点进行聚类并成为一个或多个聚类，并将聚类应用于形状模型。

现有技术文献

专利文献

专利文献1：日本特开2017－129446号公报

发明要解决的课题

在此，在上述现有的物体检测装置中，在将聚类应用于形状模型时，使用聚类的移动速度来判断是否将聚类应用于形状模型。但是，即使是同一物体上的测量点，在不同的时间点，聚类的位置也可能不同，所以很难准确地测量聚类的移动速度。

例如，当车辆的后方被建筑物的影子遮挡时，车辆的前方部分的测量点被聚类，而当车辆的前方被建筑物的影子遮挡时，车辆的后方部分的测量点被聚类。因此，在不同的时间点，即使是同一车辆，不同的部位被聚类，因此无法准确地测量聚类的移动速度。

这样，在现有的物体检测装置中，由于无法准确地测量聚类的移动速度，因此，存在无法将车辆的周围的物体在不同时间点准确地识别为同一物体的问题。

发明内容

于是，本发明是鉴于上述实际情况而提出的，其目的在于提供一种能够将车辆的周围的物体在不同的时间点准确地识别为同一物体的物体识别方法及其装置。

为了解决上述课题，本发明的一方式的物体识别方法及其装置，对从物体检测传感器获取的测距点进行聚类(clustering：分类或分组)并以一定的周期生成聚类(cluster：类或组)。然后，将聚类对应于由摄像单元拍摄到的图像上，将聚类所对应的图像上的区域设定为处理区域，从设定的处理区域内的图像中提取特征点，计算提取出的特征点的移动速度。其结果是，基于与不同时间点的聚类对应的两个特征点的位置差和与不同时间点的聚类对应的两个特征点的移动速度差来判定不同时间点的聚类是否为同一物体的聚类。

发明效果

根据本发明，能够将车辆的周围的物体在不同的时间点准确地识别为同一物体。

附图说明

图1是表示搭载了第一实施方式的物体识别装置的车辆的结构的块图。

图2是用于说明第一实施方式的物体识别装置执行的同一物体的判定方法的图。

图3是用于说明第一实施方式的物体识别装置执行的同一物体的判定方法的图。

图4A是表示第一实施方式的物体识别装置执行的物体识别处理的处理顺序的流程图。

图4B是表示第一实施方式的物体识别装置执行的物体识别处理的处理顺序的流程图。

图5是表示由第一实施方式的物体识别装置生成的评价矩阵的一例的图。

图6是表示由第一实施方式的物体识别装置生成的评价矩阵的一例的图。

图7是用于说明第一实施方式的物体识别装置执行的进行聚类的图。

图8是表示由第一实施方式的物体识别装置生成的评价矩阵的一例的图。

图9是表示由第一实施方式的物体识别装置生成的评价矩阵的一例的图。

图10是用于说明现有的物体检测装置执行的进行聚类的图。

图11是表示搭载了第二实施方式的物体识别装置的车辆的结构的块图。

图12是用于说明第二实施方式的物体识别装置执行的同一物体的判定方法的图。

具体实施方式

(第一实施方式)

以下，参照附图对应用了本发明的第一实施方式进行说明。附图的记载中，对同一部分标记相同符号并省略详细说明。

(具备物体识别装置的车辆的结构)

图1是表示具备了本实施方式的物体识别装置的车辆结构的块图。如图1所示，车辆100具备：物体识别装置1、物体检测传感器3和摄像机5。当车辆100开始行驶时，物体识别装置1使用由物体检测传感器3检测出的测距点和由摄像机5拍摄的图像，检测存在于车辆100的周围的物体。然后，判定检测出的物体在不同的时间点是否为同一物体，跟踪检测出的物体。

物体检测传感器3检测存在于车辆100的周围的物体，检测测量了距所检测出的物体上的各点的距离后的测距点。检测出的测距点被输出到物体识别装置1，并记录在未图示的存储器等存储装置中。物体检测传感器3只要是能够检测出距存在于车辆100的周围的物体的距离的传感器即可。例如，可以使用LiDAR(Light Detection and Ranging：光探测与测距***)、激光雷达、立体摄影机、和ToF(Time of Flight：飞行时间激光测距)摄像机。

摄像机5是具有CCD(Charge-Coupled Device:电荷耦合器件)或CMOS(complementary metal oxide semiconductor:互补金属氧化物半导体)等摄像元件的摄像单元。摄像机5被搭载在车辆100上，拍摄车辆100的周围。拍摄的图像被输出到物体识别装置1，并记录在未图示的存储器等存储装置中。

物体识别装置1搭载在车辆100上，识别存在于车辆100的周围的物体。特别地，物体识别装置1对从物体检测传感器3获取的测距点进行聚类，并以一定的周期生成聚类，使聚类对应于由摄像机5拍摄的图像上并设定处理区域。然后，从处理区域内的图像中提取特征点，计算该特征点的移动速度，基于不同时间点的聚类对应的两个特征点的位置差和移动速度差，判定不同时间点的聚类是否为同一物体的聚类。物体识别装置1具备：聚类部11、处理区域设定部13、特征点提取部15、移动速度计算部17和同一物体判定部19。

聚类部11获取由物体检测传感器3检测出的测距点，通过对所获取的测距点进行聚类处理，从而以一定的周期生成聚类。在聚类处理中，在所获取的测距点中，将彼此存在于规定距离以内的多个测距点进行分组(聚类)来生成聚类。

处理区域设定部13获取由摄像机5拍摄的车辆100的周围的图像，将由聚类部11生成的聚类对应到所获取的图像上，并将聚类对应的图像上的区域设定为处理区域。

例如，如图2所示，对在时刻t＝k时由物体检测传感器3检测出的多个测距点21a进行聚类，生成聚类C1。然后，生成的聚类C1被重叠在由摄像机5拍摄的图像23a上，并将重叠了聚类C1的图像23a上的区域设定为处理区域25a。同样，在时刻t＝k+1，也将根据测距点21b生成的聚类C10重叠到图像23b上来设定处理区域25b。

特征点提取部15从由处理区域设定部13设定的处理区域内的图像中提取特征点。例如，特征点提取部15从图2的图像23a、23b的处理区域25a、25b中提取出特征量高的特征点27a、27b。

另外，特征点是指例如图像上与周围的像素的亮度差、色调差比其它部位大的边缘点、或相对于周围的像素在亮度或色调的变化关系中具有特征的点等、与周围的像素的关系中具有特征的点。即，特征点是指相对于其他的像素具有可判别的特殊的特征的像素或像素的集合。这样的图像上的特征点的提取方法是一般公知的方法，不限于上述方法，可以适当应用公知的方法。

移动速度计算部17计算由特征点提取部15提取出的特征点的移动速度。具体地，移动速度计算部17通过模板匹配等将提取出的特征点与前一帧的图像上的特征点进行匹配，根据匹配的特征点彼此的坐标计算出光流场(optical flow)。光流场是指将图像中的物体的运动用矢量来表示。然后，移动速度计算部17将光流场的速度矢量在处理区域内进行平均化，而计算成特征点的移动速度。另外，光流场的计算方法是已经通常公知的技术，在此不作详述。

例如，如图2所示，将从时刻t＝k+1的图像23b中提取出的特征点27b与从时刻t＝k的图像23a中提取出的特征点27a相匹配，并根据匹配后的特征点彼此的坐标计算出光流场29b。然后，对处理区域25b内的多个光流场29b的速度矢量进行平均化而计算成速度矢量(vx，vy)。该速度矢量成为与时刻t＝k+1的聚类C10对应的特征点的移动速度。

同一物体判定部19基于与不同时间点的聚类对应的两个特征点的位置差和与不同时间点的聚类对应的两个特征点的移动速度差，判定不同时间点的聚类是否为同一物体的聚类。

例如，如图3所示，对判定在时刻t＝k检测出的聚类C1、C2、C3和在时刻t＝k+1检测出的聚类C10、C20、C30是否为同一物体的情况进行说明。同一物体判定部19按照由移动速度计算部17计算出的移动速度，使聚类C1、C2、C3内的特征点仅移动时刻t＝k与时刻t＝k+1的时间差的量，求出聚类C1’、C2’、C3’。

然后，同一物体判定部19设定聚类C1’、C2’、C3’与聚类C10、C20、C30之间的组合，针对各组合分别计算出一致度，并基于该一致度判定是否为同一物体的聚类。

一致度f是表示不同时间点的聚类的一致程度的参数，可以通过下式(1)计算。

f＝a×(与聚类对应的特征点的位置差)²+b×(与聚类对应的特征点的移动速度差)²(1)

其中，a、b是系数。

在该一致度f的公式中，基于与不同时间点的聚类对应的两个特征点的位置差计算出第一评价点，基于与不同时间点的聚类对应的两个特征点的移动速度差计算出第二评价点。然后，基于这些第一评价点和第二评价点，计算出一致度。如式(1)所示，一致度是使用特征点的位置差和移动速度差来计算的，所以一致度越小，则不同时间点的两个聚类的一致程度就越高。

具体地，第一评价点是与不同时间点的聚类对应的两个特征点的位置差的平方，第二评价点是与不同时间点的聚类对应的两个特征点的移动速度差的平方。然后，设定与第一评价点相乘的第一系数a和与第二评价点相乘的第二系数b，并将第一评价点乘以第一系数a后的值和第二评价点乘以第二系数b后的值相加而计算出一致度f。另外，第一评价点和第二评价点分别是位置和速度，因此单位不同。于是，第一系数a和第二系数b被设定为将单位的差异标准化。

例如，在图3中，在聚类C1’和C10的组合的情况下，首先，求出与聚类C1’对应的特征点的位置和与聚类C10对应的特征点的位置差。同样地，若求出与聚类C1’对应的特征点的移动速度和与聚类C10对应的特征点的移动速度差，并对这些差取平方并分别乘以系数a、b进行相加，则能够计算出一致度f。其结果是，如果一致度f足够小，则能够判定为不同时间点的聚类C1和C10是同一物体的聚类。其中，将在后面叙述详细的判定方法。

另外，物体识别装置1是由微型计算机、微处理器、包含CPU的通用电子回路和存储器等***设备构成的控制器，安装有用于执行物体识别处理的计算机程序。物体识别装置1的各功能可以由一个或多个处理回路来实现。处理回路例如包括包含电气回路的已编程的处理装置，另外也包括配置为执行实施方式所记载的功能的面向特定用途的专用集成回路(ASIC)或传统型的回路组件那样的装置。

(物体识别处理)

接着，对由本实施方式的物体识别装置1执行的物体识别处理进行说明。图4A和图4B是表示本实施方式的物体识别装置1执行的物体识别处理的处理步骤的流程图。当车辆100起动时，开始进行物体识别处理。

如图4A所示，在时刻t＝k-1的步骤S10中，摄像机5拍摄车辆的周围，并输出时刻t＝k-1的图像。拍摄的图像被输出到物体识别装置1的存储器等存储装置中。

在步骤S11中，特征点提取部15从在步骤S10中拍摄的图像中提取特征点。例如，如图2所示，从图像23提取出特征点27。

进入到时刻t＝k，在步骤S20中，聚类部11获取由物体检测传感器3检测出的测距点，通过对所获取的测距点进行聚类处理而生成聚类。例如，如图2所示，在时刻t＝k，根据测距点21a生成聚类C1。

在步骤S21中，摄像机5拍摄车辆的周围，并输出时刻t＝k的图像。

在步骤S22中，处理区域设定部13获取由摄像机5拍摄到的时刻t＝k的图像，并使在步骤S20中生成的聚类对应到所获取的图像上，将聚类对应的图像上的区域设定为处理区域。例如，如图2所示，在时刻t＝k，在图像23a中设定处理区域25a。

在步骤S23中，特征点提取部15从在步骤S22中设定的处理区域内的图像中提取特征点。例如，如图2所示，从图像23a的处理区域25a提取出特征点27a。

在步骤S24中，移动速度计算部17通过模板匹配等将所提取出的特征点与前一帧的图像上的特征点进行匹配。例如，如图2所示，将从时刻t＝k的图像23a中提取出的特征点27a与从时刻t＝k-1的图像23中提取出的特征点27进行匹配。

在步骤S25中，移动速度计算部17根据在步骤S24中匹配的特征点彼此的坐标计算出光流场。例如，如图2所示，根据匹配的特征点27和特征点27a的坐标计算出光流场29a。

在步骤S26中，移动速度计算部17对处理区域25a内的多个光流场29a的速度矢量进行平均化以计算出速度矢量(vx，vy)。该速度矢量成为与时刻t＝k的聚类C1对应的特征点的移动速度。

接着，进入到图4B所示的时刻t＝k+1，在步骤S30中，聚类部11获取由物体检测传感器3检测出的测距点，通过对所获取的测距点进行聚类处理而生成聚类。例如，如图2所示，在时刻t＝k+1，根据测距点21b生成聚类C10。

在步骤S31，摄像机5拍摄车辆的周围，并输出时刻t＝k+1的图像。

在步骤S32中，处理区域设定部13获取由摄像机5拍摄到的时刻t＝k+1的图像，并使在步骤S30中生成的聚类对应到所获取的图像上，将聚类对应的图像上的区域设定为处理区域。例如，如图2所示，在时刻t＝k+1时，在图像23b中设定处理区域25b。

在步骤S33中，特征点提取部15从在步骤S32中设定的处理区域内的图像中提取出特征点。例如，如图2所示，从图像23b的处理区域25b提取出特征点27b。

在步骤S34中，移动速度计算部17通过模板匹配等将所提取出的特征点与前一帧的图像上的特征点进行匹配。例如，如图2所示，将从时刻t＝k+1的图像23b中提取出的特征点27b与从时刻t＝k的图像23a中提取出的特征点27a进行匹配。

在步骤S35中，移动速度计算部17根据在步骤S34中匹配的特征点彼此的坐标计算光流场。例如，如图2所示，根据匹配的特征点27a和特征点27b的坐标计算光流场29b。

在步骤S36中，移动速度计算部17对处理区域25b内的多个光流场29b的速度矢量进行平均化而计算成速度矢量(vx，vy)。该速度矢量成为与时刻t＝k+1的聚类C10对应的特征点的移动速度。

在步骤S37中，同一物体判定部19按照在步骤S26中计算出的移动速度使前一帧的聚类移动，并求出移动后的聚类。例如，如图3所示，使时刻t＝k的聚类C1、C2、C3内的特征点按照移动速度仅移动t＝k与t＝k+1的时间差的量，并求出移动后的聚类C1’、C2’、C3’。

在步骤S38，同一物体判定部19判定不同时间点的聚类是否为同一物体的聚类。首先，同一物体判定部19在不同时间点的聚类之间设定组合，针对所设定的各组合计算一致度。具体地，设定在步骤S37中移动的聚类和当前帧的聚类之间的组合，并对各组合分别计算一致度。例如，如图3所示，设定移动后的聚类C1’、C2’、C3’和当前帧的聚类C10、C20、C30之间的组合，并针对各组合分别计算一致度。

可以通过上述式(1)计算出一致度f。如果具体描述公式(1)，则聚类Ci和聚类Cj的一致度可由以下式(2)表示。

f(Ci，Cj)＝ a(xi-xj)² + a(yi-yj)² + b(vxi-vxj)² + b(vyi-vyj)² (2)

例如，在聚类C1’和C10的组合中，求出与聚类C1’对应的特征点的位置和与聚类C10对应的特征点的位置差，并求出与聚类C1’对应的特征点的移动速度和与聚类C10对应的特征点的移动速度差。然后，若将这些差平方后分别乘以系数a、b并相加，则能够计算出一致度f。

在这样计算出一致度后，接着，同一物体判定部19利用针对所设定的各组合计算出的一致度来生成评价矩阵。例如，如图5所示，设定移动后的聚类C1′、C2′、C3′和当前帧的聚类C10、C20、C30之间的组合，并利用分别针对各组合计算出的一致度来生成评价矩阵。构成图5的评价矩阵的数值为一致度。关于一致度，数值越小，则组合的聚类彼此为同一物体的聚类的可能性就越高。

在此，同一物体判定部19将充分认为所组合的不同时间点的两个聚类是同一物体的聚类的一致度设定为充分阈值。因此，小于该充分阈值且具有满足充分阈值的一致度的组合可以判定为是同一物体的聚类。

另外，同一物体判定部19将为使所组合的不同时间点的两个聚类成为成为同一物体的聚类的至少所需的一致度设定为必要阈值。因此，成为该必要阈值以上、且具有不满足必要阈值的一致性的组合可以判定为不是同一物体的聚类。

例如，在图5的情况下，将充分阈值设定为20，并且将必要阈值设定为50。因此，如带圆圈标记那样，由于C1’和C10的组合、以及C2’和C20的组合小于充分阈值，所以提取出这些组合并判定为是同一物体的聚类。其结果是，当前帧的聚类C10、C20被判定为与前一帧的聚类C1、C2是同一物体，分别持续前一帧的聚类C1、C2的ID(识别号码)。因此，物体识别装置1能够从前一帧聚类C1、C2向当前帧的聚类C10、C20进行追踪。

另一方面，当前帧的聚类C30因为没有满足必要阈值的组合，所以不能从先前一帧的聚类持续ID。因此，为聚类C30分配新的ID。

另外，考虑也存在当前帧的聚类的数目与前一帧的聚类的数目不一致的情况。例如，如图6所示，存在前一帧的聚类为一个，而当前帧的聚类为三个的情况。在这种情况下，因为只有聚类C10小于充分阈值，所以持续了前一帧的聚类C1的ID，而聚类C20、C30被分配了新的ID。

进而，在聚类处理中，存在同一物体的聚类***成多个聚类的情况。例如，如图7所示，在时刻t＝k，对车辆生成1个聚类C1，但是在时刻t＝k+1，由于建筑物的阴影等落在车辆上，所以对车辆生成两个聚类C10、C20。

在这样的情况下，如图8所示，C1’与C10的组合和C1’与C20的组合成为小于充分阈值。因此，在这种情况下，使C10聚类和C20的聚类合并为一个聚类，以持续C1的ID。

另外，考虑也存在当前帧的聚类的数目较多的情况。例如，如图9所示，存在前一帧的聚类为三个，当前帧的聚类为五个的情况。在这种情况下，首先C1’与C10的组合和C1’与C20的组合小于充分阈值，所以ID决定。因此，删除包含C1’、C10和C20的组合。

然后，在剩余的组合中，由于包含C30的组合为必要阈值以上，因此分配新的ID。然后，由于剩下的组合小于必要阈值，所以选择一致度的总和最小的组合。具体地，将C2’与C40组合的一致度30和C3’与C50的组合的一致度45相加而成为75。另一方面，将C3’与C40的组合的一致度40和C2’和C50的组合的一致度40相加而成为80。因此，如带圆圈图标所示，C2’与C40的组合和C3’与C50的组合的总和较小，所以提取这些组合。其结果是，聚类C40将持续前一帧的聚类C2的ID，而聚类C50将持续前一帧的聚类C3的ID。

如上所述，在步骤S38中，同一物体判定部19计算出一致性并生成评价矩阵，并判定不同时间点的聚类是否为同一物体的聚类。

在步骤S40中，同一物体判定部19判定车辆100的电源是否被断开，在没有被断开的情况下，则返回到图4A的步骤S20，继续执行物体识别处理。另一方面，在车辆100的电源被断开的情况下，则结束本实施方式的物体识别处理。

(变形例1)

在上述实施方式中，如式(1)所示，基于与聚类对应的特征点的位置差和移动速度差计算出一致度f，但是也可以进一步使用IoU(Intersection over Union：交并比)计算一致度。

IoU是表示两个区域重叠多少程度的指标，由下述式(3)表示。

IoU＝公共部分面积(Area of Intersection)/并集的面积(Area of Union) (3)

即，在计算聚类的一致性f的情况下，将不同时间点的聚类中设定的两个处理区域的面积的逻辑积除以不同时间点的聚类中设定的两个处理区域的面积的逻辑和。面积的逻辑积是不同时间点的两个聚类共同存在的部分在图像上的面积，面积的逻辑和是不同时间点的两个聚类的至少任意一个所存在的部分在图像上的面积。

于是，也可以使用该IoU，用下述式(4)计算一致度f。

f＝a×(与聚类对应的特征点的位置差)²+b×(与聚类对应的特征点的移动速度差)²+c×(1-IoU)(4)

其中，a、b、c是系数。

即，在该一致度f的式子中，使用将不同时间点的聚类中设定的两个处理区域的面积的逻辑积除以两个处理区域的面积的逻辑和后的值(IoU)计算第三评价点。然后，将对该第三评价点乘以第三系数c后的值与第一评价点和第二评价点相加，计算出一致度f。

(变形例2)

在上述实施方式中，计算出一致度并生成评价矩阵，并判定不同时间点的聚类是否为同一物体，但也可以通过更简单的方法来进行判定。

具体地，在与不同时间点的聚类对应的两个特征点的位置差为规定值以下、且与不同时间点的聚类对应的两个特征点的移动速度差为规定值以下的情况下，则可以判定为不同时间点的聚类是同一物体的聚类。

例如，计算出与使前一帧的聚类C1移动之后的聚类C1’的特征点对应的位置和与当前帧的聚类C10对应的特征点的位置差，并判定其是否为预先设定的位置的阈值以下。同样地，计算出与聚类C1’对应的特征点的移动速度和与聚类C10对应的特征点的移动速度差，并判定其是否为预先设定的速度的阈值以下。然后，在位置差和移动速度差均为规定的阈值以下的情况下，判定为不同时间点的聚类C1、C10是同一物体的聚类。

(第一实施方式的效果)

如上详细说明的那样，在本实施方式的物体识别装置1中，对从物体检测传感器3获取的测距点进行聚类并以一定的周期生成聚类，使聚类对应到由摄像机5拍摄的图像上而设定处理区域。然后，从所设定的处理区域内的图像中提取特征点并计算特征点的移动速度，基于与不同时间点的聚类对应的两个特征点的位置差和移动速度差，判定不同时间点的聚类是否为同一物体的聚类。由此，在本实施方式中，使用特征点的移动速度来判定聚类是否为同一物体的聚类，因此能够将车辆的周围的物体在不同的时间点准确地识别为同一物体。

以往，在检测物体时使用卡尔曼滤波器来检测聚类的移动速度。但是，即使是同一物体上的测量点，在不同的时间点聚类的位置有时也会不同，所以很难准确地测量聚类的移动速度。

例如，如图10所示，在时刻t＝0时，车辆的前部被聚类，在时刻t＝1时，车辆的下半部被聚类，在时刻t＝2时，车辆的后部被聚类。如这样在不同的时间点上，即使是同一车辆，也会被聚类不同的部分，所以聚类会随着时间的经过而发生变化。因此，因为聚类不是一定的，所以很难准确地测量其移动速度。

与此相对，在本实施方式中，不是使用聚类的移动速度，而是使用与聚类对应的特征点的移动速度。由于可以使用光流场准确地计算出特征点的移动速度，因此在本实施方式中，能够利用准确的移动速度，将车辆的周围的物体在不同的时间点准确地识别为同一物体。

进而，例如若假设物体是从阴影进入的情况下，则在物体整体的形状成为能够由物体检测传感器3测量的状态之前，能够准确地识别为同一物体，因此对于从阴影进入的物体能够较早地识别为同一物体。

另外，在本实施方式的物体识别装置1中，基于与不同时间点的聚类对应的两个特征点的位置差来计算第一评价点，基于与不同时间点的聚类对应的两个特征点的移动速度差来计算第二评价点。然后基于第一评价点和第二评价点计算一致度，基于一致度判定不同时间点的聚类是否为同一物体的聚类。由此，由于使用特征点的位置差和特征点的移动速度差来计算一致度，所以能够准确地判定不同时间点的聚类是否一致。因此，能够将车辆的周围的物体在不同的时间点准确地识别为同一物体。

进而，在本实施方式的物体识别装置1中，将第一评价点设为与不同时间点的聚类对应的两个特征点的位置差的平方，将第二评价点设为与不同时间点的聚类对应的两个特征点的移动速度差的平方。由此，由于使用特征点的位置差和移动速度差的平方来计算一致度，所以能够准确地判定不同时间点的聚类是否一致。因此，能够将车辆的周围的物体在不同的时间点准确地识别为同一物体。

另外，在本实施方式的物体识别装置1中，设定与第一评价点相乘的第一系数和与第二评价点相乘的第二系数，将第一评价点乘以第一系数后的值与第二评价点乘以第二系数后的值相加，计算出一致度。由此，即使第一评价点和第二评价点的单位不同，也能够通过乘以第一系数和第二系数进行调整，使其标准化。

进而，在本实施方式的物体识别装置1中，使用将不同时间点的聚类中设定的两个处理区域的面积的逻辑积除以两个处理区域的面积的逻辑和后的值来计算第三评价点。然后，将该第三评价点乘以第三系数后的值进一步相加，计算出一致度。由此，可以使用IoU计算出更准确的一致度。因此，可以将车辆的周围的物体在不同的时间点更准确地识别为同一物体。

另外，在本实施方式的物体识别装置1中，在不同时间点的聚类之间设定组合，针对所设定的各个组合计算一致度并生成评价矩阵。然后，将被充分认为所组合的不同时间点的两个聚类是同一物体的聚类的一致度设定为充分阈值，从评价矩阵中提取出满足充分阈值的组合并判定为是同一物体的聚类。由此，由于使用了评价矩阵，因此，能够与判定是否满足充分阈值的顺序无关地提取出最佳的聚类的组合。特别是，如果针对各组合按顺序判定是否满足充分阈值，则可能会发生先提取出不是最佳的组合，而不能提取出最佳的组合的情况。但是，如果使用评价矩阵进行判定，则能够可靠地提取出最佳的组合。

进而，在本实施方式的物体识别装置1中，在与不同时间点的聚类对应的两个特征点的位置差和移动速度差分别为规定值以下的情况下，判定为不同时间点的聚类是同一物体的聚类。由此，可以不计算一致度就能够判定聚类是否为同一物体的聚类，因此能够大幅地减轻处理负荷。

(第二实施方式)

以下，参照附图对应用了本发明的第二实施方式进行说明。附图的记载中对同一部分标记相同符号并省略详细说明。

如图11所示，在本实施方式的物体识别装置1中，代替摄像机5而具备立体摄影机51，还具备自身位置检测部53和地图数据库55，这一点与第一实施方式不同。

通过具备立体摄影机51，能够拍摄立体的图像，在第一实施方式中是求出图像上的二维的位置和移动速度，但在本实施方式中，能够求出包含进深方向的三维的位置和移动速度。

自身位置检测部53可以从搭载于车辆100上的GPS接收机获取车辆100的当前位置，也可以将物体检测传感器3所检测出的车辆的周围的物标与存储在地图数据库55中的地图信息进行对照，来检测车辆100的自身位置。或者，也可以基于车辆的操舵角以及行驶距离(测程法)，计算出车辆距基准位置(例如，开始行驶的位置)的移动方向及移动距离，并基于基准位置、移动方向及移动距离来检测出车辆100的自身位置。

另外，自身位置检测部53与搭载于车辆100上的传感器组(未图示)连接，能够获取车辆100的行为。例如，与加速器传感器、转向器传感器、制动器传感器、车速传感器、加速度传感器、车轮速度传感器等连接，获取从这些传感器组输出的传感器值。

地图数据库55是存储地图信息的数据库，所存储的地图信息是至少包含车道的位置、车道数、人行道的位置等信息的高精度的地图信息。

聚类部11在进行聚类处理并生成聚类时，利用自身位置检测部53检测出的自身位置和地图信息，将聚类的坐标系从车辆坐标系转换成地图坐标系。如图12所示，地图坐标系是俯瞰地图而观察到的坐标系。

处理区域设定部13使由聚类部11生成的聚类对应到由立体摄影机51拍摄的车辆100的周围的三维图像上，将聚类对应的图像上的区域设定为处理区域。

特征点提取部15从由处理区域设定部13设定的处理区域内的三维图像中提取特征点。由于是从三维图像中提取特征点，所以可检测出特征点的三维位置(坐标)。

由于已检测出了特征点的三维坐标，所以移动速度计算部17计算出三维光流场。然后，对三维光流场的速度矢量(vx，vy，vz)在处理区域内进行平均化而计算出特征点的三维移动速度。另外，移动速度计算部17可以通过在前后帧中匹配立体摄影机51的左右的图像来计算出特征点的三维位置和移动速度。

进而，因为车辆100正在移动，所以移动速度计算部17从计算出的特征点的移动速度中减去车辆100移动过的量的行为，从而计算出绝对速度。例如，从特征点的移动速度中减去车辆100的速度以及横摆率，计算出特征点的绝对速度。

同一物体判定部19按照计算出的绝对速度使前一帧的聚类移动，并求出移动后的聚类。例如，如图12所示，使时刻t＝k的聚类C1内的特征点按照绝对速度仅移动t＝k与t＝k+1的时间差的量，求出移动后的聚类C1’。

然后，同一物体判定部19设定图12所示的移动后的聚类C1’与当前帧的聚类C10之间的组合，并针对该组合计算一致度。

一致度f可以用三维公式如以下的式(5)所示。

f(Ci，Cj)＝a(xi-xj)²+a(yi-yj)²+a(zi-zj)²+b(vxi-vxj)²+b

(vyi-vyj)²+b(vzi-vzj)²(5)

若这样计算出一致度f，则同一物体判定部19以与第一实施方式相同的方法，判定不同时间点的聚类是否为同一物体的聚类。

(变形例)

聚类部11在进行聚类处理并生成聚类时，可以判定所生成的聚类是与车道上的物体对应的聚类还是与人行道上的物体对应的聚类。聚类部11在生成聚类时，利用由自身位置检测部53检测出的自身位置、和地图信息所包含的车道的位置及人行道的位置，判定聚类是与人行道上的物体对应还是与车道上的物体对应。

然后，在判定为聚类是与人行道上的物体对应的聚类的情况下，认为聚类与行人对应，因此位置比速度更重要。于是，同一物体判定部19将在一致度f的式子中与位置差相乘的系数a设定得比系数b更重要。具体地，一致度f的值越小，则被判定为是同一物体的聚类的可能性就越高，因此使系数a小于系数b。

另一方面，在判定为聚类是与车道上的物体对应的聚类的情况下，认为聚类与车辆对应，因此速度比位置更重要。于是，同一物体判定部19将一致度f的式子中与移动速度差相乘的系数b设定得比系数a更重要。具体地，一致度f的值越小，则被判定为是同一物体的聚类的可能性就越高，因此使系数b小于系数a。

(第二实施方式的效果)

如以上详细说明的那样，在本实施方式的物体识别装置1中，使用立体摄影机51求出特征点的三维位置，计算出特征点的三维的移动速度。由此，能够使用特征点的三维位置和移动速度来判定是否为同一物体的聚类，因此能够将车辆的周围的物体在不同的时间点更准确地识别为同一物体。

另外，在本实施方式的物体识别装置1中，基于检测出的车辆的自身位置、和至少存储了车道的位置及人行道的位置的地图信息，判定聚类是与人行道上的物体对应的聚类还是与车道上的物体对应的聚类。然后，在聚类是与人行道上的物体对应的情况下，将第一系数a设定得比第二系数b更重要，在聚类与车道上的物体对应的情况下，将第二系数b设定得比第一系数a更重要。由此，在聚类与人行道上的物体对应的情况下，可以认为聚类与行人对应，所以通过重视(重要)第一系数a，而能够重视(重要)位置差来计算一致度。另一方面，在聚类与车道上的物体对应的情况下，认为聚类与车辆对应，因此通过重视(重要)第二系数b，而能够重视(重要)移动速度差来计算一致度。因此，可以根据聚类对应的物体，准确地计算出一致度。

另外，上述的实施方式是本发明的一个例子。因此，本发明不限于上述实施方式，即使是该实施方式以外的方式，只要在不脱离本发明的技术思想的范围内，当然也能够根据设计等进行各种变更。

符号说明

1：物体识别装置

3：物体检测传感器

5：摄像机

11：聚类部

13：处理区域设定部

15：特征点提取部

17：移动速度计算部

19：同一物体判定部

51：立体摄影机

53：自身位置检测部

55：地图数据库

100：车辆。

Claims (10)

1.一种物体识别方法，识别存在于具备物体检测传感器和摄像单元的车辆的周围的物体，其中，

获取通过所述物体检测传感器测量了距存在于所述车辆的周围的物体上的各点的距离后的测距点，对获取的所述测距点进行聚类并以一定的周期生成聚类，

获取由所述摄像单元拍摄的所述车辆的周围的图像，使所述聚类对应到所获取的所述图像上，将所述聚类所对应的所述图像上的区域设定为处理区域，

从所设定的所述处理区域内的图像中提取特征点，

计算提取出的所述特征点的移动速度，

基于与不同时间点的聚类对应的两个特征点的位置差和与所述不同时间点的聚类对应的两个特征点的移动速度差，判定所述不同时间点的聚类是否为同一物体的聚类。

2.如权利要求1所述的物体识别方法，其中，

基于与所述不同时间点的聚类对应的两个特征点的位置差计算第一评价点，基于与所述不同时间点的聚类对应的两个特征点的移动速度差计算第二评价点，基于所述第一评价点和所述第二评价点，计算表示所述不同时间点的聚类的一致程度的一致度，基于所述一致度判定所述不同时间点的聚类是否为同一物体的聚类。

3.如权利要求2所述的物体识别方法，其中，

所述第一评价点是与所述不同时间点的聚类对应的两个特征点的位置差的平方，所述第二评价点是与所述不同时间点的聚类对应的两个特征点的移动速度差的平方。

4.如权利要求3所述的物体识别方法，其中，

设定与所述第一评价点相乘的第一系数和与所述第二评价点相乘的第二系数，并将所述第一评价点乘以所述第一系数后的值和所述第二评价点乘以第二系数后的值相加，而计算出所述一致度。

5.如权利要求4所述的物体识别方法，其中，

使用将在所述不同时间点的聚类中设定的两个处理区域的面积的逻辑积除以所述两个处理区域的面积的逻辑和后的值来计算出第三评价点，将所述第三评价点乘以第三系数后的值进一步相加而计算出所述一致度。

6.如权利要求2～5中任一项所述的物体识别方法，其中，

在所述不同时间点的聚类之间设定组合，针对所设定的各组合计算出所述一致度并生成评价矩阵，

将充分认为组合后的不同时间点的两个聚类为同一物体的聚类的一致度设定为充分阈值，

从所述评价矩阵中提取满足所述充分阈值的组合，判定为是同一物体的聚类。

7.如权利要求1所述的物体识别方法，其中，

在与所述不同时间点的聚类对应的两个特征点的位置差为规定值以下、且与所述不同时间点的聚类对应的两个特征点的移动速度差为规定值以下的情况下，判定为所述不同时间点的聚类是同一物体的聚类。

8.如权利要求1～7中任一项所述的物体识别方法，其中，

所述摄像单元是立体摄影机，

求出所述特征点的三维位置，计算出所述特征点的三维移动速度。

9.如权利要求4所述的物体识别方法，其中，

检测所述车辆的自身位置，

基于检测出的所述自身位置、和至少存储了车道的位置及人行道的位置的地图信息，判定所述聚类是与人行道上的物体对应的聚类还是与车道上的物体对应的聚类，

在所述聚类是与人行道上的物体对应的聚类的情况下，将所述第一系数设定得比所述第二系数更重要，

在所述聚类是与车道上的物体对应的聚类的情况下，将所述第二系数设定得比所述第一系数更重要。

10.一种物体识别装置，具备识别存在于具有物体检测传感器和摄像单元的车辆的周围的物体的控制器，其中，

所述控制器执行如下处理：

获取通过所述物体检测传感器测量了距存在于所述车辆的周围的物体上的各点的距离后的测距点，对获取的所述测距点进行聚类并以一定的周期生成聚类，

获取由所述摄像单元拍摄的所述车辆的周围的图像，使所述聚类对应到所获取的所述图像上，将所述聚类所对应的所述图像上的区域设定为处理区域，

从所设定的所述处理区域内的图像中提取特征点，

计算提取出的所述特征点的移动速度，

基于与不同时间点的聚类对应的两个特征点的位置差和与所述不同时间点的聚类对应的两个特征点的移动速度差，判定所述不同时间点的聚类是否为同一物体的聚类。