CN109716062B

CN109716062B - 姿势估计装置

Info

Publication number: CN109716062B
Application number: CN201780056566.8A
Authority: CN
Inventors: 鸟仓贵道; 山上友希; 冈野谦二
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-09-15
Filing date: 2017-09-06
Publication date: 2021-04-20
Anticipated expiration: 2037-09-06
Also published as: US11170229B2; US20190362160A1; JP6601352B2; WO2018051862A1; CN109716062A; JP2018044880A; DE112017004639T5

Abstract

本发明提供一种姿势估计装置。姿势估计装置(1)获取由多个照相机(20a～20d)拍摄得到的多个图像，该多个照相机(20a～20d)以使拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于车辆。姿势估计装置针对多个图像检测出拍摄到重复范围的图像上的区域所包含的特征部分。而且，姿势估计装置针对各个重复范围的每一个，计算从拍摄到该重复范围的多个图像中的每个图像检测出的特征部分彼此的位置的偏移量，并基于针对多个重复范围的每一个计算出的偏移量的差异估计车辆的姿势。

Description

姿势估计装置

技术领域

本公开涉及基于由安装于车辆的照相机获取的图像来估计车辆的姿势的姿势估计装置。

背景技术

专利文献1记载了根据通过车载照相机在各个不同的时刻拍摄到的多个图像，估计与车辆的姿势相关的作为旋转角之一的俯仰角的技术。

专利文献1：日本特开2012－26992号公报

专利文献1所记载的技术虽然能够基于由车载照相机拍摄到的图像来估计车辆的俯仰角，然而并未考虑侧倾角、横摆角等车辆的其他旋转角的估计。发明人详细研究的结果，发现了专利文献1所记载的技术不足以估计包括车辆的俯仰角、侧倾角以及横摆角等的综合姿势这样的课题。

发明内容

因此，本公开的一方面优选提供一种能够基于由安装于车辆的照相机获取的图像来估计与车辆的姿势相关的各种物理量的技术。

本公开的一个实施方式所涉及的姿势估计装置具备图像获取部、检测部、估计部、以及姿势信息输出部。

图像获取部构成为从安装于车辆的多个照相机获取多个图像。这些多个照相机用于对车辆的周围进行拍摄。多个照相机以拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于车辆。检测部构成为对于由图像获取部在同一时间获取的多个图像中的每个图像检测出至少一个特征部分。特征部分是在拍摄到重复范围的图像上的区域中表示规定的特征的部分。

估计部构成为基于由检测部检测到的特征部分对与车辆的姿势相关的规定的物理量进行估计。具体而言，估计部针对各个重复范围的每一个，计算从拍摄到该重复范围的多个图像中的每个图像检测出的特征部分彼此的位置的偏移量。而且，估计部基于针对多个重复范围的每一个计算出的偏移量的差异，估计与车辆的姿势相关的规定的物理量。姿势信息输出部构成为输出基于由估计部估计出的物理量的信息作为表示车辆的姿势的信息亦即姿势信息。

在车辆上安装有多个照相机的情况下，若由于车辆的姿势变化而各照相机位移，则根据车辆的姿势的变化方向、程度，在所重复的各照相机的拍摄范围内映出的物体的位置相互偏移。因此，在本公开所涉及的姿势估计装置中，对相当于由拍摄范围部分重复的多个照相机获取的图像中的重复范围的区域所包含的特征部分进行检测。而且，基于多个重复范围的每一个的特征部分的位置的偏移量估计车辆的姿势。这样一来，能够实现可估计与车辆的姿势相关的各种物理量的技术。

附图说明

通过参照附图的下述的详细描述，关于本公开的上述目的以及其他的目的、特征、优点变得更加明确。其附图的概要如下所述。

图1是表示实施方式的旋转角估计装置的构成的框图。

图2是表示照相机的安装位置、以及照相机的拍摄范围的说明图。

图3是表示旋转角估计装置所执行的处理的顺序的流程图。

图4是表示旋转角估计装置所执行的处理的顺序的流程图。

图5是表示基于车辆的姿势变化的拍摄图像的变化的说明图。

具体实施方式

以下，基于附图对本公开的实施方式进行说明。此外，本公开并不局限于下述的实施方式，而能够以各种实施方式实施。

[旋转角估计装置的构成的说明]

实施方式的旋转角估计装置1是安装于车辆2的电子控制装置。该旋转角估计装置1相当于本公开中的姿势估计装置。如图1所例示，旋转角估计装置1与安装于车辆2的设备亦即照相机20a、20b、20c、20d、陀螺仪传感器21、以及温度传感器22连接。

如图2所例示，四台照相机20a～20d作为前照相机、后照相机、左照相机、右照相机分别安装于车辆2的前、后、左、右，以便能够对车辆周围进行拍摄。如在图2中以虚线所例示那样，各照相机20a～20d用于将车辆2的前方、后方、左侧方、右侧方作为各自的拍摄范围对车辆周围进行拍摄。而且，在各照相机20a～20d的拍摄范围设置有在车辆2的左前方、右前方、左后方、右后方的各部分中与相互相邻的照相机20a～20d的拍摄范围重合的重复范围3、4、5、6。

另外，各照相机20a～20d的对于车辆2的安装位置以及姿势被预先设定为各照相机20a～20d的拍摄范围如上所述。而且，各照相机20a～20d的实际的安装位置是在制造工厂、设置工厂等基于其被设定的安装位置以及姿势(换言之，拍摄方向)调节的。

返回图1的框图的说明。陀螺仪传感器21是对车辆2的旋转角速度(例如，横摆速率、俯仰速率、以及/或者侧倾速率)进行检测的公知的测量器。温度传感器22是对车辆2的周围的气温进行测量的公知的测量器。通过这些陀螺仪传感器21以及温度传感器22得到的测量结果被输入至旋转角估计装置1。

旋转角估计装置1是以未图示CPU、RAM、ROM、闪存等半导体存储器、以及输入输出接口等为中心而构成的信息处理装置。旋转角估计装置1例如通过集成有作为计算机***的功能的微型控制器等实现。旋转角估计装置1的功能通过CPU执行储存于ROM、半导体存储器等非过渡性实体存储介质的程序而实现。此外，构成旋转角估计装置1的微型控制器的个数可以是一个，也可以是多个。

旋转角估计装置1具备利用由各照相机20a～20d获取的拍摄图像来对表示车辆的姿势的旋转角以及旋转角速度等物理量进行估计的功能。作为该功能的构成要素，旋转角估计装置1具备特征点检测部11、姿势估计部12、旋转角速度计算部13、以及可靠性判断部14。此外，实现构成旋转角估计装置1的这些要素的方法并不局限于软件，也可以使用组合有逻辑电路、模拟电路等的硬件来实现其一部分或者全部的要素。

另外，旋转角估计装置1具有通过以各照相机20a～20d的安装位置以及姿势作为照相机参数，对通过各照相机20a～20d得到的多个拍摄图像进行视点转换，从而生成由车辆2的上方的视点构成的多个俯视图像的功能。此外，照相机参数例如是将各照相机20a～20d在车辆2中的安装位置以及车辆2的前后、左右、上下的三轴向的安装角度数值化后的值。而且，旋转角估计装置1在对各照相机20a～20d的拍摄图像进行视点转换时，利用基于照相机参数设定的转换数据。

[旋转角估计装置所执行的处理的说明]

参照图3以及图4的流程图对旋转角估计装置1所执行的处理的顺序进行说明。该处理以规定的控制周期反复执行。

首先，从图3的流程图开始进行说明。在S100中，旋转角估计装置1获取由各照相机20a～20d在同一时间获取的多个拍摄图像。而且，旋转角估计装置1从对该获取的各拍摄图像分别进行了视点转换后的俯视图像，检测出至少一个特征点的位置。这里所说的特征点是拍摄有路面上的特定对象物的图像部分。这里，作为检测为特征点的对象物，例如可考虑使用由在道路上描绘的油漆、道钉、石头等构成的车道线、道路标识、或者窨井的盖等在图像中易于与路面区别的对象物。

在S102中，旋转角估计装置1对在S100中检测到的特征点的位置的偏移进行修正。特征点的位置的偏移为照相机参数与实际的各照相机20a～20b的安装位置及姿势的偏移、以及由车辆2的重心偏心所引起的偏移。对于各照相机20a～20b的安装位置及姿势的偏移、以及重心偏心而言，例如利用通过使用各照相机20a～20b所获取的图像的公知方法来另外测量到的已知值。此外，S100以及S102相当于作为特征点检测部11的处理。

在S104中，旋转角估计装置1针对前照相机20a以及左照相机20c的俯视图像的每一个，提取在S100中检测到的至少一个特征点中与左前方的重复范围3相对应的图像区域所包含的至少一个特征点。在S106中，旋转角估计装置1针对前照相机20a以及右照相机20d的俯视图像的每一个，提取在S100中检测到的特征点中与右前方的重复范围4相对应的图像区域所包含的特征点。

在S108中，旋转角估计装置1针对后照相机20b以及左照相机20c的俯视图像的每一个，提取在S100中检测到的特征点中与左后方的重复范围5相对应的图像区域所包含的特征点。在S110中，旋转角估计装置1针对后照相机20b以及右照相机20d的俯视图像的每一个，提取在S100中检测到的特征点中与右后方的重复范围6相对应的图像区域所包含的特征点。

在S112中，旋转角估计装置1基于在S104～S110中提取到的与各重复范围3～6相对应的各俯视图像的特征点的位置，对表示车辆2的姿势的旋转角(即，车辆旋转角)进行估计。在本实施方式中，作为旋转角估计装置1估计出的车辆旋转角，例如假定了俯仰角、侧倾角、以及横摆角等多个种类的旋转角。

若通过施加车辆的加速、减速、以及/或者由转弯引起的旋转力，从而车辆的姿势发生变化，则相对于作为被拍摄体的路面的各照相机20a～20b的相对位置发生变化。因此，在拍摄相同的重复范围的两台照相机中，共用的特征点的位置相互偏移。该偏移的程度根据相对于车辆的重复范围的位置和姿势变化的方向以及程度而不同。

参照图5对于具体例进行说明。在图5中，a是在车辆2产生姿势变化之前的阶段中的左右照相机20c以及20d的俯视图像。b是与a在同一时间获取的前后照相机20a以及20b的俯视图。另外，c是由于紧急减速而俯仰角发生变化以使车辆前倾的阶段中的左右照相机20c以及20d的俯视图像。d是与c在同一时间获取的前后照相机20a以及20b的俯视图。此外，在图5的示例中，以检测沿道路的行进方向描绘的车道线作为特征点为前提。

若由于紧急减速而俯仰角发生变化以使车辆前倾，则前照相机20a与其他照相机相比位移较大。该情况下，如图5所例示那样，在左右照相机20c以及20d的俯视图像c与前照相机20a的俯视图像d之间，重复范围3以及4中的作为特征点的车道线的拍摄方式会产生较大差异。

另一方面，在车辆姿势变化为前倾的情况下，后照相机20b与前照相机20a相比较，位移较小。因此，如图5所例示那样，在左右照相机20c以及20d的俯视图像c与后照相机20b的俯视图像d之间，重复范围5以及6中的作为特征点的车道线的拍摄方式不会产生那么大的差异。

因此，旋转角估计装置1在前侧的重复范围3、4与后侧的重复范围5、6之间，对各个重复范围的特征点的位置的偏移量进行比较，并基于其大小关系估计车辆的俯仰角。另外，相同地，能够在左侧的重复范围3、5与右侧的重复范围4、6之间，对各个重复范围的特征点的位置的偏移量进行比较，并基于其偏移量的大小关系估计车辆的侧倾角。另外，横摆角根据从各照相机20a～20d检测出的车道线的相对于车辆的前后方向的倾斜进行估计。

返回图3的流程图的说明。上述S104～S112的处理相当于作为姿势估计部12的处理。在接下来的S114中，旋转角估计装置1判断在从当前时刻到规定时间前的期间内，过去的车辆旋转角的时间序列的信息是否积累有所需数量。在车辆旋转角的时间序列的信息未积累有所需数量的情况下(即，S114：否)，旋转角估计装置1使处理前进到S118。

在S118中，旋转角估计装置1将在S112中获得的车辆旋转角作为时间序列的信息积累到存储器。另一方面，在S114中判断为车辆旋转角的时间序列的信息积累了所需数量的情况下(即，S114：是)，旋转角估计装置1使处理前进到S116。

在S116中，旋转角估计装置1对表示车辆旋转角的时间变化率的车辆旋转角速度进行计算。车辆旋转角速度基于在S112中获得的车辆旋转角、以及从当前时刻到规定时间前的期间中积累的过去的车辆旋转角的时间序列的信息而计算。车辆旋转角速度例如被计算为车辆旋转角的时间序列所表示的变化量除以该时间序列中的经过时间而得到的值。在本实施方式中，作为旋转角估计装置1估计出的车辆旋转角速度，例如，假定了俯仰速率、侧倾速率、以及横摆速率等多个种类的旋转角速度。

此外，用于计算车辆旋转角速度的过去的车辆旋转角的信息的所需数量最低限度为一次即可，但是所需数量也可以更多。例如，若增加车辆旋转角的信息的所需数量，则对于突发噪声的车辆旋转角速度的计算结果的鲁棒性提高。相反，对于车辆旋转角的急剧变化，计算出的车辆旋转角速度的追随性变差。另一方面，若减少车辆旋转角的信息的所需数量，则对于车辆旋转角的急剧变化，计算出的车辆旋转角速度的追随性提高。相反，对于突发噪声的车辆旋转角速度的计算结果的鲁棒性降低。因此，车辆旋转角速度的计算结果的鲁棒性和响应性根据用于车辆旋转角速度的计算的车辆旋转角的信息的所需数量，而成为权衡关系。

S116之后，旋转角估计装置1执行S118的处理。此外，S114～S118的处理相当于作为旋转角速度计算部13的处理。

转移到图4的流程图的说明。在120中，旋转角估计装置1对在S116中估计出的车辆角速度与通过陀螺仪传感器21得到的最新测量结果之差进行计算。而且，旋转角估计装置1将该计算出的差存储为比较结果。在S122中，旋转角估计装置1对于从当前时刻到规定时间前的期间中所存储的S120的比较结果，判断估计出的车辆角速度与陀螺仪传感器21的测量结果之差为规定值以上的状态是否连续。

在该S122中，判断陀螺仪传感器21的可靠性。即，若在从各照相机20a～20d的图像估计出的车辆旋转角速度与由陀螺仪传感器21测量出的车辆旋转角速度之间没有显著的差异，则判断为陀螺仪传感器21正常发挥作用。另一方面，在从各照相机20a～20d的图像估计出的车辆旋转角速度与由陀螺仪传感器21测量出的车辆旋转角速度之间存在差异的状态连续一定期间的情况下，否定陀螺仪传感器21的可靠性。

在比较结果之差为规定值以上的状态连续一定期间的情况下(即，S122：是)，旋转角估计装置1使处理前进到S124。在S124中，旋转角估计装置1将表示陀螺仪传感器21发生故障的信息亦即故障通知输出至安装于车辆2的未图示的输出装置等输出目的地。在S126中，旋转角估计装置1输出在S112中估计出的车辆旋转角的信息、以及在S116中计算出的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。

另一方面，在S122中判断为比较结果之差为规定值以上的状态不连续的情况下(即，S122：否)，旋转角估计装置1使处理前进到S128。在S128中，旋转角估计装置1基于从温度传感器22获取的测量结果，判断车辆2的周围温度是否在适当范围内。

此外，周围温度的适当范围例如可认为是保证陀螺仪传感器21的动作的温度范围。公知有在通常的情况下，安装于车辆等的陀螺仪传感器在极端高温或者低温的条件下，测量性能会降低。因此，在本实施方式中，构成为在S122中根据周围温度判断是否采用通过陀螺仪传感器21得到的测量结果。

在周围温度为适当范围外的情况下(即，S128：否)，旋转角估计装置1使处理前进到S126。在S126中，旋转角估计装置1输出在S112中估计出的车辆旋转角的信息、以及在S116中出计算的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。

另一方面，在周围温度为适当范围内的情况下(即，S128：是)，旋转角估计装置1使处理前进到S130。在S130中，旋转角估计装置1输出陀螺仪传感器21检测到的车辆旋转角速度的信息作为表示车辆2的姿势的信息亦即姿势信息。

[效果]

根据实施方式的旋转角估计装置1，起到以下的效果。

旋转角估计装置1在拍摄范围部分重复的多个照相机20a～20d的俯视图像中，对拍摄到重复范围的区域所包含的特征点进行检测。其结果，能够基于多个重复范围的每一个重复范围的特征点的偏移量，对表示车辆的姿势的车辆旋转角进行估计。因此，旋转角估计装置1可代替陀螺仪传感器21。或者，通过组合旋转角估计装置1和陀螺仪传感器21，从而能够使检测车辆的姿势的单元二重化。

另外，通过对使用照相机20a～20d的俯视图像估计出的车辆姿势与通过陀螺仪传感器21测量出的车辆姿势进行比较，从而能够判断陀螺仪传感器21的可靠性。这样一来，例如，在否定了陀螺仪传感器21的可靠性的条件下，能够输出陀螺仪传感器21的故障通知。另外，从故障安全的观点来看，能够进行使通过陀螺仪传感器21得到的测量结果无效这样的控制。

另外，能够根据周围温度，选择性地输出基于图像的姿势信息和基于陀螺仪传感器21的测量结果的姿势信息。这样一来，能够根据车辆的环境，输出适当的姿势信息。其结果，有助于姿势信息的测量精度的提高。

[实施方式的各构成的对应关系]

特征点检测部11相当于图像获取部以及检测部的一个例子。姿势估计部12以及旋转角速度计算部13相当于估计部的一个例子。可靠性判断部14相当于姿势信息输出部、可靠性信息判断部、可靠性信息输出部、以及环境判断部的一个例子。

[变形例]

也可以使多个构成要素分担上述各实施方式中的一个构成要素所具有的功能，或者使一个构成要素发挥多个构成要素所具有的功能。另外，也可以省略上述各实施方式的构成的一部分。另外，也可以对于上述实施方式的其他构成附加、替换上述各实施方式的构成的至少一部分。此外，根据权利要求书所记载的语句确定出的技术思想所包含的所有实施方式皆为本公开的实施方式。

在上述的实施方式中，对基于由四台照相机20a～20d获取的图像估计车辆姿势的事例进行了说明。但并不局限于该事例，也可以以拍摄范围的一部分相互重复的重复范围形成于多处为必要条件，构成为基于由台数多于或是少于四台的照相机获取的图像估计车辆姿势。

也能够通过以旋转角估计装置1为构成要件的***、用于使计算机作为旋转角估计装置1发挥作用的程序、记录有该程序的非过渡性实态记录介质、车辆旋转角估计方法等各种方式实现本公开。

Claims

1.一种姿势估计装置，其中，具备：

图像获取部(11)，从多个照相机获取多个图像，所述多个照相机是为了拍摄车辆的周围而安装于该车辆的多个照相机(20a～20d)，所述多个照相机(20a～20d)以使拍摄范围的一部分相互重复的范围亦即重复范围形成于多处的方式安装于所述车辆；

检测部(11、12、S100～S110)，针对由所述图像获取部在同一时间获取的多个图像中的每个图像，在拍摄到所述重复范围的所述图像上的区域，检测至少一个表示规定的特征的部分亦即特征部分；

估计部(12、13、S112～S118)，针对各所述重复范围的每一个，计算从拍摄到该重复范围的在同一时间获取的多个图像中的每个图像检测出的相同的所述特征部分彼此的位置的偏移量，并基于该偏移量的比较，估计与所述车辆的姿势相关的规定的物理量；

姿势信息输出部(14、S130)，输出由所述估计部估计出的物理量的信息，作为表示所述车辆的姿势的信息亦即姿势信息；

可靠性判断部(14、S120、S122)，基于对由所述估计部估计出的物理量所表示的所述车辆的姿势与基于所述车辆所具备的陀螺仪传感器测量的与所述车辆的姿势相关的测量结果进行比较的结果，判断所述陀螺仪传感器的可靠性；以及

可靠性信息输出部(14、S124)，在通过所述可靠性判断部否定了所述陀螺仪传感器的可靠性的情况下，输出表示被否定的意思的信息亦即可靠性否定信息。

2.一种姿势估计装置，其中，具备：

姿势信息输出部(14、S130)，输出由所述估计部估计出的物理量的信息，作为表示所述车辆的姿势的信息亦即姿势信息；以及

环境判断部(14、S128)，判断与基于所述车辆所具备的陀螺仪传感器测量的特性相关的规定的环境的状态，

所述姿势信息输出部根据所述环境判断部的判断结果，选择性地进行输出由所述估计部估计出的物理量的信息作为所述姿势信息的控制、或者输出由所述陀螺仪传感器获取的测量结果的信息作为所述姿势信息的控制。