CN113591673A - 用于识别交通标志的方法和设备 - Google Patents
用于识别交通标志的方法和设备 Download PDFInfo
- Publication number
- CN113591673A CN113591673A CN202110856025.1A CN202110856025A CN113591673A CN 113591673 A CN113591673 A CN 113591673A CN 202110856025 A CN202110856025 A CN 202110856025A CN 113591673 A CN113591673 A CN 113591673A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- vehicle
- information
- traffic
- validity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及车辆的目标物检测与识别领域。本发明提供一种用于识别交通标志的方法,包括以下步骤:S1:获取车辆的运动信息和车辆周围环境中的交通标志在时间上相继拍摄的图像序列中的变化信息;S2:基于车辆的运动信息和交通标志的变化信息的比较确定交通标志的有效性;S3:检测交通标志与车辆周围环境中的其他车辆的位置关系;S4:基于位置关系对确定的交通标志的有效性进行可信度检验。本发明还提供一种用于识别交通标志的设备。在本发明中,在将交通标志有效性信息提供给车辆决策单元之前对其进行复检,从而确保在执行车辆驾驶辅助/自动驾驶功能时仅考虑或以更高权重考虑最有价值的信息输入,降低了错误信息对车辆正常行驶的干扰。
Description
技术领域
本发明涉及一种用于识别交通标志的方法和一种用于识别交通标志的设备。
背景技术
随着车辆智能化进程的不断深入,车辆配备的智能传感器和/或接收传感器数据并处理的智能计算单元已经能够支持各种道路交通标志的准确识别,由此能够将识别结果作为车辆驾驶辅助/自动驾驶功能的输入。然而,除了位于路边的固定交通标识,在实际交通环境中还存在许多粘贴在大型车辆尾部的动态标识。
例如,为了响应国家公安部号召,不少省市都已开展在大型客车尾部粘贴最高限速标识的工作,其目的在于提示乘客和群众监督大型客车遵守相应限速规定,然而这并不适用行进环境的限速,因此当车辆识别到该限速标识后,容易将其解读为用于整个路段的限速标准并因此给车辆的计算和控制单元输入不适合的信息,这将间接导致车辆的驾驶辅助/自动驾驶功能(例如,交通标志识别(traffic signs recognition;TSR)、智能限速提示(intelligent speed limit information;ISLI)、智能限速控制(intelligent speedlimit control;ISLC)、高速智能驾驶辅助(High Way assist;HWA)等)的准确性下降。此外,还存在很多大型车辆滥用交通警告标识的情况,这也会给车辆的智能传感器和/或接收传感器数据并处理的智能计算单元带来一定困扰。
目前,现有技术中提出用于改善交通标志识别的方法,首先用相机记录车辆前方空间的一系列图像,并分别在这些图像中检查交通标志在尺寸和/或位置上的变化,由此推断出交通标识的速度,然后其与车辆速度的比较来判断交通标志是固定的还是附着在其他车辆上。
此外,还已知一种用于对机动车环境区域中的交通标志进行分类的方法,在该方法中,将通过目标检测算法检测到的交通标志的几何尺寸与固定交通标志的参考尺寸进行比较,从而估计交通标志的位置,然后根据该位置将交通标志分类为贴纸或固定交通标志。
但是,上述解决方案仍存在诸多不足,特别是由于车辆自身处于运动中,依靠单次识别结果来甄别交通标志的有效性可能会存在错误。此外在有些情况下,仅通过交通标志的运动信息也不足以精确地将其与固定交通标志进行区分。
在这种背景下,期待提供一种改进的交通标志识别方案,以更加可靠地甄别交通环境中的交通标志的合理性和应用范围。
发明内容
本发明的目的在于提供一种用于识别交通标志的方法和一种用于识别交通标志的设备,以至少解决现有技术中的部分问题。
根据本发明的第一方面,提出一种用于识别交通标志的方法,所述方法包括以下步骤:
S1:获取车辆的运动信息以及车辆周围环境中的交通标志在时间上相继拍摄的图像序列中的变化信息;
S2:基于车辆的运动信息和交通标志的变化信息的比较确定交通标志的有效性;以及
S3:检测所述交通标志与车辆周围环境中的至少一个其他车辆的位置关系;以及
S4:基于所述位置关系对所确定的交通标志的有效性进行可信度检验。
本发明尤其包括以下技术构思:首先,通过考虑交通标志在图像序列中的变化信息和车辆自身的运动信息,可以得出关于交通标志有效性的初步结论。然后,通过检测交通标志与其他交通对象的位置关系来验证这种初步结论的可靠性。由此,以有利的方式实现:在将关于交通标志的有效性信息提供给车辆决策单元之前对其进行复检,从而确保在生成车辆驾驶辅助/自动驾驶功能时,仅考虑或以更高权重考虑最有价值的信息输入,因此一定程度降低了错误信息对车辆正常行驶的干扰。
可选地,所述方法还包括以下步骤:
S3':借助V2X技术接收关于车辆周围环境的外部输入信息;以及
S4':基于所述外部输入信息对所确定的交通标志的有效性进行可信度检验。
由此,实现以下技术优点:拓展了用于甄别交通标志有效性的数据来源。在车辆自身传感器(例如由于功能限制、视野遮挡等原因)无法准确判定交通标志的合理应用范围的情况下,结合车辆外部的多源数据则可以弥补车辆自身感测结果的不足,有利地从多个方面验证了交通标志的有效性。
可选地,车辆的运动信息包括车辆在确定时间段内的位移变化量,交通标志的变化信息包括借助车载摄像机在确定时间段内识别到的交通标志的3D位置变化量。
由此,实现以下技术优点:在车辆行驶过程中,无论如何都要通过与视觉感知相结合的方式来实现交通标志或其他景物的识别,现有的基于视觉感知的3D目标检测算法有很多种,在此对具体算法不做要求。
可选地,所述方法至少在步骤S3之前还包括以下步骤:
借助多个车载传感器融合地求取交通标志相对于车辆的速度和/或位置;以及
附加地基于所述速度和/或位置确定交通标志的有效性。
由此,实现以下技术优点:基于不同原理的传感器通常具有不同的任务重点和适用条件,通过多传感器融合的方式能够使不同传感器之间彼此校验识别结果,实现多空间的信息互补和组合处理,由此得到更精确的识别结果。
可选地,所述步骤S2包括:
基于所述比较的结果将交通标志分类为静态交通标志或动态交通标志;以及
在交通标志被分类为静态交通标志的情况下将所述交通标志确定为有效交通标志。
由此,实现以下技术优点:通过这种基于静态特性和动态特性的区分,能够在初检阶段尽可能排除干扰项,这样即使后续的复检过程没来得及实施或只能受限地实施,也能够在最大程度上减少错误识别结果,从而提高驾驶辅助功能的接受度。
可选地,在所述步骤S4中,当交通标志的位置与车辆周围环境中的至少一个其他车辆的位置发生重叠时,将已经确定的有效交通标志确认为无效。
由此,实现以下技术优点:对于悬挂在其他车辆上的交通标志而言,如果其他车辆是静止的(例如停靠在路边),则仅通过交通标志的静态/动态特性则不足以将其与原本布置在路边的固定交通标志区分开。在这种情况下,如果充分了解交通标志与其附近的其他车辆之间是否发生位置重叠,则可以可靠验证交通标志是否的确附着在其他车辆上。
可选地,外部输入信息包括关于车辆周围环境中的固定交通标志的存在性信息,在所述步骤S4'中,仅当所述存在性信息指出在车辆周围环境中存在固定交通标志时,才将已经确定的有效交通标志确认为有效。
由此,实现以下技术优点:通过了解车辆附近是否存在固定交通标志,可以将识别出的有效交通标志与这种参考信息进行比对,从而验证初检结果的正确性。
可选地,所述外部输入信息包括关于车辆周围环境中的至少一个交通对象的类别信息,在所述步骤S4'中,当所述至少一个交通对象的类别信息指示至少一个预定义类别时,将已经确定的无效交通标志确认为有效。
由此,实现以下技术优点:如果了解到车辆周围环境中存在特殊类别的交通对象,则可能表示车辆处于极端应用场景中,在此,交通标志的有效性判别标准可能会发生变化。为保险起见,应当将已被确定无效的交通标志重新归类为有效,以尽可能提高安全性。
可选地,所述方法还包括以下步骤:将经可信度检验的关于交通标志的有效性的信息传输给至少一个其他车辆、基础设施和/或道路监管平台。
由此,实现以下技术优点:通过这种信息共享,可以及时通知车辆周围环境中的其他车辆,从而使它们较少地受到无效交通标志的干扰。此外,由此也可以借助其他平台进一步验证识别结果的有效性。
根据本发明的第二方面,提出一种用于识别交通标志的设备,所述设备用于执行本发明的第一方面所述的方法,所述设备包括:
获取模块,其配置为能够获取车辆的运动信息以及车辆周围环境中的交通标志在时间上相继拍摄的图像序列中的变化信息,所述获取模块还配置为能够检测所述交通标志与车辆周围环境中的至少一个其他车辆的位置关系;
确定模块,其配置为能够基于车辆的运动信息和交通标志的变化信息的比较确定交通标志的有效性;以及
可信度检验模块,其配置为能够基于所述位置关系对所确定的交通标志的有效性进行可信度检验。
附图说明
下面,通过参看附图更详细地描述本发明,可以更好地理解本发明的原理、特点和优点。附图包括:
图1示出了根据本发明的一个示例性实施例的用于识别交通标志的设备的框图;
图2示出了根据本发明的一个示例性实施例的用于识别交通标志的方法的流程图;
图3示出了根据本发明的一个示例性实施例的用于识别交通标志的方法的两个步骤的流程图;以及
图4a和图4b示出在示例性应用场景中使用根据本发明的方法的示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白,以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,而不是用于限定本发明的保护范围。
图1示出了根据本发明的一个示例性实施例的用于识别交通标志的设备1的框图。
如图1所示,设备1例如用于具有驾驶辅助/自动驾驶功能的车辆2。该车辆2例如可以部分自主行驶或者也可以完全自主行驶。为了实现改善的交通标志识别,设备1包括获取模块、确定模块20和可信度检验模块30。在此,获取模块并未以单个集成模块的形式示出,而是例如示出为包括多种类型的车载传感器(例如摄像机11、雷达传感器12和车辆轮速传感器14)。此外,该获取模块例如还包括数据融合单元13。
摄像机11例如包括单目、双目或立体摄像机,其配置为在不同时刻拍摄车辆周围环境的至少一个图像并根据相应的3D目标检测算法识别出交通标志以及其他类型的交通对象。雷达传感器12例如包括激光雷达、毫米波雷达等,其配置为检测车辆周围环境中的交通对象的距离和速度信息。车辆轮速传感器14例如配置为检测车轮转速,由此可以计算出车辆的速度。
此外,获取模块还可以包括其他类型的传感器,例如GNSS传感器、惯性传感器、超声波传感器、红外传感器等,这些传感器的检测结果可以在融合单元13中被共同分析处理,以得到用于描述交通标志和车辆的运动特性或位置特性的信息。
在借助获取模块获取了相应的传感器信息之后,这些信息被传输给确定模块20,以便在那里将车辆的运动信息与交通标志随时间的变化信息进行比较,从而确定交通标志的有效性。
根据本发明的实施例,这种有效性结论不直接被提供用于车辆的驾驶辅助功能,在这之前还可以借助可信度检验模块30对交通标志的这种有效性信息进行复检。为了执行复检,可信度检验模块30例如可以从获取模块(例如数据融合单元13)接收关于交通标志与车辆周围环境中的其他车辆的位置关系,然后基于这种位置关系验证有效性结论是否可靠。
设备1例如还包括基于车联网技术的通信接口15,其配置为从可信度检验模块30接收经过验证的交通标志有效性信息,并将这种信息共享给其他交通参与者、基础设施和/或道路监管平台。此外,通信接口15也可以是获取模块的一部分,并因此还配置为从车辆周围环境中接收关于外部输入信息并将其提供给可信度校验模块30,以便能够基于车联网数据辅助验证交通标志的有效性。
图2示出了根据本发明的一个示例性实施例的用于识别交通标志的方法的流程图。该方法例如可以在使用根据图1所示的设备1的情况下实施。
该方法包括步骤S1,在该步骤中获取车辆的运动信息以及车辆周围环境中的交通标志在时间上相继拍摄的图像序列中的变化信息。车辆的运动信息例如包括车辆的速度和位移变化量。交通标志的变化信息例如可以是交通标志的几何轮廓和/或尺寸方面的变化,也可以是在不同图像中检测到的交通标志的3D位移变化量。获取交通标志的变化信息的目的是求取出交通标志在确定时间段内相对于车辆的位移变化量。可选地,还可以在步骤S1中附加地借助多个车载传感器以融合的方式求取交通标志相对于车辆的速度和/或位置。
接下来,在步骤S2中基于车辆的运动信息与交通标志的3D位置变化量的比较判断所识别到的交通标志是否有效。可选地,可以在该步骤中附加地基于多个传感器融合得到的交通标志关于本车辆的相对速度和/或相对位置来确定有效性。这样做的好处是,可以基于多个传感器的识别结果综合分析交通标志的运动特性,由此提高有效性判断的准确性。例如,如果根据交通标志与自身车辆的相对位置识别出交通标志可能位于道路中央,则可以在开始阶段就将其排除从有效交通标志的范畴内排除或者也可以利用这种信息来验证3D目标检测的结果。在此,相对速度和/或相对位置的参考点可以由开发者基于设计和算法决定,这例如可以是本车辆的前轴中心、前保险杠中点、后轴中心等。在本发明的意义上,有效交通标志例如表示该交通标志的应用范围适用于车辆当前所处的交通环境,并因此能够将关于该交通标志的识别结果用于信息提示或车辆控制。无效交通表示则例如表示该交通标志属于滥用或仅用于特殊目的(例如仅旨在给予其他车辆或人员警示作用),在这种情况下不应当将这种交通标志的识别结果提供用于本车辆的驾驶辅助功能。
根据一个实施例,如果判断出交通标志有效,则还可以在步骤S3中获取交通标志与车辆周围环境中的至少一个其他车辆的位置关系。在此,例如可以借助车载摄像机(例如基于相应的3D目标检测算法)获取车辆周围目标的3D位置,并以此来判断交通标志的3D位置是否和其他车辆重叠。
在步骤S4中,基于所述位置关系对之前在步骤S2中得到的关于交通标志有效性的信息进行可信度检验。例如,可以比较车辆周围目标的3D位置信息和交通标志的3D位置信息的重合度,在重合度达到预定义的阈值的情况下则判断出存在位置重叠。还可以判断交通标志与其周围限定范围内的至少一个目标(例如其他车辆)是否有相同的3D位置信息,如二者具有相同3D位置信息,则可以进一步判断交通标志是与否该目标存在位置重叠。
如果发现交通标志与至少一个车辆存在位置重叠,则尤其表示该交通标志不是以独立个体的形式存在,而是依附在其他车辆上。这例如意味着,所识别到的交通标志不是固定在路边的标准规格的交通标志,而是粘贴在其他车辆后部的动态标签。在这种情况下,无论在前述步骤中得出的有效性结论如何,都应将这种交通标志视为无效。在这种情况下,例如可以在步骤S5中将已经确定的有效交通标志确认为无效。
相反,如果在步骤S4中未发现发生位置重叠,则在步骤S6中继续保持之前的有效性确定结果,即,将已经确定的有效交通标志继续保持有效。
根据另一实施例,如果在步骤S2中判断出交通标志有效,则还可以在步骤S3'中借助V2X技术接收关于车辆周围环境的外部输入信息。作为示例,外部输入信息可以包括关于车辆周围环境中的至少一个交通对象的类别信息。作为另一示例,该外部输入信息包括关于车辆周围环境中的固定交通标志的存在性信息。又例如借助V2X技术接收安全可靠且实时的车辆周围环境的包括(动态)交通标识的输入信息。
在步骤S4'中,可以判断交通对象是否属于预定义类别。作为示例,可以借助外部输入信息判断在车辆周围环境中是否存在挂有限速标识的警车经过。又例如,可以借助外部输入信息判断在车辆周围环境中是否存在运输危险品或正面临安全问题的运输车辆。
如果判断出至少一个交通对象属于预定义类别。则在步骤S7中将已经确定的无效交通标志确认为有效。这样做的目的在于,如果有特殊类别车辆(警车、危险品运输车辆等)位于车辆当前的驾驶环境中,则原本的有效性判断标准可能不再适用,因此为谨慎起见,即使已经识别到了无效交通标志,也应当在执行驾驶辅助功能时适当考虑该交通标志的内容或给予车内人员一定提示。
相反,如果外部输入信息未指出在车辆周围环境中存在预定义类别的交通对象,则可以在步骤S8中继续保持之前的有效性确定结果。
可选地,还可以在步骤S4'中附加地判断外部输入信息是否包括关于车辆周围环境中的固定交通标志的存在性信息。仅当存在性信息指出在车辆周围环境中确实存在固定交通标志时,才将已经确定的有效交通标志确认为有效。
图3示出了根据本发明的一个示例性实施例的用于识别交通标志的方法的两个步骤的流程图。在该示例性实施例中,图2中的方法步骤S1包括子步骤S11-S12,方法步骤S2包括子S21-S24。
在步骤S11中,计算交通标志在第一时刻与第二时刻之间的时间段内的3D位置变化量。在此,例如可以分别在第一时刻和第二时刻借助车载摄像机拍摄车辆周围环境的图像并在相应图像中识别出交通标志。根据3D目标检测算法,可以分别求取交通标志在第一时刻和第二时刻的3D位置D_sign_time_1、D_sign_time_2。在本发明的意义上,这种3D位置表示交通标志相对于本车辆的位置。然后,例如可以通过以下等式求取出交通标志的3D位置变化量:D_sign=D_sign_time_1-D_sign_time_2。
在步骤S12中,计算车辆在第一时刻与第二时刻之间的时间段内的位移变化量。在此,例如借助车辆轮速传感器感知车辆在某一时刻的速度为v_current,在一段时间内的位移变化量为:替代地或附加地,还可以借助车辆自身的定位模块获取车辆在第一和第二时刻的位置P_vehicle_time_1、P_vehicle_time_2,通过比对不同时刻的位置也可以计算出位移变化量,P_vehicle=P_vehicle_time_1–P_vehicle_time_2。
在步骤S21中,将交通标志的3D位置变化量与车辆的位移变化量进行比较。在此,例如可以求取交通标志的3D位置变化量与车辆位移变化量的偏差关系。
在步骤S22中,根据上述比较的结果判断交通标志是否为动态。作为示例,当交通标志的3D位置变化量D_sign接近车辆位移变化量D_vehicle时,即,例如满足关系D_vehicle*80%≤D_sign≤D_vehicle*120%时,则判断出交通标志为静态。作为示例,当交通标志的3D位置变化量D_sign与车辆位移变化量D_vehicle差距较大时,即,例如当D_sign<D_vehicle*80%,或D_sign>D_vehicle*120%时,则判断出交通标志为动态。
如果判断出交通标志为动态,则表示交通标志很有可能悬挂在其他车辆上并随其他车辆一同前进,在这种情况下,在步骤S24中确定识别到无效交通标志。
如果判断出交通标志为静态,则表示交通标志为固定在路边的静止对象,因此可以在步骤S23中确定识别到有效交通标志。
图4a和图4b示出在示例性应用场景中使用根据本发明的方法的示意图。
在所示场景中,在车辆行驶过程中例如借助布置在车辆上的摄像机分别在不同时刻拍摄车辆前方路面的图像。图4a示出在第一时刻拍摄的图像,图4b示出在第一时刻之后的第二时刻拍摄的图像。
通过观察图4a可看出,在本车辆前方不远处存在处于行驶中的大型客车41,在该大型客车41尾部粘贴有第一限速标志401。此外在本车辆右前方还存在粘贴在大型货车42尾部的第二限速标志402以及固定在路边的第三限速标志403。在该示例性场景中,该大型货车42停靠在路边并因此处于静止状态。通过相应的3D目标检测算法,例如可以在该图像中捕捉到三个限速标志401、402、403。
为了甄别这三个限速标志的有效性,在第二时刻再次拍摄前方路面的图像,这示例性地在图4b中示出。通过观察图4b可看出,由于大型客车41比自身车辆更快地行驶,因此随着时间推移,该大型客车41相对于本车辆的距离变大。此外,随着车辆的前进,固定在路边的限速标志403以及停靠在路边的大型货车42相对于本车辆的距离变小。借助根据本发明的方法,可以根据车辆自身的位移变化量与所识别到的各个限速标志401、402、403的3D位置变化量的比较判断出第一限速标志401属于动态标识,并且第二和第三限速标志402、403属于静态标识,因此在初步的有效性确定过程中,将第一限速标志401归类为无效交通标志,而将第二和第三限速标志402、403归类为有效交通标志。
在该示例性场景中,第二限速标志402实质上仅旨在让其他交通参与者监督大型客车42的驾驶行为,其并不适用于当前路段的速度规定。但是由于该第二限速标志402是悬挂在静止车辆42上的,因此在初步有效性判定中也按照运动特性将其识别为静态对象,并因此错误地将其归类为有效的。由此可见,单纯依赖交通标志的速度信息不足以这种张贴的标识符可靠地与普通限速标志区分开。
在这种情况下,需要进一步根据交通标志与其他车辆的3D位置关系来对有效性判定的结果进行验证。例如,可以基于3D目标检测算法获取第二限速标志402的3D位置信息以及其附近的车辆42的3D位置信息,这两种3D位置信息既可以是在世界坐标系中的绝对位置,也可以是关于一特定坐标系的相对位置,唯一需要确保的是两者的3D位置信息是基于相同参考坐标系计算出的。在此,例如判断出第二限速标志402的位置与大型货车42的3D位置发生重叠,由此,可以推断出第二限速标志附着在大型货车42上,因此其之前的有效性结论需要被更正。
在图4a-4b中还可看出,在车辆周围环境中还存在具有车联网通信接口50的另一车辆43,该车辆43例如配备有最新版本的高精度地图并从中了解到:在当前的车辆环境中只存在一个固定限速标志,并且该固定限速标志指示“80km/h”的速度限制要求。车辆43例如将这种信息共享给本车辆。于是,在接收到这种信息的情况下,本车辆也可以将其用于交通标志有效性的可信度检验。
尽管这里详细描述了本发明的特定实施方式,但它们仅仅是为了解释的目的而给出的,而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下,各种替换、变更和改造可被构想出来。
Claims (10)
1.一种用于识别交通标志(401,402,403),的方法,所述方法包括以下步骤:
S1:获取车辆(2)的运动信息以及车辆周围环境中的交通标志(401,402,403)在时间上相继拍摄的图像序列中的变化信息;
S2:基于所述车辆(2)的运动信息和所述交通标志(401,402,403)的变化信息的比较确定交通标志(401,402,403)的有效性;
S3:检测所述交通标志(401,402,403)与车辆周围环境中的至少一个其他车辆(42)的位置关系;以及
S4:基于所述位置关系对所确定的交通标志(401,402,403)的有效性进行可信度检验。
2.根据权利要求1所述的方法,其中,所述方法还包括以下步骤:
S3':借助V2X技术接收关于车辆周围环境的外部输入信息;以及
S4':基于所述外部输入信息对所确定的交通标志(401,402,403)的有效性进行可信度检验。
3.根据权利要求1或2所述的方法,其中,车辆(2)的运动信息包括车辆(2)在确定时间段内的位移变化量,交通标志(401,402,403)的变化信息包括借助车载摄像机(11)在确定时间段内识别到的交通标志(401,402,403)的3D位置变化量。
4.根据权利要求1至3中任一项所述的方法,其中,所述方法至少在步骤S3之前还包括以下步骤:
借助多个车载传感器融合地求取交通标志(401,402,403)相对于车辆(2)的速度和/或位置;以及
附加地基于所述速度和/或位置确定交通标志(401,402,403)的有效性。
5.根据权利要求1至4中任一项所述的方法,其中,所述步骤S2包括:
基于所述比较的结果将交通标志(401,402,403)分类为静态交通标志或动态交通标志;以及
在交通标志(401,402,403)被分类为静态交通标志的情况下将所述交通标志(401,402,403)确定为有效交通标志。
6.根据权利要求1至5中任一项所述的方法,其中,在所述步骤S4中,当所述交通标志(401,402,403)的位置与车辆周围环境中的至少一个其他车辆(42)的位置发生重叠时,将已经确定的有效交通标志确认为无效。
7.根据权利要求2所述的方法,其中,所述外部输入信息包括关于车辆周围环境中的固定交通标志的存在性信息,在所述步骤S4'中,仅当所述存在性信息指出在车辆周围环境中存在固定交通标志时,才将已经确定的有效交通标志确认为有效。
8.根据权利要求2所述的方法,其中,所述外部输入信息包括关于车辆周围环境中的至少一个交通对象的类别信息,在所述步骤S4'中,当所述至少一个交通对象的类别信息指示至少一个预定义类别时,将已经确定的无效交通标志确认为有效。
9.根据权利要求1至8中任一项所述的方法,其中,所述方法还包括以下步骤:
将经可信度检验的关于交通标志(401,402,403)的有效性的信息传输给至少一个其他车辆(43)、基础设施和/或道路监管平台。
10.一种用于识别交通标志(401,402,403)的设备(1),所述设备用于执行根据权利要求1至9中任一项所述的方法,所述设备(1)包括:
获取模块,其配置为能够获取车辆(2)的运动信息以及车辆周围环境中的交通标志(401,402,403)在时间上相继拍摄的图像序列中的变化信息,所述获取模块还配置为能够检测所述交通标志(401,402,403)与车辆周围环境中的至少一个其他车辆(42)的位置关系;
确定模块,其配置为能够基于所述车辆(2)的运动信息和所述交通标志(401,402,403)的变化信息的比较确定交通标志(401,402,403)的有效性;以及
可信度检验模块,其配置为能够基于所述位置关系对所确定的交通标志(401,402,403)的有效性进行可信度检验。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110856025.1A CN113591673A (zh) | 2021-07-28 | 2021-07-28 | 用于识别交通标志的方法和设备 |
DE102022002710.0A DE102022002710A1 (de) | 2021-07-28 | 2022-07-26 | Verfahren und Vorrichtung zur Verkehrszeichenerkennung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110856025.1A CN113591673A (zh) | 2021-07-28 | 2021-07-28 | 用于识别交通标志的方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113591673A true CN113591673A (zh) | 2021-11-02 |
Family
ID=78250887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110856025.1A Pending CN113591673A (zh) | 2021-07-28 | 2021-07-28 | 用于识别交通标志的方法和设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113591673A (zh) |
DE (1) | DE102022002710A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115394077A (zh) * | 2022-08-18 | 2022-11-25 | 中国第一汽车股份有限公司 | 限速信息确定方法、装置及非易失性存储介质 |
-
2021
- 2021-07-28 CN CN202110856025.1A patent/CN113591673A/zh active Pending
-
2022
- 2022-07-26 DE DE102022002710.0A patent/DE102022002710A1/de active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115394077A (zh) * | 2022-08-18 | 2022-11-25 | 中国第一汽车股份有限公司 | 限速信息确定方法、装置及非易失性存储介质 |
CN115394077B (zh) * | 2022-08-18 | 2023-10-27 | 中国第一汽车股份有限公司 | 限速信息确定方法、装置及非易失性存储介质 |
Also Published As
Publication number | Publication date |
---|---|
DE102022002710A1 (de) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4420011B2 (ja) | 物体検知装置 | |
CN107953884B (zh) | 用于自主车辆的行驶控制设备和方法 | |
US10395527B2 (en) | Method and control and detection device for a plausibility check of a wrong-way driving incident of a motor vehicle | |
US10935976B2 (en) | Blinker judgment device and autonomous driving system | |
US10480949B2 (en) | Apparatus for identifying position of own vehicle and method for identifying position of own vehicle | |
CN105128836A (zh) | 自主紧急制动***及其中识别行人的方法 | |
EP2884476A1 (en) | Object detection apparatus and driving assistance apparatus | |
JP6654923B2 (ja) | 地図情報出力装置 | |
CN105620489A (zh) | 驾驶辅助***及车辆实时预警提醒方法 | |
CN106537180A (zh) | 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法 | |
CN106157664A (zh) | 一种道路限速标识识别装置 | |
CN104742901B (zh) | 用于识别机动车逆向于行驶方向地驶入道路的行车带中的方法和控制与检测装置 | |
US20100052944A1 (en) | Vehicle and Method for Identifying Vehicles Located in the Surroundings of the Vehicle | |
JP2014241036A (ja) | 車両運転支援装置 | |
WO2019216386A1 (ja) | 車両制御装置および車両 | |
JP2020106915A (ja) | 情報提示装置 | |
US20200174488A1 (en) | False target removal device and method for vehicles and vehicle including the device | |
JP2022172444A (ja) | 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両 | |
CN109195849B (zh) | 摄像装置 | |
CN112352268A (zh) | 用于车辆的驾驶辅助***、带驾驶辅助***的车辆和用于车辆的驾驶辅助方法 | |
CN113591673A (zh) | 用于识别交通标志的方法和设备 | |
KR20160131196A (ko) | 장애물 감지 장치 | |
CN112466139A (zh) | 基于多传感器的限速融合方法、***、车辆及存储介质 | |
CN115017967A (zh) | 检测和收集事故相关驾驶体验事件数据 | |
CN114333414A (zh) | 停车让行检测装置、停车让行检测***以及记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |