CN117315967A - 车辆以及用于车辆的控制***和方法 - Google Patents

车辆以及用于车辆的控制***和方法 Download PDF

Info

Publication number
CN117315967A
CN117315967A CN202311259949.9A CN202311259949A CN117315967A CN 117315967 A CN117315967 A CN 117315967A CN 202311259949 A CN202311259949 A CN 202311259949A CN 117315967 A CN117315967 A CN 117315967A
Authority
CN
China
Prior art keywords
traffic sign
road traffic
vehicle
detected
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311259949.9A
Other languages
English (en)
Inventor
迈克尔·吉贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of CN117315967A publication Critical patent/CN117315967A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明的方面涉及车辆以及用于车辆的控制***和方法。控制***从车辆的视觉子***接收视觉道路交通标志数据，并且从车辆的导航子***接收导航道路交通标志数据。控制***确定在车辆附近的检测到的道路交通标志的特征，检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据这二者的至少一者中，其中该特征为是否需要预先通知所述检测到的道路交通标志。控制***根据所确定的特征并且根据检测到的道路交通标志是包括在视觉道路交通标志数据中、还是包括在导航道路交通标志数据中、亦或是包括在视觉道路交通标志数据和导航道路交通标志数据二者中来确定是否输出检测到的道路交通标志的指示。

Description

车辆以及用于车辆的控制***和方法
本申请是申请日为2020年1月8日、申请号为202080008813.9(PCT/EP2020/050262)、发明名称为“用于车辆的控制***”的发明专利申请的分案申请。
技术领域
本公开内容涉及用于车辆的控制***，并且特别地涉及用于确定是否以及何时输出在车辆附近的检测到的道路交通标志的指示的控制***。本发明的方面涉及控制***、方法、存储介质和车辆。
背景技术
众所周知，道路车辆例如汽车具有一个或更多个前向摄像机来收集与由车辆正在行驶的道路相关的数据。特别地，前向摄像机可以用于收集与车辆沿其行驶的道路上或道路旁边的道路交通标志有关的数据。收集到的数据可以由车载图像处理子***处理以确定通过交通标志显示的信息，以及然后可以例如通过在车辆的仪表盘显示器上显示该信息来将所确定的信息传递至车辆驾驶员。
为此目的而使用前向摄像机的缺点在于摄像机可能无法检测到某些道路标志或者图像处理子***可能会基于收集到的数据做出存在某个道路标志的错误决定。例如，如果给定的道路标志倾斜、脏污或者被树木或灌木部分地覆盖，则可能会发生这种情况。这种问题还可能导致向车辆驾驶员显示交通标志晚于对于他们能够就交通标志上的信息做出适当反应而言更可取的时间。另外，前向摄像机具有有限的检测范围。
另外已知使用车辆的导航子***来确定车辆应该遵守的速度限制。具体地，这通过确定车辆当前沿其行驶的道路并且检索与所确定的道路或路段相关联的速度限制来实现。还可以在仪表盘显示器上向驾驶员显示所确定的速度限制。
这可能的缺点在于，与车辆行驶所沿的特定道路相关联的速度限制可能不可用或丢失，或者通过导航子***检索到的信息可能过时。
本发明的目的是解决与现有技术相关联的缺点中的一个或更多个缺点。
发明内容
根据本发明的一方面，提供了一种用于车辆的控制***。控制***可以包括一个或更多个控制器。控制***可以被配置成从车辆的视觉子***接收视觉道路交通标志数据。控制***可以被配置成从车辆的导航子***接收导航道路交通标志数据。控制***可以被配置成确定在车辆附近的检测到的道路交通标志的特征，检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据这二者的至少一者中，其中，该特征为是否需要预先通知检测到的道路交通标志。控制***可以被配置成根据所确定的特征以及根据检测到的道路交通标志是包括在视觉道路交通标志数据中、还是包括在导航道路交通标志数据中、亦或是包括在视觉道路交通标志数据和导航道路交通标志数据二者中来确定是否输出检测到的道路交通标志的指示。
本发明的优点在于它提供了控制逻辑来融合从两个独立的源——即视觉子***和导航子***——接收的数据，以提高对车辆附近的道路交通标志进行检测的准确性。特别地，本发明减少了未检测到但存在于附近的标志的数目(“假否定”)，减少了太晚检测到的标志的数目(“晚肯定”)，并且减少了检测到但不存在于附近的标志的数目(“假肯定”)。具体地，本发明改进了其中假否定率通常为5％-10％以及假肯定率通常为每100公里0.5个-1个标志的现有技术***。控制***以更高的准确性将检测到的道路交通标志通知车辆驾驶员和/或一个或更多个其他车辆子***作为由道路上的物理交通标志指示的前面或即将到来的危险区域的持续提醒。
控制***可以包括电子控制单元或者一个或更多个控制器。例如，所述控制***可以包括具有用于从视觉子***和导航子***接收电子信号的电气输入的电子处理器。电子控制器或者一个或更多个控制器可以具有与之相关联的微处理器，该微处理器被编程以执行所需的功能。例如，该***可以包括电耦接至电子处理器并且其中存储有指令的电子存储装置。被配置成确定在车辆附近的检测到的道路交通标志的特征的控制***可以包括处理器，该处理器被配置成访问存储装置并执行其中存储的指令，使得其可操作成基于接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据的至少之一来确定检测到的道路交通的特征。
另外，电子控制器或者一个或更多个控制器可以具有内部存储装置或相关联的外部存储装置，例如，固态存储装置。应当理解，贯穿本文件提及的所有功能性“装置”可以被认为是一个或更多个电子控制单元或控制器内的控制功能。
控制***可以被配置成确定检测到的道路交通标志的多个特征。
该特征可以为检测到的道路交通标志是永久性的还是临时性的。
如果检测到的道路交通标志是永久性的并且包括在视觉道路交通标志数据和导航道路交通标志数据二者中，则控制***可以被配置成输出检测到的道路交通标志的指示。
如果检测到的道路交通标志是永久性的并且仅包括在视觉道路交通标志数据中，则控制***可以被配置成确定导航子***是否有权限访问指示检测到的道路交通标志的数据，并且如果导航子***没有权限访问指示检测到的道路交通标志的数据，则输出检测到的道路交通标志的指示。
如果检测到的道路交通标志是临时性的并且包括在视觉道路交通标志数据中，则控制***可以被配置成输出检测到的道路交通标志的指示。
如果检测到的道路交通标志是以下任何一种，则该特征可以是永久性的：
停车标志；
让路标志；
禁止进入标志；
禁止机动车标志；
野生动物标志；
自行车标志；
行人标志；
儿童标志；
向左或向右急转弯标志；
向左或向右双转弯标志；以及
具有或没有优先的交叉口标志。
如果检测到的道路交通标志是以下任何一种，则该特征可以是暂时性的：
湿滑道路标志；
排队标志；
双向道路变窄标志；
左侧或右侧道路变窄标志；以及，
施工标志。
如果需要预先通知检测到的道路交通标志并且检测到的道路交通标志包括在导航道路交通标志数据中，则控制***可以被配置成输出检测到的道路交通标志的指示。
控制***可以被配置成如果需要在车辆与检测到的道路交通标志之间的距离大于阈值时输出检测到的道路交通标志的指示，则确定需要预先通知。
视觉子***的检测范围可以小于或等于阈值。
如果检测到的道路交通标志是以下任何一种，则控制***可以被配置成确定需要预先通知检测到的道路交通标志：
停车标志；
让路标志；
行人标志；以及
儿童标志。
车辆的附近可以包括沿着由车辆正在行驶的道路。
车辆的附近可以包括车辆前方的方向。
控制***可以被配置成将检测到的道路交通标志的指示输出至车辆的驾驶员。
控制***可以被配置成使检测到的道路交通标志的指示显示持续车辆行驶的特定距离。
控制***可以包括车辆的驾驶室中的显示设备。控制***可以被配置成将检测到的道路交通标志的指示从一个或更多个控制器输出至显示设备。显示设备可以被配置成向驾驶员显示检测到的道路交通标志的指示。
显示设备可以是车辆的仪表显示器面板和/或头部显示器(“平视显示器”)。
显示设备可以被配置成使检测到的道路交通标志的指示显示持续车辆行驶的特定距离。
行驶的特定距离可以取决于检测到的道路交通标志。
显示设备可以被配置成显示检测到的道路交通标志的指示，直至车辆经过检测到的道路交通标志为止。
控制***可以包括视觉子***。视觉子***可以包括至少一个车载前视摄像机，所述车载前视摄像机被配置成接收检测到的道路交通标志的图像数据。
视觉子***可以包括图像处理单元，该图像处理单元被配置成从接收到的图像数据中提取检测到的道路交通标志的一个或更多个特征以发送至一个或更多个控制器。
控制***可以包括导航子***。导航子***可以包括车辆的远程信息处理控制单元。
根据本发明的另一方面，提供了一种用于车辆的方法。该方法可以包括从车辆的视觉子***接收视觉道路交通标志数据。该方法可以包括从车辆的导航子***接收导航道路交通标志数据。该方法可以包括确定在车辆附近的检测到的道路交通标志的特征，所述检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据这二者的至少之一中，其中，该特征为是否需要预先通知检测到的道路交通标志。该方法可以包括根据所确定的特征以及根据检测到的道路交通标志是包括在视觉道路交通标志数据中、还是包括在导航道路交通标志数据中、亦或是包括在视觉道路交通标志数据和导航道路交通标志数据二者中来确定是否输出检测到的道路交通标志的指示。
根据本发明的另一方面，提供了一种其上存储有指令的非暂态计算机可读存储介质，所述指令在由一个或更多个电子处理器执行时使所述一个或更多个电子处理器执行上述方法。
根据本发明的另一方面，提供了一种包括如上所述的控制***的车辆。
在本申请的范围内，明确地意在在前述段落中、在权利要求中和/或在下面的描述和附图中——并且特别是在其各个特征中——阐述的各个方面、实施方式、示例和替选可以单独或以任意组合使用。即，所有实施方式和/或任何实施方式的特征可以以任何方式和/或组合进行组合，除非这些特征不兼容。申请人保留相应地更改任何最初提交的权利要求或提交任何新权利要求的权利，包括将任何最初提交的权利要求修改为引用根据任何其他权利要求的任何特征和/或并入任何其他权利要求的任何特征的权利，尽管最初未以这种方式要求保护。
附图说明
现在将参照附图仅通过示例的方式描述本发明的一个或更多个实施方式，在附图中：
图1示出了沿着道路行驶的车辆的示意性平面图以及车辆前方在道路侧边处的交通标志，该车辆包括根据本发明的一方面的控制***；以及
图2示出了由图1的控制***执行的方法的步骤。
具体实施方式
本发明提供了用于检测沿车辆正在行驶或将要行驶的道路的一个或更多个道路交通标志并且向驾驶员通知所述一个或更多个道路交通标志的车辆控制***和方法。特别地，与道路交通标志有关的数据是从车辆的视觉子***和车辆的导航子***两者采集的，并且两组采集的数据的融合允许关于要将什么信息传递至驾驶员的确定。这样的数据融合提高了传递至驾驶员的信息的准确性和完整性。
图1示出了沿道路12行驶的车辆10。在车辆10前方并且道路12旁边是向车辆的驾驶员显示信息的道路交通标志14，下面会更详细地讨论。
车辆10包括视觉子***16，视觉子***16又包括安装在车辆10上的一个或更多个摄像机18。摄像机18面向前并且安装在车辆10的前部。摄像机18被配置成采集车辆10周围环境特别是车辆10前方的图像数据。具体地，当车辆10接近交通标志14时，摄像机18检测与道路交通标志14相关联的图像数据。视觉子***16还包括图像处理单元20，图像处理单元20被配置成对由摄像机18采集和收集的图像数据进行处理和分析。特别地，图像处理单元20提取道路交通标志14的一个或更多个特征，以确定道路交通标志14是哪种特定类型的道路交通标志。图像处理单元20可以使用字符识别以及/或者确定检测到的交通标志14的整体形状，以确定道路标志的具体类型，并且从而确定正在给予驾驶员的信息。
车辆10还包括导航子***22，导航子***22包括诸如全球定位***(GPS)的卫星导航设备，卫星导航设备被配置成确定车辆10的地理位置，特别是车辆10沿其行驶的道路12的地理位置。导航子***22包括地图数据，地图数据包括关于车辆10正在沿其行驶的道路12的信息，例如道路12的速度限制、与道路相关联的危险以及即将到来的交叉口(junction)。具体地，地图数据包括关于沿道路12定位的包括交通标志14的各种道路交通标志的信息。导航子***22可以是车辆10的远程信息处理控制单元的一部分。
车辆10还包括控制器30，控制器30具有输入32、一个或更多个处理器34和输出36。输入32被配置成接收来自视觉子***16的视觉数据，并且特别是指示道路交通标志14——例如，由图像处理单元20提取的标志14的一个或更多个特征——的数据。输入32还被配置成接收来自导航子***22的导航数据或地图数据，并且特别是指示车辆10的确定的地理位置附近的道路交通标志的数据。如下面更详细地讨论的，处理器34被配置成确定由视觉子***16和/或导航子***22检测到的道路交通标志提供的信息是否要引起驾驶员的注意。当确定要通知驾驶员检测到的道路标志14的存在时，输出36被配置成向车辆10的一个或更多个其他子***或设备发送指示，以照此通知驾驶员。
车辆10还包括在车辆10的舱室中的呈仪表显示面板和/或头部显示器(“平视显示器”)形式的显示设备38。显示设备38被配置成根据接收到的来自输出36的信号来例如以复制标志的图标的形式显示对由检测到的道路交通标志提供的信息的指示。
视觉子***16、导航子***22、控制器30和显示设备38可以被认为形成车辆的控制***40。替选地，这些部件中的一个或更多个，但包括控制器30，可以被认为形成控制***40。控制***40可以包括一个或更多个控制器，以提供本文所述的控制器30的功能。
图2示出了当车辆10沿道路12行驶时由控制器30和其他车辆子***执行的方法50的步骤。当车辆10沿道路12行驶时，前向摄像机18持续地采集车辆周围环境的图像数据，并且图像数据由图像处理单元20进行分析。通常，摄像机18具有约30米的范围。一旦图像处理单元20已经通过从所收集的图像数据中提取特征而确定任何道路交通标志的存在，则将关于这些确定的道路标志的存在的信息发送至控制器30，并且特别地，在方法50的步骤52处由输入32接收指示至少一个道路交通标志的该视觉道路交通标志数据。
类似地，导航子***22持续地跟踪车辆10的位置，并且特别是车辆10沿道路的具***置。导航子***22检索与车辆10的所确定的位置的附近——例如沿着道路12——的道路交通标志(或其他限制/规则)有关的信息。具体地，在方法50的步骤54处，由输入32接收指示检测到的道路交通标志的类型的数据以及可能的其相对于车辆10的位置的数据。
处理器34对在来自视觉子***16的视觉道路交通标志数据和来自导航子***22的导航道路交通标志数据之一或两者中包括的检测到的道路交通标志14进行分析。特别地，处理器34确定检测到的道路交通标志14的一个或更多个特征。
在本上下文中，由处理器34确定的检测到的道路标志14的特征之一是其是所谓的“永久”标志还是“临时”标志。永久标志可以被视为永久存在于其在路边处的位置的标志。相反，临时标志是仅存在于其检测到的位置有限的时间段——例如在道路12上或在道路12附近的建筑工程时段期间——的标志。在步骤56处，处理器34做出关于检测到的道路标志是永久的还是临时的确定。处理器34可以使用检测到的道路标志的不同特征，以便例如通过对其相对于道路的位置和高度、其整体尺寸和/或形状、和/或其相对于道路表面的倾斜进行分析来确定其是永久的还是临时的。
如果在步骤56中由视觉子***16检测的检测到的道路交通标志被分类为永久的，则在步骤58处，处理器34检查接收到的视觉道路交通标志数据和导航道路交通标志数据两者是否都包括检测到的道路交通标志14。
可以被分类为本质上是永久的道路交通标志的类型的示例为停车标志、让行标志、禁止通行标志、禁止机动车标志、野生动物标志、骑自行车者标志、行人标志、儿童标志、向左或向右急转弯标志、向左或向右双转弯标志、以及具有或不具有优先标志的交叉口。
如果在步骤58处确定接收到的视觉数据和导航数据两者都包括检测到的道路交通标志14，则这被认为是对特定道路标志的肯定识别。处理器34可以检查检测到的道路交通标志距车辆10的相对位置或距离在视觉数据与导航数据之间是否一致，以确保它们指的是同一检测到的标志。在这种情况下，在步骤60处，输出36向显示设备38发送以下控制信号：向驾驶员显示检测到的道路交通标志的指示，或者至少向驾驶员显示由检测到的道路交通标志提供的信息的指示。也就是说，输出36被配置成向驾驶员发送检测到的道路交通标志的指示。
然而，如果在步骤58处确定检测到的道路交通标志14不包括在接收到的视觉数据和导航数据两者中，则在步骤62处，处理器34确定接收到的视觉数据和导航数据中的哪一个包括检测到的道路交通标志14。
如果在步骤62处确定检测到的道路交通标志14仅包括在接收到的视觉道路交通标志数据中，则处理器34在步骤64处做出关于导航子***22是否有权限访问指示特定的检测到的道路交通标志14的数据的进一步确定。导航子***22可以仅存储与道路12上存在的所有不同类型的永久交通标志的子集有关的信息。如果导航子***22未存储关于检测到的道路交通标志14已经被确定为的特定类型标志的位置的信息，则处理器34因此不能检查导航子***22是否也已经检测到该道路交通标志。在这种情况下，在步骤66处，输出36自动向显示设备38发送用于显示检测到的道路交通标志66的指示的控制信号。
然而，如果导航子***22确实存储了关于检测到的道路交通标志14被确定为的特定类型标志的信息，但是导航子***22只是没有检测到该道路标志14(使得该道路标志14未包括在导航道路交通标志数据中)，则在步骤68处，控制器30不控制显示设备38显示检测到的道路交通标志的指示。这种情况可能发生或是因为导航子***22尚未确定由视觉子***16检测到的标志在车辆附近。在这种情况下，校测到道路交通标志14被确定为视觉子***16做出的假肯定检测(步骤68)。
返回至步骤62，如果确定仅在接收到的导航道路交通标志数据中包括检测到的道路交通标志14，则在步骤70处，处理器34做出对另外的特征的确定，特别是是否需要预先通知该特定的检测到的道路交通标志14。具体地，处理器34做出如下确定：是否需要在通过方法50中的前述步骤提供的通知之前进一步或更早地通知驾驶员车辆10正在接近检测到的道路交通标志14。
视觉子***16的摄像机18可以仅具有车辆10前方的有限视觉范围，例如约30米。对于某些类型的道路交通标志，当车辆10距道路交通标志仍超过30米时，通知车辆驾驶员在这样的道路交通标志上显示的信息将是有益的。也就是说，在由视觉子***16检测到即将到来的道路交通标志之前，使驾驶员意识到即将到来的道路交通标志将是有益的。这样的危险或警告标志可以包括停车标志、让行标志、行人标志和儿童标志中的任何标志。具体地，提供某些标志的所谓“预先通知”向驾驶员提供在到达交通标志之前需要采取行动——例如，降低车速——的警告。
换句话说，如果需要在视觉子***16的检测范围之外——即大于车辆10与检测到的道路交通标志14之间的阈值距离——将包括在由导航子***22提供的导航数据中的检测到的道路交通标志14通知给驾驶员(步骤70)，则在步骤72处，输出36命令显示设备38向驾驶员显示第二道路交通标志14的指示。否则，在步骤74处，输出36不发送这样的指令或者保留发送这样的控制信号，直到车辆10正在经过检测到的道路交通标志14，或者至少直到车辆10与检测到的道路交通标志14之间的距离小于阈值距离。此时，视觉子***16也已经检测到道路交通标志14。
返回至方法50中的步骤56，如果处理器34替代地将检测到的道路交通标志14分类为本质上是临时的，则在步骤76处，输出36自动向显示设备38发送用于显示检测到的道路交通标志14的指示的控制信号。应当理解，本质上是临时的交通标志不会存储在导航***中，并且因此隐含的是检测到的标志14包括在视觉数据中。也就是说，例如在建筑工程的有限时段期间，与临时标志的存在有关的信息将不会被导航子***22存储并且因此将不会被检测到。为此，与检测到的道路交通标志14本质上是永久的情况不同，当检测到的道路交通标志14本质上是临时的时，处理器34不进行用于确定标志是否已经被导航子***22检测到的另外的检查。因此，为了确定驾驶员被适当地通知即将到来的临时道路交通标志，在步骤76处控制器30命令要通知驾驶员临时标志之前仅需要由视觉子***16检测到临时标志。
可以被确定为本质上是临时的道路交通标志的示例包括湿滑道路标志、排队标志、双向道路变窄标志、左侧或右侧道路变窄标志、以及建筑或工程标志。
处理器34可以参照标志相对于道路的位置/高度、标志的倾斜度、标志的尺寸和/或由标志显示的特定信息来确定标志本质上是临时的。
当输出36向显示设备38发送控制信号时，可以在车辆10行驶的特定距离内向驾驶员显示对检测到的道路交通标志14的指示。在速度限制标志的情况下，检测到的道路交通标志14总是显示给驾驶员；而其他类型的标志可以给驾驶员显示到确定车辆10已经行驶通过道路上的该标志为止。可以根据由交通标志显示的特定信息、在不同的时间段或不同的车辆行驶距离向驾驶员显示不同类型的危险标志。例如，可以在车辆行驶经过指示下一英里有落石风险的道路交通危险标志之后一英里内向驾驶员显示该标志。
应当理解，在不脱离本申请的范围的情况下，可以对本发明进行各种改变和修改。
在上述实施方式中，道路交通标志在车辆正在行驶的道路上并且在车辆前方；然而，在不同的实施方式中，道路交通标志可以在车辆附近的任何地方。例如，道路交通标志可以在道路的侧边处或道路本身上(例如，在临时道路标志的情况下)。道路交通标志可以在车辆正在接近的不同道路上，或者在车辆现在已经离开的道路上。车辆附近可以包括车辆前方或到车辆后方的特定区域或距离，无论车辆当前是否在道路上。车辆附近可以包括沿车辆正在行驶的(计划的)路线的特定距离。车辆附近可以包括通常靠近车辆的区域。
上述实施方式中由控制***40执行的方法步骤的特定顺序在不同的实施方式中可以不同。此外，在不同的实施方式中，可以仅执行上述方法步骤的子集。
在上述实施方式中，当确定输出检测到的道路交通标志的指示时，将用于向驾驶员显示检测到的交通标志或至少与交通标志有关信息的控制信号发送至显示设备38。在不同的实施方式中，输出可以替代地或另外地将检测到的道路交通标志的指示发送至车辆10的另一子***例如智能巡航控制功能，使得可以采取适当的行动。
在上述实施方式中，除了控制器之外，控制***还包括视觉子***、导航子***和显示设备；然而，在不同的实施方式中，控制***可以仅包括一个或更多个控制器，或其他所述子***的子集，或另外的子***。

Claims (13)

1.一种用于车辆的控制***，所述控制***包括一个或更多个控制器，所述控制***被配置成：
从所述车辆的视觉子***接收视觉道路交通标志数据；
从所述车辆的导航子***接收导航道路交通标志数据；
确定在所述车辆附近的检测到的道路交通标志的特征，所述检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据二者的至少一者中，并且其中，所述特征为是否需要预先通知所述检测到的道路交通标志；以及
根据所确定的特征以及根据所述检测到的道路交通标志包括在以下三者中的哪一者中来确定是否输出所述检测到的道路交通标志的指示：所述视觉道路交通标志数据；所述导航道路交通标志数据；所述视觉道路交通标志数据和所述导航道路交通标志数据二者。
2.根据权利要求1所述的控制***，其中，所述特征为所述检测到的道路交通标志是永久性的还是临时性的。
3.根据权利要求2所述的控制***，其中，如果所述检测到的道路交通标志是永久性的并且包括在所述视觉道路交通标志数据和所述导航道路交通标志数据二者中，则所述控制***被配置成输出所述检测到的道路交通标志的指示。
4.根据权利要求2或权利要求3所述的控制***，其中，如果所述检测到的道路交通标志是永久性的并且仅包括在所述视觉道路交通标志数据中，则所述控制***被配置成：
确定所述导航子***是否有权限访问指示所述检测到的道路交通标志的数据；并且，
如果所述导航子***没有权限访问指示所述检测到的道路交通标志的数据，则输出所述检测到的道路交通标志的指示。
5.根据权利要求2至4中任一项所述的控制***，其中，如果所述检测到的道路交通标志是临时性的并且包括在所述视觉道路交通标志数据中，则所述控制***被配置成输出所述检测到的道路交通标志的指示。
6.根据任一前述权利要求所述的控制***，其中，如果需要预先通知所述检测到的道路交通标志并且所述检测到的道路交通标志包括在所述导航道路交通标志数据中，则所述控制***被配置成输出所述检测到的道路交通标志的指示。
7.根据任一前述权利要求所述的控制***，其中，所述控制***被配置成：如果需要在所述车辆与所述检测到的道路交通标志之间的距离大于阈值时输出所述检测到的道路交通标志的指示，则确定需要预先通知。
8.根据任一前述权利要求所述的控制***，所述控制***被配置成将所述检测到的道路交通标志的指示输出至所述车辆的驾驶员。
9.根据权利要求8所述的控制***，其中，所述控制***被配置成使所述检测到的道路交通标志的指示显示持续所述车辆行驶的特定距离。
10.根据权利要求9所述的控制***，其中，所述显示设备被配置成显示所述检测到的道路交通标志的指示，直至所述车辆已经经过所述检测到的道路交通标志为止。
11.一种用于车辆的方法，所述方法包括：
从所述车辆的视觉子***接收视觉道路交通标志数据；
从所述车辆的导航子***接收导航道路交通标志数据；
确定在所述车辆附近的检测到的道路交通标志的特征，所述检测到的道路交通标志包括在接收到的视觉道路交通标志数据和接收到的导航道路交通标志数据二者的至少一者中，并且其中，所述特征为是否需要预先通知所述检测到的道路交通标志；以及
根据所确定的特征以及根据所述检测到的道路交通标志包括在以下三者中的哪一者中来确定是否输出所述检测到的道路交通标志的指示：所述视觉道路交通标志数据；所述导航道路交通标志数据；所述视觉道路交通标志数据和所述导航道路交通标志数据二者。
12.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由一个或更多个电子处理器执行时使所述一个或更多个电子处理器实施根据权利要求11所述的方法。
13.一种车辆，包括根据权利要求1至10中任一项所述的控制***。
CN202311259949.9A 2019-01-09 2020-01-08 车辆以及用于车辆的控制***和方法 Pending CN117315967A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1900278.1 2019-01-09
GB1900278.1A GB2580388B (en) 2019-01-09 2019-01-09 Control system for a vehicle
CN202080008813.9A CN113272877B (zh) 2019-01-09 2020-01-08 用于车辆的控制***
PCT/EP2020/050262 WO2020144204A1 (en) 2019-01-09 2020-01-08 Control system for a vehicle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080008813.9A Division CN113272877B (zh) 2019-01-09 2020-01-08 用于车辆的控制***

Publications (1)

Publication Number Publication Date
CN117315967A true CN117315967A (zh) 2023-12-29

Family

ID=65528049

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080008813.9A Active CN113272877B (zh) 2019-01-09 2020-01-08 用于车辆的控制***
CN202311259949.9A Pending CN117315967A (zh) 2019-01-09 2020-01-08 车辆以及用于车辆的控制***和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080008813.9A Active CN113272877B (zh) 2019-01-09 2020-01-08 用于车辆的控制***

Country Status (5)

Country Link
US (1) US20220122364A1 (zh)
EP (1) EP3909036A1 (zh)
CN (2) CN113272877B (zh)
GB (1) GB2580388B (zh)
WO (1) WO2020144204A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629874B (zh) * 2020-11-30 2023-06-06 公安部交通管理科学研究所 一种智能网联汽车交通标志感知能力测试装置
JP7437296B2 (ja) * 2020-12-18 2024-02-22 株式会社Soken 運転支援システム、運転支援装置及び運転支援方法
CN114419883B (zh) * 2022-01-07 2023-06-16 北京百度网讯科技有限公司 识别路口缺失交通限制信息的方法、装置和电子设备
JP2023123036A (ja) * 2022-02-24 2023-09-05 トヨタ自動車株式会社 運転支援方法及び運転支援システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
DE10334620B4 (de) * 2003-07-30 2023-07-06 Robert Bosch Gmbh Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备
DE102007005245A1 (de) * 2007-02-02 2007-11-22 Daimlerchrysler Ag Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Kraftfahrzeug
US8725394B2 (en) * 2007-10-09 2014-05-13 Siemens Corporation Multi-modal speed limit assistant
KR20110104476A (ko) * 2009-01-14 2011-09-22 톰톰 인터내셔날 비.브이. 차량 내에 사용되는 개선된 내비게이션 장치
JP5278292B2 (ja) * 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
DE102010062633A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
WO2012129437A2 (en) * 2011-03-23 2012-09-27 Tk Holdings Inc. Driver assistance system
JP5810979B2 (ja) * 2011-03-30 2015-11-11 アイシン・エィ・ダブリュ株式会社 運転支援装置および運転支援方法
GB2492953A (en) * 2011-07-13 2013-01-23 Land Rover Uk Ltd Vehicle control system and method employing output from an imaging device
GB2505020B (en) * 2012-08-16 2015-09-09 Jaguar Land Rover Ltd Vehicle speed control system
KR20150121977A (ko) * 2014-04-22 2015-10-30 주식회사 만도 교통표지판 인식장치 및 그의 제한속도 출력방법
US9530313B2 (en) * 2014-10-27 2016-12-27 Here Global B.V. Negative image for sign placement detection
DE102014223812A1 (de) * 2014-11-21 2016-05-25 Conti Temic Microelectronic Gmbh Verfahren zur beurteilung einer verkehrssituation für ein fahrzeug sowie fahrerassistenzsystem für ein fahrzeug
US10275948B2 (en) * 2014-12-02 2019-04-30 Operr Technologies, Inc. Method and system for refilling a parking meter
JP6062473B2 (ja) * 2015-03-17 2017-01-18 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
US9715827B2 (en) * 2015-04-01 2017-07-25 Misapplied Sciences, Inc. Multi-view traffic signage
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
JP6428546B2 (ja) * 2015-09-25 2018-11-28 トヨタ自動車株式会社 運転支援装置
JP6451584B2 (ja) * 2015-10-09 2019-01-16 株式会社デンソー 情報処理装置
KR102489401B1 (ko) * 2015-11-19 2023-01-18 주식회사 에이치엘클레무브 교통표지판 인식장치 및 그의 제한속도 제공방법
JP2017097681A (ja) * 2015-11-26 2017-06-01 マツダ株式会社 標識認識システム
JP6265965B2 (ja) * 2015-12-22 2018-01-24 本田技研工業株式会社 車両用標識表示装置及び方法
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
JP6414567B2 (ja) * 2016-06-02 2018-10-31 トヨタ自動車株式会社 車両用制限速度表示装置
US11126871B2 (en) * 2016-12-21 2021-09-21 Ford Motor Company Advanced warnings for drivers of vehicles for upcoming signs
US10778962B2 (en) * 2017-11-10 2020-09-15 Misapplied Sciences, Inc. Precision multi-view display

Also Published As

Publication number Publication date
EP3909036A1 (en) 2021-11-17
CN113272877B (zh) 2023-10-24
GB2580388B (en) 2021-07-28
WO2020144204A1 (en) 2020-07-16
GB2580388A (en) 2020-07-22
US20220122364A1 (en) 2022-04-21
GB201900278D0 (en) 2019-02-27
CN113272877A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113272877B (zh) 用于车辆的控制***
US10169997B2 (en) Vehicle alert apparatus
CN107458375B (zh) 车辆用限制速度显示装置
EP1793204B1 (en) System for and method of providing lane guidance
US20070106460A1 (en) Route guidance system, methods and programs
US20080015772A1 (en) Drive-assist information providing system for driver of vehicle
US20120296539A1 (en) Driver assistance system
EP2269883A1 (en) Lane judgement equipment and navigation system
US20090319171A1 (en) Route Guidance System and Route Guidance Method
US20150153197A1 (en) Enabling alert messages in a vehicle
US20070106459A1 (en) Route navigation systems, methods and programs
US20090306852A1 (en) Driving operation support device for a vehicle
JP7047824B2 (ja) 車両制御装置
CN104691447A (zh) 用于动态地聚焦车辆传感器的***和方法
US20230118619A1 (en) Parking-stopping point management device, parking-stopping point management method, and vehicle device
CN113470403B (zh) 交通标志显示装置
CN114274962A (zh) 控制车辆通过多车道转弯的方法和***
US20230120095A1 (en) Obstacle information management device, obstacle information management method, and device for vehicle
US7286930B2 (en) Ghost following
CN112740224A (zh) 道路环境信息的自动化众包
CN111731296A (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
US20200294432A1 (en) Advertisement display device, vehicle, and advertisement display method
EP2797027A1 (en) A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver
US20230256992A1 (en) Vehicle control method and vehicular device
CN114867991A (zh) 用于在机动车中提供三维地图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination