CN115959135A - 增强的车辆操作 - Google Patents

增强的车辆操作 Download PDF

Info

Publication number
CN115959135A
CN115959135A CN202210504036.8A CN202210504036A CN115959135A CN 115959135 A CN115959135 A CN 115959135A CN 202210504036 A CN202210504036 A CN 202210504036A CN 115959135 A CN115959135 A CN 115959135A
Authority
CN
China
Prior art keywords
vehicle
marker
data
computer
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210504036.8A
Other languages
English (en)
Inventor
陈兴平
杰瑞米·勒纳
***·阿布阿里
S·哈金斯
纳维德·塔法戈迪·哈贾维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN115959135A publication Critical patent/CN115959135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“增强的车辆操作”。在操作车辆时，经由来自第一图像传感器的第一图像数据来检测候选标记。在未能识别所述候选标记后，致动车辆外部照明以照亮所述候选标记。然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述候选标记来确定所述候选标记为真实标记或投影标记中的一者。在确定所述候选标记为所述真实标记后，基于所述真实标记来操作所述车辆。

Description

增强的车辆操作
技术领域
本公开涉及车辆中的改进的对象检测技术。
背景技术
车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可提供关于将行驶的路线以及车辆环境中要避开的对象的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆环境中的对象的准确且及时的数据。车辆可使用计算装置，所述计算装置被配置为从由车辆传感器收集的图像数据识别对象。
发明内容
当前公开的解决方案提供了改进的对象检测技术，例如以支持根据对象检测操作的车辆的改进的操作。车辆计算机可接收来自各种传感器的数据，所述数据可被解译以识别或检测各种对象。当传感器数据不完整或不准确时，可能发生对象的错误识别，包括当对象(可能通过提供或修改对象的人的设计或意图)看起来并非如此时。作为一个示例，车辆计算机可检测到看起来是标记但实际上不是的对象。“标记”是管理车辆操作的道路上或道路附近(例如，道路旁边或道路上方)的物理对象。例如，当解译传感器数据时，例如在建筑物、墙壁、屏幕等上的投影可能看起来类似于标记，但不管理车辆操作。“投影”是通过投射光实现的对象在表面上的表示。投影可提供在车辆传感器看来类似于另一对象(诸如标记)的对象，例如，投影的对象可以是包括“停车(STOP)”一词的红色八边形，因此看起来类似于通常在道路上的停车标志。
通过减少可能导致车辆操作不准确的虚假或不准确的对象识别，更准确地识别标记(诸如道路标志)会改善车辆的操作。在一个示例中，在检测到未包括在地图中的标记后，车辆计算机可致动车辆的外部照明以照亮标记。照亮标记可为传感器提供改善的数据，以确定标记为实际标记(即，物理上真实标记)而不是投影。也就是说，可实现标记的照亮，以便通过检测不同于由投影反射的光的从实际标记的特征(例如，投影下方的表面和/或对象)反射的光来更准确地将实际标记的特征与投影区分开。因此，用于处理由车辆传感器收集的图像的现有技术可减少投影的误报识别。
一种***包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以在操作车辆时，经由来自第一图像传感器的第一图像数据检测标记。所述指令还包括用于在未能经由地图验证所述标记后致动车辆外部照明以照亮所述标记的指令。所述指令还包括用于然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者的指令。所述指令还包括用于在确定所述标记为所述实际标记后基于所述实际标记来操作所述车辆的指令。
所述指令还可包括用于在检测到所述标记后防止所述车辆中的推进部件的致动直到确定所述标记为所述实际标记还是所述投影的指令。
所述指令还可包括用于在确定所述标记是所述投影后忽略所述投影的指令。
所述指令还可包括用于另外基于确定是否经由非图像传感器数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于在确定所述标记为所述实际标记后基于存储的车辆操作数据来验证与所述实际标记相关联的操作参数的指令。
所述指令还可包括用于另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于在从所述第一图像数据生成图像后另外基于确定在所述图像中是否检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
所述指令还可包括用于通过使用具有与所述第一图像传感器相同的所述标记的视角并且具有与所述第一图像传感器不同的放大倍数的虚拟传感器来生成所述图像的指令。
所述指令还可包括用于将指定所述标记为所述实际标记或所述投影中的一者的消息提供给远程计算机的指令。
所述指令还可包括用于在经由所述地图验证所述标记后基于所述经过验证的标记来操作所述车辆的指令。
所述***可包括远程计算机，所述远程计算机包括第二处理器和第二存储器，所述第二存储器存储指令，所述指令可由所述第二处理器执行以基于包括来自多个车辆的识别所述标记的消息的聚合数据来生成所述地图。
一种方法包括在操作车辆时经由来自第一图像传感器的第一图像数据来检测标记。所述方法还包括在未能验证所述标记后致动车辆外部照明以照亮所述标记。所述方法还包括然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者。所述方法还包括在确定所述标记为所述实际标记后基于所述实际标记来操作所述车辆。
所述方法还可包括另外基于确定是否经由非图像传感器数据检测到所述标记来确定标记为所述实际标记或所述投影中的一者。
所述方法还可包括另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者。
所述方法还可包括另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者。
所述方法还可包括另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
所述方法还可包括另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
本文还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。本文还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储可由计算机处理器执行以执行上述方法步骤中的任一者的指令。
附图说明
图1是用于车辆的示例性控制***的框图。
图2是在示例性道路的示例性车道中操作的车辆的框图。
图3A至图3B是包括标记的示例性第一图像。
图3C是包括投影的示例性第一图像。
图4是用于操作车辆的示例性过程的流程图。
具体实施方式
参考图1至图3C，示例性控制***100包括车辆105。车辆105中的车辆计算机110从传感器115接收数据。车辆计算机110被编程为在操作车辆105时，经由来自第一图像传感器115的第一图像数据检测标记300。车辆计算机110还被编程为在未能经由地图验证标记300后，致动车辆105的外部照明以照亮标记300。车辆计算机110还被编程为然后基于确定是否经由来自第一图像传感器115的第二图像数据检测到标记300来确定标记300为实际(即物理)标记300或投影305中的一者。车辆计算机110还被编程为在确定标记300为实际标记300后，基于实际标记300来操作车辆105。
现在转到图1，车辆105包括车辆计算机110、传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。通信模块130允许车辆计算机110例如经由消息传递或广播协议(诸如专用短程通信(DSRC)、蜂窝和/或可以支持车辆对车辆、车辆对基础设施、车辆对云通信等的其他协议)和/或经由分组网络135与远程服务器计算机140和/或其他车辆进行通信。
车辆计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由车辆计算机110执行以用于执行包括如本文所公开的各种操作。车辆计算机110还可以包括协同操作以执行车辆105操作(包括本文所述的操作)的两个或更多个计算装置。此外，车辆计算机110可以是具有如上所述的处理器和存储器的通用计算机，和/或可以包括用于特定功能或功能集的电子控制单元(ECU)或电子控制器等，和/或可以包括专用电子电路，所述专用电子电路包括针对特定操作而制造的ASIC，例如，用于处理传感器数据和/或传送传感器数据的ASIC。在另一个示例中，车辆计算机110可以包括FPGA(现场可编程门阵列)，所述FPGA是被制造为可由用户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如FPGA和ASIC的数字和混合信号***。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可基于例如存储在电连接到FPGA电路的存储器中的VHDL编程而配置。在一些示例中，处理器、ASIC和/或FPGA电路的组合可以包括在车辆计算机110中。
车辆计算机110可以以自主模式、半自主模式或非自主(或手动)模式操作和/或监测车辆105，即，可以控制和/或监测车辆105的操作，包括控制和/或监测部件125。出于本公开的目的，自主模式被限定为其中车辆105的推进、制动和转向中的每一者都由车辆计算机110控制的模式；在半自主模式中，车辆计算机110控制车辆105的推进、制动和转向中的一者或两者；在非自主模式中，人类操作员控制车辆105的推进、制动和转向中的每一者。
车辆计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆105的加速)、转向、变速器、气候控制、内部灯和/或外部灯、喇叭、车门等中的一者或多者，以及确定车辆计算机110(而非人类操作员)是否以及何时控制此类操作。
车辆计算机110可包括一个以上处理器或例如经由如下面进一步描述的车辆通信网络(诸如，通信总线)通信地耦合到所述一个以上处理器，所述一个以上处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等中，例如变速器控制器、制动控制器、转向控制器等。车辆计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可包括车辆105中的总线，诸如控制器局域网(CAN)等，和/或其他有线和/或无线机制。
经由车辆105网络，车辆计算机110可以向车辆105中的各种装置(例如，传感器115、致动器120、ECU等)传输消息和/或从各种装置接收消息(例如，CAN消息)。替代地或另外，在车辆计算机110实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为车辆计算机110的装置之间的通信。此外，如下所述，各种控制器和/或传感器115可以经由车辆通信网络向车辆计算机110提供数据。
车辆105传感器115可以包括诸如已知的用于向车辆计算机110提供数据的多种装置。例如，传感器115可包括设置在车辆105的顶部上、在车辆105的前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可提供数据来提供对象、第二车辆等相对于车辆105的位置的位置。替代地或另外，传感器115还可以例如包括相机传感器115(例如，前视、侧视等)，所述相机传感器提供来自车辆105周围的区域的图像。在本公开的背景下，对象是具有质量并可以通过可以由传感器115检测到的物理现象(例如，光或其他电磁波或声音等)来表示的物理(即，物质)物品。因此，车辆105以及包括如下面所讨论的其他物品都落在本文的“对象”的定义内。
车辆计算机110被编程为基本上连续地、周期性地和/或在远程服务器计算机140指示时等从一个或多个传感器115接收数据。数据可以例如包括车辆105的位置。位置数据指定地面上的一个或多个点并可以为已知形式，例如经由已知的使用全球定位***(GPS)的导航***获得的地理坐标，诸如纬度和经度坐标。另外或替代地，数据可包括对象(例如，车辆、标志、树等)相对于车辆105的位置。作为一个示例，数据可以是车辆105周围的环境的图像数据。在这样的示例中，图像数据可以包括道路上或沿道路的一个或多个对象和/或标记，例如车道标记。本文的图像数据意指可以由相机传感器115获取的数字图像数据，例如，包括具有强度值和颜色值的像素。传感器115可以安装到车辆105中或上的任何合适的位置，例如，在车辆105保险杠上、在车辆105的车顶上等，以收集车辆105周围的环境的图像。
车辆105致动器120经由电路、芯片或可根据如已知的适当控制信号来致动各种车辆子***的其他电子和/或机械部件来实现。致动器120可用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的背景下，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可包括方向盘、转向齿条等中的一者或多者)、悬架部件(例如，其可包括阻尼器(例如减振器或滑柱)、套管、弹簧、控制臂、球头节、连杆等中的一者或多者)、制动部件、停车辅助部件、自适应巡航控制部件、自适应转向部件、一个或多个被动约束***(例如，安全气囊)、可移动座椅等。
另外，车辆计算机110可以被配置用于经由车辆对车辆通信模块130或接口与车辆105外部的装置通信，例如，通过车辆对车辆(V2V)或车辆对基础设施(V2X)无线通信(蜂窝和/或短程无线电通信等)与另一车辆和/或远程服务器计算机140(通常经由直接射频通信)通信。通信模块130可以包括车辆的计算机可以通过其进行通信的一种或多种机制，诸如收发器，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或当利用多种通信机制时的多种拓扑)。经由通信模块130提供的示例性通信包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)、蜂窝V2X(CV2X)和/或包括互联网的广域网(WAN)。为了方便起见，标签“V2X”在本文中用于通信，所述通信可以是车辆对车辆(V2V)和/或车辆对基础设施(V2I)，并且可以由通信模块130根据任何合适的短程通信机制(例如，DSRC、蜂窝等)而提供。
网络135表示车辆计算机110可借助其来与远程计算装置(例如，远程服务器计算机140、另一个车辆计算机等)进行通信的一种或多种机制。因此，网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑(或利用多种通信机制时的多种拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0003636629800000091
低功耗(BLE)、IEEE 802.11、车辆对车辆(V2V)诸如专用短程通信(DSRC)等)、局域网(LAN)和/或包括互联网的广域网(WAN)。
远程服务器计算机140可以是被编程为提供诸如本文公开的操作的常规计算装置，即，包括一个或多个处理器和一个或多个存储器。此外，可以经由网络135(例如，互联网、蜂窝网络和/或某一其他广域网)来访问远程服务器计算机140。
图2是示出在示例性道路200的示例性车道205中操作的车辆105的图示。除非另有说明，本文中的道路是指指定用于车辆行驶的任何地面。典型地，道路包括准备好的行驶表面，例如分级的泥土、沥青、砾石等。此外，道路通常包括标记，例如油漆、嵌入式标记等，以引导车辆例如在一个或多个车道中行驶。道路可包括用于车辆行驶的多于一个车道；每个车道可被指定为在指定方向上行驶。车道是道路的用于车辆行驶的指定区域。道路的车道是沿着道路的长度所限定的通常具有仅容纳一辆车辆的宽度的区域，即，使得多辆车辆可以在车道中一辆接一辆行驶，而非彼此并排(即，横向相邻地)行驶。
当在道路200中操作时，车辆计算机110可被编程为识别道路200上的当前车道205(即车辆105正在操作的车道)以及一个或多个目标车道210(即车辆105未操作的车道)。例如，车辆计算机110可从远程服务器计算机140接收指定当前车道205和目标车道210的地图数据和/或位置数据，例如GPS数据。作为另一示例，车辆计算机110可基于传感器115数据来识别当前车道205和目标车道210。例如，车辆计算机110可被编程为从传感器115接收传感器115数据(例如，图像数据、雷达数据、激光雷达数据等)，并实现各种数据处理技术以识别当前车道205和目标车道210。例如，车道可由标记(例如，道路200上的涂漆线)指示，并且可由车辆计算机110执行诸如已知的图像识别技术以从图像数据中识别当前车道205。例如，车辆计算机110可识别车辆105的相对侧上的实线车道标记。车辆计算机110然后可基于在车辆105的每一侧与相应的实线车道标记之间的虚线车道标记组的数量来识别车辆105操作的当前车道205。实线车道标记是沿道路200的长度连续延伸(即不间断)并限定车道的至少一个边界的标记。虚线车道标记组包括沿道路200的长度彼此间隔开并限定车道的至少一个边界的多个标记。另外，车辆计算机110可基于车辆105的每一侧上的虚线车道标记组的数量(例如，目标车道210的数量等于虚线车道标记组的数量)来确定当前车道205的每一侧上的目标车道210。
当在当前车道205中操作时，车辆计算机110可接收当前车道205中的车辆105周围的环境的传感器115数据。传感器115数据可包括车辆105周围的一个或多个对象。例如，车辆计算机110可被编程为基于传感器115数据对对象类型进行分类和/或识别。例如，可在例如车辆计算机110中基于激光雷达传感器115数据、相机传感器115数据等使用合适的对象分类或识别技术(例如，如上文所提及)来对对象的类型以及对象的物理特征进行分类和/或识别。对象类型的非限制性示例包括标记300，诸如另一车辆、道路标志(参见图3A至图3C)、行人等、建筑物、杆、树叶等。
可以使用诸如已知的各种技术来解译传感器115数据和/或基于传感器115数据来对对象进行分类。例如，可以将相机和/或激光雷达图像数据提供给分类器，所述分类器包括用于利用一种或多种常规图像分类技术的编程。例如，分类器可使用机器学习技术，其中将已知表示各种对象的数据提供给机器学习程序以用于训练分类器。一旦被训练，分类器就可接受车辆105传感器115数据(例如，图像)作为输入，随后针对图像中的一个或多个相应的感兴趣区域中的每一者提供对一种或多种类型的对象的识别和/或分类或相应的感兴趣区域中不存在对象的指示作为输出。此外，应用于接近车辆105的区域的坐标系(例如，极坐标或笛卡尔坐标)可以被使用来指定从传感器115数据识别的对象的位置和/或区域(例如，根据车辆坐标系，被转换为全球纬度和经度地理坐标等)。此外，车辆计算机110可以采用各种技术来融合(即，结合到公共坐标系或参考系中)来自不同传感器115和/或多种类型的传感器115的数据，例如激光雷达、雷达和/或光学相机数据。
在将对象类型识别为标记300后，车辆计算机110被编程为识别标记300。车辆计算机110可基于所识别的标记300来操作车辆105，如下面所讨论的。为了识别标记300，车辆计算机110可致动第一图像传感器115以收集包括标记300的第一图像数据。车辆计算机110可例如通过对第一图像数据使用图像处理技术(诸如文本识别、神经网络等)以识别标记300上的形状、颜色和/或文本中的至少一者来识别标记300。然后，车辆计算机110可确定与标记300相关联的操作参数。本文的操作参数是当车辆105在道路200上操作时车辆105或该车辆105周围的环境的物理特性测量结果的预期值。可为在道路200上操作的车辆105确定各种操作参数。操作参数的非限制性列表包括车辆105的速度、车辆之间的跟随距离、道路200上的停止位置、车辆105的加速速率等。
为了确定操作参数，车辆计算机110可例如将标识与存储在例如车辆计算机110的存储器中的标记300数据的预定库进行比较，所述预定库包括与每个标记300和由每个标记300管理的车道205、210相关联的操作参数。作为另一示例，可用已知表示各种标记300的数据对分类器进行进一步训练。因此，除了将对象识别为标记300之外，分类器还可输出标记300的标识，包括与标记300和由每个标记300管理的车道205、210相关联的操作参数。一旦被训练，分类器就可接受第一图像数据作为输入，然后针对第一图像数据中的一个或多个相应感兴趣区域中的每一个提供对标记300的识别或相应感兴趣区域中不存在标记300作为输出。
在识别标记300后，车辆计算机110被编程为确定对标记300的验证。也就是说，车辆计算机110可确定所识别的标记300是经过验证还是未经验证。当车辆计算机110将标记300与由道路200的所存储地图指定的标记(即，由地图针对标记300指定的位置坐标)相关联时，标记300被验证。当车辆计算机110无法将标记300与由地图指定的标记(即，由地图针对标记300指定的位置坐标)相关联时，标记300未经验证。车辆计算机110可例如从远程服务器计算机140接收道路200的地图。所述地图例如基于聚合数据(如下面所讨论的)指定沿着道路200的标记300。
为了确定对标记300的验证，车辆计算机110可基于传感器115数据(例如，激光雷达数据、雷达数据、图像数据等)来确定标记300的位置，例如地理坐标。例如，车辆计算机110可基于第一图像数据来确定标记300的位置。在这样的示例中，车辆计算机110可例如对第一图像数据采用自由空间计算技术，所述第一图像数据识别与标记300相关联的像素坐标范围以及车辆105与标记300之间的自由空间(即，未检测到对象的空间)。通过识别第一图像中与自由空间和标记300相关联的像素坐标集合并以像素坐标确定从第一图像传感器115的透镜到标记300的距离(以像素坐标为单位)(例如，跨自由空间)，车辆计算机110然后可确定第一图像传感器115的透镜距标记300的距离(例如，跨自由空间)。也就是说，根据已知技术，例如，车辆计算机110可确定从第一图像传感器115的透镜到所识别的坐标的距离(以像素坐标为单位)，并且还可根据第一图像确定从第一图像传感器115透镜到标记300上的点的线与从透镜平行于车辆105纵向轴线延伸的轴线之间的角度。然后，车辆计算机110可例如从传感器115、导航***、远程服务器计算机140等接收车辆105的位置。车辆105的位置与距离和角度结合(例如，使用几何变换)以确定标记300的位置。车辆计算机110可例如经由网络135将检测到的标记300的位置传输到远程服务器计算机140。
在确定标记300的位置后，车辆计算机110可例如从车辆计算机110的存储器访问地图。然后，车辆计算机110可将标记300的位置与地图进行比较，例如以确定地图是否指定标记300在所述位置处或附近(即，在基于地图的误差余量确定的位置的预定半径内)。如果地图在位置处(或附近)指定标记300，则车辆计算机110确定标记300经过验证。如果地图未在位置处(或附近)指定标记300(例如，地图在位置处(或附近)指定另一标记300或者在位置处(或附近)无标记300)，则车辆计算机110确定标记300未经验证。车辆计算机110可例如经由网络135将对检测到的标记300的验证(即，检测到的标记300是经过验证还是未经验证)发送到远程服务器计算机140。
在确定标记300经过验证后，车辆计算机110可被编程为基于经过验证的标记300来操作车辆105。例如，当经过验证的标记300管理当前车道205中的车辆操作时，车辆计算机110可根据与经过验证的标记300相关联的操作参数来致动一个或多个车辆部件125。也就是说，车辆计算机110可控制车辆105以满足与经过验证的标记300相关联的操作参数(即，满足由其指定的标准)。替代地，当经过验证的标记300不管理当前车道205中的车辆操作时，车辆计算机110可忽略经过验证的标记300。也就是说，车辆计算机110可根据与经过验证的标记300相关联的操作参数来确定不致动一个或多个车辆部件125。
车辆计算机110的存储器可包括基于特定操作参数对车辆部件125的一个或多个指令，并且车辆计算机110可根据存储在存储器中的指令来致动车辆部件125。例如，如果操作参数是“停车”命令，则车辆计算机110可在到达标记300之前致动制动部件125以使车辆105停车。在另一示例中，如果操作参数是速度，则车辆计算机110可致动推进部件125以将车辆105速度保持在所述速度。
在确定标记300未经验证后，车辆计算机可启用怠速模式，即，将怠速模式从禁用状态转变为启用状态。怠速模式防止车辆105的推进部件125的致动。也就是说，在怠速模式下，防止车辆计算机110增加车辆105的速度。例如，当启用怠速模式时，车辆计算机110可不向推进部件125发送指令。此外，当启用怠速模式时，车辆计算机110可发送指令以对制动部件125进行预充电。另外或替代地，怠速模式可防止车辆计算机110执行车道变更操作，即操作车辆105以离开当前车道205。例如，在怠速模式下，车辆计算机110可不向转向部件125发送指令，或可能被阻止向转向部件发送指令，以引导车辆105穿过车道标记。
另外，车辆计算机110被编程为基于一种或多种对象检测和/或识别技术(如下面所讨论的)来确定未经验证的标记300是实际标记300(参见图3A和图3B)还是投影305(参见图3C)。例如，车辆计算机110可基于以下等式1来确定未经验证的标记300是实际标记300还是投影305：
C＝T1x1+T2x2+T3x3+T4x4+T5x5+T6x6+T7x7    (1)
其中C为置信度分数，T1、T2、T3、T4、T5、T6和T7为表示对应的对象检测和/或识别技术(如下面所讨论)的数值，并且x1、x2、x3、x4、x5、x6和x7为基于对象检测和/或识别技术的经验测试而以经验确定的系数。数值T1、T2、T3、T4、T5、T6和T7各自为二进制值，例如0或1。例如，车辆计算机110可基于确定是否使用相应技术检测到和/或识别出标记300来确定各种技术的相应值。例如，可确定系数x1、x2、x3、x4、x5、x6和x7以指定哪些技术对应于较高的置信度分数C以及哪些技术对应于较低的置信度分数C。也就是说，系数x1、x2、x3、x4、x5、x6和x7可指定技术相对于置信度分数C的相应权重。
如本文所用，“置信度分数”是指示未经验证的标记300为实际标记300的可能性的数值，例如整数。在确定置信度分数C后，车辆计算机110可将置信度分数C与阈值进行比较。所述阈值可例如基于允许确定车辆计算机可准确地确定未经验证的标记是实际标记时的最小置信度分数的测试来以经验确定。所述阈值可存储在例如车辆计算机110的存储器中。车辆计算机110可在例如存储器中存储与多条道路200相对应的多个阈值。也就是说，每条道路200可与唯一阈值相关联。如果置信度分数C大于或等于阈值，则车辆计算机110确定标记300为实际标记300。如果置信度分数C小于阈值，则车辆计算机110确定标记300为投影305。车辆计算机110可例如经由网络135将指定未经验证的标记300是实际标记300还是投影305的消息发送到远程服务器计算机140。
车辆计算机110可基于一种或多种对象检测和/或识别技术来确定置信度分数C。也就是说，车辆计算机110可基于T1、T2、T3、T4、T5、T6和T7中的一者或多者来确定置信度分数C。换句话说，等式1可包括T1、T2、T3、T4、T5、T6和T7中的全部或其子集。另外，车辆计算机110可以任何顺序采用对象检测和/或识别技术来确定置信度分数C。也就是说，T1、T2、T3、T4、T5、T6和T7可以任何顺序确定和/或评估。
为了确定T1，车辆计算机110可被编程为致动车辆105的外部灯(例如，打开前照灯)以照亮未经验证的标记300。照亮未经验证的标记300可允许车辆计算机110确定未经验证的标记300是实际标记300还是投影305，因为光将以不同于投影305方式被实际标记300的特征(例如，投影305下面的表面或对象)反射。在照亮未经验证的标记300后，车辆计算机110被编程为致动第一图像传感器115以获得第二图像数据。在这种背景下，即，在第一传感器115已获得第一图像数据和第二图像数据的情况下，第二图像数据是在第一图像数据之后获得的图像数据。第二图像数据可包括车辆105周围的一个或多个对象。例如，车辆计算机110可将第二图像数据输入到分类器，并且基于来自分类器的输出来确定未经验证的标记300是否包括在第二图像数据中，如上面所讨论的。如果车辆计算机110在第二图像数据中检测到未经验证的标记300，则车辆计算机110可确定T1的值为1。如果车辆计算机110未能在第二图像数据中检测到未经验证的标记300，例如如果车辆计算机110在相对于车辆105的在第一图像数据中检测到未经验证的标记300的位置处检测到建筑物、墙壁、树叶等，则车辆计算机110可确定T1的值为0。
为了确定T2，车辆计算机110被编程为致动第二图像传感器115以获得图像数据。第二图像传感器115具有与第一图像传感器115不同的未经验证的标记300的视角。例如，来自第二图像传感器115的视角可与来自第一图像传感器115的视角横向且非正交。也就是说，虽然视角不同，但第一图像传感器和第二图像传感器115的视角各自可包括标记300的相同侧，例如正面。使用第二图像传感器115获得未经验证的标记300的图像可允许车辆计算机110确定未经验证的标记300是实际标记300还是投影305，因为与第一图像数据相比，投影在所述图像数据中可能显得不同。车辆计算机110可例如将图像数据输入到分类器，并且基于来自分类器的输出来确定未经验证的标记300是否包括在图像数据中，如上面所讨论的。如果车辆计算机110在来自第二图像传感器115的图像数据中检测到未经验证的标记300，例如如果车辆计算机110在相对于车辆105的在第一图像数据中检测到未经验证的标记300的位置处检测到建筑物、墙壁、树叶等，则车辆计算机110可确定T2的值为1。如果车辆计算机110未能在来自第二图像传感器115的图像数据中检测到未经验证的标记300，则车辆计算机110可确定T2的值为0。
为了确定T3，车辆计算机110可针对未经验证的标记300的位置分析存储的车辆操作数据。在这种背景下，“车辆操作数据”是描述车辆操作的数据，即，操作数据是当车辆在道路上操作时测量各种车辆属性的数据。车辆操作数据可包括例如速度数据、加速度数据、制动数据、转弯数据等。也就是说，当车辆在未经验证的标记300的位置处操作时，车辆操作数据提供描述车辆在所述位置处如何操作的测量结果。各种车辆可将操作数据提供给远程数据存储，诸如远程服务器计算机140。然后，主车辆105中的计算机110可例如从远程服务器计算机140接收车辆操作数据。车辆计算机110可将车辆操作数据与与未经验证的标记300相关联的操作参数进行比较。如果车辆操作数据指示车辆通常根据与未经验证的标记300相关联的操作参数进行操作，例如，操作参数指定车辆将停在所述位置处并且车辆操作数据指示至少指定百分比(例如75％)的车辆已停在所述位置处，则车辆计算机110可确定T3的值为1。如果车辆操作数据指示车辆通常不根据与未经验证的标记300相关联的操作参数进行操作，例如，操作参数指定车辆将停在所述位置处并且车辆操作数据指示少于指定百分比的车辆已停在所述位置处，则车辆计算机110可确定T3的值为0。
为了确定T4，车辆计算机110可分析在道路200的当前车道205或道路200的目标车道210中操作的第二车辆215的操作数据。车辆计算机110可将第二车辆215操作数据与与未经验证的标记300相关联的操作参数进行比较。车辆计算机110可例如以与上面关于确定T3的值所讨论的方式基本上相同的方式确定T4的值。
车辆计算机110可例如经由V2V通信接收第二车辆215操作数据。作为另一示例，车辆计算机110可基于传感器115数据确定第二车辆215操作数据。作为一个示例，车辆计算机110可基于检测到图像数据中激活的制动灯来确定第二车辆215正在制动。作为另一示例，车辆计算机110可通过确定第二车辆215与车辆105之间的距离随时间的变化来确定第二车辆215相对于车辆105的速度。车辆计算机110可通过使用激光雷达传感器115来确定从车辆105到第二车辆215的距离，所述激光雷达传感器115类似于雷达传感器115，使用激光传输(而不是无线电传输)来获得来自对象(例如，第二车辆215)的反射光脉冲，并且可测量反射光脉冲以确定对象距离。然后，车辆计算机110可用公式ΔD/ΔT确定第二车辆215相对于车辆105的速度，其中ΔD为在不同时间取得的从车辆105到第二车辆215的一对距离之间的差值，并且ΔT为确定这对距离时之间的时间量。例如，可通过从时间上较晚确定的距离减去时间上较早确定的距离来确定所述一对距离之间的差值ΔD。在这样的示例中，正值指示第二车辆215比车辆105行驶得慢，并且负值指示第二车辆215比车辆105行驶得快。然后，车辆计算机110可通过将第二车辆215相对于车辆105的速度与车辆105的速度(例如，基于传感器115数据确定，诸如车轮转速传感器115数据)组合(即求和)来确定第二车辆215的速度。
为了确定T5，车辆计算机110确定在预定时间的至少阈值部分内是否检测到未经验证的标记300。例如，在经由第一图像数据检测到未经验证的标记300后，车辆计算机110可启动计时器。计时器可具有预定持续时间，例如，500毫秒、1秒、2秒等。预定持续时间可存储在例如车辆计算机110的存储器中。所述预定持续时间可例如基于允许确定在车辆105操作时传感器115可获得对象的数据的平均时间量的测试来以经验确定。所述阈值部分可存储在例如车辆计算机110的存储器中。所述阈值部分可例如基于允许确定车辆计算机110经由传感器115数据识别标记300的平均时间量的测试来以经验确定。如果车辆计算机110在预定时间的至少阈值部分内经由传感器115数据检测到未经验证的标记300，则车辆计算机110可确定T5的值为1。如果车辆计算机110未能在预定时间的至少阈值部分内经由传感器115数据检测到未经验证的标记300，则车辆计算机110可确定T5的值为0。替代地，车辆计算机110可确定T5的值为车辆计算机110经由传感器数据检测到未经验证的标记300的时间量的量与预定时间的比率。
为了确定T6，车辆计算机110可致动非图像传感器115(例如，激光雷达传感器115、雷达传感器115、超声波传感器115等)以收集非图像数据，例如车辆105周围的环境的激光雷达数据、雷达数据、超声波数据等。例如，车辆计算机110可致动激光雷达传感器115以获得车辆105周围的环境的激光雷达数据。车辆计算机110可例如使用数据处理技术来分析非图像传感器115数据，以确定是否经由非图像传感器115数据检测到标记300。如果车辆计算机110经由非图像传感器115数据检测到未经验证的标记300，则车辆计算机110可确定T6的值为1。如果车辆计算机110未能经由非图像传感器115数据检测到未经验证的标记300，则车辆计算机110可确定6的值为0。
为了确定T7，车辆计算机110可基于第一图像数据生成图像。然后，车辆计算机110可分析生成的图像(例如，使用图像处理技术)，以确定是否在生成的图像中检测到标记300。如果车辆计算机110在生成的图像中检测到未经验证的标记300，则车辆计算机110可确定T7的值为1。如果车辆计算机110未能在生成的图像中检测到未经验证的标记300，则车辆计算机110可确定T7的值为0。
可通过对车辆计算机110进行编程来提供虚拟相机，以从第一图像数据生成图像。车辆计算机110可生成从虚拟图像传感器行进通过虚拟透镜的虚拟光线，从而遵循物理定律，就好像图像传感器115和透镜是物理对象一样。车辆计算机110将对应于第一图像数据的部分的外观的数据***虚拟图像传感器中，由第一图像数据的特征点发射并行进通过物理透镜的光线将在物理图像传感器115上产生所述外观。通过将虚拟相机定位在相对于第一图像数据的选定的位置和取向处，可生成与相对于车辆105的选定视点相对应的生成图像。
虚拟相机视点包括虚拟相机的光轴的位置和取向数据和关于虚拟相机透镜的放大倍数的数据。基于虚拟相机相对于车辆105的位置和取向来确定虚拟相机视点。虚拟相机的位置和取向被选择为第一图像传感器115的位置和取向。也就是说，虚拟相机视点对应于第一图像传感器115的视点。换句话说，虚拟相机具有与第一图像传感器115相同的未经验证的标记300的视角。由于生成的图像是基于在选定位置和取向处的虚拟相机从第一图像数据生成的，因此关于在生成的图像中示出的特征点的位置和取向的数据是已知的。
另外，车辆计算机110将虚拟图像传感器的放大倍数选择为不同于第一图像传感器115的放大倍数。也就是说，生成的图像相对于第一图像数据被放大或缩小。生成具有与第一图像数据不同的放大倍数的生成图像可允许车辆计算机110确定未经验证的标记300是实际标记300还是投影305。例如，投影305在生成的图像中可能失真(例如，模糊)，使得车辆计算机110无法在生成的图像中检测到投影305。换句话说，投影305在第一图像数据中可能是聚焦的，而在生成的图像中可能是离焦的。相反，实际标记300可在第一图像数据和生成的图像两者中都聚焦，这允许车辆计算机110检测第一图像数据和生成的图像中的实际标记300。
在例如基于等式1确定未经验证的标记300为投影305(参见图3C)后，车辆计算机110忽略投影305。也就是说，当标记300为投影305时，车辆计算机110可确定不操作车辆105以满足标记300。另外，车辆计算机110可禁用怠速模式，即，将怠速模式从启用状态转变为禁用状态。换句话说，车辆计算机110可启用车辆105的推进部件125的致动。另外，车辆计算机110可致动一个或多个车辆部件125以从恰好在确定标记300未被验证之前恢复车辆操作。
在例如基于等式1确定未经验证的标记300为实际标记300(参见图3A和图3B)后，车辆计算机110可禁用怠速模式。另外，车辆计算机110可被编程为验证与实际标记300相关联的操作参数。作为一个示例，车辆计算机110可识别看起来指定一个操作参数但实际上不指定的实际标记300(参见图3B)。例如，碎屑和/或非法标记可能会遮挡标记300的至少一部分，使得车辆计算机110将标记300识别为指定不同的操作参数。
车辆计算机110可基于存储的车辆105操作数据和/或在当前车道205中操作的第二车辆215的操作数据来验证与实际标记300相关联的操作参数。也就是说，车辆计算机110可通过分析存储的车辆105操作数据和/或在当前车道205上操作的第二车辆215的操作数据来验证操作参数以确定其他车辆105如何在实际标记300的位置操作。例如，如果存储的(和/或第二车辆215)操作数据指示车辆根据与实际标记300相关联的操作参数操作，则车辆计算机110可验证与实际标记300相关联的操作参数。如果存储的(和/或第二车辆215)车辆操作数据指示车辆未根据与实际标记300相关联的操作参数操作，则车辆计算机110可更新与实际标记300相关联的操作参数以对应于存储的(和/或第二车辆215)车辆操作数据。
在验证与实际标记300相关联的操作参数后，车辆计算机110可基于实际标记300来操作车辆105，例如以与上文关于基于经验证的标记300操作车辆105所论述的方式基本上相同的方式。
远程服务器计算机140可被编程为基于聚合数据来更新例如存储在远程服务器计算机140的存储器中的道路200的地图。聚合数据意指来自多个车辆计算机110的数据，所述数据提供例如通过求平均和/或使用某一其他统计度量来以算术和/或数学方式组合的消息。也就是说，远程服务器计算机140可被编程为从多个车辆计算机110接收指示标记300的消息，包括验证和检测到标记300的位置。基于指示标记300和相应位置的聚合数据(例如，指示标记300和相应位置的消息的平均数量、消息的百分比等)，并利用来自不同车辆105的消息彼此独立地提供的事实，远程服务器计算机140可基于车辆105数据更新地图以指定标记300，包括验证和检测到标记300的位置。然后，远程服务器计算机140可例如经由网络135将地图传输到包括车辆105的多个车辆。
图4是用于操作车辆105的示例性过程400的图示。过程400在框405中开始。过程400可由车辆105中所包括的车辆计算机110来执行，所述车辆计算机执行存储在其存储器中的程序指令。
在框405中，车辆计算机110例如经由车辆网络从一个或多个传感器115、例如经由网络135从远程服务器计算机140和/或例如经由V2V通信从另一车辆中的计算机接收数据。例如，车辆计算机110可例如从传感器115、导航***等接收车辆105的位置数据(例如，地理坐标)。另外，车辆计算机110可例如从一个或多个图像传感器115接收图像数据。所述图像数据可包括关于车辆105周围的环境的数据，例如，道路200上的车道标记、道路200旁边的标记300、在道路200上操作的其他车辆等。过程400在框410中继续。
在框410中，车辆计算机110基于来自第一图像传感器115的第一图像数据来检测标记300，如上面所讨论的。过程400在框415中继续。
在框415中，车辆计算机110确定对检测到的标记300的验证。车辆计算机110可基于第一图像数据来确定检测到的标记300的位置，如上面所讨论的。然后，车辆计算机110可将检测到的标记300的位置与地图进行比较，以确定标记300是经过验证还是未经验证，如上面所讨论的。如果标记300经过验证，则过程400在框440中继续。否则，过程400在框420中继续。
在框420中，车辆计算机110启用怠速模式，如上面所讨论的。过程400在框425中继续。
在框425中，车辆计算机110确定未经验证的标记300是否为投影305。车辆计算机110可基于等式1来确定置信度分数C，如上面所讨论的。然后，车辆计算机110可将置信度分数C与阈值进行比较以确定未经验证的标记300是实际标记300还是投影305，如上面所讨论的。如果车辆计算机110确定未经验证的标记300为投影305，则过程400在框430中继续。否则，过程400在框435中继续。
在框430中，车辆计算机110忽略投影305。也就是说，车辆计算机110基于投影305确定不操作车辆105。此外，如上面所讨论的，车辆计算机110禁用怠速模式。在框430之后，过程400结束。
在框435中，车辆计算机110禁用怠速模式，如上面所讨论的。所述过程在框440中继续。
在框440中，车辆计算机110基于标记300来操作车辆105。也就是说，车辆计算机110可根据与标记300相关联的操作参数来致动一个或多个车辆部件125，如上面所讨论的。车辆计算机110可基于传感器115数据、存储的车辆105操作数据和/或在道路200的当前车道205中操作的第二车辆215的操作数据来确定与标记300相关联的操作参数，如上面所讨论的。在框440之后，过程400结束。
如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。
一般来讲，所描述的计算***和/或装置可以采用多种计算机操作***中的任一种，包括但决不限于以下版本和/或种类：Ford
Figure BDA0003636629800000231
应用程序；AppLink/智能装置连接中间件；Microsoft
Figure BDA0003636629800000232
操作***；Microsoft
Figure BDA0003636629800000233
操作***；Unix操作***(例如，由加利福尼亚州红木海岸的Oracle Corporation发布的
Figure BDA0003636629800000234
操作***)；由纽约州阿蒙克市的国际商业机器公司发布的AIX UNIX操作***；Linux操作***；由加利福尼亚州库比蒂诺市的苹果公司发布的Mac OSX和iOS操作***；由加拿大滑铁卢的黑莓有限公司发布的黑莓操作***；以及谷歌公司和开放手机联盟开发的安卓操作***；或由QNX软件***公司提供的
Figure BDA0003636629800000235
车载娱乐信息平台。计算装置的示例包括但不限于机载第一计算机、计算机工作站、服务器、台式计算机、笔记本计算机、膝上型计算机或手持式计算机，或某一其他计算***和/或装置。
计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用中的一些可以在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收来自例如存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的***总线的电线。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件***中的文件集、呈专用格式的应用数据库、关系数据库管理***(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作***(诸如以上所提到的那些操作***中的一个操作***)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件***可从计算机操作***访问，并且可包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，***元件可以被实现为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所述的功能的此类指令。
关于本文描述的介质、过程、***、方法、启发等，应当理解，虽然此类过程等的步骤已经被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。
因此，应理解，以上描述意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的***和方法将并入到此类未来实施例中。总之，应当理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个/种”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种***，所述***具有计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：在操作车辆时，经由来自第一图像传感器的第一图像数据来检测标记；在未能经由地图验证所述标记后，致动车辆外部照明以照亮所述标记；然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者；在确定所述标记为所述实际标记后，基于所述实际标记来操作所述车辆。
根据实施例，所述指令还包括用于在检测到所述标记后防止以下至少一项的指令：a)所述车辆中的推进部件的致动；或b)车道变更操作，直到确定所述标记为所述实际标记还是所述投影。
根据实施例，所述指令还包括用于在确定所述标记为所述投影后忽略所述投影的指令。
根据实施例，所述指令还包括用于另外基于确定是否经由非图像传感器数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于在确定所述标记为所述实际标记后基于存储的车辆操作数据来验证与所述实际标记相关联的操作参数的指令。
根据实施例，所述指令还包括用于另外基于确定是否在预定时间的至少阈值部分内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于在从所述第一图像数据生成图像后另外基于确定在所述图像中是否检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者的指令。
根据实施例，所述指令还包括用于通过使用具有与所述第一图像传感器相同的所述标记的视角并且具有与所述第一图像传感器不同的放大倍数的虚拟传感器来生成所述图像的指令。
根据实施例，所述指令还包括用于将指定所述标记为所述实际标记或所述投影中的一者的消息提供给远程计算机的指令。
根据实施例，所述指令还包括用于在经由所述地图验证所述标记后基于所述经过验证的标记来操作所述车辆的指令。
根据实施例，本发明的特征还在于远程计算机，所述远程计算机包括第二处理器和第二存储器，所述第二存储器存储指令，所述指令可由所述第二处理器执行以基于包括来自多个车辆的识别所述标记的消息的聚合数据来生成所述地图。
根据本发明，一种方法包括：在操作车辆时，经由来自第一图像传感器的第一图像数据来检测标记；在未能验证所述标记后，致动车辆外部照明以照亮所述标记；然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者；在确定所述标记为所述实际标记后，基于所述实际标记来操作所述车辆。
在本发明的一个方面，所述方法包括另外基于确定是否经由非图像传感器数据检测到所述标记来确定标记为所述实际标记或所述投影中的一者。
在本发明的一个方面，所述方法包括另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者。
在本发明的一个方面，所述方法包括另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者。
在本发明的一个方面，所述方法包括另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
在本发明的一个方面，所述方法包括另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。

Claims (15)

1.一种方法，其包括：
在操作车辆时，经由来自第一图像传感器的第一图像数据来检测标记；
在未能验证所述标记后，致动车辆外部照明以照亮所述标记；
然后基于确定是否经由来自所述第一图像传感器的第二图像数据检测到所述标记来确定所述标记为实际标记或投影中的一者；
在确定所述标记为所述实际标记后，基于所述实际标记来操作所述车辆。
2.如权利要求1所述的方法，其还包括在检测到所述标记后，防止所述车辆中的推进部件的致动，直到确定所述标记为所述实际标记或所述投影中的一者。
3.如权利要求1所述的方法，其还包括在确定所述标记为所述投影后，忽略所述投影。
4.如权利要求1所述的方法，其还包括另外基于确定是否经由非图像传感器数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
5.如权利要求1所述的方法，其还包括另外基于存储的车辆操作数据来确定所述标记为所述实际标记或所述投影中的一者。
6.如权利要求1所述的方法，其还包括另外基于确定第二车辆是否正根据所述标记操作来确定所述标记为所述实际标记或所述投影中的一者。
7.如权利要求1所述的方法，其还包括另外基于确定是否经由来自第二图像传感器的图像数据检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
8.如权利要求1所述的方法，其还包括另外基于确定是否在预定时间内检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
9.如权利要求1所述的方法，其还包括在从所述第一图像数据生成图像后，另外基于确定在所述图像中是否检测到所述标记来确定所述标记为所述实际标记或所述投影中的一者。
10.如权利要求9所述的方法，其还包括通过使用具有与所述第一图像传感器相同的所述标记的视角并且具有与所述第一图像传感器不同的焦距的虚拟传感器来生成所述图像。
11.如权利要求1所述的方法，其中指令还包括用于在确定所述标记为所述实际标记后基于存储的车辆操作数据来验证与所述实际标记相关联的操作参数的指令。
12.如权利要求1所述的方法，其还包括在识别所述标记后，基于所述识别的标记来操作所述车辆。
13.一种计算机，其被编程为执行权利要求1至12中任一项所述的方法。
14.一种计算机程序产品，其包括用于执行权利要求1至12中任一项所述的方法的指令。
15.一种车辆，其包括被编程为执行权利要求1至12中任一项所述的方法的计算机。
CN202210504036.8A 2021-05-12 2022-05-10 增强的车辆操作 Pending CN115959135A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/318,237 US11667304B2 (en) 2021-05-12 2021-05-12 Enhanced vehicle operation
US17/318,237 2021-05-12

Publications (1)

Publication Number Publication Date
CN115959135A true CN115959135A (zh) 2023-04-14

Family

ID=83806635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504036.8A Pending CN115959135A (zh) 2021-05-12 2022-05-10 增强的车辆操作

Country Status (3)

Country Link
US (1) US11667304B2 (zh)
CN (1) CN115959135A (zh)
DE (1) DE102022111718A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023076012A (ja) * 2021-11-22 2023-06-01 トヨタ自動車株式会社 画像表示システム
US11945456B2 (en) * 2022-01-31 2024-04-02 Ford Global Technologies, Llc Vehicle control for optimized operation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530313B2 (en) 2014-10-27 2016-12-27 Here Global B.V. Negative image for sign placement detection
JP2016173452A (ja) * 2015-03-17 2016-09-29 セイコーエプソン株式会社 プロジェクターおよび表示制御方法
US10816654B2 (en) * 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization
US10254123B2 (en) * 2016-05-24 2019-04-09 Telenav, Inc. Navigation system with vision augmentation mechanism and method of operation thereof
DE102017218192A1 (de) 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles
DE102019001041A1 (de) 2019-02-13 2020-02-13 Daimler Ag Verfahren, sowie Vorrichtung zur Erkennung wenigstens eines manipulierten Verkehrszeichens mit einem Laserscanner
DE102019004623A1 (de) 2019-07-01 2020-02-20 Daimler Ag Verfahren zur Erkennung manipulierter Verkehrszeichen
DE102020001347A1 (de) 2020-03-02 2020-10-01 Daimler Ag Verfahren zur Erkennung eines manipulierten Anzeigeelements eines Verkehrszeichens mittels einer Kamera eines Kraftfahrzeugs
US20210097313A1 (en) * 2020-11-27 2021-04-01 Intel Corporation Methods, systems, and devices for verifying road traffic signs

Also Published As

Publication number Publication date
US20220363278A1 (en) 2022-11-17
US11667304B2 (en) 2023-06-06
DE102022111718A1 (de) 2022-11-17

Similar Documents

Publication Publication Date Title
CN115959135A (zh) 增强的车辆操作
US11794787B2 (en) Vehicle assist feature control
US12024207B2 (en) Vehicle autonomous mode operating parameters
US11702044B2 (en) Vehicle sensor cleaning and cooling
US11348343B1 (en) Vehicle parking navigation
US11845431B2 (en) Enhanced vehicle operation
US11715338B2 (en) Ranking fault conditions
US11164457B2 (en) Vehicle control system
CN113715806A (zh) 基于车道的车辆控制
CN113306554A (zh) 车辆让路决策
CN112446466A (zh) 在深度神经网络中测量置信度
US11574463B2 (en) Neural network for localization and object detection
US11945456B2 (en) Vehicle control for optimized operation
US20220274592A1 (en) Vehicle parking navigation
CN110648547A (zh) 运输基础设施通信和控制
US11897468B2 (en) Vehicle control system
US20220178715A1 (en) Vehicle path determination
US11639173B2 (en) Vehicle planned path signal
US11572731B2 (en) Vehicle window control
CN112519779A (zh) 基于位置的车辆操作
CN117095551A (zh) 车辆停车导航
US11823465B2 (en) Neural network object identification
US20230399001A1 (en) Vehicle sensor mode transitions
CN116946125A (zh) 车辆辅助特征控制
CN117068141A (zh) 车辆路径确定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination