CN118043871A - 向车辆操作者呈现相关警告 - Google Patents
向车辆操作者呈现相关警告 Download PDFInfo
- Publication number
- CN118043871A CN118043871A CN202280066770.9A CN202280066770A CN118043871A CN 118043871 A CN118043871 A CN 118043871A CN 202280066770 A CN202280066770 A CN 202280066770A CN 118043871 A CN118043871 A CN 118043871A
- Authority
- CN
- China
- Prior art keywords
- identified
- vehicle
- threat
- vehicle operator
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000012790 confirmation Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 description 123
- 238000007726 management method Methods 0.000 description 46
- 230000008447 perception Effects 0.000 description 39
- 230000004927 fusion Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000000926 separation method Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/178—Warnings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
实施方案包括由车辆的处理器执行的用于向车辆操作者呈现相关警告的***和方法,包括:接收车辆对万物(V2X)通信,该V2X通信包括关于V2X标识的威胁的信息;确定该车辆操作者是否尚未认识到该V2X标识的威胁;响应于确定该车辆操作者尚未认识到该V2X标识的威胁而确定最可能接收该车辆操作者的注意的显示位置;以及在所确定的显示位置上生成关于该V2X标识的威胁的警报。在所确定的显示位置上所生成的关于该V2X标识的威胁的警报可以不包括关于该处理器已经确定该车辆操作者已经识别到的任何威胁状况的警报。
Description
相关申请
本申请要求于2021年10月7日提交的美国专利申请17/496,691号的优先权权益,该美国专利申请的全部内容以引用方式并入本文。
背景技术
智能运输***(ITS)旨在提供与不同运输模式相关的服务,并且提高道路安全性、交通效率和能量节省。ITS网络包括先进远程信息处理和混合通信,包括基于互联网协议(IP)的通信以及车辆、基础设施和甚至携带被配置用于此类通信的无线设备的个体之间的自组织(Ad-Hoc)直接通信。此外,ITS网络实现更特定类型的通信,诸如V2I车辆对基础设施(V2I)、车辆对网络(V2N)、车辆对车辆(V2V)、车辆对行人(V2P)、车辆对设备(V2D)和车辆对电网(V2g),它们全部统称为车辆对万物(V2X)通信。
配备有V2X技术的车辆从包括路边单元、车辆、携带无线设备的个体的相邻实体接收消息。V2X机载装备可以分析以及使用来自接收到的消息的信息,从而改善车辆安全操作。当适当时,V2X机载装备可以警告车辆的操作者关于可能对车辆或车辆的乘员呈现威胁的安全临界事件或状况。
发明内容
各种方面包括可在车辆的处理器上实现的方法和用于实现响应于操作者的视野和注意野而向车辆操作者呈现相关警告的方法的***。
一些方面可以包括:接收车辆对万物(V2X)通信,该V2X通信包括关于V2X标识的威胁的信息;确定车辆操作者是否已经识别到V2X标识的威胁;响应于确定车辆操作者尚未识别到V2X标识的威胁而确定最可能接收车辆操作者的注意的显示位置;以及在所确定的显示位置上生成关于V2X标识的威胁的警报。在一些方面中,在所确定的显示位置上生成关于V2X标识的威胁的警报可以包括:生成不包括关于车辆操作者已经识别到的任何威胁状况的警报的显示。
一些方面可以包括:确定包含V2X标识的威胁的车辆外部的区域的位置,以及确定车辆操作者的注视方向,其中确定车辆操作者是否已经识别到V2X标识的威胁可以包括:响应于确定包含V2X标识的威胁的车辆外部的区域的位置不在车辆操作者的所确定的注视方向上的车辆操作者的视野内而确定车辆操作者尚未识别到V2X标识的威胁。
一些方面可以包括:确定包含V2X标识的威胁的车辆外部的区域的位置,以及确定包含V2X标识的威胁的车辆外部的区域的位置是否在车辆操作者的所识别盲点中,其中确定车辆操作者是否已经识别到V2X标识的威胁可以包括:响应于确定包含V2X标识的威胁的车辆外部的区域的位置在车辆操作者的所识别盲点中而确定车辆操作者尚未识别到V2X标识的威胁。
一些方面可以包括确定车辆操作者的注视方向,其中确定最可能接收车辆操作者的注意的显示位置可以包括:确定在车辆操作者的所确定的注视方向上的车辆操作者的视野内可见的显示位置。
在一些方面中,确定最可能接收车辆操作者的注意的显示位置可以包括:确定多个车辆显示器中的哪一个车辆显示器被指定为用于V2X标识的威胁的优选显示器。
一些方面可以包括:确定是否已经从车辆操作者接收到关于V2X标识的威胁的威胁确认,其中确定车辆操作者是否已经识别到V2X标识的威胁可以包括:响应于确定尚未从车辆操作者接收到关于V2X标识的威胁的威胁确认而确定车辆操作者尚未识别到V2X标识的威胁。
一些方面可以包括:接收V2X遮挡数据,该V2X遮挡数据指示存在降低V2X标识的威胁对车辆操作者的可见性的状况,其中确定车辆操作者是否已经识别到V2X标识的威胁可以包括:响应于接收到V2X遮挡数据而确定车辆操作者尚未识别到V2X标识的威胁。
一些方面可以包括:响应于确定车辆操作者尚未识别到V2X标识的威胁而提高V2X标识的威胁的通知优先级,以及确定V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高,其中在所确定的显示位置上生成关于V2X标识的威胁的警报可以包括:响应于确定V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高而在所确定的显示位置上生成关于V2X标识的威胁的警报但不包括关于其他标识的威胁的警报。
在一些方面中,可以从远离车辆的源接收V2X通信,该V2X通信包括关于V2X标识的威胁的信息。
另外的方面包括一种车辆***,该车辆***包括存储器和处理器,该处理器被配置为执行以上概述的任何方法的操作。另外的方面可以包括一种车辆***,该车辆***具有各种用于执行与以上概述的任何方法相对应的功能的装置。另外的方面可以包括一种非暂态处理器可读存储介质,该非暂态处理器可读存储介质在其上存储有处理器可执行指令,该处理器可执行指令被配置为使车辆***的处理器执行与以上概述的任何方法相对应的各种操作。
附图说明
纳入本文中且构成本说明书一部分的附图例示了权利要求书的示例性实施方案,并与以上给出的概括描述和下面给出的具体实施方式一起用来解释权利要求书的特征。
图1是例示适合于实现各种实施方案的示例V2X***的示意图。
图2A和图2B是例示适合于实现各种实施方案的车辆的部件框图。
图2C是适合于实现各种实施方案的示例车辆***的部件图。
图2D是例示适合于实现各种实施方案的示例V2X通信协议栈的概念图。
图3A是例示适合于实现各种实施方案的示例车辆管理***的部件的部件框图。
图3B是例示适合于实现各种实施方案的另一示例车辆管理***的部件的部件框图。
图4A是根据各种实施方案的用于向车辆操作者呈现相关警告的示例方法的过程流程图
图4B、图4C、图4D、图4E、图4F和图4G是根据各种实施方案的可作为用于向车辆操作者呈现相关警告的方法的一部分来执行的示例操作的过程流程图。
具体实施方式
将参照附图详细地描述各种实施方案。在可能之处,相同参考标号将贯穿附图用于指代相同或类似部分。对特定示例和具体实施的参考是出于例示性目的,并且不旨在限制权利要求的范围。
总体而言,各种实施方案可以利用V2X警告***、车辆内部/乘员监测***(OMS)和车载式传感器的元件来在适当的位置(诸如多个车载式显示器中最可能接收车辆操作者的注意的车载式显示器)向车辆操作者标识和显示相关警告。各种实施方案可以计算被遮挡的或减弱的视线、车辆操作者感知的区域以及操作者是否识别到威胁,以便仅以车辆操作者可能注意到的位置和/或方式呈现相关警告。此外,呈现给车辆操作者的一个或多个相关警告可以不包括关于操作者已经识别到的和/或优先级较低的威胁的信息或警告。此外,一个或多个相关警告可以仅在选定的显示位置中而不是在多个显示位置中呈现,这可能使显示混乱并且潜在地降低操作者识别以及了解警告的可能性。
术语“片上***”(SOC)在本文中用于指代包含集成在单个基板上的多个资源和/或处理器的单个集成电路(IC)芯片。单个SOC可能包含用于数字、模拟、混合信号和射频功能的电路***。单个SOC还可以包括任何数量的通用和/或专用处理器(数字信号处理器、调制解调器处理器、视频处理器等)、存储器块(例如,ROM、RAM、闪存等)和资源(例如,定时器、稳压器、振荡器等)。SOC还可以包括用于控制集成资源和处理器以及用于控制***设备的软件。
术语“***级封装”(SIP)在本文中可被用于指包含多个资源、计算单元、两个或更多个IC芯片上的核心和/或处理器、基板或SOC的单个模块或封装。例如,SIP可以包括单个基板,多个IC芯片或半导体管芯以垂直配置堆叠在该单个基板上。类似地,SIP可以包括一个或多个多芯片模块(MCM),在这些模块上,多个IC或半导体管芯被封装到统一基板中。SIP还可以包括多个独立的SOC,这些SOC经由高速通信电路***耦合在一起并且紧密邻近封装,诸如在单个主板上或单个无线设备中。SOC的邻近性促成了高速通信以及存储器和资源的共享。
术语“部件”、“***”、“单元”、“模块”等指与计算机相关的实体,诸如但不限于硬件、固件、硬件和软件的组合、软件或正在执行的软件,它们被配置为执行特定的操作或功能。例如,部件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。作为例示,在通信设备上运行的应用程序以及通信设备二者都可以被称为部件。一个或多个部件可以驻留在进程和/或执行线程内,并且部件可以位于一个处理器或核心上和/或分布在两个或更多个处理器或核心之间。此外,这些部件可以从其上存储有各种指令和/或数据结构的各种非暂态计算机可读介质执行。部件可以通过本地和/或远程进程、函数或过程调用、电子信号、数据分组、存储器读/写和其他已知的计算机、处理器和/或进程相关的通信方法进行通信。
术语“V2X标识的威胁”是指在车辆上或车辆附近可能对车辆、车辆的乘员或者车辆上或车辆中的任何事物造成伤害或伤害风险的事件或状况。另外,对车辆的伤害或风险可以包括对车辆的任何延伸的伤害或风险,诸如在大篷车中或作为车队操作的拖曳车辆、货物及/或相关联车辆。
术语“V2X机载装备”指提供车辆对万物(V2X)功能性的车辆或设备上的装备。V2X机载装备典型地包括处理***,该处理***可以包括一个或多个处理器、SOC和/或SIP,它们中的任一者可以包括实现V2X功能性的一个或多个部件、***、单元和/或模块(为了简明,在本文中统称为“处理***”)。V2X机载装备和功能性的各方面可以在硬件部件、软件部件、或硬件和软件部件的组合中实现。
本文中使用术语“无线设备”指蜂窝式电话、智能电话、便携式计算设备、平板计算机、智能本、无线电子邮件接收器、多媒体互联网启用蜂窝式电话、包括智能手表、智能服装、智能眼镜、智能腕带、智能珠宝(例如,智能戒指、智能手镯等)的可佩戴设备以及包括存储器、无线通信部件和可编程处理器的类似电子设备中的任一者或全部。
正在开发协作式ITS(C-ITS),以提高道路安全性并且为实现完全自主驾驶铺平道路,该完全自主驾驶基于经由专用于C-ITS和道路运输和交通远程信息处理(RTTT)的直接无线短程通信的信息交换。世界上多个地区正在开发基于车辆的通信***和功能性的标准,包括由电气与电子工程师协会(IEEE)和汽车工程师协会(SAE)开发的供在北美使用的标准以及由欧洲电信标准协会(ETSI)和欧洲标准化委员会(CEN)开发的供在欧洲使用的标准。此类***中包括用于车辆广播消息的能力,其他车辆可以接收和处理这种消息,以提高交通安全性。此类消息在北美被称为基本安全消息(BSM)或者在欧洲被称为协作式感知消息(CAM)(为了简洁起见在本文中统称为BSM消息)。
IEEE 802.11p标准是专用短程通信(DSRC)和ITS-G5通信标准的基础。IEEE 1609是基于IEEE 802.11p的较高层标准。蜂窝车辆对万物(C-V2X)标准是在第三代伙伴计划的支持下开发的竞争标准。这些标准用作被用于支持智能高速公路、自主驾驶和半自主驾驶车辆的车辆对车辆和车辆往/返交通***无线通信的基础,并且提高高速公路运输***的整体效率和安全性。世界上的不同地区也在考虑其他V2X无线技术。本文中所描述的技术适用于任何V2X无线技术。
C-V2X协议定义了两种传输模式,它们一起为增强型道路安全性和自主驾驶提供了360°非视线感知和较高水平的可预测性。第一传输模式包括直接C-V2X,该直接C-V2X包括车辆对车辆(V2V)、车辆对基础设施(V2I)和车辆对行人(V2P),并在独立于蜂窝网络的专用智能交通***(ITS)5.9千兆赫兹(GHz)频谱中提供增强的通信范围和可靠性。第二传输模式包括移动宽带***和技术(诸如第三代无线移动通信技术(3G)(例如,全球移动通信***(GSM)演进(EDGE)***、码分多址(CDMA)2000***等)、***无线移动通信技术(4G)(例如,长期演进(LTE)***、高级LTE***、移动全球微波接入互通(移动WiMAX)***等)、第五代无线移动通信技术(例如,5G NR***等)等等)中的车辆对网络通信(V2N)。世界不同区域中也考虑其他V2X无线技术。本文中所描述的技术适用于任何V2X无线技术。
V2X***和技术通过使得车辆能够共享关于其定位、速度、行进方向、制动和对其他车辆的防撞和其他安全性功能可能有用的其他因素的信息,从而对提高交通流和车辆安全性持有巨大的前景。配备有V2X机载装备的车辆可在诸如基本安全消息(BSM)或协作感知消息(CAM)的小消息中频繁(例如,每秒至多20次)地传输其车辆信息。在所有具有V2X能力的车辆传输此类BSM/CAM消息的情况下,所有接收车辆都具有控制其自身的速度和方向以避免碰撞并且相对于彼此高效且安全地定位车辆所要求的信息。
当前的V2X应用程序使用地图、车辆运动状态和车辆前进方向/路线来计算以及标识在所标识的相关区域中的安全临界事件或状况。出于警告操作者的目的,可以忽略那些相关区域之外的事件和状况。定义相关区域对于减少所跟踪的V2X对象并且将计算能力和资源集中在更适当的安全相关数据上可能是有用的。然而,此类相关区域没有考虑来自操作者座位的实际视线或当前操作者的注视方向。因此,此类***经常警告操作者对车辆或其乘员的威胁,而操作者已经意识到此类威胁。可经忽略的重复警告可能会导致操作者对警告不敏感,这可以减少此类警告***的益处。此外,经常生成不必要警告的警告***可能给用户造成烦恼和/或疲劳。
各种实施方案包括用于以被配置为提高操作者将感知以及处理此类警告的可能性的方式向车辆操作者呈现相关警告的方法和被配置为执行该方法的***。在各种实施方案中,车辆处理***(例如,V2X机载装备)可以接收V2X通信,该V2X通信包括关于对车辆或车辆乘员的V2X标识的威胁的信息。所接收的V2X通信(包括关于V2X标识的威胁的信息)可以来自机载***、V2X基础设施、其他车辆、其他外部***等。响应于接收到消息,车辆处理***可以评估与确定V2X标识的威胁是否对车辆或乘客构成真实威胁相关的多个因素。车辆处理***可以评估来自各种车辆传感器的信息,以确定车辆操作者是否已经识别到V2X标识的威胁。虽然操作者已经识别到的威胁可能不证明警告是正确的,但操作者可能需要被警告关于未识别到的V2X标识的威胁。在各种实施方案中,车辆的处理***可以评估来自车辆OMS和车载式传感器或装备设置的输入,以标识关于操作者是否已识别到V2X标识的威胁的显式和/或隐式指示。
响应于确定车辆操作者尚未识别到V2X标识的威胁,车辆处理***可以确定最可能接收车辆操作者的注意的显示位置。车辆可以具有大的平视显示器能力,诸如涵盖大部分(如果不是全部的话)挡风玻璃,以及多个显示器,诸如侧窗上的平视显示器和/或仪表板上的多个不同显示器。此外,操作者可以佩戴头戴式显示器(HMD),该头戴式显示器提供覆盖在用户正在观看的车辆的内部和外部的视图上的车辆信息的增强现实显示。为了提高操作者看到以及感知到威胁警告消息或警报的可能性,处理***可以确定操作者正在看哪里并且标识位于操作者的视线内的显示位置,在该显示位置上呈现关于V2X标识的威胁的可见警告。例如,尽管威胁(如迎面而来的车辆)正在从操作者的右侧接近,但如果操作者当前正在注视车辆的左侧,则车辆处理***可以在操作者左侧的车辆显示位置(例如,大显示器的一部分或所定位的显示器)上呈现警告消息。在配备有大显示器(例如,涵盖挡风玻璃的HUD)的车辆中,用于呈现由车辆处理***确定的警报消息的显示位置可以是显示器的与操作者的当前视线对准的一部分。在此类车辆中,当操作者移动他/她的眼睛和头部时,车辆处理***可以跨大显示器移动警报消息(即,显示位置可以响应于操作者的眼睛/头部移动而变化)。在配备有多个显示器(例如,小型HUD、仪表板显示器和侧面板显示器)的车辆中,所确定的显示位置可以是与操作者的当前视线最紧密对准的多个显示器中的一个显示器。在此类车辆中,当操作者移动他/她的眼睛和头部时,车辆处理***可以将警报消息从一个显示器移动到另一个显示器(即,被选定呈现警报消息的显示器可以响应于操作者的眼睛/头部移动而变化)。在适用于包括专用于或优选用于显示V2X相关警报的显示器的车辆的一些实施方案中,确定最可能接收车辆操作者的注意的显示位置可以涉及选择多个车辆显示器中被指定为用于V2X标识的威胁的优选显示器的一个显示器。
然后,处理***可能以提高操作者不仅看到并且处理警报消息的可能性的方式在所确定的显示位置上生成关于V2X标识的威胁的警报并且呈现该警报。为了避免操作者负载过多对操作者不太重要的信息,车辆处理***可以生成仅包括最相关或最高优先级信息的警报显示,这可以包括操作者是否(或可能)意识到一些威胁的考虑。在一些实施方案中,处理***可以生成关于V2X标识的威胁的警报,该警报不包括关于车辆操作者已经识别到或可以看到的任何威胁状况的警报。例如,当车辆处理***确定操作者已经识别到特定威胁时,所生成的警报消息可以删除针对所标识的威胁的信息。作为另一示例,如果在操作者的右侧和左侧两者都存在由对象或迎面而来的车辆构成的威胁,则车辆处理***可以在操作者左侧的车辆显示位置(例如,大显示器的一部分或所定位的显示器)上呈现警告消息,该警告消息可以仅包括在操作者右侧的威胁,因为操作者可以看到在操作者左侧的威胁。在一些实施方案中,处理***可以评估与操作者的注意相关的信息,以确定在从所确定的显示位置上呈现的警告中不包括警告消息之前,操作者是否已经实际识别到在操作者正在观看的方向上的威胁。此外,可以仅在选定的显示位置(即,操作者正在观看的位置)中存在一个或多个相关警告,从而避免在多个显示器或显示位置上重复一个或多个警告,这可以潜在地减少操作者识别以及了解警告的可能性。
各种实施方案可以提高车辆安全***的安全性和有效性,该车辆安全***在操作者正在观看的显示位置中向配备有V2X的车辆的操作者呈现有用的警告,并且避免呈现可能导致操作者烦扰或不必要警告疲劳的不必要警告。因此,各种实施方案通过提高操作者将感知并对威胁警告做出反应的可能性来提高车辆安全***的安全性和有效性。
图1是例示适合于实现各种实施方案的示例V2X***100的示意图。参考图1,车辆101、102、103可以分别包括V2X机载装备111、112、113,该V2X机载设备可以被配置为在彼此之间建立无线通信链路121、122、123。类似地,行人50可以携带也配备有V2X机载装备的无线设备105,该V2X机载装备也可以被配置为与具有V2X能力的车辆101、102、103建立无线通信链路131、132、133。另外,一个或多个路边单元109也可以配备有V2X机载装备,该V2X机载装备可以被配置为与车辆101、102、103和无线设备105建立无线通信链路141、142、143、144。那些无线通信链路121、122、123、131、132、133、141、142、143、144可以被配置为周期性地在车辆101、102、103、无线设备104和/或路边单元109之间携带基本安全消息(BSM)或其他V2X通信广播。相反,车辆104可以表示未配备有传输或接收V2X消息的能力的其他车辆。
图1中例示的环境反映了这样一种情况,其中具有特定视点(POV)的第一车辆101的车辆操作者虽然可以能够容易地观察到位于区A中的行人50和其他事物,但可以具有位于区B的远端中的事物的被遮挡或部分被遮挡的视图。在这种情况下,第一车辆101的操作者可能没有意识到位于区B的被遮挡部分中的第三车辆103在道路10上朝北行驶。在没有完全通知该情况的情况下,第一车辆101的操作者可能错误地认为他将自由地驶入向北交通,这可能导致碰撞。
通过共享车辆/设备位置、速度、方向、行为(诸如速度、加速度/减速度、转弯等),车辆101、102、103和行人可以维持安全分离并且标识和避免潜在碰撞(即,威胁)。例如,开始驶出停车位的第一车辆101可以接收V2X通信(例如,BSM、CAM),该V2X通信包括关于对车辆或车辆乘员的V2X标识的威胁的信息。诸如来自其他车辆102、103、无线设备105和/或路边单元109中的一者或多者的任何V2X机载装备可以向第一车辆101传输和/或中继V2X通信。一旦接收到V2X通信,使用包含在V2X通信中或伴随V2X通信的信息(即,V2X标识的威胁),第一车辆101的处理***可以确定第三车辆103的位置和轨迹。此后,第一车辆101可以生成警报,该警报向操作者通知与第三车辆103即将发生碰撞的危险。此类警报可以使得第一车辆101的操作者能够在停车位中停留更久一点(例如,直到至少第三车辆103已经经过)并且避免碰撞。
另外,包括在所接收的V2X消息中或作为单独的V2X消息的一部分,第一车辆101内的V2X机载装备111可以接收关于与朝向第一车辆101行走的行人50相关联的威胁的信息。然而,与处于区B的被遮挡部分中的第三车辆103不同,行人50正从第一车辆101的操作者的POV以直视方式行走。因此,根据各种实施方案,第一车辆101的处理***可以确定行人50的位置和轨迹,并且确定不生成关于该威胁的警报,因为存在车辆操作者已经识别到该威胁的指示。即,来自行人50的威胁(即,造成与行人碰撞的危险)对于车辆操作者来说是可见的或者应当清楚可见的事实。例如,第一车辆101中的OMS和/或内部传感器可以检测车辆操作者的注视方向(即,车辆操作者正在观看、固定地、不可靠地或以其他方式观看的当前方向),车辆处理器可以使用该方向来确定行人50在车辆操作者的注视方向的视野内。位于车辆操作者的视野内的威胁可以被解释为威胁的隐式确认(即,威胁确认)。另选地,车辆操作者可以给出显式威胁确认,诸如向车辆处理器指示车辆操作者意识到该威胁的手势、口头提示或其他***输入。
另外,车辆101、102、103、无线设备105和/或路边单元109可以通过通信网络(例如,V2X、蜂窝、WiFi等)向ITS传输关于V2X标识的威胁和/或其他V2X通信的数据和信息。ITS的元件可以被配置为通过有线或无线网络彼此通信以交换信息,诸如关于可能造成V2X标识的威胁或与之相关联的对象和状况的细节。
各种实施方案可以在各种车辆内实现,示例车辆101在图2A和图2B中例示。参考图1至图2B,车辆101可以表示关于图1所描述的车辆101、102、103中的任一者或多者。在各种实施方案中,车辆101可以包括控制单元240和多个传感器211-238,该控制单元可以包括V2X机载装备(例如,111),这些传感器包括卫星地理定位***接收器213、占用传感器212、216、218、226、228、胎压传感器214、220、相机222、236、话筒224、234、撞击传感器230、雷达232和激光雷达238。设置在车辆中或车辆上的多个传感器211-238可以用于各种目的,诸如自主和半自主导航和控制、防撞、定位确定等,以及提供关于在车辆101中或其上的对象和人的传感器数据。传感器211-238可以包括能够检测对导航和防撞有用的各种信息的多种多样的传感器中的一个或多个传感器。传感器211-238中的每个传感器可以与控制单元240以及彼此进行有线或无线通信。具体来说,传感器可以包括一个或多个相机222、236或其他光学传感器或光电传感器。传感器还可以包括其他类型的对象检测和测距传感器,诸如雷达232、激光雷达238、IR传感器和超声传感器。传感器还可以包括胎压传感器214、220、湿度传感器、温度传感器、卫星地理定位传感器213、控制输入传感器211、加速度计、振动传感器、陀螺仪、重力仪、撞击传感器230、测力计、压力计、应变传感器、流体传感器、化学传感器、气体含量分析仪、pH传感器、辐射传感器、盖革计数器、中子检测器、生物材料传感器、话筒224、234、占用传感器212、216、218、226、228、邻近性传感器和其他传感器。
根据各种实施方案,车辆控制单元240可以被配置为引导来自窄带Wi-Fi发射器205F、205R中的一者或两者的信号。另外,控制单元240可以具有针对窄带Wi-Fi发射器205F、205R中的一者或两者的默认设置,诸如非定向设置或自动地引导窄带Wi-Fi发射器205F、205R中的一者或两者跟随转向盘的设置。当控制单元240没有主动地引导窄带Wi-Fi发射器205F、205R中的一者或两者时,可以遵循默认设置。
车辆控制单元240可以被配置有处理器可执行指令以使用从各种传感器(特别是相机222、236)接收到的信息来执行导航和防撞操作。在一些实施方案中,控制单元240可以使用可以从雷达232和/或激光雷达238传感器获得的距离和相对定位(例如,相对方位角)来补充对相机图像的处理。控制单元240还可以被配置为使用采用各种实施方案确定的关于其他车辆的信息来控制车辆101在自主或半自主模式下操作时的转向、制动和速度。
图2C是适合于实现各种实施方案的示例车辆***200的部件图。参考图1至图2C,***200可以包括车辆101,该车辆包括V2X机载装备111(例如,远程信息处理控制单元或机载单元(TCU/OBU))。V2X机载装备111可以与各种***和设备通信,诸如车载式网络250、信息娱乐***252、各种传感器254、各种致动器256和射频(RF)模块172。V2X机载装备111还可与各种其他车辆201、路边单元109、基站260和其他外部设备通信。V2X机载装备111可以被配置为执行用于向车辆操作者呈现相关警告的操作,如下面进一步所描述的。
在图2C中所例示的示例中,V2X机载装备111包括处理器164、存储器166、输入模块168、输出模块170和无线电模块172。处理器164可以被配置有处理器可执行指令,以控制关于向车辆操作者发出相关警告的警报的确定,并且可选地控制车辆101的机动、导航和/或其他操作,包括各种实施方案的操作。处理器164可以耦合到存储器166。此外,处理器164可以耦合到输出模块170,该输出模块可以控制车载式显示器以在所确定的显示位置上生成关于V2X标识的威胁的警报。
V2X机载装备111可以包括V2X天线(例如,RF模块172),并且可以被配置为与一个或多个ITS参与者(例如,站)(诸如,另一车辆201、路边单元109,以及基站260或另一合适的网络接入点)通信。在各种实施方案中,V2X机载装备111可以从多个信息源接收信息,诸如车载式网络250、信息娱乐***252、各种传感器254、各种致动器256和RF模块172。V2X机载装备111可以被配置为向车辆操作者警报相关警告,如下面进一步所描述的。
车载式网络250的示例包括控制器局域网(CAN)、本地互连网络(LIN)、使用FlexRay协议的网络、面向媒体的***传输(MOST)网络以及汽车以太网网络。车辆传感器254的示例包括位置确定***(诸如全球导航卫星***(GNSS)***)、相机、雷达、激光雷达、超声传感器、红外传感器以及其他合适的传感器设备和***。车辆致动器256的示例包括诸如用于转向、制动、引擎操作、灯、方向信号等的各种物理控制***。
图2D是例示适合于实现各种实施方案的示例V2X通信协议栈270的概念图。
图3A为例示示例车辆威胁管理***300的部件的部件框图。车辆威胁管理***300可以包括可在车辆101内利用的各种子***、通信元件、计算元件、计算设备或单元。参照图1至图3A,车辆威胁管理***300内的各种计算元件、计算设备或单元可以被实现在互连的计算设备(即,子***)的***内,这些互连的计算设备彼此传达数据和命令(例如,由图3A中的箭头所指示的)。在一些具体实施中,车辆威胁管理***300内的各种计算元件、计算设备或单元可以在单个计算设备内实现,诸如单独的线程、进程、算法或计算元件。因此,图3A中所例示的每一子***/计算元件在本文中也通常被称为构成车辆威胁管理***300的计算“栈”内的“层”。然而,在描述各种实施方案时使用术语层和栈并不旨在暗示或要求对应的功能性在单个自主(或半自主)车辆管理***计算设备内实现,尽管这是潜在的实现实施方案。相反,对术语“层”的使用旨在包括具有独立处理器的子***、在一个或多个计算设备中运行的计算元件(例如,线程、算法、子例程等)以及子***和计算元件的组合。
车辆威胁管理***300可以包括雷达感知层302、相机感知层304、定位引擎层306、地图融合和仲裁层308、V2X通信层310、传感器融合和道路世界模型(RWM)管理层312、威胁评估层314以及操作者感知评估层316。层302-316仅仅是车辆威胁管理***300的一个示例配置中的一些层的示例。在其他配置中,可以包括其他层,诸如用于其他感知传感器的附加层(例如,激光雷达感知层等)、用于生成警报和/或显示选择的附加层、用于建模的附加层等,和/或可以从车辆威胁管理***300中不包括层302-316中的某些层。如图3A中的箭头所例示的,层302-316中的每一层可以交换数据、计算结果和命令。此外,车辆威胁管理***300可以接收以及处理来自传感器(例如,雷达、激光雷达、相机、惯性测量单元(IMU)等)、导航***(例如,全球定位***(GPS)接收器、IMU等)、车辆网络(例如,控制器区域网(CAN)总线)和存储器中的数据库(例如,数字地图数据)的数据。车辆威胁管理***300可以在选择的车载式显示位置上输出警报和/或命令以用于生成关于V2X标识的威胁的警报。图3A中所例示的车辆威胁管理***300的配置仅仅是示例配置,并且可以使用车辆管理***和其他车辆部件的其他配置。作为示例,图3A中所例示的车辆威胁管理***300的配置可在被配置用于自主或半自主操作的车辆中使用,而不同的配置可以在非自主车辆中使用。
雷达感知层302可以从一个或多个检测和测距传感器(诸如雷达(例如,132)和/或激光雷达(例如,138))接收数据,并且处理数据以识别以及确定车辆101附近的其他车辆和对象的位置。雷达感知层302可以包括使用神经网络处理和人工智能方法来识别对象和车辆,并且将此类信息传递到传感器融合和RWM管理层312上。
相机感知层304可以从一个或多个相机(诸如相机(例如,122、136))接收数据,并且处理该数据以识别和确定在车辆100附近的其他车辆和对象的位置,以及关于操作者的观察(例如,操作者的注视方向)。相机感知层304可以包括使用神经网络处理和人工智能方法来识别对象和车辆,并且将此类信息传递到传感器融合和RWM管理层312上。
定位引擎层306可以从各种传感器接收数据并且处理该数据以确定车辆101的位置。各种传感器可以包括但不限于GPS传感器、IMU和/或经由CAN总线连接的其他传感器。定位引擎层306还可利用来自一个或多个相机(诸如相机(例如,122、136))和/或任何其他可用传感器(诸如雷达、激光雷达等)的输入。
车辆威胁管理***300可以包括或耦合到车辆无线通信子***330。无线通信子***330可以被配置为,诸如经由V2X通信,与其他车辆计算设备和远程V2X通信***通信。
地图融合和仲裁层308可以接入从其他V2X***参与者接收到的传感器数据,以及接收从定位引擎层306接收到的输出,以及处理数据以进一步确定车辆101在地图内的位置,诸如交通车道内的位置、街道地图内的定位等,传感器数据可被存储在存储器(例如,存储器166)中。例如,地图融合和仲裁层308可以将来自GPS的纬度和经度信息转换为传感器数据中包含的道路表面地图内的位置中。由于GPS定位锁定包括误差,因此地图融合和仲裁层308可以基于GPS坐标与传感器数据之间的仲裁来确定车辆在道路内的最佳猜测位置。例如,虽然GPS坐标可以将车辆放置在传感器数据中双车道道路的中间附近,但地图融合和仲裁层308可以根据行进方向确定该车辆最可能与和行进方向一致的行进车道对准。地图融合和仲裁层308可以将基于地图的位置信息传递给传感器融合和RWM管理层312。
V2X通信层310可以接收和利用来自ITS的传感器数据和其他输入以收集关于车辆(例如,101)附近和周围的移动对象和状况的信息。由V2X通信层310接收到的V2X通信可以提供许多类型的信息。例如,其他车辆或路边单元可以提供可经分析(即,测量邻近性、运动、轨迹等)的相机图像或传感器读数。V2X通信层310可以将V2X消息传送信息传递给传感器融合和RWM管理层312。然而,其他层(诸如传感器融合和RWM管理层312等)不要求对V2X消息传送信息的使用。例如,其他栈可以在不使用所接收到的V2X消息传送信息的情况下控制车辆(例如,控制一个或多个车辆显示器)。
在一些实施方案中,处理器可以采用机器学习过程来初始确定或细化针对ITS参与者类型的检测器设置。在一些实施方案中,处理器可以向经训练模型(诸如,ITS参与者类型模型)提供ITS参与者类型的参数的多个观察结果,并且可以从模型(例如,ITS参与者类型模型)接收被配置为评估ITS参与者的方面的一个或多个检测器的检测器设置作为输出。
在一些实施方案中,处理器可以将针对每一ITS参与者类型的检测器设置(例如,依据ITS参与者类型)存储在可由车辆处理***访问的存储器中。在一些实施方案中,处理器可以经由无线网络(例如,来自路边单元(RSU)的V2X、5G网络等)从中央源接收更新,该中央源将检测器设置和设置更新分发给区域中的一些或所有ITS参与者。此类分发的检测器设置或检测器设置更新可以基于ITS参与者类型来提供。检测器设置或检测器设置更新可以按任何级别的特异性或粒度(包括单个ITS参与者类型的一个或多个参数)在ITS参与者之间进行分发。例如,ITS参与者处理器可以接收和存储指示汽车的最大可信速度的更新。以这种方式,可以区分开的方式(例如,单独地)和/或依据ITS参与者类型对检测器设置进行接收、更新和/或存储。通过使得检测器设置能够被接收、更新和/或存储为针对ITS参与者类型的少至单个检测器设置,检测器设置可以更稳健地防止篡改或引入错误或虚假设置。例如,虽然包括汽车的最大可信速度的错误设置的更新可能影响与汽车相关的检测,但将不影响与其他ITS参与者类型(例如,公共汽车、摩托车、行人等)相关的检测。
在一些实施方案中,处理器可以使用基于ITS参与者类型的检测器设置来确定V2X消息中的信息是可信的还是不可信的。在一些实施方案中,处理器可以基于V2X消息中的信息是否满足(例如,等于或超过)用于检测器的最大或最小可信参数来确定消息是否是不可信的。在一些实施方案中,处理器可以基于多个检测器的输出来确定消息是可信的还是不可信的。在一些实施方案中,响应于确定V2X消息中的信息是不可信的,处理器可以执行安全动作。例如,处理器可以将关于ITS参与者的异常行为报告传输到ITS网络元件(诸如安全服务器),或者传输到执行类似或适当功能的网络元件。
为了便于参考,在本申请中参考使用V2X***和协议的车辆来描述实施方案中的一些实施方案。然而,应当理解,各种实施方案包括基于V2X或车辆的通信标准、消息、协议和/或技术中的任一者或所有。因此,除非在权利要求书中明确列举,否则本申请中的任何内容都不应被解释为将权利要求书限制于特定***(例如,V2X)或消息或消息传送协议(例如,基本安全消息(BSM))。另外,本文所描述的实施方案可以指车辆中的V2X处理***。设想了其他实施方案,其中V2X处理***可以在移动设备、移动计算机、路边单元(RSU)以及被配备为监测道路和车辆状况并参与V2X通信的其他设备中操作或被包括在其中。
传感器融合和RWM管理层312可以接收由雷达感知层302、相机感知层304、地图融合和仲裁层308以及V2X通信层310产生的数据和输出,并且使用一些或全部此类输入来估计或细化车辆101相对于道路的位置和状态、道路上的其他车辆以及车辆101附近内的其他对象或生物。例如,传感器融合和RWM管理层312可以将来自相机感知层304的图像数据与来自地图融合和仲裁层308的仲裁地图位置信息相组合,以细化车辆在交通车道内的所确定定位。作为另一示例,传感器融合和RWM管理层312可以将来自相机感知层304的对象识别和图像数据与来自雷达感知层302的对象检测和测距数据相组合,以确定和细化在该车辆附近的其他车辆和对象的相对定位。作为另一示例,传感器融合和RWM管理层312可以从V2X通信(诸如经由CAN总线或无线通信子***330)接收关于其他车辆位置和行进方向的信息,并且将该信息与来自雷达感知层302和相机感知层304的信息相组合,以细化其他对象的位置和运动。传感器融合和RWM管理层312可以将车辆101的细化位置和状态信息以及在该车辆附近的其他车辆和对象的细化位置和状态信息输出到威胁评估层314和/或操作者感知评估层316。
作为进一步的示例,传感器融合和RWM管理层312可以监视来自各种传感器的感知数据(诸如来自雷达感知层302、相机感知层304、其他感知层等的感知数据)和/或来自一个或多个传感器本身的数据以分析车辆传感器数据中的状况。传感器融合和RWM管理层312可以被配置为检测传感器数据中的状况,诸如传感器测量处于、高于或低于阈值、某些类型的传感器测量正在发生等,并且可以经由无线通信(诸如经由V2X连接、其他无线连接等)将传感器数据输出为提供给操作者感知评估层316和/或远离车辆100的设备(诸如数据服务器、其他车辆等)的车辆101的细化位置和状态信息的一部分。
细化的位置和状态信息可以包括与车辆和车辆所有者和/或操作者相关联的车辆描述符,诸如:车辆规格(例如,大小、重量、颜色、机载传感器类型等);车辆位置、速度、加速度、行进方向、姿态、方位、目的地、燃料/动力水平以及其他状态信息;车辆紧急状态(例如,车辆是紧急车辆或者私人个体处于紧急情况中);车辆限制(例如,重/宽负载、转弯限制、高占用车辆(HOV)授权等);车辆的能力(例如,全轮驱动、四轮驱动、雪地轮胎、链条、所支持的连接类型、机载传感器操作状态、机载传感器分辨率水平等);装备问题(例如,轮胎压力低、制动器弱、传感器故障等);所有者/操作者行进偏好(例如,优选车道、道路、路线和/或目的地、避免通行费或高速公路的偏好、最快路线的偏好等);向数据代理服务器(例如,网络服务器184)提供传感器数据的许可;和/或所有者/操作者标识信息。
车辆威胁管理***300的操作者感知评估层316可以使用车辆101的细化位置和状态信息以及从传感器融合和RWM管理层312输出的其他车辆和对象的位置和状态信息来预测其他车辆和/或对象的未来行为。例如,操作者感知评估层316可以使用此类信息以基于自己的车辆位置和速度以及在该车辆附近的其他车辆的位置和速度来预测这些其他车辆的未来相对位置。此类预测可以考虑来自本地动态地图数据和路线规划的信息,以预计随着主车辆和其他车辆沿道路的相对车辆定位变化。操作者感知评估层316可以将其他车辆和对象行为及位置预测输出到威胁评估层314。另外,操作者感知评估层316可以使用对象行为结合位置预测来规划和生成用于控制车辆101的运动的控制信号。例如,基于路线规划信息、道路信息中的细化位置以及其他车辆的相对位置和运动,操作者感知评估层316可以确定车辆101需要变道和加速,诸如以维持或达到与其他车辆的最小间距和/或为转弯或离开做准备。结果,操作者感知评估层316可以计算或以其他方式确定车轮转向角和油门设置变化,将该转向角和油门设置变化连同实现此类变道和加速所必需的各种此类参数一起发命令给威胁评估层314和车辆控制单元240。一个此类参数可以是计算出的转向盘命令角。
在一些实施方案中,操作者感知评估层316可以计算操作者相对于标识的威胁(包括V2X标识的威胁)的被遮挡(或减弱)的视线。此类计算可以基于从一个或多个车载式传感器和/或OMS接收到的输入,其可以包括检测操作者行为、姿势、移动等的输入。在一些实施方案中,操作者感知评估层316可以计算操作者可用的感知区域(即,如果操作者看向该方向,则操作者可以看到的外部世界的可用视图)。在此类操作中,操作者感知评估层316可以评估盲点、外部遮挡物以及可能阻挡或限制操作者在威胁方向上的感知的其他结构或操作者限制,以及标识操作者可以看到的区域或区(例如,潜在感知区域)。此外,操作者感知评估层316可以基于操作者在过去几秒内观察的位置或基于操作者当前注视方向/角度来评估可能感知的区域。通过比较所标识的威胁(包括V2X威胁)是否落入被遮挡的视线中或落入感知区域内,操作者感知评估层316可以确定操作者是否可能已经看到所标识的威胁。此外,操作者感知评估层316可以评估与操作者动作或反应相关的内部传感器数据或OMS输出,以确定操作者是否已经确认所标识的威胁或对其起反应。例如,操作者感知评估层316可以评估操作者是否做出了操作者动作(例如,触摸刹车、改变油门水平、转动车轮等)或展现了指示操作者已经感知到威胁的面部变化或身体移动(例如,将他/她的目光聚焦在威胁的源上、将他/她的头部转向威胁的源等)。
感知评估层314可以接收来自传感器融合和RWM管理层312的数据和信息输出、和来自操作者感知评估层316的其他车辆和对象行为以及位置预测,并且使用该信息来规划和生成用于控制车辆101的运动的控制信号,以及验证此类控制信号满足车辆101的安全性要求。例如,基于路线规划信息、道路信息中的精确位置以及其他车辆的相对位置和运动,威胁评估层314可以在所确定的显示位置上验证和生成关于V2X标识的威胁的一个或多个警报。
在各种实施方案中,无线通信子***330可以经由无线通信链路与其他V2X***参与者通信,以传输传感器数据、定位数据、车辆数据和机载传感器所收集的关于车辆周围环境的数据。其他V2X***参与者可以使用此类信息更新所存储的传感器数据,以供中继至其他V2X***参与者。
在各种实施方案中,车辆威胁管理***300可以包括执行对可能影响车辆和乘员安全的各种层的各种命令、规划或其他决策的安全检查或监督的功能性。此类安全性检查或监督功能性可以在专用层内实现或分布在各种层之间并且被包括作为该功能性的一部分。在一些实施方案中,各种安全性参数可以被存储在存储器中,并且安全性检查或监督功能性可以将所确定的值(例如,与近旁车辆的相对间距、与道路中心线的距离等)与对应的安全性参数进行比较,并且在违背或将违背安全性参数的情况下发出警告或命令。例如,操作者感知评估层316中(或单独的层中)的安全性或监督功能可以确定另一车辆(如由传感器融合和RWM管理层312定义的)与该车辆之间的当前或未来分隔距离(例如,基于由传感器融合和RWM管理层312细化的世界模型),将该分隔距离与存储在存储器中的安全分隔距离参数进行比较,以及向威胁评估层314发出指令。
图3B例示了可以在车辆101内利用的车辆管理***350内的子***、计算元件、计算设备或单元的示例。参照图1至图3B,在一些实施方案中,车辆威胁管理***350的层302、304、306、308、310、312和316可以类似于参照图3A所描述的那些层,并且车辆威胁管理***350可以与车辆威胁管理***300类似地操作,不同之处在于车辆威胁管理***350可以将各种数据或指令传递给车辆安全和防撞***352。例如,图3B中所例示的车辆威胁管理***350与车辆安全和防撞***352的配置可以在非自主车辆中使用。
在各种实施方案中,操作者感知评估层316和/或传感器融合和RWM管理层312可以将数据输出到车辆安全性和防撞***352。例如,传感器融合和RWM管理层312可以输出传感器数据,作为提供给车辆安全性和防撞***352的车辆101的细化位置和状态信息的一部分。车辆安全性和防撞***352可以使用车辆101的细化位置和状态信息来作出关于车辆101和/或该车辆的乘员的安全性确定。作为另一示例,操作者感知评估层316可以将与操作者觉察、扫视方向和/或威胁确认相关的行为模型和/或预测输出到车辆安全性和防撞***352。车辆安全性和防撞***352可以使用行为模型和/或预测来作出关于车辆101和/或该车辆的乘员的安全性确定。
在各种实施方案中,车辆安全性和防撞***352可以包括对可能影响车辆和乘员安全性的各种层的各种命令、规划或其他决策以及人类操作者动作执行安全性检查或监督的功能性。在一些实施方案中,各种安全性参数可以被存储在存储器中,并且车辆安全性和防撞***352可以将所确定的值(例如,与近旁车辆的相对间距、与道路中心线的距离等)与对应的安全性参数进行比较,并在违背或将违背安全性参数的情况下发出警告或命令。例如,车辆安全性和防撞***352可以确定另一车辆(如由传感器融合和RWM管理层312定义的)与该车辆之间的当前或未来分隔距离(例如,基于由传感器融合和RWM管理层312细化的世界模型),将该分隔距离与被存储在存储器中的安全分隔距离参数进行比较,以及在当前或预测的分隔距离违背安全分隔距离参数的情况下向操作者发出指令以进行加速、减速或转弯。作为另一示例,车辆安全性和防撞***352可以将人类操作者的转向盘角变化与安全车轮角限制或参数进行比较,并且响应于转向盘角超过安全车轮角限制而发出超驰命令和/或警报。
图4A是根据各种实施方案的用于向车辆操作者呈现相关警告的示例方法400的过程流程图。参照图1至图4A,方法400的操作可以由车辆(例如,101、102、103)的V2X机载装备(例如,111、112、113)的处理***(例如,164、240、270、300、350)执行。
在框421中,处理***可以接收车辆对万物(V2X)通信,该V2X)通信包括关于对车辆或车辆乘员的V2X标识的威胁的信息。例如,所接收的V2X通信可以包括关于可能对车辆或车辆乘员构成威胁(即,V2X标识的威胁)的车辆、对象、生物或状况的信息。所接收的V2X通信可以包括关于对车辆或车辆乘员的多个威胁的信息。此类V2X标识的威胁可能涉及接近的车辆、对象或生物;车辆、对象、生物或车辆正在接近的状况,和/或存在于车辆的预定邻近性内的车辆、对象、生物或状况。所接收的V2X通信(包括关于一个或多个V2X标识的威胁的信息)可以来自机载***、V2X基础设施、其他车辆、其他外部***和/或V2X通信的任何源或中介。
在框421中,响应于接收到V2X通信,其包括关于V2X标识的威胁的信息,车辆可以对该V2X标识的威胁进行自我评估。例如,处理***可以具有比标识和报告该V2X标识的威胁的V2X***更窄的考虑。
作为框421中的操作的一部分,处理***可以评估与当对该V2X标识的威胁进行自我评估时对车辆和/或其乘员构成的风险相关的宽范围的因素。在一些实施方案中,在框421中,处理***可以评估邻近车辆或大致在车辆附近的区域的地域分类,例如可能影响车辆可操纵性、其他车辆/对象/生物行为及车辆的位置信息(例如,城市街道、停车场、郊区或郊区建筑存在、远郊、农村等)的状况。在一些实施方案中,在框421中,处理***可以评估邻近车辆的道路区域的道路配置,诸如可能影响可见度、车辆操纵和车辆行为的状况。例如,处理***可以评估可以影响对车辆或乘员构成的风险以及车辆可能对其他车辆、行人、财产、动物等构成的威胁的十字路口、人行道、窄车行道、直对弯车行道、道路地形(例如,丘陵或平地)、人行横道、自行车专用道等的存在。在一些实施方案中,在框421中,处理***可以确定邻近车辆的区域的历史风险信息,诸如该区域是否具有事故历史、事故类型和事故频率。
在一些实施方案中,在框421中,处理***可以评估其他车辆、对象或生物的所观测行为,诸如另一车辆是否不规律地操纵、在受控车辆的行进车道中行进或在道路上或道路附近行进、在人行道上或自行车专用道中行进。在一些实施方案中,在框421中,处理***可以对其他车辆、对象和/或生物进行分类,诸如其他车辆、对象和/或生物是否是汽车、卡车、骑车人、行人、动物等。
在一些实施方案中,在框421中,处理***可以评估本地天气状况,诸如可能影响可见度、可操纵性和车辆操纵的状况,包括雾、雨、冰、湿或光滑道路等的存在,以及阳光或照明状况,诸如黎明或黄昏、夜间、日光、夜间街道照明的存在或不存在等。
在一些实施方案中,在框421中,处理***可以评估多个因素,以确定由车辆对其他车辆、对象和/或生物构成的风险的风险评分。在一些实施方案中,对每一因素的评估可以提高或减小风险评分。在此类实施方案中,处理***可以将风险评分确定为与确定由车辆对其他车辆、对象和/或生物构成的风险相关的因素的评估的聚合。在一些实施方案中,处理***可以将多个因素中的每一因素与权重因素相关联。在此类实施方案中,处理***可以将风险评分确定为与确定由车辆对其他车辆、对象和/或生物构成的风险相关的因素以及它们的指派的权重因素的聚合。在一些实施方案中,处理***可以基于其他检测到的因素的值或影响来调整应用于一些因素的权重,诸如当在所预测的最近接近点处车辆与其他车辆、对象和/或生物之间的所预测的分离距离满足或小于阈值时,提高与一些因素相关联的权重。
当在框421中对V2X标识的威胁进行自我评估时,处理***可以以多种方式评估多个因素。在一些实施方案中,处理***可以向每一确定因素指派数值,并且可以将所指派的数值制表以确定风险评分。在一些实施方案中,处理***可以将所确定的因素应用于被配置为产生风险评分作为输出的决策树。在一些实施方案中,处理***可以提供多个因素(或指派给每一因素的数值)作为加权公式的输入,该加权公式被配置为产生风险评分作为输出。在一些实施方案中,处理***可以将多个因素应用于提供风险评分作为输出的经训练的神经网络模型。用于评估框406中的多个因素的其他技术也是可能的。在一些实施方案中,处理***可以确定风险评分是否满足警告阈值。例如,处理***可以将风险评分与存储在存储器中的阈值进行比较。在一些实施方案中,阈值可以取决于情况而变化,诸如车辆的操作者、车辆是否自主操作、在预测的最近接近点处车辆与其他车辆、对象和/或生物之间的预测的分离距离等。
用于执行框420的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172和威胁评估模块314。
在框422中,处理***可以确定车辆操作者是否已经识别到V2X标识的威胁。作为框422中的操作的一部分,处理***可以评估操作者的当前视野以及潜在地影响对所标识的威胁的操作者视野的内部和外部因素。
在一些实施方案中,确定车辆操作者是否已经识别到V2X标识的威胁可以包括:响应于确定包含V2X标识的威胁的车辆外部的区域的位置不在操作者的注视视野内而确定车辆操作者尚未识别到V2X标识的威胁。因此,如果V2X标识的威胁对操作者不可见,因为受威胁的对象(例如,另一车辆)位于操作者无法看到的区域中,诸如如果对对象的操作者视野被外部车辆、对象、生物或状况等阻挡。在一些实施方案中,在框422中,处理***可以考虑可能遮挡或阻碍可见性的环境因素,诸如日出、日落、眩光、雾、雾霾、雨等。
在一些实施方案中,确定车辆操作者是否尚未识别到V2X标识的威胁可以包括:响应于确定包含V2X标识的威胁的车辆外部的区域的位置在车辆操作者的所识别盲点中而确定车辆操作者尚未识别到V2X标识的威胁。例如,基于车辆操作者的观点,车辆数据可以标识已知的车辆盲点,这些盲点是由于车辆结构或特征而遮挡车辆操作者的视野的车辆外部的区域。作为另一示例,处理***可以获得外部环境信息,该外部环境信息可以标识可以产生盲点的外部元素或因素,诸如日落、日出、雾等。以此方式,外部元素或因素所位于的车辆外部的一个或多个区域可以被指定为车辆操作者的所识别盲点。
在一些实施方案中,确定车辆操作者是否尚未识别到V2X标识的威胁可以包括响应于接收到指示操作者可能不能够看到V2X标识的威胁的V2X遮挡数据而确定车辆操作者尚未识别到V2X标识的威胁。
在一些实施方案中,确定车辆操作者是否尚未识别到V2X标识的威胁可以包括响应于确定操作者尚未以将指示操作者已看到以及确认V2X标识的威胁的方式反应而确定车辆操作者尚未识别到V2X标识的威胁。
在一些实施方案中,在框422中,处理***可以考虑从V2X通信(即,从远程传感器观点)指示的任何阻碍或遮挡来计算操作者的视线和对应的视野,这可以提供关于被遮挡对象的信息。另外,处理***可以计算操作者的视线和对应的视野,考虑操作者看事物的视角(例如,使用提供诸如座椅高度的输入的车载式传感器和/或OMS)。此外,处理***使用注视角度/方向、面部姿势和/或身体移动来分析操作者的行为,以向分析添加上下文和/或动态数据。
在框422中,使用所有这些信息的组合,处理***可以计算车辆外部的真实相关区域以进行威胁评估。如果处理***确定所标识的威胁被布置在真正相关的区域之外,则不需要向操作者通知该所标识的威胁。
由处理***在框422中做出的确定可以响应于处理***通过对V2X标识的威胁的自我评估来证实V2X标识的威胁确实对车辆和/或车辆乘员构成显著的风险。用于执行框422的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、操作者感知评估模块316以及车辆安全和防撞模块352。
在框424中,处理***可以响应于确定车辆操作者尚未识别到V2X标识的威胁而确定最可能接收车辆操作者的注意的显示位置。在适合于具有大显示器(诸如涵盖大部分或全部挡风玻璃的平视显示器)的车辆的一些实施方案中,确定最可能接收车辆操作者的注意的显示位置可以包括:确定在操作者的所确定的注视方向上的操作者的视野中可见(即,与操作者的视野一致)的大显示器的一部分或区段。在适合于具有多个车辆显示器的车辆的一些实施方案中,确定最可能接收车辆操作者的注意的显示位置可以包括:确定多个车辆显示器中的哪一个车辆显示器在操作者的所确定的注视方向上的操作者的视野内是可见的。例如,尽管V2X标识的威胁来自操作者的右侧(见图1),但如果操作者正向左看(即,在相反方向上),则处理***可以选择位于仪表板左侧的显示位置(例如,全挡风玻璃显示器的左侧、位于仪表板左侧的单独显示器上、或者HMD增强现实显示器的一部分上),以用于向操作者呈现警告。在一些实施方案中,确定最可能接收车辆操作者的注意的显示位置可以包括:确定多个车辆显示器中的哪一个车辆显示器被指定为用于V2X标识的威胁的优选显示器。以此方式,处理***可以计算最优或最佳可用位置以向操作者显示警告。用于执行框424的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、威胁评估模块314、操作者感知评估模块316以及车辆安全和防撞模块352。
在框426中,处理***可以在所确定的显示位置上生成关于V2X标识的威胁的警报。在一些实施方案中,处理***可以在所确定的显示位置上生成关于V2X标识的威胁的警报,该警报不包括关于车辆操作者已经识别到或可以看到的威胁状况(即,落入操作者的当前视野内并且未被遮挡)的警报。此外,在特定实施方案中,一个或多个相关警告可以仅在选定的显示位置中而不是在多个显示位置中呈现,这可能使显示混乱并且潜在地降低操作者识别和了解警告的可能性。在一些实施方案中,响应于确定V2X标识的威胁具有比其他标识的威胁的优先级高,处理***可以在所确定的显示位置上生成关于V2X标识的威胁的警报,该警报仅包括在所确定的显示位置上的V2X标识的威胁。换言之,处理***可以确定V2X标识的威胁比另一种威胁更显著,并且因此生成关于V2X标识的威胁而非其他威胁的警报。例如,在关于图1中的环境所描述的情况中,如果处理***确定由第三车辆(例如,103)构成的威胁大于由行人(例如,50)构成的威胁,则处理***可以在未提及行人的所确定的显示位置上生成关于第三车辆的警报。作为另一个示例,如果处理***确定操作者已经看到或识别到由第三车辆(例如,103)构成的威胁,则处理***可以在未提及第三车辆的所确定的显示位置上生成关于行人(例如,50)的警报。
用于执行框426的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、威胁评估模块314、操作者感知评估模块316以及车辆安全和防撞模块352。
在一些实施方案中,处理***可以从存储器获得或检索警告阈值。在此类实施方案中,响应于确定风险评分满足从存储器获得的警告阈值,处理***可以向所确定的显示位置发送警告消息。
在一些实施方案中,处理***可以基于从一个或多个传感器和/或ITS接收到的信息来确定警告阈值。例如,在四个车辆邻近该车辆的情形中,这些车辆可以彼此传达信息(例如,经由一个或多个V2X消息),包括诸如其位置、距该车辆的距离和方向等信息。在此类实施方案中,(例如,车辆中的一个或多个车辆的)处理***可以选择警告阈值,使得在统计上有可能车辆中的一个或两个车辆将向车辆发送警告消息,而不是所有四个车辆发送警告消息。
图4B至图4G是根据各种实施方案的可以作为用于向车辆操作者呈现相关警告的方法400的一部分来执行的示例操作402、404、406、408、410和412的过程流程图。操作402、404、406、408、410和412可以由车辆(例如101、102、103)的V2X机载装备(例如111、112、113)的处理***(例如164、240、270、300、350)来执行。
图4B例示了在一些实施方案中可由处理***执行的用于确定包含V2X标识的威胁的车辆外部的区域的位置的操作402。
参照图1至图4B,在方法400的框420中接收到V2X通信之后,处理***可以在框428中确定包含V2X标识的威胁的车辆外部的区域的位置。例如,处理***可以确定V2X标识的威胁位于车辆的360度半径内的位置。另外,处理***可以确定威胁的距离以及其正移动的速度(如果适用的话),和/或其当前轨迹(如果适用的话)。如上所述,处理***可以接收来自车辆的各种传感器的信息和/或V2X通信中的信息。用于执行框428的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、威胁评估模块314以及车辆安全和防撞模块352。
在框430中,处理***可以确定操作者的注视方向。处理***可以使用内部车辆传感器和/或OMS输出(包括内部相机)来确定操作者的注视方向。处理***可以分析关于操作者的注视的输入,诸如头部倾斜/旋转角度和/或操作者的眼睛的焦点。用于执行框430的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、操作者感知评估模块316以及车辆安全和防撞模块352。在框430中的操作之后,处理***可以执行如所描述的方法400的框422中的操作。
图4C例示了在一些实施方案中可由处理***执行的操作406。参考图1至图4C,在确定包含V2X标识的威胁的车辆外部的区域的位置(操作402的框428)之后,在框432中,处理***可以确定包含V2X标识的威胁的车辆外部的区域的位置是否在车辆操作者的所识别盲点中。例如,由于限制操作者视野的结构柱和其他车辆元件,车辆外部的某些区域可能已知被阻挡而不能***作者看到。从操作者的观点(POV)来看,这些被阻挡的区域被称为盲点。用于执行框430的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、操作者感知评估模块316以及车辆安全和防撞模块352。在框432中的操作之后,处理***可以执行如所描述的方法400的框422中的操作。
图4D例示了在一些实施方案中可由处理***执行的操作406。参照图1至图4D,在框420中接收到V2X通信之后,处理***可以在框430中确定操作者的注视方向,如参照操作402所描述的。在框430中的操作之后,处理***可以执行如所描述的方法400的框422中的操作。
图4E例示了在一些实施方案中可以由处理***执行的操作408。参照图1至图4E,在框420中接收到V2X通信之后,在框434中,处理***可以确定是否已从操作者接收到关于V2X标识的威胁的威胁确认。例如,在一些实施方案中,从操作者接收到的威胁确认可以是从操作者接收到的显式输入(例如,口头输入/命令、用户界面输入、用户手势,诸如用于证实确认的预定闪烁模式)。另选地或另外地,在一些实施方案中,从操作者接收到的威胁确认可以是暗示确认(例如,瞳孔扩大、智能眼镜观察、对相关威胁的方向的注意、用户对相关威胁的反应的机器学习检测,诸如通过训练周期学习的、用户的注视方向等)。用于执行框434的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、操作者感知评估模块316以及车辆安全和防撞模块352。在框434中的操作之后,处理***可以执行如所描述的方法400的框422中的操作。
图4F例示了在一些实施方案中可以由处理***执行的操作410。参考图1至图4F,在框420中接收到V2X通信之后,在框436中,处理***可以接收指示存在降低V2X标识的威胁对操作者的可见性的状况的V2X遮挡数据。例如,在框436中,处理***可以接收关于可能使得操作者难以看到的天气状况(例如,黑暗、雾、雨、雪、雾等)、附近的遮挡物(例如,一个或多个其他车辆、对象、结构、生物)等的信息。如果这些状况和/或元件部分地或完全地阻挡和/或阻碍操作者的视野,则这些状况和/或元件可以被认为是遮挡。用于执行框436的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、操作者感知评估模块316以及车辆安全和防撞模块352。在框436中的操作之后,处理***可以执行如所描述的方法400的框422中的操作。
图4G例示了在一些实施方案中可由处理***执行的操作412。参照图1至图4G,处理***可以响应于确定车辆操作者尚未识别到V2X标识的威胁而执行用于提高V2X标识的威胁的通知优先级的操作。响应于处理***在方法400的框422中确定车辆操作者尚未识别到V2X标识的威胁,处理***可以在框438中响应于确定车辆操作者尚未识别到V2X标识的威胁而提高V2X标识的威胁的通知优先级。例如,处理***可以确定操作者的当前注视方向不在V2X标识的威胁的方向上,这意味着操作者尚未识别到该威胁。作为另一示例,处理***可以观察到操作者的瞳孔没有变化(例如,扩张)或面部运动或表情没有变化,这可以暗示操作者尚未识别到威胁。如上所述,处理***可以接收来自车辆的各种传感器的信息和/或V2X通信中的信息。在一些实施方案中,威胁评估模块314或其他车辆***可以维护对车辆或车辆乘员的各种威胁的评级,以便提供关于那些威胁的通知的层级。以此方式,可以取决于操作者是否已经确认威胁来调整(即,提高或减小)各种威胁的评级。用于执行框438的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、威胁评估模块314以及车辆安全和防撞模块352。
在框440中,处理***可以确定V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高。例如,尽管特定的V2X标识的威胁通常可能具有相对低的风险评级,但由于车辆操作者尚未确认该威胁,所以该低风险评级可能提高,变得比先前具有较高评级的其他风险的风险等级更高。在此类情况下,处理***可以确定V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高。用于执行框430的操作的装置包括处理***164、240、270、300、350、存储器166、输入模块168、输出模块170、无线电模块172、威胁评估模块314以及车辆安全和防撞模块352。
在框440中的操作之后,处理***可以执行框424中的操作以标识显示位置,并且在框426中生成关于如所描述的方法400的V2X标识的威胁的警报。具体来说,处理***可以在框426中生成警报,该警报包括V2X标识的威胁的所提高的通知优先级,但不包括关于其他较低优先级标识的威胁的信息,如所描述的。此外,处理***可以仅在单个显示位置中呈现警报(与警报的多个冗余呈现相比)。
数个不同的蜂窝和移动通信服务和标准是可用的并且在未来被构想,它们全部可以实现且获益于各种实施方案。此类服务和标准包括例如第三代合作伙伴计划(3GPP)、长期演进(LTE)***、第三代无线移动通信技术(3G)、***无线移动通信技术(4G)、第五代无线移动通信技术(5G)、全球移动通信***(GSM)、通用移动电信***(UMTS)、3GSM、通用分组无线电服务(GPRS)、码分多址(CDMA)***(例如,cdmaOne、CDMA1020TM)、GSM演进的增强型数据率(EDGE)、高级移动电话***(AMPS)、数字AMPS(IS-136/TDMA)、演进数据最优化(EV-DO)、数字增强型无绳电信(DECT)、微波接入全球互通(WiMAX)、无线局域网(WLAN)、Wi-Fi保护接入I和II(WPA、WPA2)以及集成数字增强型网络(iDEN)。这些技术中的每一项都涉及,例如,对语音、数据、信令和/或内容消息的传输和接收。应当理解,对与个别电信标准或技术相关的术语和/或技术细节的任何引用仅用于例示性目的,并不旨在将权利要求书的范围限制在特定的通信***或技术,除非在权利要求语言中进行了特别记载。
在以下段落中描述了各具体实施示例。尽管以下具体实施示例中的一些具体实施示例是根据示例方法来描述的,但另外的示例具体实施可以包括:在以下段落中讨论的由V2X机载设备的处理***实现的示例方法,该V2X机载装备包括处理器,该处理器被配置有处理器可执行指令以执行以下具体实施示例的方法的操作;在以下段落中讨论的由V2X机载设备的处理***实现的示例方法,该V2X机载装备包括用于执行以下具体实施示例的方法的功能的装置;并且在以下段落中讨论的示例方法可被实现为非暂态处理器可读存储介质,该非暂态处理器可读存储介质在其上存储有处理器可执行指令,该处理器可执行指令被配置为使V2X机载装备的处理***执行以下具体实施示例的方法的操作。
实施例1.一种由车辆的处理器执行的用于向车辆操作者呈现相关警告的方法,包括:接收V2X通信,所述V2X通信包括关于对所述车辆或车辆乘员的V2X标识的威胁的信息;确定所述车辆操作者是否已经识别到所述V2X标识的威胁;响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而确定最可能接收所述车辆操作者的注意的显示位置;以及在所确定的显示位置上生成关于所述V2X标识的威胁的警报。
实施例2.根据实施例1所述的方法,还包括:其中在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报包括:生成不包括关于所述车辆操作者已经识别到的任何威胁状况的警报的显示。
实施例3.根据实施例1或实施例2中任一项所述的方法,还包括:确定包含所述V2X标识的威胁的所述车辆外部的区域的位置;以及确定所述车辆操作者的注视方向,其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置不在所述车辆操作者的所确定的注视方向上的所述车辆操作者的所述视野内而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
实施例4.根据实施例1至实施例3中任一项所述的方法,还包括:确定包含所述V2X标识的威胁的所述车辆外部的区域的位置,以及确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置是否在所述车辆操作者的所识别盲点中,其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置在所述车辆操作者的所识别盲点中而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
实施例5.根据实施例1至实施例4中任一项所述的方法,还包括:确定所述车辆操作者的注视方向,其中确定最可能接收所述车辆操作者的注意的所述显示位置包括:确定标识在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内可见的显示位置。
实施例6.根据实施例1至实施例5中任一项所述的方法,其中确定最可能接收所述车辆操作者的注意的所述显示位置包括:确定多个车辆显示器中的哪一个车辆显示器被指定为用于V2X标识的威胁的优选显示器。
实施例7.根据实施例1至实施例6中任一项所述的方法,还包括:确定是否已经从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认,其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定尚未从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
实施例8.根据实施例1至实施例7中任一项所述的方法,还包括:接收V2X遮挡数据,所述V2X遮挡数据指示存在降低所述V2X标识的威胁对所述车辆操作者的可见性的状况,其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于接收到所述V2X遮挡数据而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
实施例9.根据实施例1至实施例8中任一项所述的方法,还包括:响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而提高所述V2X标识的威胁的通知优先级,以及确定所述V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高,其中在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报包括:响应于确定所述V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高而在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报但不包括关于其他标识的威胁的警报。
实施例10.根据实施例1至实施例9中任一项所述的方法,其中从远离所述车辆的源接收所述V2X通信,所述V2X通信包括关于所述V2X标识的威胁的所述信息。
所例示和所描述的各种实施方案是仅作为例示权利要求书的各种特征的示例来提供的。然而,针对任何给定实施方案所示出和描述的特征不必限于相关联的实施方案,并且可以与所示出及所描述的其他实施方案一起使用或组合。此外,权利要求书不旨在限于任何一个示例性实施方案。
前述方法描述和过程流程图仅作为例示性示例而提供,并且并非旨在要求或暗示各种实施方案的操作必须按所给出的顺序来执行。如本领域技术人员将意识到的,可以任何顺序来执行前述实施方案中的操作的顺序。诸如“此后”、“然后”、“下一”等的词语不旨在限制操作的次序;这些词语用于引导读者阅读对方法的描述。此外,对单数形式的权利要求元素的任何引用(例如,使用冠词“一”、“一个”或“该”的引用)不应解释为将该元素限制为单数。
结合本文中所公开的实施方案来描述的各种例示性逻辑框、模块、部件、电路和算法操作可以被实现为电子硬件、计算机软件或这两者的组合。为了清楚地例示硬件和软件的这种可互换性,各种例示性部件、框、模块、电路和操作已在上文中根据它们的功能性进行了一般性描述。将这种功能性实现为硬件还是软件取决于特定应用和对整个***提出的设计约束条件。技术人员可以针对每种特定应用以不同方式来实现所描述的功能性,但此类实施方案决策不应被解读为致使脱离权利要求的范围。
用于实现结合本文中公开的实施方案描述的各种例示性逻辑部件、逻辑框、模块、以及电路的硬件可用设计成执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑部件、分立的硬件部件或它们的任何组合来实现或执行。虽然通用处理器可以是微处理器,但在另选方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现为接收器智能对象的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核心或任何其他此类配置。另选地,一些操作或方法可以由特定于给定功能的电路***来执行。
在一个或多个实施方案中,所描述的功能可以在硬件、软件、固件或它们的任何组合中实现。如果以软件实现,则功能可以作为一个或多个指令或代码存储在非暂态计算机可读存储介质或非暂态处理器可读存储介质上。本文中公开的方法或算法的操作可以在处理器可执行软件模块或处理器可执行指令中实施,该处理器可执行软件模块或处理器可执行指令可以驻留在非暂态计算机可读或处理器可读存储介质上。非暂态计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。举例说明而不限制,此类非暂态计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、FLASH存储器、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储智能对象,或任何其他可用于以指令或数据结构的形式存储所需程序代码并且可以由计算机访问的介质。如本文所用的磁盘和光盘包括压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘,其中磁盘通常磁性复制数据,而光盘用激光光学复制数据。以上的组合也被包括在非暂态计算机可读和处理器可读介质的范围内。此外,方法或算法的操作可以作为代码和/或指令的一个或任何组合或集合驻留在非暂态处理器可读存储介质和/或计算机可读存储介质上,其可以并入计算机中程序产品。
提供对所公开的实施方案的以上描述以使任何本领域技术人员能够实施或使用权利要求。对于本领域技术人员来说,对这些实施方案的各种修改将是显而易见的,并且在不脱离权利要求书的范围的情况下,可以将本文中所定义的总体原理应用于其他实施方案。由此,本公开并非旨在限制于本文中示出的实施方案,而是应被授予与以下权利要求书和本文中公开的原理和新颖性特征一致的最广义的范围。
Claims (30)
1.一种由车辆的处理器执行的用于向车辆操作者呈现相关警告的方法,包括:
接收车辆对万物(V2X)通信,所述V2X通信包括关于V2X标识的威胁的信息;
确定所述车辆操作者是否已经识别到所述V2X标识的威胁;
响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而确定最可能接收所述车辆操作者的注意的显示位置;以及
在所确定的显示位置上生成关于所述V2X标识的威胁的警报。
2.根据权利要求1所述的方法,其中在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报包括:生成不包括关于所述车辆操作者已经识别到的任何威胁状况的警报的显示。
3.根据权利要求1所述的方法,还包括:
确定包含所述V2X标识的威胁的所述车辆外部的区域的位置;以及
确定所述车辆操作者的注视方向,
其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置不在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
4.根据权利要求1所述的方法,还包括:
确定包含所述V2X标识的威胁的所述车辆外部的区域的位置;以及
确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置是否在所述车辆操作者的所识别盲点中,
其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置在所述车辆操作者的所识别盲点中而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
5.根据权利要求1所述的方法,还包括:确定所述车辆操作者的注视方向,其中确定最可能接收所述车辆操作者的注意的所述显示位置包括:标识在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内可见的显示位置。
6.根据权利要求1所述的方法,其中确定最可能接收所述车辆操作者的注意的所述显示位置包括:确定多个车辆显示器中的哪一个车辆显示器被指定为用于V2X标识的威胁的优选显示器。
7.根据权利要求1所述的方法,还包括:确定是否已经从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认,
其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于确定尚未从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
8.根据权利要求1所述的方法,还包括:
接收V2X遮挡数据,所述V2X遮挡数据指示存在降低所述V2X标识的威胁对所述车辆操作者的可见性的状况,
其中确定所述车辆操作者是否已经识别到所述V2X标识的威胁包括:响应于接收到所述V2X遮挡数据而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
9.根据权利要求1所述的方法,还包括:
响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而提高所述V2X标识的威胁的通知优先级;以及
确定所述V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高,
其中在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报包括:响应于确定所述V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高而在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报但不包括关于其他标识的威胁的警报。
10.根据权利要求1所述的方法,其中从远离所述车辆的源接收所述V2X通信,所述V2X通信包括关于所述V2X标识的威胁的所述信息。
11.一种车辆,包括:
无线电模块;和
处理器,所述处理器耦合到所述无线电模块,其中所述处理器被配置有用于进行以下操作的处理器可执行指令:
接收车辆对万物(V2X)通信,所述V2X通信包括关于V2X标识的威胁的信息;
确定车辆操作者是否已经识别到所述V2X标识的威胁;
响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而确定最可能接收所述车辆操作者的注意的显示位置;以及
在所确定的显示位置上生成关于所述V2X标识的威胁的警报。
12.根据权利要求11所述的车辆,其中所述处理器还被配置有处理器可执行指令,以在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报,所述警报不包括关于所述处理器已经确定所述车辆操作者已经识别到的任何威胁状况的警报。
13.根据权利要求11所述的车辆,其中所述处理器还被配置有用于进行以下操作的处理器可执行指令:
确定包含所述V2X标识的威胁的所述车辆外部的区域的位置;以及
确定所述车辆操作者的注视方向,
其中所述处理器还被配置有处理器可执行指令,以响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置不在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
14.根据权利要求11所述的车辆,其中所述处理器还被配置有用于进行以下操作的处理器可执行指令:
确定包含所述V2X标识的威胁的所述车辆外部的区域的位置;以及
确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置是否在所述车辆操作者的所识别盲点中,
其中所述处理器还被配置有处理器可执行指令,以响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置在所述车辆操作者的所识别盲点中而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
15.根据权利要求11所述的车辆,其中所述处理器还被配置有处理器可执行指令,以确定所述车辆操作者的注视方向,
其中所述处理器还被配置有处理器可执行指令,以通过确定在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内可见的显示位置来确定最可能接收所述车辆操作者的注意的所述显示位置。
16.根据权利要求11所述的车辆,其中所述处理器还被配置有处理器可执行指令,以通过确定多个车辆显示器中的哪一个车辆显示器被指定为用于V2X标识的威胁的优选显示器来确定最可能接收所述车辆操作者的注意的所述显示位置。
17.根据权利要求11所述的车辆,其中所述处理器还被配置有处理器可执行指令,以确定是否已经从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认,
其中所述处理器还被配置有处理器可执行指令,以响应于确定尚未从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
18.根据权利要求11所述的车辆,其中所述处理器还被配置有用于进行以下操作的处理器可执行指令:
接收V2X遮挡数据,所述V2X遮挡数据指示存在降低所述V2X标识的威胁对所述车辆操作者的可见性的状况,
其中所述处理器还被配置有处理器可执行指令,以响应于接收到所述V2X遮挡数据而确定所述车辆操作者尚未识别到所述V2X标识的威胁。
19.根据权利要求11所述的车辆,其中所述处理器还被配置有用于进行以下操作的处理器可执行指令:
响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而提高所述V2X标识的威胁的通知优先级;以及
确定所述V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高,
其中所述处理器还被配置有处理器可执行指令,以通过响应于确定所述V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高而在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报但不包括关于其他标识的威胁的警报来在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报。
20.根据权利要求11所述的车辆,其中所述处理器还被配置有处理器可执行指令,以从远离所述车辆的源接收关于所述V2X标识的威胁的所述信息。
21.一种车辆,包括:
用于接收车辆对万物(V2X)通信的装置,所述V2X通信包括关于V2X标识的威胁的信息;
用于确定车辆操作者是否已经识别到所述V2X标识的威胁的装置;
用于响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而确定最可能接收所述车辆操作者的注意的显示位置的装置;以及
用于在所确定的显示位置上生成关于所述V2X标识的威胁的警报的装置。
22.根据权利要求21所述的车辆,其中用于在所确定的显示位置上生成关于所述V2X标识的威胁的警报的装置包括:用于生成不包括关于所述车辆操作者已经识别到的任何威胁状况的警报的显示的装置。
23.根据权利要求21所述的车辆,还包括:
用于确定包含所述V2X标识的威胁的所述车辆外部的区域的位置的装置;以及
用于确定所述车辆操作者的注视方向的装置,
其中用于确定所述车辆操作者是否已经识别到所述V2X标识的威胁的装置包括:用于响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置不在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内而确定所述车辆操作者尚未识别到所述V2X标识的威胁的装置。
24.根据权利要求21所述的车辆,还包括:
用于确定包含所述V2X标识的威胁的所述车辆外部的区域的位置的装置;以及
用于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置是否在所述车辆操作者的所识别盲点中的装置,
其中用于确定所述车辆操作者是否已经识别到所述V2X标识的威胁的装置包括:用于响应于确定包含所述V2X标识的威胁的所述车辆外部的所述区域的所述位置在所述车辆操作者的所识别盲点中而确定所述车辆操作者尚未识别到所述V2X标识的威胁的装置。
25.根据权利要求21所述的车辆,还包括:用于确定所述车辆操作者的注视方向的装置,其中用于确定最可能接收所述车辆操作者的注意的所述显示位置的装置包括:用于确定在所述车辆操作者的所确定的注视方向上的所述车辆操作者的视野内可见的显示位置的装置。
26.根据权利要求21所述的车辆,还包括:用于确定是否已经从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认的装置,
其中用于确定所述车辆操作者是否已经识别到所述V2X标识的威胁的装置包括:用于响应于确定尚未从所述车辆操作者接收到关于所述V2X标识的威胁的威胁确认而确定所述车辆操作者尚未识别到所述V2X标识的威胁的装置。
27.根据权利要求21所述的车辆,还包括:
用于接收V2X遮挡数据的装置,所述V2X遮挡数据指示存在降低所述V2X标识的威胁对所述车辆操作者的可见性的状况,
其中用于确定所述车辆操作者是否已经识别到所述V2X标识的威胁的装置包括:用于响应于接收到所述V2X遮挡数据而确定所述车辆操作者尚未识别到所述V2X标识的威胁的装置。
28.根据权利要求21所述的车辆,还包括:
用于响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而提高所述V2X标识的威胁的通知优先级的装置;以及
用于确定所述V2X标识的威胁的所提高的通知优先级是否比其他标识的威胁的优先级高的装置,
其中用于在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报的装置包括:用于响应于确定所述V2X标识的威胁的所提高的通知优先级比其他标识的威胁的优先级高而在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报但不包括关于其他标识的威胁的警报的装置。
29.一种非暂态处理器可读介质,所述非暂态处理器可读介质在其上存储有处理器可执行指令,所述处理器可执行指令被配置为使车辆的处理器执行操作,所述操作包括:
接收车辆对万物(V2X)通信,所述V2X通信包括关于V2X标识的威胁的信息;
确定车辆操作者是否尚未识别到所述V2X标识的威胁;
响应于确定所述车辆操作者尚未识别到所述V2X标识的威胁而确定最可能接收所述车辆操作者的注意的显示位置;以及
在所确定的显示位置上生成关于所述V2X标识的威胁的警报。
30.根据权利要求29所述的非暂态处理器可读介质,其中所存储的处理器可执行指令被配置为使车辆的处理器执行操作,使得在所确定的显示位置上生成关于所述V2X标识的威胁的所述警报包括:生成不包括关于所述车辆操作者已经识别到的任何威胁状况的警报的显示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/496,691 US11651692B2 (en) | 2021-10-07 | 2021-10-07 | Presenting relevant warnings to a vehicle operator |
US17/496,691 | 2021-10-07 | ||
PCT/US2022/038338 WO2023059391A1 (en) | 2021-10-07 | 2022-07-26 | Presenting relevant warnings to a vehicle operator |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118043871A true CN118043871A (zh) | 2024-05-14 |
Family
ID=82940047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280066770.9A Pending CN118043871A (zh) | 2021-10-07 | 2022-07-26 | 向车辆操作者呈现相关警告 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11651692B2 (zh) |
CN (1) | CN118043871A (zh) |
WO (1) | WO2023059391A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240051562A1 (en) * | 2022-08-12 | 2024-02-15 | State Farm Mutual Automobile Insurance Company | Systems and methods for in-vehicle driver assistance via augmented reality |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553130B1 (en) * | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
US20080309616A1 (en) * | 2007-06-13 | 2008-12-18 | Massengill R Kemp | Alertness testing method and apparatus |
US8704653B2 (en) * | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
US8629784B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
US8384534B2 (en) | 2010-01-14 | 2013-02-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Combining driver and environment sensing for vehicular safety systems |
US9177477B2 (en) * | 2010-07-19 | 2015-11-03 | Honda Motor Co., Ltd. | Collision warning system using driver intention estimator |
KR101592600B1 (ko) * | 2010-11-12 | 2016-02-12 | 현대자동차주식회사 | 차량용 에이비에스(abs) 기반의 자동비상제동시스템의 제어 방법 |
US8947219B2 (en) | 2011-04-22 | 2015-02-03 | Honda Motors Co., Ltd. | Warning system with heads up display |
CN102826065B (zh) * | 2012-09-12 | 2016-01-20 | 浙江吉利汽车研究院有限公司杭州分公司 | 汽车智能安全防护*** |
JP6252304B2 (ja) * | 2014-03-28 | 2017-12-27 | 株式会社デンソー | 車両用認知通知装置、車両用認知通知システム |
JP6496982B2 (ja) * | 2014-04-11 | 2019-04-10 | 株式会社デンソー | 認知支援システム |
GB2535544B (en) * | 2015-02-23 | 2018-10-03 | Jaguar Land Rover Ltd | Display control apparatus and method |
GB2566611B (en) * | 2015-02-23 | 2019-10-09 | Jaguar Land Rover Ltd | Display control apparatus and method |
US20170185146A1 (en) * | 2015-12-29 | 2017-06-29 | Ford Global Technologies, Llc | Vehicle notification system including transparent and mirrored displays |
JP6607110B2 (ja) * | 2016-03-23 | 2019-11-20 | トヨタ自動車株式会社 | 車両用注意喚起装置 |
KR101830399B1 (ko) | 2016-06-30 | 2018-03-30 | 주식회사 경신 | V2v통신을 이용한 추돌 위험 경고 장치 및 방법 |
JP6551377B2 (ja) * | 2016-12-15 | 2019-07-31 | トヨタ自動車株式会社 | 車両用注意喚起装置 |
US20200062173A1 (en) * | 2017-04-24 | 2020-02-27 | Mitsubishi Electric Corporation | Notification control apparatus and method for controlling notification |
US10140868B1 (en) | 2017-08-24 | 2018-11-27 | Ford Global Technologies, Llc | V2V messaging based on road topology |
JP7050449B2 (ja) * | 2017-10-04 | 2022-04-08 | パナソニック株式会社 | 路側装置、通信システムおよび危険検知方法 |
JP2019185218A (ja) | 2018-04-04 | 2019-10-24 | アイシン精機株式会社 | 警報装置 |
US10789848B2 (en) * | 2018-04-20 | 2020-09-29 | Toyota Jidosha Kabushiki Kaisha | Multi-level hybrid vehicle-to-anything communications for cooperative perception |
EP3576074A1 (en) | 2018-06-01 | 2019-12-04 | Volvo Car Corporation | Method and system for assisting drivers to drive with precaution |
KR102659056B1 (ko) * | 2018-12-11 | 2024-04-19 | 현대자동차주식회사 | 주변 v2v 신호와 자체 차량의 센싱신호의 융합 시스템 및 방법 |
US11309983B2 (en) * | 2018-12-21 | 2022-04-19 | Qualcomm Incorporated | Media exchange between devices |
US11638130B2 (en) * | 2018-12-21 | 2023-04-25 | Qualcomm Incorporated | Rendering of sounds associated with selected target objects external to a device |
JP7180421B2 (ja) * | 2019-02-04 | 2022-11-30 | トヨタ自動車株式会社 | 車両制御装置 |
US10906556B2 (en) | 2019-04-01 | 2021-02-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for oncoming vehicle warning |
JP7226104B2 (ja) * | 2019-05-30 | 2023-02-21 | 株式会社デンソー | 情報提示装置、情報提示方法および情報提示プログラム |
WO2021038299A2 (en) | 2019-08-29 | 2021-03-04 | Derq Inc. | Enhanced onboard equipment |
US11524627B2 (en) * | 2020-07-23 | 2022-12-13 | GM Global Technology Operations LLC | Adaptive interaction system with other road users |
JP7384130B2 (ja) * | 2020-08-31 | 2023-11-21 | トヨタ自動車株式会社 | 車両の運転支援装置、車両の運転支援方法、およびプログラム |
CN114093186B (zh) * | 2021-11-17 | 2022-11-25 | 中国第一汽车股份有限公司 | 车辆预警信息提示***、方法及存储介质 |
-
2021
- 2021-10-07 US US17/496,691 patent/US11651692B2/en active Active
-
2022
- 2022-07-26 CN CN202280066770.9A patent/CN118043871A/zh active Pending
- 2022-07-26 WO PCT/US2022/038338 patent/WO2023059391A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023059391A1 (en) | 2023-04-13 |
US11651692B2 (en) | 2023-05-16 |
US20230111436A1 (en) | 2023-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9946262B2 (en) | Smart vehicle | |
US11659038B2 (en) | Smart vehicle | |
US9711050B2 (en) | Smart vehicle | |
US20210108926A1 (en) | Smart vehicle | |
El Hamdani et al. | Pedestrian support in intelligent transportation systems: challenges, solutions and open issues | |
US20160357262A1 (en) | Smart vehicle | |
US20160357187A1 (en) | Smart vehicle | |
US9280899B2 (en) | Dynamic safety shields for situation assessment and decision making in collision avoidance tasks | |
US20210089048A1 (en) | Smart vehicle | |
US11526166B2 (en) | Smart vehicle | |
US11150665B2 (en) | Smart vehicle | |
CN111196213A (zh) | 驾驶辅助装置、驾驶辅助***及驾驶辅助方法 | |
US12008895B2 (en) | Vehicle-to-everything (V2X) misbehavior detection using a local dynamic map data model | |
US11743700B2 (en) | Evaluating vehicle-to-everything (V2X) information | |
US11267402B1 (en) | Systems and methods for prioritizing driver warnings in a vehicle | |
WO2019230683A1 (ja) | 情報処理システム、情報処理方法、及び、プログラム | |
CN118043871A (zh) | 向车辆操作者呈现相关警告 | |
KR20230134482A (ko) | 로컬 동적 맵 데이터 모델을 사용한 V2X(Vehicle-to-Everything)오작동 검출 | |
US20220258739A1 (en) | Method and System for Generating a Confidence Value in a Position Overlap Check Using Vehicle Threshold Models | |
KR20240087776A (ko) | 차량 운전자에 관련 경고들을 제시 | |
US11926259B1 (en) | Alert modality selection for alerting a driver | |
CN116746187A (zh) | 使用本地动态地图数据模型的车辆到一切(v2x)不当行为检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |