CN117351754A - 路况提示方法、电子设备、计算机可读介质 - Google Patents

路况提示方法、电子设备、计算机可读介质 Download PDF

Info

Publication number
CN117351754A
CN117351754A CN202210749766.4A CN202210749766A CN117351754A CN 117351754 A CN117351754 A CN 117351754A CN 202210749766 A CN202210749766 A CN 202210749766A CN 117351754 A CN117351754 A CN 117351754A
Authority
CN
China
Prior art keywords
road condition
target vehicle
information
sound field
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210749766.4A
Other languages
English (en)
Inventor
曹宇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanechips Technology Co Ltd
Original Assignee
Sanechips Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanechips Technology Co Ltd filed Critical Sanechips Technology Co Ltd
Priority to CN202210749766.4A priority Critical patent/CN117351754A/zh
Priority to PCT/CN2023/101492 priority patent/WO2024001884A1/zh
Publication of CN117351754A publication Critical patent/CN117351754A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供一种路况提示方法，包括：根据路况信息生成声场信号，所述声场信号用于对所述路况信息表征的路况进行模拟；根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示。本公开还提供一种电子设备、一种计算机可读介质。本公开基于驾驶员听觉进行路况提示，消除了安全隐患，有利于提升驾驶体验。

Description

路况提示方法、电子设备、计算机可读介质
技术领域
本公开涉及增强现实技术领域，特征涉及一种基于音频增强现实的路况提示方法、一种电子设备、一种计算机可读介质。
背景技术
伴随着汽车智能化、网联化趋势，汽车产业数字化变革不断加深，人、车、环境之间的关系也在不断发展变化，人机交互设计已经成为智能汽车发展和创新的核心要素。未来智能汽车将作为平台集成大量的功能，人机交互对于汽车安全性和操作效率起到关键的作用。人机交互***的工作效率、安全性、便捷性，都将直接影响到汽车的运行状态和安全性能。常见的汽车人机交互***包括仪表盘、触摸屏以及抬头显示(HUD，Head Up Display)等，驾驶员在使用上述人机交互***时主要依靠视觉，不得不经常将视线移开正前方，给驾驶安全造成隐患，而且频繁的头部、眼部动作也会导致驾驶员疲劳，影响驾驶体验。
汽车人机交互***还能够用来进行路况提示，但是，常见的路况提示是通过信号灯、显示屏、雷达图等实现的，不仅会因为驾驶员移动视线而带来安全隐患，能够提示的路况内容也十分有限。
发明内容
本公开实施例提供一种基于音频增强现实的路况提示方法、一种电子设备、一种计算机可读介质。
第一方面，本公开实施例提供一种路况提示方法，包括：
根据路况信息生成声场信号，所述声场信号用于对所述路况信息表征的路况进行模拟；
根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示。
在一些实施例中，根据路况信息生成声场信号，包括：
根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，其中，所述虚拟声像用于通过声音模拟所述目标车辆的形态特征；
根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，以对所述目标车辆的运动状态进行模拟，得到所述声场信号。
在一些实施例中，根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，包括：
根据所述形态信息确定所述目标车辆的吨位等级；
根据所述目标车辆的吨位等级，确定至少一种声纹特征，其中，不同的吨位等级对应的声纹特征不同；
根据所述至少一种声纹特征生成所述虚拟声像。
在一些实施例中，所述形态信息包括所述目标车辆的类型和尺寸；根据所述形态信息确定所述目标车辆的吨位等级，包括：
根据所述目标车辆的类型和尺寸，确定所述目标车辆的吨位等级。
在一些实施例中，所述运动信息包括所述目标车辆相对当前车辆的位置信息和速度信息；根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，包括：
根据所述目标车辆相对当前车辆的位置信息和速度信息，为所述虚拟声像添加声场效果。
在一些实施例中，所述声场效果包括双耳音量差、双耳时延、耳廓效应、反射效应、吸收效应、多普勒效应中的至少一者。
在一些实施例中，根据路况信息生成声场信号之前，所述路况提示方法还包括：
获取所述路况信息。
在一些实施例中，获取所述路况信息，包括：
对路况进行监测，判断是否存在待提示事件；
当存在待提示事件时，获取所述路况信息。
在一些实施例中，当存在待提示事件时，获取所述路况信息，包括：
获取目标车辆相对当前车辆的位置信息和速度信息；
获取所述目标车辆的视频数据；
根据所述目标车辆相对当前车辆的位置信息和所述视频数据，确定所述目标车辆的类型和尺寸。
在一些实施例中，根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示，包括：
通过音频播放设备根据所述声场信号播放立体声音频，进行路况提示。
在一些实施例中，所述音频播放设备为骨传导耳机。
第二方面，本公开实施例提供一种电子设备，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的路况提示方法。
第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例第一方面所述的路况提示方法。
本公开实施例提供的基于音频增强现实的路况提示方法中，能够根据路况信息生成声场信号，对路况信息表征的路况进行模拟，然后根据声场信号营造虚拟声场，使得驾驶员能够虚拟声场中的声音对路况进行感知，从而实现了以音频增强现实的方式对驾驶员进行路况提示。本公开实施例基于驾驶员听觉进行路况提示，驾驶员无需移动视线，消除了安全隐患，且基于音频增强现实提示丰富的路况内容，有利于提升驾驶体验。
附图说明
图1是本公开实施例中一种路况提示方法的流程图；
图2是本公开实施例中另一种路况提示方法中部分步骤的流程图；
图3是本公开实施例中又一种路况提示方法中部分步骤的流程图；
图4是本公开实施例中再一种路况提示方法中部分步骤的流程图；
图5是本公开实施例中再一种路况提示方法中部分步骤的流程图；
图6是本公开实施例中再一种路况提示方法中部分步骤的流程图；
图7是本公开实施例中再一种路况提示方法中部分步骤的流程图；
图8是本公开实施例中再一种路况提示方法中部分步骤的流程图；
图9是本公开实施例中一种电子设备的组成框图；
图10是本公开实施例中一种计算机可读介质的组成框图；
图11是本公开实施例中一种路况提示的***架构示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的基于音频增强现实(AR，Augmented Reality)的路况提示方法、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
第一方面，参照图1，本公开实施例提供一种路况提示方法，包括：
S1、根据路况信息生成声场信号，所述声场信号用于对所述路况信息表征的路况进行模拟。
S2、根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示。
本公开实施例提供的路况提示方法可以在汽车的中控的高级驾驶辅助***(ADAS，Advanced Driving Assistance System)中执行，也可以在汽车的驾驶员佩戴的智能穿戴设备(例如AR头戴显示设备)中执行。本公开实施例对此不做特殊限定。
在本公开实施例中，路况信息是对汽车周围的路况进行监测并获取的能够反映实时路况的信息。在一些实施例中，汽车通过毫米波雷达、摄像头等传感器对汽车周围的路况进行监测并获取路况信息。
在本公开实施例中，根据声场信号生成虚拟声场，是指根据声场信号理由环绕立体声技术营造虚拟声场，通过音频增强现实的方式对路况进行模拟，从而达到向驾驶员提示路况的目的。
需要说明的是，根据声场信号营造虚拟声场，是从听觉心理学触发，模拟出一个三维的声场，使驾驶员感觉置身与三维空间中，驾驶员能够根据虚拟声场中的声音感知路况。例如，驾驶员能够根据虚拟声场中的声音判断出声源的位置，而虚拟声场中声源的位置则代表汽车与道路上其他目标车辆之间的相对位置关系，因此，驾驶员能够根据虚拟声场中的声音判断汽车与道路上其他目标车辆之间的相对位置关系，也即获取到了路况提示。
在本公开实施例中，根据路况信息生成声场信号的过程就是构建三维声场对路况进行模拟的过程，声场信号即对构建的三维声场的数据描述。
本公开实施例提供的路况提示方法中，能够根据路况信息生成声场信号，对路况信息表征的路况进行模拟，然后根据声场信号营造虚拟声场，使得驾驶员能够虚拟声场中的声音对路况进行感知，从而实现了以音频增强现实的方式对驾驶员进行路况提示。本公开实施例基于驾驶员听觉进行路况提示，驾驶员无需移动视线，消除了安全隐患，且基于音频增强现实提示丰富的路况内容，有利于提升驾驶体验。
本公开实施例对于以音频增强现实的方式提示的路况内容不做特殊限定。在一些实施例中，能够以音频增强现实的方式提示汽车周围的目标车辆的形态特征，例如目标车辆的大小、形状、类型等。在一些实施例中，能够以音频增强现实的方式提示汽车周围的目标车辆相对于该汽车的运动状态，例如目标车辆相对该汽车的位置、速度等。在一些实施例中，以音频增强现实的方式既能提示汽车周围的目标车辆的形态特征，也能提示汽车周围的目标车辆相对于该汽车的运动状态。
本公开实施例对于如何根据路况信息生成声场信号不做特殊限定。
需要说明的是，在本公开实施例中，根据路况信息生成的声场信号决定了以音频增强现实的方式提示的路况内容。例如，生成的声场信号中包含模拟目标车辆的形态特征的信息，则在根据声场信号生成的虚拟声场中即包含能够反映目标车辆的形态特征的声音特征；生成的声场信号中包含模拟目标车辆的运动状态的信息，则在根据声场信号生成的虚拟声场中即包含能够反映目标车辆的运动状态的声音特征。本公开实施例对此不做特殊限定。
相应地，在一些实施例中，参照图2，根据路况信息生成声场信号，包括：
S11、根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，其中，所述虚拟声像用于通过声音模拟所述目标车辆的形态特征。
S12、根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，以对所述目标车辆的运动状态进行模拟，得到所述声场信号。
在本公开实施例中，虚拟声像为对应于目标车辆的虚拟声源，虚拟声像用于模拟目标车辆所发出的声音。例如，虚拟声像用于模拟目标车辆行驶时的胎噪、风噪、发动机声音等至少一者混合而成的声音。
本公开实施例对车辆的形态特征不做特殊限定。例如，车辆的形态特征可以包括车辆的类型，如轿车、卡车、越野车等；车辆的形态特征也可以包括车辆的尺寸；车辆的形态特征还可以包括车辆的重量。
需要说明的是，不同形态的车辆在行驶时发出的声音不同，本公开实施例中能够通过不同的虚拟声像模拟不同形态的车辆在行驶时发出的声音，从而使得驾驶员能够根据虚拟声像对不同形态的车辆进行区分。
还需要说明的是，在本公开实施例中，为虚拟声像添加声场效果，使得驾驶员能够感知虚拟声源在虚拟声场中的位置、运动状态等，而虚拟声源在虚拟声场中的位置、运动状态等与目标车辆相对当前车辆的位置和运动状态一致，从而使驾驶员能够对目标车辆相对当前车辆的位置和运动状态进行感知。
在一些实施例中，基于声音修复***(SRS，Sound Retrieval System)根据听觉心理效应对虚拟声像进行处理，从而为虚拟声像添加声场效果，营造虚拟声场。
在本公开实施例中，用虚拟声像模拟目标车辆的形态特征，并为虚拟声像添加声场效果，能够向驾驶员提示目标车辆的形态特征、运动状态等路况信息，丰富了路况提示的内容。
本公开实施例对于如何根据目标车辆的形态信息确定虚拟声像不做特殊限定。
在一些实施例中，参照图3，根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，包括：
S111、根据所述形态信息确定所述目标车辆的吨位等级；
S112、根据所述目标车辆的吨位等级，确定至少一种声纹特征，其中，不同的吨位等级对应的声纹特征不同；
S113、根据所述至少一种声纹特征生成所述虚拟声像。
在本公开实施例中，将车辆划分为多个吨位等级，并且对应于每个吨位等级提前录制或提取声纹特征，声纹特征包括该吨位等级的车辆行驶时的胎噪、风噪、发动机声音等声音特征。
在本公开实施例中，根据至少一种声纹特征生成虚拟声像，即将相应吨位等级的车辆行驶时的胎噪、风噪、发动机声音等至少一种声音对应的声纹特征进行调制，生成虚拟声像。
需要说明的是，在本公开实施例中，考虑到不同吨位的车辆对当前车辆的行驶安全的影响不同，例如，吨位越大的车辆，对当前车辆的行驶安全的影响越大，因而以音频增强现实的方式向驾驶员提示目标车辆的吨位信息，有利于驾驶员根据目标车辆的吨位执行相应的驾驶动作，从而提升驾驶安全。
本公开实施例对于如何确定目标车辆的吨位等级不做特殊限定。
在一些实施例中，所述形态信息包括所述目标车辆的类型和尺寸；根据所述形态信息确定所述目标车辆的吨位等级，包括：根据所述目标车辆的类型和尺寸，确定所述目标车辆的吨位等级。
在本公开实施例中，当前车辆能够通过车辆周围的毫米波雷达、摄像头等传感器获取目标车辆的尺寸，并能够识别出目标车辆的类型，如轿车、卡车、越野车等。根据目标车辆的尺寸和类型，能够估算出目标车辆的吨位等级。
在一些实施例中，用目标车辆在竖直平面上的截面面积代表目标车辆的尺寸。
本公开实施例对于如何获取目标车辆在竖直平面上的截面面积不做特殊限定。
在一些实施例中，当前车辆利用毫米波雷达探测目标车辆与当前车辆的距离，利用摄像头捕获目标车辆的图像，然后通过目标检测算法确定目标车辆在图像中的位置，提取目标车辆的图像区块，测量图像区块的长宽对应的像素数量；然后根据毫米波雷达获得的目标车辆的距离与摄像头的镜头焦距计算出目标车辆实际的宽和高，进而计算出目标车辆在竖直平面上的截面面积。
在一些实施例中，参照图4，所述运动信息包括所述目标车辆相对当前车辆的位置信息和速度信息；根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，包括：
S121、根据所述目标车辆相对当前车辆的位置信息和速度信息，为所述虚拟声像添加声场效果。
在本公开实施例中，为虚拟声像添加声场效果，使得驾驶员能够感知虚拟声源在虚拟声场中的位置和移动速度，而虚拟声源在虚拟声场中的位置和移动速度与目标车辆相对当前车辆的位置和速度一致，从而使驾驶员能够对目标车辆相对当前车辆的位置和速度进行感知。
本公开实施例对声场效果不做特殊限定。
在一些实施例中，所述声场效果包括双耳音量差、双耳时延、耳廓效应、反射效应、吸收效应、多普勒效应中的至少一者。
在一些实施例中，基于声音修复***(SRS，Sound Retrieval System)根据听觉心理效应对虚拟声像进行处理，为虚拟声像添加声场效果，模拟双耳音量差、双耳时延、耳廓效应、反射效应、吸收效应、多普勒效应中的至少一者，从而营造虚拟声场。
在一些实施例中，参照图5，根据路况信息生成声场信号之前，所述路况提示方法还包括：
S3、获取所述路况信息。
在一些实施例中，通过车辆周围的毫米波雷达、摄像头等传感器获取路况信息。
在本公开实施例中，当发生需要提示的事件时，才向驾驶员进行路况提示。
相应地，在一些实施例中，参照图6，获取所述路况信息，包括：
S31、对路况进行监测，判断是否存在待提示事件；
S32、当存在待提示事件时，获取所述路况信息。
本公开实施例对待提示事件不做特殊限定。例如，待提示事件可以是目标车辆进入当前车辆的反光镜/后视镜盲区；待提示事件也可以是目标车辆与当前车辆的距离小于特定阈值；待提示事件还可以是目标车辆正在超车。
在本公开实施例中，只在发生需要提示的事件时才向驾驶员进行路况提示，有利于避免不必要的提示信息对驾驶员的干扰，提升驾驶体验。
本公开实施例对于获取路况信息不做特殊限定。
在一些实施例中，参照图7，当存在待提示事件时，获取所述路况信息，包括：
S321、获取目标车辆相对当前车辆的位置信息和速度信息；
S322、获取所述目标车辆的视频数据；
S323、根据所述目标车辆相对当前车辆的位置信息和所述视频数据，确定所述目标车辆的类型和尺寸。
在一些实施例中，车辆的类型包括轿车、卡车、越野车等。
在一些实施例中，用目标车辆在竖直平面上的截面面积代表目标车辆的尺寸。
本公开实施例对于如何获取目标车辆在竖直平面上的截面面积不做特殊限定。
在一些实施例中，当前车辆利用毫米波雷达探测目标车辆与当前车辆的距离，利用摄像头捕获目标车辆的图像，然后通过目标检测算法确定目标车辆在图像中的位置，提取目标车辆的图像区块，测量图像区块的长宽对应的像素数量；然后根据毫米波雷达获得的目标车辆的距离与摄像头的镜头焦距计算出目标车辆实际的宽和高，进而计算出目标车辆在竖直平面上的截面面积。
在一些实施例中，参照图8，根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示，包括：
S21、通过音频播放设备根据所述声场信号播放立体声音频，进行路况提示。
在本公开实施例中，音频播放设备根据声场信号播放立体声音频，即在驾驶员周围营造了虚拟声场，从而实现了以音频增强现实的方式进行路况提示。
本公开实施例对音频播放设备不做特殊限定。例如，音频播放设备可以是车辆的音响***；音频播放设备也可以是驾驶员佩戴的智能穿戴设备(例如AR头戴显示设备)的放音***；音频播放设备还可以是与车辆的中控***或驾驶员佩戴额智能穿戴设备连接的耳机。
在一些实施例中，所述音频播放设备为骨传导耳机。
在本公开实施例中，利用骨传导耳机营造虚拟声场对驾驶员进行路况提示，骨传导耳机能够将声音信息通过听小骨传导至驾驶员的听觉神经，驾驶员同时还能够通过耳朵接收其他声音，例如听音乐、导航等，有利于提升驾驶体验。
第二方面，参照图9，本公开实施例提供一种电子设备，其包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开实施例第一方面所述的路况提示方法；
一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
在一些实施例中，电子设备为头戴显示设备。例如，增强现实(AR，AugmentedReality)头戴式显示设备。
在一些实施例中，电子设备中包括音频播放设备。例如，音频播放设备为骨传导耳机。
第三方面，参照图10，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本公开实施例第一方面所述的路况提示方法。
为了使本领域技术人员能够更清楚地理解本公开实施例提供的技术方案，下面通过具体的实施例，对本公开实施例提供的技术方案进行详细说明：
实施例
本实施例中基于音频现实增强的路况提示的***架构如图11所示。该***架构以增强显示(AR)头戴显示设备为核心，包括多个汽车传感器、汽车中控***，AR头戴显示设备包括声音修复***(SRS)处理引擎、骨传导耳机。
其中：
骨传导耳机用于以音频增强现实的方式向驾驶员提示路况。
SRS处理引擎用于从听觉心理学出发，模拟出一个三维声场，使驾驶员感觉置身于三维声场之中。在三维声场中，声音可以来自围绕驾驶员的球形空间中的任何一个地方，驾驶员能准确的判断出声源的位置。SRS处理引擎在心理上和主观感觉上恢复了现实中的声源在两耳处造成的声波状态(直达声、反射声、混响声)，再现了现实中的声源的方位和空间分布，使人有身临其境的感觉。
此外，该***架构还包括通信模块，通信模块可以选择支持蓝牙、wifi等无线通信协议或USB等有线通信协议，用于接收汽车中控***、仪表、ADAS及物理按键传来的信息，并向AR头戴显示设备传递信息；电池及电源管理模块，用于给AR头戴显示设备供电；操作***，负责***的软硬件管理。
在本实施例中，基于音频现实增强的路况提示的流程包括：
1、汽车中控***通过安装在当前车辆各个方位的传感器实时监测路况，当发现有需要提示的事件并且需要提示驾驶员时，提取路况信息并通过通信模块传递给AR头戴显示设备。例如如照向侧后方的毫米波雷达发现有目标车辆侵入当前车辆的后视镜盲区，则将探测到的目标车辆的相对位置和速度信息传给当前车辆的汽车中控***，汽车中控***根据消息类型选择调取侧后方相机的视频数据，并对视频中的目标车辆进行识别，如区分出轿车、越野车、卡车等，并测出侵入的目标车辆在竖直平面上的截面面积，然后将这些信息以数字的形式实时传递给AR头戴显示设备。截面面积可以通过以下方式获得：当前车辆利用毫米波雷达探测目标车辆与当前车辆的距离，利用摄像头捕获目标车辆的图像，然后通过目标检测算法确定目标车辆在图像中的位置，提取目标车辆的图像区块，测量图像区块的长宽对应的像素数量；然后根据毫米波雷达获得的目标车辆的距离与摄像头的镜头焦距计算出目标车辆实际的宽和高，进而计算出目标车辆在竖直平面上的截面面积。
2、AR头戴显示设备接收到汽车中控***传来的路况信息之后，对路况信息进行二次处理：根据目标车辆的类型和目标车辆在竖直平面上的截面面积，估算目标车辆的吨位；将车辆的吨位预先分为多个吨位等级，每个吨位等级对应一种声纹特征，声纹特征是预先录制、提取，大致等同于该吨位等级的汽车行驶时的胎噪、风噪和发动机声音等至少一者的混合，利用目标车辆对应的声纹特征调制出一个虚拟声像来模拟目标车辆。
SRS处理引擎根据听觉心理效应营造出一个虚拟的声场，然后利用虚拟声像在声场中的位置和移动速度来模拟后车的方位和相对速度，进而达到提醒驾驶员的目的。其原理如下：
由于人的两耳之间存在一定的距离，只要不是从两耳连线的中垂面上发出来的声音，从声源到达耳朵的距离就不同。声音在空气中传播需要时间，不同的距离会造成传播时间的不同，同时，因为声音会随着距离的增加而衰减，到达两耳的声音的响度也不同。这两个因素使我们可以分辨出声音在水平方向上的方位。而声音在介质中传播，其振幅会随距离增加而减小，并且一般高频成分衰减的成度要大于低频成分。我们的大脑就能根据这样的特性来大致计算出声源与我们的距离。但是由于我们无法知道声源本来应该是什么样子的，所以只能根据经验来推断声音的距离，而没办法做出准确的判断。只有当能确切地知道声源的频谱分布和振幅，知道介质关于频率的衰减特性时，才能准确计算出声源的距离。但是当声源处于两耳垂直平分线上的时候，两耳接收到的声音既没有相位差，也没有响度差，这时候我们是如何判断声音的位置的呢？我们的耳朵具有十分特别的形状，复杂的折叠和凸起让原始声音在到达耳廓之后，与被耳廓反射的声音发生叠加。由于相位差的存在，导致某些频率成分得到增强，某些频率成分被衰弱。这样子，我们就能通过被耳廓改变过的声音，来更加具体地分辨声音的方位了。针对耳廓，我们可以建立起一个描述它对声音频率特性造成影响的函数，这个函数就是头相关传输函数(HRTF，Head-related TransferFunction)。HRTF是一个关于声音位置的函数，不同地方的声音经过HRTF之后会有不同的频率相应特性，以此让我们可以分辨出不同地方的声音。
HRTF合成仿真电路可分为两个主要部分：数字滤波器和时延。
应用程式首先发送经过优选的合成坐标给HRTF，找到适当的参数，然后他会返回参数给数字滤波器。左右声道的滤波器会计算人容易听到的频率曲线――两耳音量大小差(IAD)和此频率的耳廓效应合成。
当模拟了频率段的3D特性之后，剩下的事情就只有两耳时间延迟量差(ITD)了。合成ITD只需按照数字延迟电路来重建大概的估计时延即可。
反射的时延、墙壁吸收效应、场效应和多普勒效应可通过应用程式接口实现。
3、AR头戴显示设备的中央处理器将处理后的调制信号实时传送到骨传导耳机，耳机通过立体声技术还原声场信号，对驾驶员进行路况提醒。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (13)

1.一种路况提示方法，包括：
根据路况信息生成声场信号，所述声场信号用于对所述路况信息表征的路况进行模拟；
根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示。
2.根据权利要求1所述的路况提示方法，其中，根据路况信息生成声场信号，包括：
根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，其中，所述虚拟声像用于通过声音模拟所述目标车辆的形态特征；
根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，以对所述目标车辆的运动状态进行模拟，得到所述声场信号。
3.根据权利要求2所述的路况提示方法，其中，根据所述路况信息中表征目标车辆的形态特征的形态信息，确定虚拟声像，包括：
根据所述形态信息确定所述目标车辆的吨位等级；
根据所述目标车辆的吨位等级，确定至少一种声纹特征，其中，不同的吨位等级对应的声纹特征不同；
根据所述至少一种声纹特征生成所述虚拟声像。
4.根据权利要求3所述的路况提示方法，其中，所述形态信息包括所述目标车辆的类型和尺寸；根据所述形态信息确定所述目标车辆的吨位等级，包括：
根据所述目标车辆的类型和尺寸，确定所述目标车辆的吨位等级。
5.根据权利要求2所述的路况提示方法，其中，所述运动信息包括所述目标车辆相对当前车辆的位置信息和速度信息；根据所述路况信息中表征所述目标车辆的运动状态的运动信息，为所述虚拟声像添加声场效果，包括：
根据所述目标车辆相对当前车辆的位置信息和速度信息，为所述虚拟声像添加声场效果。
6.根据权利要求5所述的路况提示方法，其中，所述声场效果包括双耳音量差、双耳时延、耳廓效应、反射效应、吸收效应、多普勒效应中的至少一者。
7.根据权利要求1至6中任意一项所述的路况提示方法，其中，根据路况信息生成声场信号之前，所述路况提示方法还包括：
获取所述路况信息。
8.根据权利要求7所述的路况提示方法，其中，获取所述路况信息，包括：
对路况进行监测，判断是否存在待提示事件；
当存在待提示事件时，获取所述路况信息。
9.根据权利要求8所述的路况提示方法，其中，当存在待提示事件时，获取所述路况信息，包括：
获取目标车辆相对当前车辆的位置信息和速度信息；
获取所述目标车辆的视频数据；
根据所述目标车辆相对当前车辆的位置信息和所述视频数据，确定所述目标车辆的类型和尺寸。
10.根据权利要求1至6中任意一项所述的路况提示方法，其中，根据所述声场信号生成虚拟声场，以音频增强现实的方式进行路况提示，包括：
通过音频播放设备根据所述声场信号播放立体声音频，进行路况提示。
11.根据权利要求10所述的路况提示方法，其中，所述音频播放设备为骨传导耳机。
12.一种电子设备，包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至11中任意一项所述的路况提示方法。
13.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至11中任意一项所述的路况提示方法。
CN202210749766.4A 2022-06-29 2022-06-29 路况提示方法、电子设备、计算机可读介质 Pending CN117351754A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210749766.4A CN117351754A (zh) 2022-06-29 2022-06-29 路况提示方法、电子设备、计算机可读介质
PCT/CN2023/101492 WO2024001884A1 (zh) 2022-06-29 2023-06-20 路况提示方法、电子设备、计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210749766.4A CN117351754A (zh) 2022-06-29 2022-06-29 路况提示方法、电子设备、计算机可读介质

Publications (1)

Publication Number Publication Date
CN117351754A true CN117351754A (zh) 2024-01-05

Family

ID=89360023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210749766.4A Pending CN117351754A (zh) 2022-06-29 2022-06-29 路况提示方法、电子设备、计算机可读介质

Country Status (2)

Country Link
CN (1) CN117351754A (zh)
WO (1) WO2024001884A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5052241B2 (ja) * 2007-07-19 2012-10-17 クラリオン株式会社 車載用の音声処理装置、音声処理システム、及び音声処理方法
JP2013143744A (ja) * 2012-01-12 2013-07-22 Denso Corp 音像提示装置
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
JP6564576B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
US10403141B2 (en) * 2016-08-19 2019-09-03 Sony Corporation System and method for processing traffic sound data to provide driver assistance
CN112882568A (zh) * 2021-01-27 2021-06-01 深圳市慧鲤科技有限公司 音频播放方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2024001884A1 (zh) 2024-01-04

Similar Documents

Publication Publication Date Title
EP3285241B1 (en) System and method for processing traffic sound data to provide driver assistance
US10343602B2 (en) Spatial auditory alerts for a vehicle
CA2278795A1 (en) Vehicle collision warning system
JP2013198065A (ja) 音声提示装置
JP5668765B2 (ja) 車載音響装置
JP2007328603A (ja) 車両用警告装置
US20180022357A1 (en) Driving recorder system
Wessels et al. Auditory information improves time-to-collision estimation for accelerating vehicles
CN114394109A (zh) 辅助驾驶方法、装置、设备、介质及程序产品
Bellotti et al. Using 3d sound to improve the effectiveness of the advanced driver assistance systems
CN113619483A (zh) 用于车辆的提醒方法及相应的提醒装置和车辆
JP2020086907A (ja) 漫然運転判定装置
CN117351754A (zh) 路况提示方法、电子设备、计算机可读介质
JP2020154795A (ja) 出力制御装置、出力制御方法、および出力制御プログラム
US20230096496A1 (en) Transparent audio mode for vehicles
CN110626350A (zh) 基于3d声场的侧后方盲点车辆识别防碰撞预警***及方法
US20230162609A1 (en) Reporting device, vehicle, and reporting control method
CN220594782U (zh) 用于车辆的警报***
WO2021124918A1 (ja) 信号処理装置、信号処理方法、および、測距装置
CN117037535A (zh) 碰撞预警***、车辆、方法以及装置
WO2024001177A1 (zh) 视野增强方法、电子设备及存储介质
Lylykangas et al. Ears Outside the Car: Evaluation of Binaural Vehicular Sounds and Visual Animations as Driver's Blind Spot Indicators
CN117533326A (zh) 车辆控制方法、装置、存储介质和电子设备
WO2020090456A1 (ja) 信号処理装置、信号処理方法、および、プログラム
JP2006182324A (ja) 車両用警報装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication