CN116312620A - 音频处理方法、头戴显示设备和计算机可读存储介质 - Google Patents

音频处理方法、头戴显示设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116312620A
CN116312620A CN202310091631.8A CN202310091631A CN116312620A CN 116312620 A CN116312620 A CN 116312620A CN 202310091631 A CN202310091631 A CN 202310091631A CN 116312620 A CN116312620 A CN 116312620A
Authority
CN
China
Prior art keywords
audio
information
user
key
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310091631.8A
Other languages
English (en)
Inventor
赵冠博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202310091631.8A priority Critical patent/CN116312620A/zh
Publication of CN116312620A publication Critical patent/CN116312620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

本申请公开了一种音频处理方法、头戴显示设备和计算机可读存储介质，所述音频处理方法包括：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别环境音频信息中是否存在预设的关键音频信息；若存在关键音频信息，则对关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；输出关键音频增强信息。在使用头戴显示设备的过程中，本申请能够有效地向用户提示外界的关键环境信息，以使用户及时分辨外界环境的状况。

Description

音频处理方法、头戴显示设备和计算机可读存储介质
技术领域
本申请涉及可穿戴设备技术领域，尤其涉及一种音频处理方法、头戴显示设备和计算机可读存储介质。
背景技术
VR（VirtualReality，虚拟现实）设备或者AR（Augmented Reality，增强现实）设备，是目前正在快速发展和普及的头戴显示设备。随着VR/AR设备的沉浸感不断提升，用户在佩戴头戴显示设备进行沉浸式体验的过程中，往往会降低对外界环境元素的关注，例如对外界的声音不会那么敏感。但是在一些应用场景下，用户在佩戴头戴显示设备进行使用的过程中，还是希望能够清楚地听到外界的一些关键声音，例如居家场景中的警报声（例如触发火势警玲）、敲门声，以及其他人对用户的呼唤声，坐公交车场景中的站台广播声，走路场景中的汽车鸣笛声等。也就是说，用户在佩戴头戴显示设备进行沉浸式体验的同时，还存在需要关注外界环境元素的需求，因为在很多应用场景下的外界环境元素包含了对于用户而言的关键信息，甚至是危险提示信息，但是，目前给用户带来沉浸式体验的头戴显示设备，对外界的听觉几乎是完全隔绝的，从而导致用户无法及时有效地获取外界的关键环境信息，无疑给用户造成了很大的不便。
因此，用户在沉浸使用头戴显示设备时，如何有效向用户提示外界的关键环境信息，以避免用户无法及时分辨外界环境事物的状况发生，已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种音频处理方法、头戴显示设备和计算机可读存储介质，旨在解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。
为实现上述目的，本申请提供一种音频处理方法，所述音频处理方法应用于头戴显示设备，所述方法包括：
动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；
若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；
输出所述关键音频增强信息。
可选地，所述对所述关键音频信息进行声学参数的补偿调整的步骤包括：
获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；
确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；
从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；
根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。
可选地，所述根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整的步骤包括：
根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；
根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；
根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。
可选地，所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤之前，所述方法还包括：
播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；
输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；
获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；
根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；
所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：
根据匹配的专注度映射梯度，确定所述当前专注度系数关联的当前环境音频损失等级。
可选地，所述获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
检测当前的用户生理特征信息和设备使用状态信息，其中，所述用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，所述设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种；
根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
可选地，所述根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
获取预设的专注度识别神经网络模型；
将所述用户生理特征信息和所述设备使用状态信息输入至所述专注度识别神经网络模型，预测得到用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
可选地，所述方法还包括：
获取至少一个应用场景对应的需求识别音频信息；
将多个所述需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，其中，所述环境噪音信息中不包含所述需求识别音频信息；
通过所述关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，得到收敛的音频识别神经网络模型。
可选地，所述输出所述关键音频增强信息的步骤之后，所述方法还包括：
通过在雷达图或方位标尺进行标识的方式，将所述关键音频信息对应的音源空间位置显示于所述头戴显示设备的显示界面上。
本申请还提供一种头戴显示设备，所述头戴显示设备为实体设备，所述头戴显示设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述音频处理方法的程序，所述音频处理方法的程序被处理器执行时可实现如上述的音频处理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现音频处理方法的程序，所述实现音频处理方法的程序被处理器执行以实现如上述音频处理方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的音频处理方法的步骤。
本申请的技术方案是通过动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别该环境音频信息中是否存在预设的关键音频信息，从而识别出环境音频信息中是否具有当前场景下对于用户而言比较重要的音频信息，以达到对该关键性音频信息的捕捉，若存在该关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息，并输出该关键音频增强信息，从而使得在确定环境音频信息中存在关键音频信息的情况下，对关键音频信息进行声学补偿，以增强关键音频信息的音量，从而更利于将用户的注意力转移至所提示的该关键音频信息，或者还对该关键音频信息对应的音源空间位置进行校准，使用户更清楚、准确地获知该关键音频信息以及分辨出关键音频信息对应的发声位置，进而使得用户在沉浸使用头戴显示设备的过程中，能够有效向用户提示外界的关键环境信息，避免用户无法及时分辨外界环境事物的状况发生，在提升了用户体验的同时，减少了安全隐患。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请音频处理方法第一实施例的流程示意图；
图2为本申请音频处理方法第二实施例的流程示意图；
图3为本申请音频处理方法第三实施例的流程示意图；
图4为用户在佩戴头戴显示设备时对关键音频信息进行声源定位的场景示意图；
图5为本申请实施例将关键音频信息的音源空间位置进行可视化展示的场景示意图；
图6为本申请一实施例中的预设引导界面；
图7为本实施例中头戴显示设备涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
在本实施例中，该头戴显示设备包括但不限于混合现实(Mixed Reality)—MR设备（例如MR眼镜或者MR头盔）、增强现实(Augmented Reality)—AR设备（例如AR眼镜或者AR头盔）、虚拟现实-(VirtualReality)—VR设备（例如VR眼镜或者VR头盔）、扩展现实（Extended Reality）—XR设备或其某种组合等等头戴显示设备。
由于在一些应用场景下，用户在佩戴头戴显示设备进行使用的过程中，希望能够清楚地听到外界的一些关键声音，例如居家场景中的警报声（例如触发火势警玲）、敲门声，以及其他人对用户的呼唤声，坐公交车场景中的站台广播声，走路场景中的汽车鸣笛声等。也就是说，用户在佩戴头戴显示设备进行沉浸式体验的同时，还存在需要关注外界环境元素的需求，因为在很多应用场景下的外界环境元素包含了对于用户而言的关键信息，甚至是危险提示信息，但是，目前给用户带来沉浸式体验的头戴显示设备，对外界的听觉几乎是完全隔绝的，从而导致用户无法及时有效地获取外界的关键环境信息，无疑给用户造成了很大的不便。
实施例一
基于此，请参照图1，本实施例提供一种音频处理方法，所述方法包括：
步骤S10，动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；
在本实施例中，环境音频信息是指用户在佩戴头戴显示设备进行使用的过程中，外界环境所产生的声音信息。即环境音频信息区别于头戴显示设备自身所产生的声音。
在一实施例中，该环境音频信息，可通过头戴显示设备上的麦克风来进行采集获取。在另一实施例中，可通过接收与头戴显示设备通信连接的其他终端设备（例如智能手表、手机或智能音箱）发送来的环境音频信息进行获取。
需要说明的是，可通过在头戴显示设备的***中设置多种运行模式，该运行模式的种类可包括沉浸模式和智能模式，用户可通过触发该沉浸模式对应的功能按键，来使头戴显示设备触发进入沉浸模式。在头戴显示设备进入沉浸模式后，头戴显示设备将完全隔绝外界的环境音频信息，不会执行本实施例的步骤S10，以及后续的步骤S20和步骤S30，从而提高用户使用头戴显示设备过程的沉浸式体验。用户还可通过触发该智能模式对应的功能按键，来使头戴显示设备触发进入智能模式。在头戴显示设备进入智能模式后，将在用户使用头戴显示设备的过程中，执行步骤S10：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别环境音频信息中是否存在预设的关键音频信息，以及还执行后续的步骤S20和步骤S30。这样可以使得，当用户处于安全系数较高或者对外界环境元素的了解需求较低的应用场景时（例如用户处于相对安静或者有专人监管的VR活动体验场所），用户可通过触控特定按键使头戴显示设备进入沉浸模式，以最大限度地提升用户对于头戴显示设备的沉浸感。而当用户处于安全系数较低或者对外界环境元素的了解需求较高的应用场景时（例如居家场景中的起火警报声、敲门声，以及其他人对用户的呼唤声，坐公交车场景中的站台广播声，走路场景中的汽车鸣笛声等），用户可通过触控特定按键使头戴显示设备进入智能模式，以在能够有效向用户提示外界的关键环境信息，使用户及时分辨环境状况的基础上，尽量提升用户使用头戴显示设备过程的沉浸感。也即，用户可根据当前头戴显示设备的具体应用场景，选择当前最合适的运行模式，以匹配用户的实际使用需求，为用户带来更好的产品体验。
在本实施例中，可通过将环境音频信息输入至收敛的音频识别神经网络模型，从而通过收敛的音频识别神经网络模型识别环境音频信息中是否存在预设的关键音频信息。该关键音频信息是指对于用户而言比较重要的音频，例如居家场景中的警报声（例如触发火势警玲）、敲门声，以及其他人对用户的呼唤声，坐公交车场景中的站台广播声，走路场景中的汽车鸣笛声等。
步骤S20，若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；
在本实施例中，由于用户在使用头戴显示设备的过程中，用户的注意力会集中于头戴显示设备的扩展现实内容中，即使将环境音频信息中的关键音频信息进行提示，用户也可能由于沉浸于扩展现实内容而无法感知关键音频信息，从而忽视外界的关键音频信息（这是因为人体的感官***的敏感性会受到主观关注点的影响），因此本实施例需要通过对关键音频信息进行声学参数的补偿调整，得到关键音频增强信息。例如，可通过补偿关键音频信息的波束幅值，以提升关键音频信息的音量，从而更利于将用户的注意力转移至所提示的该关键音频信息，当然还可通过补偿关键音频信息的波束相位位移，以更准确地呈现该关键音频信息对应的音源空间位置，从而更利于用户清楚、准确地分辨出该关键音频信息对应的发声位置，及时规避风险。本领域技术人员可知的是，可以利用如波束成形、自适应滤波以及自适应音量等现有技术，对关键音频信息进行声学参数的补偿调整，以满足用户在专注于扩展现实内容的状态，还能及时获取到该关键音频信息的提示。
步骤S30，输出所述关键音频增强信息。
在本实施例中，可通过头戴显示设备中左右耳对应的内置耳机播放该关键音频增强信息，以达到输出该关键音频增强信息的目的。
本实施例的技术方案是通过动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别该环境音频信息中是否存在预设的关键音频信息，从而识别出环境音频信息中是否具有当前场景下对于用户而言比较重要的音频信息，以达到对该关键性音频信息的捕捉，若存在该关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息，并输出该关键音频增强信息，从而使得在确定环境音频信息中存在关键音频信息的情况下，对关键音频信息进行声学补偿，以增强关键音频信息的音量，从而更利于将用户的注意力转移至所提示的该关键音频信息，或者还对该关键音频信息对应的音源空间位置进行校准，使用户更清楚、准确地获知该关键音频信息以及分辨出关键音频信息对应的发声位置，进而使得用户在沉浸使用头戴显示设备的过程中，能够有效向用户提示外界的关键环境信息，避免用户无法及时分辨外界环境事物的状况发生，在提升了用户体验的同时，减少了安全隐患。
示例性地，所述输出所述关键音频增强信息的步骤之后，所述方法还包括：
步骤A10，通过在雷达图或方位标尺进行标识的方式，将所述关键音频信息对应的音源空间位置显示于所述头戴显示设备的显示界面上。
需要说明的是，双耳定位的能力也就是对声源的分辨能力，量化表示的话，就是对声源相对自身位置的方位角的精度，也就是能分辨的最小方位角。例如，将围绕用户的360度平均分成四等份，用户仅能分别出声源相对自身位置的方位角属于四等份中的哪一等份，无法再细分，此时用户能分辨的最小方位角为90度。又例如，将围绕用户的360度平均分成八等份，用户仅能分别出声源相对自身位置的方位角属于八等份中的哪一等份，此时用户能分辨的最小方位角为40度（如图6所示）。
然而，由于用户在使用头戴显示设备的过程中，沉浸和过于专注导致听觉***对外界刺激将会被过多的忽略，在声源定位上受到的影响就是该最小方位角增大，定位精度降低，这样就会导致用户可能对关键音频信息对应的音源空间位置误判，造成不必要的麻烦和潜在危险。例如，如图4所示，如果正常情况下（即未专注于头戴显示设备所呈现的扩展现实内容中）最小方位角是α1，专注时（即专注于头戴显示设备所呈现的扩展现实内容中）最小方位角是α2，且α1<α2。如果B是一个危险信息（例如建筑工地的重物掉落声、走路场景中的汽车鸣笛声），那么在专注场景下就可能造成误识别为B’。
基于此，本实施例通过在雷达图或方位标尺进行标识的方式，将关键音频信息对应的音源空间位置显示于头戴显示设备的显示界面上，使得声源位置可视化，即本实施例通过在增强用户听感的基础上，通过可视化的方式，向用户提示该音源空间位置信息，将更容易被用户接收。如图5，图5为本申请实施例将关键音频信息的音源空间位置进行可视化展示的场景示意图，
其中，可视化的显示界面如图5中的右图所示。显示界面可通过显示雷达图或者方位标尺（方位标尺可包括头动角度标尺和声源位置标尺）等图形信息，且该显示雷达图或者方位标尺上标记有关键音频信息对应的音源空间位置，从而为用户提供直观的视觉提示，进而使用户更清楚、准确地分辨出关键音频信息对应的发声位置，进而使得用户在沉浸使用头戴显示设备的过程中，能够有效向用户提示外界的关键环境信息，减少不必要的麻烦和潜在危险。
在一种可能的实施方式中，请参照图2，所述对所述关键音频信息进行声学参数的补偿调整的步骤包括：
步骤S21，获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；
在本实施例中，当前专注度系数用于表征用户当前对头戴显示设备中呈现的扩展现实环境的专注程度。当前专注度系数越大，说明该专注程度越高。
在一实施例中，获取用户对头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤具体可为：获取用户输入的专注度系数，将专注度系数，作为用户对头戴显示设备中呈现的扩展现实环境的当前专注度系数。
在另一实施例中，获取用户对头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤具体还可为：通过获取头戴显示设备当前正在运行的目标应用程序，从预设的应用程序映射系数表中，查询得到该目标应用程序映射的专注度系数，将该目标应用程序映射的专注度系数，作为该当前专注度系数。其中，该应用程序映射系数表中存储有各应用程序与专注度系数之间一一映射的映射关系。各应用程序包括但不限于VR游戏、VR观影、VR购物、拍照、音乐播放、设置（声音或图像等参数的设置功能）、信息通知、天气状态和语音通话等。本领域技术人员可以理解的是，不同的应用程序往往映射不同的专注度系数，例如VR游戏或VR观影映射的专注度系数，往往比音乐播放、设置（声音或图像等参数的设置功能）或信息通知的专注度系数更高。
步骤S22，确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；
在本实施例中，当前环境音频损失等级用于表征用户由于专注于头戴显示设备中呈现的扩展现实环境，对环境音频感知度降低所导致的环境音频信息损失程度。当前环境音频损失等级越大，说明该环境音频信息损失程度越高。
本领域技术人员可以理解的是，用户越专注于头戴显示设备的扩展现实内容，用户感知外界的环境音频信息的感知敏感度越低，就越容易忽视外界的关键音频信息。因此，当前专注度系数越高，当前专注度系数关联的当前环境音频损失等级越高。作为一种示例，可通过从预设的专注度系数映射表中，查询得到当前专注度系数关联的当前环境音频损失等级。其中，专注度系数映射表包括多个不同的专注度系数，以及各专注度系数映射的环境音频损失等级。
步骤S23，从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；
在本实施例中，该损失等级映射关系的信息中包括多个不同的环境音频损失等级，以及各环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值。容易理解的是，所述当前环境音频损失等级越高，映射的音源空间位置偏差值和/或音频强度损失值越高。
步骤S24，根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。
示例性地，所述根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整的步骤包括：
步骤B10，根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；
步骤B20，根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；
步骤B30，根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。
在本实施例中，音源空间位置偏差值越大，说明关键音频信息的波束相位位移越大。对应地，音频强度损失值越大，关键音频信息的波束幅值损失越大。容易理解的是，该音频参数补偿信息包括补偿或者修正音源空间位置偏差的相位位移补偿信息，和/或补偿或者修正音频强度损失的波束幅值补偿信息，从而便于根据音频参数补偿信息，对关键音频信息进行声学参数的补偿调整，达到准确地补偿关键音频信息的波束相位位移和/或波束幅值损失的目的。
本实施例通过获取用户对头戴显示设备中呈现的扩展现实环境的当前专注度系数，确定当前专注度系数关联的当前环境音频损失等级，其中，当前专注度系数越高，关联的当前环境音频损失等级越高；从预设的损失等级映射关系中，查询得到当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；根据映射的音源空间位置偏差值和/或音频强度损失值，对关键音频信息进行声学参数的补偿调整，从而实现通过补偿关键音频信息的波束幅值，以提升关键音频信息的音量，更有利于将用户的注意力转移至所提示的该关键音频信息，和/或，通过补偿关键音频信息的波束相位位移，以更准确呈现该关键音频信息对应的音源空间位置，从而更利于用户清楚、准确地分辨出该关键音频信息对应的发声位置，进一步使得用户在沉浸使用头戴显示设备的过程中，能够有效向用户提示外界的关键环境信息，避免用户无法及时分辨外界环境事物的状况发生。
在一种可能的实施方式中，所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤之前，所述方法还包括：
步骤C10，播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；
在本实施例中，该虚拟测试音频具有相对用户的发声方位信息（即音源空间位置），需要说明的是，该虚拟测试音频为头戴显示设备模拟出来的音频，即通过控制头戴显示设备中左右耳对应的内置耳机播放存在频率响应时间差的音频（利用音源到左耳与右耳的距离不同，因此声音信号传播到两只耳朵的时间也会有细微的差距，这样的时间差可以帮助我们了解音源的空间位置，根据音频在人的双耳带来的时间和响度上的差别，可确定出音频对应的音源空间位置），以使用户感觉是从预设空间方位传过来的音频，从而模拟出具有音源空间位置信息的立体声。
步骤C20，输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；
在一实施例中，该预设引导界面可为引导用户直接输入虚拟测试音频对应发声位置的空间方位范围值，例如该空间方位范围值为用户的右前方30度至60度的方位范围值。
在另一实施例中，该预设引导界面可包括方位选择圆环，该方位选择圆环已均分成多个等份块，且预设为用户的位置处于方位选择圆环的中心，用户可通过触控选择其中一个等份块，来完成对虚拟测试音频对应发声位置的空间方位信息的输入。如图6所示，图6为本申请一实施例中的预设引导界面，该预设引导界面显示有方位选择圆环，该方位选择圆环平均分成八个等份块，每个等份块为40度（即当前进行分辨的最小方位角为40度），用户通过收听头戴显示设备播放的虚拟测试音频，辨别到音源空间位置的声源方位为深色的等份块所指向的方位，因此用户可通过触控该深色的等份块，来完成音源空间位置对应空间方位信息的输入。
步骤C30，获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；
需要说明的是，该关键音频分辨度用于表征对关键音频信息的音源空间位置的识别能力。
在本实施例中，在该比较结果中，若方位信息与该预设空间方位之间的偏差越小，说明用户的关键音频分辨度越高。相反，若方位信息与该预设空间方位之间的偏差越大，说明用户的关键音频分辨度越低。
需要说明的是，本领域技术人员可通过依次播放多个虚拟测试音频，且每个虚拟测试音频对应的音源空间位置不同，从而依次测试出对于用户不同发声方位的关键音频分辨度。
步骤C40，根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；
其中，该感知敏感度越小，专注度映射梯度越大。感知敏感度越大，所述专注度映射梯度越小。
为了助于对本申请实施例的理解，列举一实例，在该实例中，映射梯度数据库中存储的专注度映射梯度从小到大依次为：第一映射梯度和第二映射梯度。在第一映射梯度中，专注度系数范围为【0.1，0.35）时，关联的环境音频损失等级为低音频损失等级，专注度系数范围为【0.35，0.65）时，关联的环境音频损失等级为中音频损失等级，专注度系数范围为【0.65，0.9）时，关联的环境音频损失等级为中高音频损失等级。而在第二映射梯度中，专注度系数范围为【0.1，0.35）时，关联的环境音频损失等级为中音频损失等级，专注度系数范围为【0.35，0.65）时，关联的环境音频损失等级为中高音频损失等级，专注度系数范围为【0.65，0.9）时，关联的环境音频损失等级为高音频损失等级。需要说明的是，上述映射梯度数据库和专注度映射梯度的示例，仅用于辅助理解本申请，并不够成对本申请的限定，基于本申请实施例的技术构思或技术原理进行更多形式的简单变换，均在本申请的保护范围内。
所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：
步骤C50，根据匹配的专注度映射梯度，确定所述当前专注度系数关联的当前环境音频损失等级。
在本实施例中，容易理解的是，专注度映射梯度越大，同一时刻的当前专注度系数关联的当前环境音频损失等级越大（因为同一专注度系数关联的当前环境音频损失等级越大）。
本实施例通过播放预设的虚拟测试音频，其中，该虚拟测试音频的音源空间位置为预设空间方位，并输出引导用户对虚拟测试音频的音源空间位置进行判断的预设引导界面，获取用户响应于该预设引导界面而输入的方位信息，将方位信息与预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度，从而准确地检测出用户进行声源定位的识别能力，并根据该关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，并根据感知敏感度的大小，从预设的映射梯度数据库中选取该感知敏感度匹配的专注度映射梯度，由于映射梯度数据库中预设设置有多个感知敏感度一一匹配的专注度映射梯度，不同的感知敏感度，所匹配的专注度映射梯度不同，因此本实施例可通过用户个人对关键音频信息进行感知的感知敏感度，准确地测试出更加贴切用户个人实际情况的专注度映射梯度（该专注度映射梯度用于表征各专注度系数与环境音频损失等级之间的关联关系），然后再根据匹配的专注度映射梯度，确定当前专注度系数关联的当前环境音频损失等级，使得本实施例能够根据用户个人对环境音频信息进行声源定位的识别能力，确定出更加符合用户个人实际情况的专注度映射梯度，从而更加准确地标定出更加符合用户个人实际情况的当前环境音频损失等级，便于后续更加个性化地确定出贴切用户个人需求的音频参数补偿信息，对关键音频信息的波束相位位移和/或波束幅值损失进行补偿，进而实现能够有效向用户提示外界的关键环境信息，以使用户在及时分辨环境状况的基础上，尽量提升用户使用头戴显示设备过程的沉浸感。
在一种可实施的方式中，所述获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
步骤D10，检测当前的用户生理特征信息和设备使用状态信息，其中，所述用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，所述设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种；
步骤D20，根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
示例性地，进一步地，在一种可能的实施方式中，所述根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
步骤E10，获取预设的专注度识别神经网络模型；
步骤E20，将所述用户生理特征信息和所述设备使用状态信息输入至所述专注度识别神经网络模型，预测得到用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
在本实施例中，本领域技术人员可以理解的是，用户生理特征信息例如瞳孔大小和心率可以反映用户的情绪，用户的情绪相对起伏（例如玩VR游戏或者看VR视频容易产生激动和紧张等）时，往往反映用户对头戴显示设备中呈现的扩展现实环境的专注度（或者称为沉浸度）相对较高，而用户的情绪相对平缓时，往往反映用户对头戴显示设备中呈现的扩展现实环境的专注度相对较低。而用户生理特征信息例如眨眼频率、心率、呼吸速率和体温可以反映用户的身体或心理的活跃程度，该活跃程度较高时，往往反映用户对头戴显示设备中呈现的扩展现实环境的专注度相对较高，而活跃程度较低时，往往反映用户对头戴显示设备中呈现的扩展现实环境的专注度相对较低。
另外，在本实施例中，容易理解的是，头戴显示设备的使用持续时长较长，更能反映用户对头戴显示设备中呈现的扩展现实环境的专注度较高。而头戴显示设备的运动状态较活跃，那么用户的身体活跃程度较高，往往反映用户对头戴显示设备中呈现的扩展现实环境的专注度相对较高。头戴显示设备的电量消耗速率较大，往往说明头戴显示设备开启运行的应用程序的运行环境越复杂，越能吸引用户对头戴显示设备中呈现的扩展现实环境的注意力（例如VR游戏或VR观影应用程序的电量消耗速率，比音乐播放、设置或信息通知的电量消耗速率更大）。对应地，不同的当前运行应用程序，用户对头戴显示设备中呈现的扩展现实环境的专注度往往不同，例如用户对VR游戏或VR观影所需求的专注度，往往比音乐播放、设置或信息通知的需求专注度更高。
因此，本实施例通过检测当前的用户生理特征信息和设备使用状态信息，其中，该用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，该设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种，并通过综合用户生理特征信息和设备使用状态信息的多重因素，对用户对头戴显示设备中呈现的扩展现实环境的注意力程度进行评判，从而准确地测定出用户的当前专注度系数。
实施例二
基于本申请第一实施例，在本申请另一实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，请参照图3，所述方法还包括：
步骤S40，获取至少一个应用场景对应的需求识别音频信息；
在本实施例中，该应用场景的类型可包括但不限于坐公交车场景、居家场景和走路场景等。其中，坐公交车场景对应的需求识别音频信息可为站台广播声。居家场景对应的需求识别音频信息可为起火警报声、敲门声或者其他人对用户的呼唤声。走路场景对应的需求识别音频信息可为汽车鸣笛声。
步骤S50，将多个所述需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，其中，所述环境噪音信息中不包含所述需求识别音频信息；
步骤S60，通过所述关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，得到收敛的音频识别神经网络模型。
本实施例通过获取至少一个应用场景对应的需求识别音频信息，将多个需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，通过关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，从而可以准确且高效地训练得到收敛的音频识别神经网络模型，进而便于后续通过收敛的音频识别神经网络模型，准确地识别出环境音频信息中是否存在预设的关键音频信息。
实施例三
本发明实施例还提供一种音频处理装置，所述音频处理装置包括：
识别模块，用于动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；
补偿模块，用于对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；
输出模块，用于输出所述关键音频增强信息。
可选地，所述补偿模块，还用于：
获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；
确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；
从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；
根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。
可选地，所述补偿模块，还用于：
根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；
根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；
根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。
可选地，所述补偿模块，还用于：
播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；
输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；
获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；
根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；
所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：
根据匹配的专注度映射梯度，确定所述当前专注度系数关联的当前环境音频损失等级。
可选地，所述补偿模块，还用于：
检测当前的用户生理特征信息和设备使用状态信息，其中，所述用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，所述设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种；
根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
可选地，所述补偿模块，还用于：
获取预设的专注度识别神经网络模型；
将所述用户生理特征信息和所述设备使用状态信息输入至所述专注度识别神经网络模型，预测得到用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
可选地，所述音频处理装置还包括训练模块，所述训练模块用于：
获取至少一个应用场景对应的需求识别音频信息；
将多个所述需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，其中，所述环境噪音信息中不包含所述需求识别音频信息；
通过所述关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，得到收敛的音频识别神经网络模型。
可选地，所述输出模块，还用于：
通过在雷达图或方位标尺进行标识的方式，将所述关键音频信息对应的音源空间位置显示于所述头戴显示设备的显示界面上。
本发明实施例提供的音频处理装置，采用上述实施例一或实施例二中的音频处理方法，能解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。与现有技术相比，本发明实施例提供的音频处理装置的有益效果与上述实施例提供的音频处理方法的有益效果相同，且所述音频处理装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
实施例四
本发明实施例提供一种头戴显示设备，头戴显示设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的音频处理方法。
下面参考图7，其示出了适于用来实现本公开实施例的头戴显示设备的结构示意图。本公开实施例中的头戴显示设备可以为耳机或头戴显示设备等。其中，该头戴显示设备包括但不限于混合现实(Mixed Reality)—MR设备（例如MR眼镜或者MR头盔）、增强现实(Augmented Reality)—AR设备（例如AR眼镜或者AR头盔）、虚拟现实-(VirtualReality)—VR设备（例如VR眼镜或者VR头盔）、扩展现实（Extended Reality）—XR设备或其某种组合等等头戴显示设备。图7示出的头戴显示设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，头戴显示设备可以包括处理装置1001（例如中央处理器、图形处理器等），其可以根据存储在只读存储器（ROM1002）中的程序或者从存储装置加载到随机访问存储器（RAM1004）中的程序而执行各种适当的动作和处理。在RAM1004中，还存储有头戴显示设备操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出（I/O）接口也连接至总线1005。
通常，以下***可以连接至I/O接口1006：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置1008；包括例如磁带、硬盘等的存储装置1003；以及通信装置1009。通信装置1009可以允许头戴显示设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种***的头戴显示设备，但是应理解的是，并不要求实施或具备所有示出的***。可以替代地实施或具备更多或更少的***。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置1003被安装，或者从ROM1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
本发明提供的头戴显示设备，采用上述实施例中的音频处理方法，能解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。与现有技术相比，本发明实施例提供的头戴显示设备的有益效果与上述实施例提供的音频处理方法的有益效果相同，且该头戴显示设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
实施例五
本发明实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例中的音频处理方法。
本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的***、***或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、***或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是头戴显示设备中所包含的；也可以是单独存在，而未装配入头戴显示设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被头戴显示设备执行时，使得头戴显示设备：动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；输出所述关键音频增强信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质，存储有用于执行上述音频处理方法的计算机可读程序指令，能解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的音频处理方法的有益效果相同，在此不做赘述。
实施例六
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的音频处理方法的步骤。
本申请提供的计算机程序产品能解决在使用头戴显示设备的过程中，无法有效地向用户提示外界的关键环境信息，导致用户无法及时分辨外界环境状况的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的音频处理方法的有益效果相同，在此不做赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种音频处理方法，其特征在于，所述音频处理方法应用于头戴显示设备，所述方法包括：
动态采集外界的环境音频信息，并通过收敛的音频识别神经网络模型识别所述环境音频信息中是否存在预设的关键音频信息；
若存在所述关键音频信息，则对所述关键音频信息进行声学参数的补偿调整，得到关键音频增强信息；
输出所述关键音频增强信息。
2.如权利要求1所述的音频处理方法，其特征在于，所述对所述关键音频信息进行声学参数的补偿调整的步骤包括：
获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数；
确定所述当前专注度系数关联的当前环境音频损失等级，其中，所述当前专注度系数越高，关联的当前环境音频损失等级越高；
从预设的损失等级映射关系中，查询得到所述当前环境音频损失等级映射的音源空间位置偏差值和/或音频强度损失值；
根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整。
3.如权利要求2所述的音频处理方法，其特征在于，所述根据映射的音源空间位置偏差值和/或音频强度损失值，对所述关键音频信息进行声学参数的补偿调整的步骤包括：
根据映射的音源空间位置偏差值确定所述关键音频信息的波束相位位移，和/或根据映射的音频强度损失值确定所述关键音频信息的波束幅值损失；
根据所述波束相位位移和/或所述波束幅值损失，确定所述关键音频信息的音频参数补偿信息；
根据所述音频参数补偿信息，对所述关键音频信息进行声学参数的补偿调整，以补偿所述关键音频信息的波束相位位移和/或波束幅值损失。
4.如权利要求2所述的音频处理方法，其特征在于，所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤之前，所述方法还包括：
播放预设的虚拟测试音频，其中，所述虚拟测试音频的音源空间位置为预设空间方位；
输出引导用户对所述虚拟测试音频的音源空间位置进行判断的预设引导界面；
获取用户响应于所述预设引导界面而输入的方位信息，将所述方位信息与所述预设空间方位进行比较，并根据比较结果确定用户的关键音频分辨度；
根据所述关键音频分辨度，确定用户对关键音频信息进行感知的感知敏感度，根据所述感知敏感度的大小，从预设的映射梯度数据库中选取所述感知敏感度匹配的专注度映射梯度，其中，所述专注度映射梯度包括多个专注度系数，以及各所述专注度系数关联的环境音频损失等级；
所述确定所述当前专注度系数关联的当前环境音频损失等级的步骤包括：
根据匹配的专注度映射梯度，确定所述当前专注度系数关联的当前环境音频损失等级。
5.如权利要求2所述的音频处理方法，其特征在于，所述获取用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
检测当前的用户生理特征信息和设备使用状态信息，其中，所述用户生理特征信息包括瞳孔大小、眨眼频率、心率、呼吸速率和体温中的至少一种，所述设备使用状态信息包括头戴显示设备的使用持续时长、运动状态、电量消耗速率和当前运行应用程序中的至少一种；
根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
6.如权利要求5所述的音频处理方法，其特征在于，所述根据所述用户生理特征信息和所述设备使用状态信息，确定用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数的步骤包括：
获取预设的专注度识别神经网络模型；
将所述用户生理特征信息和所述设备使用状态信息输入至所述专注度识别神经网络模型，预测得到用户对所述头戴显示设备中呈现的扩展现实环境的当前专注度系数。
7.如权利要求1所述的音频处理方法，其特征在于，所述方法还包括：
获取至少一个应用场景对应的需求识别音频信息；
将多个所述需求识别音频信息与关键音频标签进行关联，得到关键音频样本集，并将多个环境噪音信息与干扰音频标签进行关联，得到干扰音频样本集，其中，所述环境噪音信息中不包含所述需求识别音频信息；
通过所述关键音频样本集和所述干扰音频样本集，对预设的神经网络模型进行训练，得到收敛的音频识别神经网络模型。
8.如权利要求1至7中任一项所述的音频处理方法，其特征在于，所述输出所述关键音频增强信息的步骤之后，所述方法还包括：
通过在雷达图或方位标尺进行标识的方式，将所述关键音频信息对应的音源空间位置显示于所述头戴显示设备的显示界面上。
9.一种头戴显示设备，其特征在于，所述头戴显示设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述音频处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现音频处理方法的程序，所述实现音频处理方法的程序被处理器执行以实现如权利要求1至8中任一项所述音频处理方法的步骤。
CN202310091631.8A 2023-02-03 2023-02-03 音频处理方法、头戴显示设备和计算机可读存储介质 Pending CN116312620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310091631.8A CN116312620A (zh) 2023-02-03 2023-02-03 音频处理方法、头戴显示设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310091631.8A CN116312620A (zh) 2023-02-03 2023-02-03 音频处理方法、头戴显示设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116312620A true CN116312620A (zh) 2023-06-23

Family

ID=86800384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310091631.8A Pending CN116312620A (zh) 2023-02-03 2023-02-03 音频处理方法、头戴显示设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116312620A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117998274A (zh) * 2024-04-07 2024-05-07 腾讯科技（深圳）有限公司 音频处理方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117998274A (zh) * 2024-04-07 2024-05-07 腾讯科技（深圳）有限公司 音频处理方法、装置及存储介质
CN117998274B (zh) * 2024-04-07 2024-06-25 腾讯科技（深圳）有限公司 音频处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US10362432B2 (en) Spatially ambient aware personal audio delivery device
US10154360B2 (en) Method and system of improving detection of environmental sounds in an immersive environment
US20210021946A1 (en) Capturing Audio Impulse Responses of a Person with a Smartphone
CN105700686B (zh) 一种控制方法及电子设备
KR20200085030A (ko) 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
KR20180062174A (ko) 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
WO2015163031A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
JP2022518883A (ja) オーディオシステムのための修正されたオーディオ体験を生成すること
JP6326573B2 (ja) 多機能イヤホンによる自律型アシスタントシステム
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
KR20190061681A (ko) 생체 정보에 기반하여 외부 오디오 장치와 연동하여 동작하는 전자 장치 및 방법
US20230345196A1 (en) Augmented reality interaction method and electronic device
CN116312620A (zh) 音频处理方法、头戴显示设备和计算机可读存储介质
Sodnik et al. Spatial auditory human-computer interfaces
CN109257490A (zh) 音频处理方法、装置、穿戴式设备及存储介质
KR20190090281A (ko) 사운드를 제어하는 전자 장치 및 그 동작 방법
KR20200120105A (ko) 전자 장치 및 그의 스트레스 해소를 위한 정보를 제공하는 방법
JP2018093503A (ja) 音声コンテンツ再生イヤホン、方法、および、プログラム
CN112614507A (zh) 检测噪声的方法和装置
KR102461608B1 (ko) 스피커에 포함된 진동판을 이용하여 하우징 내부 공간의 액체를 외부로 배출하는 전자 장치, 및 그 전자 장치의 제어 방법
CN112927718B (zh) 感知周围环境的方法、装置、终端和存储介质
WO2023142266A1 (zh) 远程交互方法、远程交互设备以及计算机存储介质
CN115967887A (zh) 一种处理声像方位的方法和终端
CN112203250A (zh) 监测坐姿的智能眼镜控制方法、装置、存储介质及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination