CN113782058A - 动态音频感知追踪***和方法、存储介质、耳机 - Google Patents

动态音频感知追踪***和方法、存储介质、耳机 Download PDF

Info

Publication number
CN113782058A
CN113782058A CN202111082292.4A CN202111082292A CN113782058A CN 113782058 A CN113782058 A CN 113782058A CN 202111082292 A CN202111082292 A CN 202111082292A CN 113782058 A CN113782058 A CN 113782058A
Authority
CN
China
Prior art keywords
audio
audio signal
module
tracking
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111082292.4A
Other languages
English (en)
Other versions
CN113782058B (zh
Inventor
宋立玮
罗海彬
王丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horn Audio Co Ltd
Original Assignee
Shenzhen Horn Audio Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horn Audio Co Ltd filed Critical Shenzhen Horn Audio Co Ltd
Priority to CN202111082292.4A priority Critical patent/CN113782058B/zh
Publication of CN113782058A publication Critical patent/CN113782058A/zh
Application granted granted Critical
Publication of CN113782058B publication Critical patent/CN113782058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种动态音频感知追踪***和方法、存储介质、耳机，动态音频感知追踪***包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块；音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号，并对第一音频信号进行滤波和放大处理后，传输至耳朵；脑电波检测模块用于检测人脑对于每个第一音频信号的脑电波变化，以获取人脑感兴趣的第二音频信号；音频分析模块用于对第二音频信号的波形进行切片和特征提取，并进行标记，以及判断每个第二音频信号的优先级别；音频追踪模块用于按照优先级别分别对每个第二音频信号所对应的声源进行定位追踪。根据本发明的动态音频感知追踪***，能够对感兴趣的声音进行定位追踪。

Description

动态音频感知追踪***和方法、存储介质、耳机
技术领域
本发明涉及声源定位技术领域，尤其是涉及一种动态音频感知追踪***和方法、存储介质、耳机。
背景技术
用户在佩戴耳机时，无论是否在听音乐，耳机都会屏蔽掉一些环境音源；所以当用户遇到紧急情况，或者对某一音源感兴趣时，就不得不摘掉耳机才可以仔细听清楚并进行判断，这样也就造成了不小心把耳机掉到地上或者丢失的情况。此外，由于音源方向、音源种类、音源距离、对音源的感知优先级别等的不确定性，会影响佩戴耳机的用户对紧急情况的判断能力，尤其是对于听力有障碍或者听觉较弱的用户，其在使用耳机时，更容易忽略环境音源中对自己有用的信息，也许错过了车站、错过了重要的指示、或忽视报警音等等。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出了一种动态音频感知追踪***，能够在用户佩戴耳机的情况下，实时检测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度等进行准确地判别。
本发明还提出了一种动态音频感知追踪方法。
本发明还提出了一种计算机可读存储介质。
本发明还提出了一种耳机。
第一方面，根据本发明实施例的动态音频感知追踪***，包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块；所述音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号，并对所述第一音频信号进行滤波和放大处理后，传输至耳朵；所述脑电波检测模块用于检测人脑对于每个所述第一音频信号的脑电波变化，以获取人脑感兴趣的第二音频信号；所述音频分析模块用于对所述第二音频信号的波形进行切片和特征提取，并进行标记，以及判断每个所述第二音频信号的优先级别；所述音频追踪模块用于按照优先级别分别对每个所述第二音频信号所对应的所述声源进行定位追踪。
根据本发明实施例的动态音频感知追踪***，至少具有如下有益效果：能够帮助那些佩戴耳机听音乐的用户，实时检测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度等进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
根据本发明的一些实施例，还包括音频缓存模块，所述音频缓存模块用于存储所述第一音频信号，并将出现频率高于阈值的所述第一音频信号传输至所述音频分析模块。
根据本发明的一些实施例，所述音频感知模块包括依次电性连接的第一音频信号滤波器、音频信号采集器和音频信号放大器。
根据本发明的一些实施例，所述脑电波检测模块包括依次电性连接的检测电极、电流计时器、脑电信号放大器、脑电频率计数器、控制器和第二音频信号滤波器。
根据本发明的一些实施例，所述音频追踪模块包括六轴惯性传感器。
第二方面，根据本发明实施例的动态音频感知追踪方法，包括以下步骤：采集环境中的不同声源所分别对应的第一音频信号，并对所述第一音频信号进行滤波和放大后，传输至耳朵；检测人脑对于每个所述第一音频信号的脑电波的变化，以获得人脑感兴趣的第二音频信号；对所述第二音频信号进行切片和特征提取，并进行标记，以及判断每个所述第二音频信号的优先级别；按照优先级别，分别对每个所述第二音频信号所对应的所述声源进行定位追踪。
根据本发明实施例的动态音频感知追踪方法，至少具有如下有益效果：能够帮助那些佩戴耳机听音乐的用户，实时监测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
根据本发明的一些实施例，还包括以下步骤：音频感知模块将所述第一音频信号传输至音频缓存模块；若所述第一音频信号出现的频率超过阈值，则所述音频缓存模块将所述第一音频信号传输至音频分析模块。
第三方面，根据本发明实施例的耳机，包括如本发明上述第一方面实施例所述的动态音频感知追踪***。
根据本发明实施例的耳机，至少具有如下有益效果：通过采取上述的动态音频感知追踪***，能够在不影响用户佩戴耳机听音乐的情况下，实时监测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
第四方面，根据本发明实施例的计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如本发明上述第二方面实施例所述的动态音频感知追踪方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的动态音频感知追踪***的模块框图；
图2为本发明实施例的脑电波检测模块的结构示意图；
图3为本发明实施例的动态音频感知追踪方法的步骤流程图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
第一方面，如图1所示，根据本发明实施例的动态音频感知追踪***，包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块；其中，音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号，并对第一音频信号进行滤波和放大处理后，传输至耳朵；脑电波检测模块用于检测人脑对于每个第一音频信号的脑电波变化，以获取人脑感兴趣的第二音频信号；音频分析模块用于对第二音频信号的波形进行切片和特征提取，并进行标记，以及判断每个第二音频信号的优先级别；音频追踪模块用于按照优先级别分别对每个第二音频信号所对应的声源进行定位追踪。
具体地，音频感知模块包括依次电性连接的第一音频信号滤波器、音频信号采集器和音频信号放大器。第一音频信号过滤器用于过滤掉一些距离较远的声源，而音频信号采集器则用于采集距离用户较近的一些声源(如：离得较近的人员的交谈声、鸣笛声、广播声、提示音、警报音等)，再通过音频信号放大器对这些声源所对应的第一音频信号进行放大，并传输给耳朵，通过耳朵传输给大脑。也就是说，音源感知模块用于感知环境中来自于不同方向的声源，并过滤掉距离较远的声音，而采集距离较近的声源，并将这些声源所对应的第一音频信号进行放大后，传输到耳朵里。
如图2所示，在本发明的一些实施例中，脑电波检测模块包括依次电性连接的检测电极、电流计时器、脑电信号放大器、脑电频率计数器、控制器和第二音频信号滤波器。检测电极用于采集人脑的脑电波，电流计时器和脑电频率计数器则用于获取这些脑电波的时域和频域的变化情况，脑电信号放大器用于将采集到的脑电波信号进行放大，检测电极、电流计时器、脑电信号放大器和脑电频率计数器用于实时检测脑电波的变化情况，并传输给控制器；当用户对自己听到的声音感兴趣时，由于应激反应，脑电波会产生较大的波动，因此通过检测脑电波的变化情况即可知道用户对哪些音频感兴趣；这时控制器便会调动第二音频信号过滤器，将用户不感兴趣的音频波段过滤掉，只保留感兴趣的音频信号(即第二音频信号)，并将这些第二音频信号传输给音频分析模块。其中，控制器可以采用常见的MCU等处理器。
音频分析模块在接收到第二音频信号后，对这些第二音频信号的波形进行切片和特征提取，并对这些信号进行标记，以便利用相应的自学习算法，对这些第二音频信号分别进行聚类；同时，音频分析模块还会根据用户感兴趣的程度对这些第二音频信号进行优先级别的判断，并将这些第二音频信号发送至音频追踪模块。
音频追踪模块可以采用MEMS六轴惯性传感器，该传感器利用三维异构集成技术，将MEMS加速度计、陀螺仪、压力传感器、磁传感器和信号处理电路等功能零件集成在硅芯片内，并内置算法，实现芯片级制导、导航、定位等功能。音频追踪模块利用MEMS六轴惯性传感器对用户的物理运动做出反应，将用户感兴趣的声源作为固定参照物，将用户的线性位移与角速度旋转的反应转换成电信号，实现对感兴趣的声源的空间动态定位追踪功能。
因此，根据本发明实施例的动态音频感知追踪***，能够帮助那些佩戴耳机听音乐的用户，实时检测外界环境中的声音，并对这些声音的距离、种类、方向和重要程度进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
如图1所示，在本发明的一些实施例中，还包括音频缓存模块，音频缓存模块用于缓存第一音频信号，并将出现频率高于阈值的第一音频信号传输至音频分析模块。其中，阈值的取值可以是自定义的。
具体地，在音频感知模块采集了环境中的声源后，还会将这些声源所对应的第一音频信号发送至音频缓存模块，以供音频缓存模块判断是否有些声音是经常出现的。如果音频缓存模块发现某个第一音频信号的出现频率较高，则将该第一音频信号发送至音频分析模块进行分析。这是因为，当某个声音经常出现时，大脑会对此声音产生疲劳，脑电波不会发生明显波动；因此，需要借助音频缓存模块来识别该声音，以便于音频追踪模块对该声音进行定位追踪。若脑电波检测模块没有检测到脑电波波动，同时音频缓存模块没有发现高频出现的音频，则音频感知模块进入待机状态，节省电源的消耗。
第二方面，如图3所示，根据本发明实施例的动态音频感知追踪方法，包括以下步骤：
S100：采集环境中的不同声源所分别对应的第一音频信号，并对第一音频信号进行滤波和放大后，传输至耳朵。
具体地，在实际应用中，先通过音频感知模块中的第一音频信号过滤器来过滤掉一些距离较远的声源，然后利用音频信号采集器来采集距离用户较近的一些声源(如：离得较近的人员的交谈声、鸣笛声、广播声、提示音、警报音等)，再通过音频信号放大器对这些声源所对应的第一音频信号进行放大，传输给耳朵，通过人耳传输给大脑。
S200：检测人脑对于每个第一音频信号的脑电波的变化，以获得人脑感兴趣的第二音频信号。
具体地，在实际应用中，通过脑电波检测模块中的检测电极、电流计时器、脑电信号放大器、脑电频率计数器来实时检测脑电波的变化情况，获取脑电波对于每个第一音频信号的反应情况。当检测到脑电波发生较大的波动变化时，说明人脑对该第一音频信号较为感兴趣，此时控制器便会调动第二音频信号过滤器，将用户不感兴趣的音频波段过滤掉，只保留感兴趣的音频信号(即第二音频信号)，并将这些第二音频信号传输给音频分析模块。
S300：对第二音频信号进行切片和特征提取，并进行标记，以及判断每个第二音频信号的优先级别。
具体地，音频分析模块在接收到第二音频信号后，对这些第二音频信号的波形进行切片和特征提取，并对这些信号进行标记，以便利用相应的自学习算法，对这些第二音频信号分别进行聚类；同时，音频分析模块还会根据用户感兴趣的程度对这些第二音频信号进行优先级别的判断，从而判断哪些声音对于用户更为重要，并将这些第二音频信号发送至音频追踪模块。
S400：按照优先级别，分别对每个第二音频信号所对应的声源进行定位追踪。
音频追踪模块采用MEMS六轴惯性传感器，对用户感兴趣的声源进行定位追踪。在定位追踪的过程中，将用户感兴趣的声源作为固定参照物，而MEMS六轴惯性传感器则对用户的物理运动做出反应，将用户的线性位移与角速度旋转的反应转换成电信号，实现对感兴趣的声源的空间动态定位追踪功能。
根据本发明实施例的动态音频感知追踪方法，能够帮助那些佩戴耳机听音乐的用户，实时监测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
在本发明的一些实施例中，上述的动态音频感知追踪方法，还包括以下步骤：音频感知模块将采集到的第一音频信号传输至音频缓存模块，若第一音频信号出现的频率超过阈值，则将第一音频信号传输至音频分析模块。其中，阈值的取值可以是自定义的。
具体地，在音频感知模块采集了环境中的声源后，还会将这些声源所对应的第一音频信号发送至音频缓存模块，以供音频缓存模块判断是否有些声音是经常出现的。如果音频缓存模块发现某个声音的出现频率较高，则将该声音对应的第一音频信号发送至音频分析模块。这是因为，当某个声音经常出现时，大脑会对此声音产生疲劳，脑电波不会发生明显波动；因此，需要借助音频缓存模块来识别该声音，以便于音频追踪模块对该声音进行定位追踪。若脑电波检测模块没有检测到脑电波波动，同时音频缓存模块没有发现高频出现的声音，则音频感知模块进入待机状态，节省电源的消耗。
第三方面，根据本发明实施例的耳机，通过采取上述的动态音频追踪***，能够在不影响用户佩戴耳机听音乐的情况下，实时监测外界环境中的声音，并对这些声音的距离、方向、种类和重要程度进行准确地判别，从而帮助用户对自己感兴趣的声源进行动态定位追踪，以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动，避免错过重要信息。
第四方面，应当认识到，本发明实施例中的上述动态音频感知追踪方法的步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
在本说明书的描述中，参考术语“一个实施例”、“进一步实施例”、“一些具体实施例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种动态音频感知追踪***，其特征在于，包括：
音频感知模块，用于采集环境中的不同声源所分别对应的第一音频信号，并对所述第一音频信号进行滤波和放大处理后，传输至耳朵；
脑电波检测模块，用于检测人脑对于每个所述第一音频信号的脑电波变化，以获取人脑感兴趣的第二音频信号；
音频分析模块，用于对所述第二音频信号的波形进行切片和特征提取，并进行标记，以及判断每个所述第二音频信号的优先级别；
音频追踪模块，用于按照优先级别分别对每个所述第二音频信号所对应的所述声源进行定位追踪。
2.根据权利要求1所述的动态音频感知追踪***，其特征在于，还包括音频缓存模块，所述音频缓存模块用于存储所述第一音频信号，并将出现频率高于阈值的所述第一音频信号传输至所述音频分析模块。
3.根据权利要求1或2所述的动态音频感知追踪***，其特征在于，所述音频感知模块包括依次电性连接的第一音频信号滤波器、音频信号采集器和音频信号放大器。
4.根据权利要求1或2所述的动态音频感知追踪***，其特征在于，所述脑电波检测模块包括依次电性连接的检测电极、电流计时器、脑电信号放大器、脑电频率计数器、控制器和第二音频信号滤波器。
5.根据权利要求1或2所述的动态音频感知追踪***，其特征在于，所述音频追踪模块包括六轴惯性传感器。
6.一种动态音频感知追踪方法，基于如权利要求1-5任一项所述的动态音频感知追踪***，其特征在于，包括以下步骤：
采集环境中的不同声源所分别对应的第一音频信号，并对所述第一音频信号进行滤波和放大后，传输至耳朵；
检测人脑对于每个所述第一音频信号的脑电波的变化，以获得人脑感兴趣的第二音频信号；
对所述第二音频信号进行切片和特征提取，并进行标记，以及判断每个所述第二音频信号的优先级别；
按照优先级别，分别对每个所述第二音频信号所对应的所述声源进行定位追踪。
7.根据权利要求6所述的动态音频感知追踪方法，其特征在于，还包括以下步骤：
音频感知模块将所述第一音频信号传输至音频缓存模块；
若所述第一音频信号出现的频率超过阈值，则所述音频缓存模块将所述第一音频信号传输至音频分析模块。
8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求6至7中任一项所述的动态音频感知追踪方法。
9.一种耳机，其特征在于，包括如权利要求1至5中任一项所述的动态音频感知追踪***。
CN202111082292.4A 2021-09-15 2021-09-15 动态音频感知追踪***和方法、存储介质、耳机 Active CN113782058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111082292.4A CN113782058B (zh) 2021-09-15 2021-09-15 动态音频感知追踪***和方法、存储介质、耳机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082292.4A CN113782058B (zh) 2021-09-15 2021-09-15 动态音频感知追踪***和方法、存储介质、耳机

Publications (2)

Publication Number Publication Date
CN113782058A true CN113782058A (zh) 2021-12-10
CN113782058B CN113782058B (zh) 2023-07-18

Family

ID=78844197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082292.4A Active CN113782058B (zh) 2021-09-15 2021-09-15 动态音频感知追踪***和方法、存储介质、耳机

Country Status (1)

Country Link
CN (1) CN113782058B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682761A (zh) * 2011-03-12 2012-09-19 谢津 个性化的声音处理***和设备
US20150326965A1 (en) * 2014-01-17 2015-11-12 Okappi, Inc. Hearing assistance systems configured to detect and provide protection to the user from harmful conditions
CN105534521A (zh) * 2016-01-28 2016-05-04 南京邮电大学 基于定位的脑电实时监测控制***及方法
CN107864440A (zh) * 2016-07-08 2018-03-30 奥迪康有限公司 包括eeg记录和分析***的助听***
US20200007993A1 (en) * 2018-06-27 2020-01-02 Google Llc Augmented environmental awareness system
CN111671399A (zh) * 2020-06-18 2020-09-18 清华大学 噪声感知强度的测量方法、装置和电子设备
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN113069125A (zh) * 2021-03-18 2021-07-06 上海趣立信息科技有限公司 基于脑电波和眼动追踪的头戴设备控制***、方法及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682761A (zh) * 2011-03-12 2012-09-19 谢津 个性化的声音处理***和设备
US20150326965A1 (en) * 2014-01-17 2015-11-12 Okappi, Inc. Hearing assistance systems configured to detect and provide protection to the user from harmful conditions
CN105534521A (zh) * 2016-01-28 2016-05-04 南京邮电大学 基于定位的脑电实时监测控制***及方法
CN107864440A (zh) * 2016-07-08 2018-03-30 奥迪康有限公司 包括eeg记录和分析***的助听***
US20200007993A1 (en) * 2018-06-27 2020-01-02 Google Llc Augmented environmental awareness system
CN111671399A (zh) * 2020-06-18 2020-09-18 清华大学 噪声感知强度的测量方法、装置和电子设备
CN112353391A (zh) * 2020-10-22 2021-02-12 武汉理工大学 一种基于脑电信号的汽车车内声音品质识别方法及装置
CN113069125A (zh) * 2021-03-18 2021-07-06 上海趣立信息科技有限公司 基于脑电波和眼动追踪的头戴设备控制***、方法及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FLORIAN D: ""Event-Related Potentials Measured From In and Around the Ear Electrodes Integrated in a Live Hearing Device for Monitoring Sound Perception"", 《 TRENDS IN HEARING》 *

Also Published As

Publication number Publication date
CN113782058B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
EP3447648B1 (en) Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
KR101250929B1 (ko) 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기
US20150305426A1 (en) Bicycle helmet with integrated electronics
WO2015154445A1 (zh) 一种语音识别的方法及移动终端
US8723691B2 (en) Pedestrian safety system
CN103810817A (zh) 一种穿戴式人体瘫倒检测报警装置及应用
CN109965889B (zh) 一种利用智能手机扬声器和麦克风的疲劳驾驶检测方法
KR101250951B1 (ko) 위험요소 감지 기능을 가지는 양귀 삽입형 보청기 및 이를 이용한 위험요소 감지 시스템
CN112866876A (zh) Tws耳机的入耳检测方法、tws耳机和计算机可读存储介质
US20220159389A1 (en) Binaural Hearing System for Identifying a Manual Gesture, and Method of its Operation
CN111462454A (zh) 一种提醒方法、装置、设备及存储介质
JP2016111393A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20230051613A1 (en) Systems and methods for locating mobile electronic devices with ear-worn devices
CN113782058B (zh) 动态音频感知追踪***和方法、存储介质、耳机
CN105516891A (zh) 一种车载终端与可穿戴设备互联的预警方法及***
CN104956690A (zh) 一种为在用耳适配声音信号的***
US11722813B2 (en) Situational awareness, communication, and safety for hearing protection devices
US20240046773A1 (en) Communication device, communication method, communication system, and program
CN104680753A (zh) 一种基于无线传感技术的人体跌倒检测***
CN113965880A (zh) 一种无线耳机查找方法、装置及电子设备
CN113763682A (zh) 终端的安全告警方法、移动设备、电子设备以及存储介质
GB2607774A (en) Method and system for identifying one of a ball impact and a custom tap
US20230381025A1 (en) Situational awareness, communication, and safety in hearing protection and communication systems
CN110677372A (zh) 一种实时预警及报警***
CN216119020U (zh) 耳机报警***及耳机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant