CN117075840B - 基于生理信号的音量自适应控制方法及装置、设备、介质 - Google Patents
基于生理信号的音量自适应控制方法及装置、设备、介质 Download PDFInfo
- Publication number
- CN117075840B CN117075840B CN202311323969.8A CN202311323969A CN117075840B CN 117075840 B CN117075840 B CN 117075840B CN 202311323969 A CN202311323969 A CN 202311323969A CN 117075840 B CN117075840 B CN 117075840B
- Authority
- CN
- China
- Prior art keywords
- target
- value
- volume
- attention
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003595 spectral effect Effects 0.000 claims description 37
- 238000005259 measurement Methods 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 claims description 32
- 230000007613 environmental effect Effects 0.000 claims description 22
- 210000004556 brain Anatomy 0.000 claims description 18
- 238000013145 classification model Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 238000013210 evaluation model Methods 0.000 claims description 7
- 230000036649 mental concentration Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000009826 distribution Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002301 combined effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 101100136727 Caenorhabditis elegans psd-1 gene Proteins 0.000 description 1
- 206010013082 Discomfort Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 101150071716 PCSK1 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000001544 dysphoric effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Human Computer Interaction (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Biology (AREA)
- Social Psychology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
Abstract
本发明属于智能控制技术领域,公开了一种基于生理信号的音量自适应控制方法及装置、设备、介质,通过对用户脑电信号特征提取注意力指标和精神集中度指标,以及对环境噪声特征提取噪声功率谱和噪声大小特征值,将注意力指标、精神集中度指标和噪声功率谱,输入模型评估用户注意力值和疲劳测量值,结合噪声大小特征值计算音量基础控制量,先对音量基础控制量进行调整,再根据用户注意力值进一步修正获得最终音量控制参数,从而可以根据用户实时注意力、疲劳状态和环境噪声变化主动调节音量,实现音量自适应控制,同时先根据用户疲劳测量值进行整体大范围调整,再结合用户注意力值进行微调,实现局部优化,能够提高音量控制的平稳性和精准性。
Description
技术领域
本发明属于智能控制技术领域,具体涉及一种基于生理信号的音量自适应控制方法及装置、设备、存储介质。
背景技术
随着科技的发展,人机交互的智能化成为重要趋势。在音频设备使用过程中,音量大小对用户体验有重要影响。过高的音量会干扰注意力,而过低的音量又会使人分心。传统的音量控制方法主要采用手动方式,用户需要自行调节音量大小。这种方法需要频繁操作调节,且采用固定音量的方式,无法自适应实时调整,缺乏灵活性,无法适应不同环境。
为实现音量的智能化控制,一些现有技术采用检测环境噪声来调整音量,但这种方法忽略了用户自身状态的变化,即无法适应用户生理和心理状态的变化,无法实现智能化的人机交互。
近年来,随着脑电信号检测技术的进步,能够通过脑电波分析用户意图,为智能音量控制提供新的手段。但现有技术中,利用脑电信号实现智能音量控制的方案,但是脑电活动可因人体所处状态不同而有明显差异,导致音量调整幅度变化较大,从而存在音量控制不够平稳和精准的问题。
发明内容
本发明的目的在于提供一种基于生理信号的音量自适应控制方法及装置、设备、存储介质,可以基于用户注意力、疲劳状态和环境噪声,实现音量自适应控制,同时能够提高音量控制的平稳性和精准性。
本发明第一方面公开一种基于生理信号的音量自适应控制方法,包括:
实时获取用户脑电信号和环境噪声;
对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标;
对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值;
将所述注意力指标、所述精神集中度指标和所述噪声功率谱,输入预先训练的评估模型,获得用户注意力值和疲劳测量值;
根据所述用户注意力值、所述疲劳测量值和所述噪声大小特征值,计算音量基础控制量;
获取目标阈值,根据所述疲劳测量值和所述目标阈值,确定目标减量;
根据所述目标减量对所述音量基础控制量进行调整获得第一控制参数;
根据所述用户注意力值,确定目标控制量;其中,所述目标控制量对应的音量绝对值小于所述目标减量的音量绝对值;
根据所述目标控制量对第一控制参数进行修正,获得第二控制参数;
根据所述第二控制参数,调整音量。
在一些实施例中,所述获取目标阈值,包括:
获取所述用户脑电信号在距离当前时刻最近的k1个采集时刻的目标功率谱密度;其中,k1为正整数;
利用预先训练的贝叶斯分类模型,根据每个所述采集时刻的目标功率谱密度计算对应的疲劳概率;
根据k1个所述采集时刻对应的疲劳概率,计算动态阈值作为目标阈值。
在一些实施例中,根据k1个所述采集时刻对应的疲劳概率,计算动态阈值作为目标阈值,包括:
计算k1个采集时刻的疲劳概率的平均值;
根据所述平均值,计算动态阈值作为目标阈值。
在一些实施例中,所述贝叶斯分类模型的训练过程包括:
根据指定历史时段内的历史脑电信号,提取得到指定历史时段内的各个采样点的历史功率谱密度作为样本数据;
计算每个所述样本数据与基准功率谱密度的比率;
根据所述比率,确定每个所述样本数据的标签信息;
根据每个样本数据及其标签信息构建训练数据集,拟合贝叶斯分类模型。
在一些实施例中,根据所述疲劳测量值和所述目标阈值确定目标减量,包括:
计算所述疲劳测量值减去所述目标阈值得到的目标差值;
根据所述目标差值确定目标减量。
在一些实施例中,根据所述用户注意力值,确定目标控制量,包括:
控制滑动窗口以预设时间间隔滑动读取所述用户注意力值,在每次窗口更新时,计算当前窗口内的用户注意力值的统计特征;
根据所述滑动窗口内的统计特征,确定目标控制量。
在一些实施例中,所述统计特征包括注意力平均值、标准差、线性回归斜率;根据所述滑动窗口内的统计特征确定目标控制量,包括:
当最新的指定数量个连续的滑动窗口的注意力平均值均大于第一阈值且标准差均小于第二阈值时,确定目标控制量为减少1级;其中,1级相当于第一控制参数对应的音量的10%;
当最新的指定数量个连续的滑动窗口的线性回归斜率均大于第三阈值时,确定目标控制量为减少1级;
当最新的指定数量个连续的滑动窗口的注意力平均值均小于第四阈值时,确定目标控制量为增加1级。
本发明第二方面公开一种基于生理信号的音量自适应控制装置,包括:
信息获取单元,用于实时获取用户脑电信号和环境噪声;
第一提取单元,用于对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标;
第二提取单元,用于对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值;
评估单元,用于将所述注意力指标、所述精神集中度指标和所述噪声功率谱,输入预先训练的评估模型,获得用户注意力值和疲劳测量值;
计算单元,用于根据所述用户注意力值、所述疲劳测量值和所述噪声大小特征值,计算音量基础控制量;
阈值获取单元,用于获取目标阈值;
第一确定单元,用于根据所述疲劳测量值和所述目标阈值,确定目标减量;
调整单元,用于根据所述目标减量对所述音量基础控制量进行调整获得第一控制参数;
第二确定单元,用于根据所述用户注意力值,确定目标控制量;其中,所述目标控制量对应的音量绝对值小于所述目标减量的音量绝对值;
修正单元,用于根据所述目标控制量对第一控制参数进行修正,获得第二控制参数;
控制单元,用于根据所述第二控制参数,调整音量。
在一些实施例中,所述阈值获取单元包括以下子单元:
获取子单元,用于获取所述用户脑电信号在距离当前时刻最近的k1个采集时刻的目标功率谱密度;其中,k1为正整数;
预测子单元,用于利用预先训练的贝叶斯分类模型,根据每个所述采集时刻的目标功率谱密度计算对应的疲劳概率;
计算子单元,用于根据k1个所述采集时刻对应的疲劳概率,计算动态阈值作为目标阈值。
进一步的,所述计算子单元,具体用于计算k1个采集时刻的疲劳概率的平均值;根据所述平均值,计算动态阈值作为目标阈值。
进一步的,所述阈值获取单元还包括:训练子单元,用于根据指定历史时段内的历史脑电信号,提取得到指定历史时段内的各个采样点的历史功率谱密度作为样本数据;计算每个所述样本数据与基准功率谱密度的比率;根据所述比率,确定每个所述样本数据的标签信息;根据每个样本数据及其标签信息构建训练数据集,拟合贝叶斯分类模型。
在一些实施例中,所述第一确定单元,具体用于计算所述疲劳测量值减去所述目标阈值得到的目标差值;根据所述目标差值确定目标减量。
在一些实施例中,所述第二确定单元包括以下子单元:
统计子单元,用于控制滑动窗口以预设时间间隔滑动读取所述用户注意力值,在每次窗口更新时,计算当前窗口内的用户注意力值的统计特征;
确定子单元,用于根据所述滑动窗口内的统计特征,确定目标控制量。
进一步的,所述统计特征包括注意力平均值、标准差、线性回归斜率;所述确定子单元,具体用于在当最新的指定数量个连续的滑动窗口的注意力平均值均大于第一阈值且标准差均小于第二阈值时,确定目标控制量为减少1级;其中,1级相当于第一控制参数对应的音量的10%;以及,在最新的指定数量个连续的滑动窗口的线性回归斜率均大于第三阈值时,确定目标控制量为减少1级;以及,在最新的指定数量个连续的滑动窗口的注意力平均值均小于第四阈值时,确定目标控制量为增加1级。
本发明第三方面公开一种电子设备,包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行第一方面公开的基于生理信号的音量自适应控制方法。
本发明第四方面公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行第一方面公开的基于生理信号的音量自适应控制方法。
本发明的有益效果在于,通过对用户脑电信号特征提取注意力指标和精神集中度指标,以及对环境噪声特征提取噪声功率谱和噪声大小特征值,将注意力指标、精神集中度指标和噪声功率谱,输入模型评估用户注意力值和疲劳测量值,结合噪声大小特征值计算音量基础控制量,先对音量基础控制量进行调整,再根据用户注意力值进一步修正获得最终音量控制参数,从而可以根据用户实时注意力、疲劳状态和环境噪声变化主动调节音量,实现音量自适应控制,同时先根据用户疲劳测量值进行整体大范围调整,再结合用户注意力值进行微调,实现局部优化,能够提高音量控制的平稳性和精准性。
附图说明
此处的附图,示出了本发明所述技术方案的具体实例,并与具体实施方式构成说明书的一部分,用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义,不同附图中,相同的附图标记代表相同或相似的技术特征,对于相同或相似的技术特征,也可能会采用不同的附图标记进行表示。
图1是本发明实施例公开的一种基于生理信号的音量自适应控制方法的流程图;
图2是本发明实施例公开的一种基于生理信号的音量自适应控制装置的结构示意图;
图3是本发明实施例公开的一种电子设备的结构示意图。
附图标记说明:
201、信息获取单元;202、第一提取单元;203、第二提取单元;204、评估单元;205、计算单元;206、阈值获取单元;207、第一确定单元;208、调整单元;209、第二确定单元;210、修正单元;211、控制单元;301、存储器;302、处理器。
具体实施方式
为了便于理解本发明,下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义,本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下,本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分,不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是,当元件被认为“固定于”另一个元件,它可以是直接固定在另一个元件上,也可以是存在居中的元件;当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件,也可以是同时存在居中元件;当一个元件被认为是“安装在”另一个元件,它可以是直接安装在另一个元件,也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件,它可以是直接设在另一个元件,也可以是同时存在居中元件。
除非特别说明或另有定义,本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容,该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的,也可以是相似的。此外,本文所使用的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开一种基于生理信号的音量自适应控制方法,该方法可以通过计算机编程实现。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑或智能耳机等可播放音频的电子设备,或内嵌于电子设备中的基于生理信号的音量自适应控制装置,本发明对此不作限定。在本实施例中,以电子设备为例进行阐述。
如图1所示,该方法包括以下步骤110~190:
110、实时获取用户脑电信号和环境噪声。
在本发明实施例中,电子设备可以与智能耳机通信连接,并通过智能耳机采集用户脑电信号。具体的,在智能耳机中设置有脑电传感器,该脑电传感器使用浮体式干电极,可以减少头皮准备和接触阻抗。传感器数量采用8导联配置,可以提供额叶区域更全面的脑电覆盖。控制芯片采用低功耗的ADS1299芯片,支持24位信号采集分辨率。信号采集参数中,采样率设置为250Hz,根据奈奎斯特采样定理,可以重构脑电中主要的认知相关频段;动态范围设置为±250μV,满足脑电信号的动态测量范围;量化位宽设置为24 bit。采集脑电信号数字化后通过蓝牙4.0传输到配置有信号分析***的电子设备。为减少通信能耗,可以在脑电传感器上做数据压缩,例如将脑电信号压缩成RLE编码,再通过蓝牙发送,数据包大小约20kb/s。
进一步的,电子设备接收用户脑电信号之后,还可以对用户脑电信号进行预处理,用于后续特征提取。包括以下未图示的步骤111~113:
111、去趋势:使用基线校正方法,从原始的用户脑电信号中减去全段信号的平均值,这可以消除信号本身的漂移,也可以减轻运动造成的趋势影响。
112、滤波:采用带通滤波器,通带在0.5-40 Hz,可以保留用户脑电信号中主要的节律成分;在50Hz附近设计一个陷波器,中心频率为50Hz,带阻为2Hz,可以有效消除工频干扰;使用线性相位FIR滤波器,防止引入时域波形的畸变。
113、去伪迹:对EOG等生理伪迹进行监测,当振幅超过阈值时,使用相应通道的回归法去除其影响。通过独立成分分析,提取与任务无关的特征成分,对此冗余特征进行消除。去伪迹后重新校正基线,保证信号稳定性。
在本发明实施例中,可以使用智能耳机的麦克风采集环境噪声。麦克风选择小型MEMS麦克风,体积小,易于集成在耳机中。频响应范围设置为20Hz-20KHz,满足人声和环境噪声频段覆盖需求;灵敏度设置为≥-42dB,可以采集40dB以上的低强度噪声。设计低噪声的前置放大和滤波电路作为麦克风接口电路,可以提升信噪比;使用支持至少16bit、48KHz采样的ADC芯片,从而支持至少16bit、48KHz采样;配置自动增益控制(Auto Gain Control,AGC)模块,可以扩充采集动态范围。以48KHz、16bit采样环境噪声,满足奈奎斯特采样定理要求;添加时域自适应滤波,减少风噪声等的影响;对采集的噪声信号进行FFT,提取频谱特征。信号采集后通过蓝牙以48kbps的数据速率实时传输到电子设备,可配置可变数据包大小,平衡传输效率与能耗。
进一步的,电子设备接收环境噪声之后,还可以对环境噪声进行预处理,,用于后续特征提取。具体包括:根据语音基本周期长度,选取适当的分割长度,这里设置为5ms,太长会造成声音变化的时间分辨率降低,太短又会减少信号采样点,导致频谱分辨率下降。将环境噪声以该分割长度分割为多个噪声片段,对每个噪声片段分别加汉宁窗,窗函数包含主瓣和旁瓣,可以平滑切割造成的频谱泄漏,窗长度与噪声片段长度相同,以充分发挥窗函数作用;采用零相位FIR高通滤波器,截止频率设为50Hz,消除噪声片段中的直流分量,防止偏移快速傅立叶变换(fast Fourier transform,FFT)频谱,零相位设计确保不引入时域波形的畸变。
120、对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标。
α波频率范围约为8-13Hz,主要分布在顶叶和枕叶区域。当注意力集中和放松时,α波幅度和同步性会增加。因此在本发明实施例中,注意力指标可具体为α波发放率,通过分析用户脑电信号中的α波得到。具体可以设计通带8-13Hz、阶数为8的巴特沃斯(Butterworth)带通滤波器,计算滤波后α波在枕叶区不同电极的功率谱矩阵,通过波峰计数算法从功率谱矩阵中提取α波发放率作为注意力指标。
β波频率范围约为13-30Hz,主要出现在前额叶区域,β波反映脑皮层的活动和兴奋状态。当精神集中和注意力增强时,β波强度会升高。因此在本发明实施例中,精神集中度指标可具体为β波功率谱峰值,通过分析用户脑电信号中的β波得到。具体可以设计通带13-30Hz的Butterworth带通滤波器,在Fp1、Fp2电极提取β波,采样频率为128Hz,通过短时傅立叶变换分析β波的时频功率谱,取时频功率谱峰值作为精神集中度指标。
130、对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值N。
对每个5ms噪声片段施加2048点快速傅立叶变换FFT,其中2048点满足解析频率达到约100Hz的要求,使用FFT算法,复杂度可降至O(nlogn);对FFT结果取复数的模平方,得到每个频点的能量,再取对数,转化为以分贝(dB)为单位的噪声功率谱,噪声功率谱反映噪声在不同频率分量的强度分布;按标准领域划分获得目标频带,例如20-300Hz为环境噪声区,对目标频带内的功率强度谱进行累加,得到目标频带内的总响度,表示噪声强度特征;平均每秒内所有噪声片段的响度,获得当前环境噪声的平均响度A,表示该时间段内的环境噪声强度。根据以下公式(1)映射到0-1范围,提取作为噪声大小特征值N。
N = (A - N0) / (Amax - N0) (1)
其中,A 代表当前环境噪声的平均响度;N0代表无噪声环境下的平均响度基线;Amax 代表可能测得的最大环境噪声平均响度;(A - N0) 代表当前噪声强度相对于无噪声状态的增量;(Amax - N0) 代表从无噪声到最大环境噪声的整个响度变化范围。
140、将注意力指标、精神集中度指标和噪声功率谱,输入预先训练的评估模型,获得用户注意力值Att和疲劳测量值Fat。
其中,评估模型采用双层长短期记忆(Long Short Term Memory,LSTM)网络结构。输入层包含三类特征:注意力指标(即α波发放率)、精神集中度指标(即β波功率谱峰值)和噪声功率谱。α波发放率反映注意力水平,其数据来源于后头顶部电极,范围在0-100Hz之间。β波功率谱峰值反映精神集中状态,其数据来自额叶电极,范围在0-10μV。噪声功率谱具有10个频带功率特征,每个特征范围在0-1,数据源自耳机采集的环境噪声。第一层LSTM包含128个神经元,输入维度为12维,对应三类输入特征,输出维度为128维。第二层LSTM包含64个神经元,输入连接上一层的128维输出,最终输出维度为64维。输出层包含注意力值Att和疲劳测量值Fat两个节点,均为1维输出,范围在0-1之间,使用sigmoid激活函数,可以评估出0-1范围内的连续注意力水平和疲劳程度。具体的,sigmoid激活函数的公式如下式(2):
(2)
其中,x为LSTM网络层的输出。当x趋近正无穷大时,趋近0,于是σ(x)趋近1,表示最大注意力水平和最大疲劳程度;当x趋近负无穷大时,e^-x趋近正无穷大,于是σ(x)趋近0,表示最小注意力水平和最小疲劳程度;当x取中间时,σ(x)位于0到1之间,表示连续的注意力水平和疲劳程度。因此,将LSTM网络层的输出x传到sigmoid函数中,就可以将注意力水平和疲劳程度映射到0-1范围中的连续值。sigmoid能够很好地表示注意力这个连续变量,利用其S形函数特性,完成从网络复杂计算结果到0-1概率值的转换。
150、根据用户注意力值Att、疲劳测量值Fat和噪声大小特征值N,计算音量基础控制量VC。
具体的,通过以下公式(3)计算音量基础控制量VC:
(3)
式中,Att表示注意力值,范围0-1;Fat表示疲劳测量值,范围0-1;N 表示环境噪声大小特征值(标量);w1-w3、w5表示可学***滑和准确的音量控制结果,使音量控制对注意力和疲劳状态的反应更加灵敏和智能。
160、获取目标阈值,根据疲劳测量值Fat和目标阈值确定目标减量,根据目标减量对音量基础控制量VC进行调整获得第一控制参数。
在一些实施例中,步骤160中的目标阈值可以是预设的固定阈值。或者优选的,在本实施例中,目标阈值可以是根据用户脑电信号而确定的动态阈值。具体的,当目标阈值为动态阈值时,获取目标阈值的方式具体可以包括以下未图示的步骤1601~1603:
1601、获取用户脑电信号在距离当前时刻t最近的k1个采集时刻的目标功率谱密度。
其中,采集时刻i指的是用户脑电信号的采集时刻,可根据用户脑电信号的采集频率确定。定义一个时间窗口v,包含最近的k1个采集时刻:{t, t-1, ..., t-k1+1},k1为正整数。在窗口v内,计算每个采集时刻i的目标功率谱密度,例如对于当前时刻t,通过获取当前时刻t的位于国际10-20***定义的枕叶区域的O1, O2电极位置的当前脑电信号,分析α波的时域波形和频谱功率密度。对每段2秒的用户脑电信号进行带通滤波,设计通带为8-13Hz的巴特沃斯(Butterworth)滤波器,提取α波分量,分别计算滤波后的O1和O2电极信号的功率谱密度,获得当前功率谱密度PSD_t。
1602、利用预先训练的贝叶斯分类模型,根据每个采集时刻的目标功率谱密度计算对应的疲劳概率。
对于每个采集时刻的目标功率谱密度,都单独输入贝叶斯分类模型,计算对应于该采集时刻的疲劳概率。例如当前时刻t,从预先训练的贝叶斯分类模型中取出条件概率分布参数:P(PSD|HF)、P(PSD|NL)以及类先验概率P(HF)、P(NL)。将当前功率谱密度PSD_t代入P(PSD|HF)和P(PSD|NL),计算P(PSD_t|HF)和P(PSD_t|NL)。将上述参数代入贝叶斯规则:,最终得到PSD_t对应的疲劳概率P(HF|PSD_t)。
其中,贝叶斯分类模型的训练过程可以包括以下未图示的步骤S11~S14:
S11、根据指定历史时段内的历史脑电信号,提取得到指定历史时段内的各个采样点的历史功率谱密度PSD_j作为样本数据。
其中,指定历史时段可为设定的时间窗口,时间窗口需要足够长,可以收集到充分的样本数,用于提取疲劳特征的统计分布参数,但时间窗口不能设置太长,过长的时间范围无法反映近期的疲劳变化趋势。优选的,取最近5-10分钟作为指定历史时段。历史时刻j为指定历史时段内的采样点,可根据预设采样频率确定j的取值。总共从指定历史时段内取n个历史时刻j,j=1,2,3,…,n。
具体的,历史功率谱密度PSD_j的计算方式与当前功率谱密度PSD_t相同,具体为,获取历史时刻j的位于国际10-20***定义的枕叶区域的O1, O2电极位置的历史脑电信号,分析α波的时域波形和频谱功率密度。对每段2秒的历史脑电信号进行带通滤波,设计通带为8-13Hz的巴特沃斯(Butterworth)滤波器,提取α波分量,分别计算滤波后的O1和O2电极信号的功率谱密度,获得历史功率谱密度PSD_j。
S12、计算每个样本数据与基准功率谱密度的比率。
其中,基准功率谱密度指的是用户正常状态下α波的功率谱密度基准值,表示为PSD_normal,可以在***初始化或训练过程中,提取用户在正常状态下的脑电信号计算得到。具体的,通过以下公式(4)计算PSD_j与基准PSD_normal的比率ratio_j:
ratio_j = PSD_j/ PSD_normal(4)
式中,ratio_j反映了历史功率谱密度PSD_j相对于正常状态下的增强程度。
S13、根据每个样本数据的比率ratio_j,确定每个样本数据的标签信息。
ratio_j作为判定历史时刻j是否疲劳的特征之一。如果ratio_j大于预设阈值τ(如15%),则样本标签yj=1,表示疲劳状态;否则yj=0,表示正常状态。
S14、根据每个样本数据及其标签信息构建训练数据集,拟合贝叶斯分类模型。
假设功率谱密度(power spectral density, PSD)服从正态分布,步骤S14具体可以包括以下未图示的步骤S1401~S1404:
S1401、计算训练数据集{(PSD_1,y1),...,(PSD_n,yn)}中,PSD在疲劳状态(HF)和正常状态(NL)下的样本均值与方差:
μHF =平均(PSD|HF) ;σ2HF = var(PSD|HF)。
μNL = 平均(PSD|NL) ;σ2NL = var(PSD|NL)。
其中,μHF表示疲劳状态下(HF)的历史功率谱密度PSD_i的平均值(mean)。σ2HF表示疲劳状态下历史功率谱密度PSD_i的方差(variance),表示在疲劳状态下,功率谱密度的变化程度和离均值的偏离程度。平均值(mean)是描述一组数据集中值的分布中心趋势的一种统计参数。比如一组数据 x1, x2, ..., xn,其平均值计算公式为:μ = (x1 + x2 + ...+ xn) / n。方差(variance)是描述一组数据集中值离平均值的偏离程度的一种统计参数。计算公式为:σ2 = Σ(xi - μ)2 / n 这里μ是平均值。
S1402、根据样本均值与方差,按照正态分布公式计算PSD在疲劳状态下和正常状态下的条件概率分布。
其中,疲劳状态下的条件概率分布表示为P(PSD|HF) = N(μHF,σ2HF) ;正常状态下的条件概率分布表示为P(PSD|NL) = N(μNL,σ2NL)。
S1403、根据疲劳状态下和正常状态下的样本数,计算疲劳状态下和正常状态下的先验概率。
其中,疲劳状态下的先验概率表示为P(HF) =HF样本数 / 总样本数;正常状态下的先验概率表示为P(NL) = NL样本数 / 总样本数。
S1404、将条件概率分布和先验概率代入贝叶斯规则进行训练,得到贝叶斯分类模型。
1603、根据k1个采集时刻对应的疲劳概率,计算动态阈值作为目标阈值。
具体的,步骤1603可以包括以下未图示的步骤S21~S22:
S21、计算k1个采集时刻的疲劳概率的平均值。
每个采集时刻i的疲劳概率P(HF|PSD_i), i = t, t-1, ..., t-k1+1。计算窗口v内k1个采集时刻的疲劳概率之和:∑ P(HF|PSD_i), i = t, t-1, ..., t-k1+1。计算均值:avg_pH = (∑ P(HF|PSD_i)) / k1。其中,k1为预定义的最近时刻数量,v为基于k1确定的滑动窗口大小。最终获得最近k1个采集时刻的疲劳概率均值avg_pH。
S22、根据k1个采集时刻的疲劳概率的平均值avg_pH,计算动态阈值作为目标阈值。
其中,通过以下公式(5)计算得到动态阈值:
(5)
式中,α和β为可调参数,α取值范围建议为[0,1],当α=1时,完全依赖avg_pH; β可初始化为经验值,调节α和β的取值,可达到平衡avg_pH和基准阈值的效果。
通过实施步骤1601~1603,计算动态阈值作为目标阈值,可以更准确和平滑地跟踪疲劳变化,实现更智能和个性化的音量调节,相比固定阈值无法适应疲劳程度的动态变化的缺陷,动态阈值通过近期疲劳概率均值来更新,使目标阈值符合最近阶段的疲劳正常波动范围,不会由于个体差异造成错误检测,可以更准确地反映疲劳状态的变化趋势。而且,音量调整会随着疲劳趋势平滑变化,而不是固定阈值下的突然降低,可以进一步提高音量调整平滑度。
进一步的,步骤160中,根据疲劳测量值Fat和目标阈值确定目标减量,根据目标减量对音量基础控制量VC进行调整获得第一控制参数,可以包括以下未图示的步骤1604~1605:
1604、计算疲劳测量值Fat减去目标阈值得到的目标差值,根据目标差值确定目标减量。
在本发明实施例中,计算疲劳测量值Fat减去目标阈值得到目标差值Diff = Fat- Threshold_f(t)。然后根据目标差值确定目标减量。优选的,可以判断目标差值Diff 是否大于0;如果Diff>0,表示疲劳测量值Fat大于动态阈值Threshold_f(t),即Fat超过动态阈值,且目标差值Diff表示超出程度,则目标;否则,如果Diff<=0,则目标减量等于0。其中k2为常数。这样使用指数函数关系确定目标减量来调整音量,可以得到更平滑的曲线,音量变化不会太突兀。此外,人对声音强度的感知近似符合指数关系,这种转换更贴近人的感受,可以更好地模拟人的感知。
1605、将音量基础控制量VC减去目标减量得到第一控制参数。
当疲劳度测量值Fat超过阈值时,表示用户已经进入疲劳状态,这通常包括以下生理和心理特征:大脑区域活性降低,尤其是前额叶和顶叶区域活性降低明显;认知控制能力下降,注意力集中程度降低;情绪更易烦躁,小事也可能引发敏感;头痛、头晕等身体不适。在此疲劳状态下,如果音量过高,会进一步加重认知负荷,对已经衰弱的前额叶皮层造成额外刺激,无法有效过滤信息,从而可能加重头痛、焦虑等疲劳反应。相应的,适当降低音量可以达到以下积极效果:减轻认知负荷,不给疲劳的大脑带来额外刺激;维持平和稳定的情绪,避免疲劳状态下的情绪失控;有利于大脑区域活性的恢复,特别是前额叶皮层的休息;缓解头痛等身体不适反应。因此,第一音量控制参数 VC1= VC -目标减量。当目标减量等于0时,VC1=VC。
170、根据用户注意力值Att,确定目标控制量。其中,目标控制量对应的音量绝对值小于目标减量的音量绝对值。
可选的,步骤170具体可以包括以下未图示的步骤1701~1702:
1701、控制滑动窗口以预设时间间隔滑动读取用户注意力值,在每次窗口更新时,计算当前窗口内的用户注意力值的统计特征。
定义一个长度为30秒的滑动窗口,以5秒为移动步长持续更新窗口内的序列,窗口内记录由过去30秒内的用户注意力值组成的注意力评估值序列{Att1, Att2,...Att30};每隔5秒更新一次窗口内序列:淘汰最老的5个Att样本,加入最近5秒新产生的Att样本;在每次窗口更新时,计算当前窗口内Att序列的统计特征,包括注意力平均值μ、标准差σ、线性回归斜率k3。
其中, 注意力平均值μ的计算方式为,在每次窗口更新时,计算当前窗口内m个Att样本的算术平均值,公式为:μ=(ΣAtti)/m。这里ΣAtti表示窗口内所有Att样本的总和,m为Att样本数量,反映注意力整体水平。
标准差σ的计算方式为σ= sqrt{Σ(Atti - μ)2/m},也就是当前窗口内各个Att样本与平均值μ之差的平方和的算术平均数的平方根,用于反映注意力波动范围。
线性回归斜率k3的计算方式为,将窗口内m个Att样本的时间索引(1到m)作为自变量x,对应的Att样本值为因变量y;利用最小二乘法进行线性回归,拟合一条线性趋势线;求出此线性回归直线的斜率k3,k3反映了窗口内注意力样本的整体变化趋势。
1702、根据滑动窗口内的统计特征,确定目标控制量。
可选的,步骤1702具体可以包括以下未图示的步骤S31、S32和/或S33:
S31、如果最新的指定数量个连续的滑动窗口的注意力平均值μ均大于第一阈值且标准差均小于第二阈值,则确定目标控制量为减少1级。
其中,音量调节的最小单位设定为1级,假设总共有10级,1级相当于原始音量(即第一控制参数对应的音量)的10%。例如,如果在最近3次连续的窗口更新判断中,注意力平均值μ都满足>第一阈值th1(例如设定为0.8),并且标准差σ都满足<第二阈值th2(如设定为0.05),则判定注意力状态过分集中,需要进行积极干预,减小音量。
S32、如果最新的指定数量个连续的滑动窗口的线性回归斜率k3均大于第三阈值,则确定目标控制量为减少1级。
例如,如果在最近3次连续窗口更新判断中,线性回归斜率k3都满足>第三阈值th3(例如设定为0.05),则判定注意力持续上升,需要及时干预,减小音量。
综上,当判断出注意力过分集中或注意力持续上升时,将音量设置减少1级。例如原来音量为级别7,则将会调整为级别6。同时可以开启空间音效,音源在左右声道之间轮流切换,增加空间感知,分散注意力过度集中。
S33、如果最新的指定数量个连续的滑动窗口的注意力平均值μ均小于第四阈值,则确定目标控制量为增加1级。
例如,如果在最近3次窗口更新判断中,注意力平均值μ都满足<第四阈值th4(例如设定为0.4),则可以判定注意力过于涣散,需要提高音量集中注意力。当注意力过于涣散时,将音量设置增加1级。例如原来音量为级别5,则将会调整为级别6。同时可以适当增强音频的高频部分,增加音调的明亮度和清晰度,有助于集中注意力。
通过实施步骤S31~S33,上下调幅度设定为一级,以微弱的变化引导注意力回到适宜的区间,而不是剧烈影响注意力状态,可以保持音量对注意力的适度调节作用,避免音量调整过度,防止注意力过于集中或涣散。
180、根据目标控制量对第一控制参数进行修正,获得第二控制参数。
190、根据第二控制参数,调整音量。
根据第二控制参数VC2干预调整音量后,***将维持当前音量不变,持续5秒。5秒后,进入下一个长度为30秒的判断窗口,重复统计特征分析和干预判断。这样可以防止音量调节过于频繁,保证每次调节后有一个相对稳定的区间,然后再次判断。
综上所述,本发明实施例实现了音量的智能自适应控制,可以根据用户实时的注意力、疲劳状态和环境噪声变化主动调节音量,而不是固定的手动设置音量,大大提升了使用的智能化水平。在此基础上,本发明实施例还考虑到了疲劳度反映的是长时间的疲劳积累,变化相对缓慢,当超过阈值时会导致持续的注意力下降,影响调整幅度较大;而注意力容易受各种外界干扰影响,变化较为频繁,注意力下降往往具有短时特征,也即注意力对VC的影响较为局部和瞬时。因此在本发明实施例中,先根据用户疲劳测量值Fat进行整体大范围调整(减去较大的目标减量),再基于疲劳度调整后的VC1,结合用户注意力值Att进行微调(根据目标控制量修正)获得最终的控制参数VC2,实现局部优化,这样可以使音量控制既平稳又精准。本发明控制策略合理、流程顺畅,可以实时调整音量参数,既避免了音量过大对注意力造成干扰,也防止音量过小引起注意力涣散,显著提升了用户体验。
如图2所示,本发明实施例公开一种基于生理信号的音量自适应控制装置,包括信息获取单元201、第一提取单元202、第二提取单元203、评估单元204、计算单元205、阈值获取单元206、第一确定单元207、调整单元208、第二确定单元209、修正单元210、控制单元211,其中,
信息获取单元201,用于实时获取用户脑电信号和环境噪声;
第一提取单元202,用于对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标;
第二提取单元203,用于对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值;
评估单元204,用于将注意力指标、精神集中度指标和噪声功率谱,输入预先训练的评估模型,获得用户注意力值和疲劳测量值;
计算单元205,用于根据用户注意力值、疲劳测量值和噪声大小特征值,计算音量基础控制量;
阈值获取单元206,用于获取目标阈值;
第一确定单元207,用于根据疲劳测量值和目标阈值,确定目标减量;
调整单元208,用于根据目标减量对音量基础控制量进行调整获得第一控制参数;
第二确定单元209,用于根据用户注意力值,确定目标控制量;其中,目标控制量对应的音量绝对值小于目标减量的音量绝对值;
修正单元210,用于根据目标控制量对第一控制参数进行修正,获得第二控制参数;
控制单元211,用于根据第二控制参数,调整音量。
作为一种可选的实施方式,阈值获取单元206包括以下未图示的子单元:
获取子单元,用于获取用户脑电信号在距离当前时刻最近的k1个采集时刻的目标功率谱密度;其中,k1为正整数;
预测子单元,用于利用预先训练的贝叶斯分类模型,根据每个采集时刻的目标功率谱密度计算对应的疲劳概率;
计算子单元,用于根据k1个采集时刻对应的疲劳概率,计算动态阈值作为目标阈值。
进一步可选的,计算子单元,具体用于计算k1个采集时刻的疲劳概率的平均值;根据平均值,计算动态阈值作为目标阈值。
进一步可选的,阈值获取单元206还包括未图示的训练子单元,用于根据指定历史时段内的历史脑电信号,提取得到指定历史时段内的各个采样点的历史功率谱密度作为样本数据;计算每个样本数据与基准功率谱密度的比率;根据比率,确定每个样本数据的标签信息;根据每个样本数据及其标签信息构建训练数据集,拟合贝叶斯分类模型。
作为一种可选的实施方式,第一确定单元207,具体用于计算疲劳测量值减去目标阈值得到的目标差值;根据目标差值确定目标减量。
作为一种可选的实施方式,第二确定单元209包括以下未图示的子单元:
统计子单元,用于控制滑动窗口以预设时间间隔滑动读取用户注意力值,在每次窗口更新时,计算当前窗口内的用户注意力值的统计特征;
确定子单元,用于根据滑动窗口内的统计特征,确定目标控制量。
进一步可选的,统计特征包括注意力平均值、标准差、线性回归斜率;上述确定子单元,具体用于在当最新的指定数量个连续的滑动窗口的注意力平均值均大于第一阈值且标准差均小于第二阈值时,确定目标控制量为减少1级;其中,1级相当于第一控制参数对应的音量的10%;以及,在最新的指定数量个连续的滑动窗口的线性回归斜率均大于第三阈值时,确定目标控制量为减少1级;以及,在最新的指定数量个连续的滑动窗口的注意力平均值均小于第四阈值时,确定目标控制量为增加1级。
如图3所示,本发明实施例公开一种电子设备,包括存储有可执行程序代码的存储器301以及与存储器301耦合的处理器302;
其中,处理器302调用存储器301中存储的可执行程序代码,执行上述各实施例中描述的基于生理信号的音量自适应控制方法。
本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行上述各实施例中描述的基于生理信号的音量自适应控制方法。
以上实施例的目的,是对本发明的技术方案进行示例性的再现与推导,并以此完整的描述本发明的技术方案、目的及效果,其目的是使公众对本发明的公开内容的理解更加透彻、全面,并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举,在此之外,还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进,均属本发明的保护范围。
Claims (10)
1.基于生理信号的音量自适应控制方法,其特征在于,包括:
实时获取用户脑电信号和环境噪声;
对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标;
对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值;
将所述注意力指标、所述精神集中度指标和所述噪声功率谱,输入预先训练的评估模型,获得用户注意力值和疲劳测量值;
根据所述用户注意力值、所述疲劳测量值和所述噪声大小特征值,计算音量基础控制量;
获取目标阈值,所述目标阈值为预设的固定阈值,或者,所述目标阈值为根据所述用户脑电信号而确定的动态阈值;
根据所述疲劳测量值和所述目标阈值,确定目标减量;
根据所述目标减量对所述音量基础控制量进行调整获得第一控制参数;
根据所述用户注意力值,确定目标控制量;其中,所述目标控制量对应的音量绝对值小于所述目标减量的音量绝对值;
根据所述目标控制量对第一控制参数进行修正,获得第二控制参数;
根据所述第二控制参数,调整音量。
2.如权利要求1所述的基于生理信号的音量自适应控制方法,其特征在于,所述目标阈值为根据所述用户脑电信号而确定的动态阈值;所述获取目标阈值,包括:
获取所述用户脑电信号在距离当前时刻最近的k1个采集时刻的目标功率谱密度;其中,k1为正整数;
利用预先训练的贝叶斯分类模型,根据每个所述采集时刻的目标功率谱密度计算对应的疲劳概率;
根据k1个所述采集时刻对应的疲劳概率,计算动态阈值作为目标阈值。
3.如权利要求2所述的基于生理信号的音量自适应控制方法,其特征在于,根据k1个所述采集时刻对应的疲劳概率,计算动态阈值作为目标阈值,包括:
计算k1个采集时刻的疲劳概率的平均值;
根据所述平均值,计算动态阈值作为目标阈值。
4.如权利要求2所述的基于生理信号的音量自适应控制方法,其特征在于,所述贝叶斯分类模型的训练过程包括:
根据指定历史时段内的历史脑电信号,提取得到指定历史时段内的各个采样点的历史功率谱密度作为样本数据;
计算每个所述样本数据与基准功率谱密度的比率;
根据所述比率,确定每个所述样本数据的标签信息;
根据每个样本数据及其标签信息构建训练数据集,拟合贝叶斯分类模型。
5.如权利要求1至4任一项所述的基于生理信号的音量自适应控制方法,其特征在于,根据所述疲劳测量值和所述目标阈值确定目标减量,包括:
计算所述疲劳测量值减去所述目标阈值得到的目标差值;
根据所述目标差值确定目标减量。
6.如权利要求1至4任一项所述的基于生理信号的音量自适应控制方法,其特征在于,根据所述用户注意力值,确定目标控制量,包括:
控制滑动窗口以预设时间间隔滑动读取所述用户注意力值,在每次窗口更新时,计算当前窗口内的用户注意力值的统计特征;
根据所述滑动窗口内的统计特征,确定目标控制量。
7.如权利要求6所述的基于生理信号的音量自适应控制方法,其特征在于,所述统计特征包括注意力平均值、标准差、线性回归斜率;根据所述滑动窗口内的统计特征确定目标控制量,包括:
当最新的指定数量个连续的滑动窗口的注意力平均值均大于第一阈值且标准差均小于第二阈值时,确定目标控制量为减少1级;其中,1级相当于第一控制参数对应的音量的10%;
当最新的指定数量个连续的滑动窗口的线性回归斜率均大于第三阈值时,确定目标控制量为减少1级;
当最新的指定数量个连续的滑动窗口的注意力平均值均小于第四阈值时,确定目标控制量为增加1级。
8.基于生理信号的音量自适应控制装置,其特征在于,包括:
信息获取单元,用于实时获取用户脑电信号和环境噪声;
第一提取单元,用于对用户脑电信号进行特征提取,获得注意力指标和精神集中度指标;
第二提取单元,用于对环境噪声进行特征提取,获得噪声功率谱和噪声大小特征值;
评估单元,用于将所述注意力指标、所述精神集中度指标和所述噪声功率谱,输入预先训练的评估模型,获得用户注意力值和疲劳测量值;
计算单元,用于根据所述用户注意力值、所述疲劳测量值和所述噪声大小特征值,计算音量基础控制量;
阈值获取单元,用于获取目标阈值,所述目标阈值为预设的固定阈值,或者,所述目标阈值为根据所述用户脑电信号而确定的动态阈值;
第一确定单元,用于根据所述疲劳测量值和所述目标阈值,确定目标减量;
调整单元,用于根据所述目标减量对所述音量基础控制量进行调整获得第一控制参数;
第二确定单元,用于根据所述用户注意力值,确定目标控制量;其中,所述目标控制量对应的音量绝对值小于所述目标减量的音量绝对值;
修正单元,用于根据所述目标控制量对第一控制参数进行修正,获得第二控制参数;
控制单元,用于根据所述第二控制参数,调整音量。
9.电子设备,其特征在于,包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至7任一项所述的基于生理信号的音量自适应控制方法。
10.计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至7任一项所述的基于生理信号的音量自适应控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311323969.8A CN117075840B (zh) | 2023-10-13 | 2023-10-13 | 基于生理信号的音量自适应控制方法及装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311323969.8A CN117075840B (zh) | 2023-10-13 | 2023-10-13 | 基于生理信号的音量自适应控制方法及装置、设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117075840A CN117075840A (zh) | 2023-11-17 |
CN117075840B true CN117075840B (zh) | 2024-01-26 |
Family
ID=88719778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311323969.8A Active CN117075840B (zh) | 2023-10-13 | 2023-10-13 | 基于生理信号的音量自适应控制方法及装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117075840B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170026906A (ko) * | 2015-08-31 | 2017-03-09 | 한양대학교 에리카산학협력단 | 뇌파 측정부를 갖는 헤드폰 |
CN109862458A (zh) * | 2019-01-15 | 2019-06-07 | 浙江强脑科技有限公司 | 心理感知状态检测***及方法 |
CN111988704A (zh) * | 2019-05-21 | 2020-11-24 | 北京小米移动软件有限公司 | 声音信号处理方法、装置以及存储介质 |
US11128636B1 (en) * | 2020-05-13 | 2021-09-21 | Science House LLC | Systems, methods, and apparatus for enhanced headsets |
KR102370081B1 (ko) * | 2021-01-07 | 2022-03-03 | 서울과학기술대학교 산학협력단 | 뇌파 감지를 통한 음량 조정 헤드폰 |
WO2022042773A1 (zh) * | 2020-08-31 | 2022-03-03 | 荣耀终端有限公司 | 一种音频推送方法及音频推送*** |
CN115708689A (zh) * | 2022-10-26 | 2023-02-24 | 浙江柔灵科技有限公司 | 基于闭环干预的不同睡前音乐对睡眠效果影响的验证方法 |
-
2023
- 2023-10-13 CN CN202311323969.8A patent/CN117075840B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170026906A (ko) * | 2015-08-31 | 2017-03-09 | 한양대학교 에리카산학협력단 | 뇌파 측정부를 갖는 헤드폰 |
CN109862458A (zh) * | 2019-01-15 | 2019-06-07 | 浙江强脑科技有限公司 | 心理感知状态检测***及方法 |
CN111988704A (zh) * | 2019-05-21 | 2020-11-24 | 北京小米移动软件有限公司 | 声音信号处理方法、装置以及存储介质 |
US11128636B1 (en) * | 2020-05-13 | 2021-09-21 | Science House LLC | Systems, methods, and apparatus for enhanced headsets |
WO2022042773A1 (zh) * | 2020-08-31 | 2022-03-03 | 荣耀终端有限公司 | 一种音频推送方法及音频推送*** |
KR102370081B1 (ko) * | 2021-01-07 | 2022-03-03 | 서울과학기술대학교 산학협력단 | 뇌파 감지를 통한 음량 조정 헤드폰 |
CN115708689A (zh) * | 2022-10-26 | 2023-02-24 | 浙江柔灵科技有限公司 | 基于闭环干预的不同睡前音乐对睡眠效果影响的验证方法 |
Non-Patent Citations (1)
Title |
---|
基于脉搏传感测值和主成分分析对精神疲劳状态的识别;任亚莉;;中国组织工程研究(44);第8251-8255页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117075840A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5577449B2 (ja) | 脳波検出に適する補聴器およびそのような補聴器を適応する方法 | |
CN108681396B (zh) | 基于脑-肌电双模态神经信号的人机交互***及其方法 | |
CN111920408B (zh) | 结合虚拟现实的脑电神经反馈***的信号分析方法及组件 | |
US11638104B2 (en) | Ear-worn electronic device incorporating motor brain-computer interface | |
CN104810024A (zh) | 一种双路麦克风语音降噪处理方法及*** | |
US11630513B2 (en) | End-to-end deep neural network for auditory attention decoding | |
US20230199413A1 (en) | Multimodal hearing assistance devices and systems | |
CN108888280A (zh) | 基于脑电信号分析的学生听课注意力评价方法 | |
US10966662B2 (en) | Motion-dependent averaging for physiological metric estimating systems and methods | |
CN112315462B (zh) | 一种多功能听力评估耳机及其评估方法 | |
KR20220062598A (ko) | 오디오 신호 생성을 위한 시스템 및 방법 | |
US20220218941A1 (en) | A Wearable System for Behind-The-Ear Sensing and Stimulation | |
AU2020103949A4 (en) | EEG Signal Mixed Noise Processing Method, Equipment and Storage Medium | |
CN103761974A (zh) | 一种人工耳蜗 | |
CN117421539B (zh) | 一种脑机接口***数据优化处理方法 | |
EP4107971A1 (en) | Control of parameters of hearing instrument based on ear canal deformation and concha emg signals | |
CN117349598B (zh) | 脑电信号处理方法及装置、设备、存储介质 | |
CN108491792B (zh) | 基于眼电信号的办公场景人机交互行为识别方法 | |
CN117075840B (zh) | 基于生理信号的音量自适应控制方法及装置、设备、介质 | |
CN116603229A (zh) | 基于脑电信号的电子游戏难度动态调整方法 | |
KR20230148166A (ko) | 사용자의 감정 상태를 수정하는 장치 및 방법 | |
CN111150422A (zh) | 智能听诊***及其听诊方法 | |
CN108446024B (zh) | 音乐播放方法及相关产品 | |
CN117290809B (zh) | 多源异构生理信号融合方法及装置、设备、存储介质 | |
Zabidi et al. | Classification of EEG signal from imagined writing using a combined Autoregressive model and multi-layer perceptron |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |