CN116327115A - 异常睡眠音频片段的识别方法、电子设备及程序产品 - Google Patents
异常睡眠音频片段的识别方法、电子设备及程序产品 Download PDFInfo
- Publication number
- CN116327115A CN116327115A CN202111603381.9A CN202111603381A CN116327115A CN 116327115 A CN116327115 A CN 116327115A CN 202111603381 A CN202111603381 A CN 202111603381A CN 116327115 A CN116327115 A CN 116327115A
- Authority
- CN
- China
- Prior art keywords
- audio
- sleep
- abnormal
- segment
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 229
- 239000012634 fragment Substances 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 60
- 206010041235 Snoring Diseases 0.000 claims abstract description 142
- 238000004590 computer program Methods 0.000 claims description 16
- 206010021079 Hypopnoea Diseases 0.000 claims description 14
- 208000008784 apnea Diseases 0.000 claims description 12
- 230000000241 respiratory effect Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000008685 targeting Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000019116 sleep disease Diseases 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003860 sleep quality Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047924 Wheezing Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4818—Sleep apnoea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0826—Detecting or evaluating apnoea events
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Anesthesiology (AREA)
- Pulmonology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本公开提供的异常睡眠音频片段的识别方法、电子设备及程序产品,涉及深度学习技术,包括:获取多个初始音频片段,并在多个初始音频片段中确定符合预设睡眠状态的目标音频片段;根据各初始音频片段确定目标音频片段之前的第一鼾声信息,以及目标音频片段之后的第二鼾声信息;根据第一鼾声信息和第二鼾声信息确定目标音频片段的置信度值;根据各目标音频片段的置信度值,确定目标音频片段是否为异常睡眠音频片段。本公开提供的方案中,可以初步在多个初始音频片段中识别出可能是异常睡眠音频片段的目标音频片段,再利用该目标音频片段前后的鼾声信息确定该目标音频片段是否确实是异常睡眠音频片段,能够准确的确定出异常睡眠音频片段。
Description
技术领域
本公开涉及人工智能技术中的深度学习技术,尤其涉及一种异常睡眠音频片段的识别方法、电子设备及程序产品。
背景技术
睡眠质量对人们的非常重要,为了使用户更加充分的了解自己的睡眠情况,可以对用户进行睡眠监测。
一种方案中,可以由专业人员使用专用的设备对用户进行睡眠监测,得到多导睡眠图(Polysomnography,PSG)。另一种方案中,可以通过智能手机进行睡眠监测,在智能手机中设置通用的模型,将手机采集的数据输入该模型中,得到用户的睡眠监测结果。
但是,第一种方案中,难以在日常生活中在不影响睡眠质量的前提下,长期监控睡眠状态。第二种方案中,仅使用通用的模型确定用户的睡眠状况,输出的结果不够准确。
发明内容
本公开提供了一种异常睡眠音频片段的识别方法、电子设备及程序产品,用于准确的识别用户的异常睡眠音频片段。
根据本公开的第一方面,提供了一种异常睡眠音频片段的识别方法,包括:
获取利用传感器采集的多个初始音频片段,并在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段;所述预设睡眠状态表征异常的睡眠状态;
根据各所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息;
根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值;所述置信度值用于表征所述目标音频片段属于异常睡眠音频片段的可能性;
根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段。
根据本公开的第二方面,提供了一种异常睡眠音频片段的识别装置,包括:
获取单元,用于获取利用传感器采集的多个初始音频片段;
目标确定单元,用于在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段;所述预设睡眠状态表征异常的睡眠状态;
鼾声确定单元,用于根据各所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息;
置信度确定单元,用于根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值;所述置信度值用于表征所述目标音频片段属于异常睡眠音频片段的可能性;
异常确定单元,用于根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
本公开提供的异常睡眠音频片段的识别方法、电子设备及程序产品,包括:获取利用传感器采集的多个初始音频片段,并在多个初始音频片段中确定符合预设睡眠状态的目标音频片段;预设睡眠状态表征异常的睡眠状态;根据各初始音频片段确定目标音频片段之前的第一鼾声信息,以及目标音频片段之后的第二鼾声信息;根据第一鼾声信息和第二鼾声信息确定目标音频片段的置信度值;置信度值用于表征目标音频片段属于异常睡眠音频片段的可能性;根据各目标音频片段的置信度值,确定目标音频片段是否为异常睡眠音频片段。本公开提供的方案中,可以初步在多个初始音频片段中识别出可能是异常睡眠音频片段的目标音频片段,再利用该目标音频片段前后的鼾声信息确定该目标音频片段是否确实是异常睡眠音频片段,进而能够准确的在多个初始音频片段中确定出异常睡眠音频片段。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开一示例性实施例示出的异常睡眠音频片段的识别方法流程图;
图2为本公开另一示例性实施例示出的异常睡眠音频片段的识别方法流程图;
图3为本公开一示例性实施例示出的睡眠曲线示意图;
图4为本公开一示例性实施例示出的异常睡眠音频片段的识别装置的结构示意图;
图5为本公开另一示例性实施例示出的异常睡眠音频片段的识别装置的结构示意图;
图6是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
可以利用智能手机采集数据,比如可以是音频数据,再将采集的数据输入到在智能手机中设置的模型中,由该模型输出睡眠状态,进而达到对用户进行睡眠监测的目的。
但是,仅基于模型输出结果确定用户的睡眠状态不够准确,且无法准确的识别出异常睡眠数据。为此,本公开提供的方案中,在采集的多个音频片段中确定可能属于异常睡眠状态的目标音频片段,并根据该目标音频片段前、后的鼾声信息,确定该目标音频片段是否确实为异常睡眠音频片段,从而能够准确的对用户的睡眠进行监测,还能够识别出异常睡眠音频片段。
图1为本公开一示例性实施例示出的异常睡眠音频片段的识别方法流程图。
如图1所示,本公开提供的异常睡眠音频片段的识别方法,包括:
步骤101,获取利用传感器采集的多个初始音频片段,并在多个初始音频片段中确定符合预设睡眠状态的目标音频片段;预设睡眠状态表征异常的睡眠状态。
其中,本公开提供的方案由具备计算能力的电子设备执行,例如可以是智能手机。
智能手机中可以设置多个传感器,例如可以包括麦克风,可以利用麦克风采集音频片段,比如,可以收集10秒一段的初始音频片段。
智能手机可以在用户睡觉时执行本公开提供的方法,例如,可以通过其他方案确定用户是否睡着,若睡着,则可以执行本公开提供的方法。再或者,可以在预设的时间点到达时,可以执行本公开提供的方法,例如,到达晚上10点时,可以执行本公开的方法,可以通过这种方法确定用户的各个睡眠状态,并识别异常的睡眠音频片段。
具体的,智能手机执行本公开提供的方法时,可以获取通过传感器采集的初始音频片段,具体可以是通过麦克风采集的初始音频片段。
进一步的,可以每隔一段时间,智能手机就获取麦克风采集的数据,进而获取到初始音频片段。比如,可以每隔10秒获取一次麦克风采集的数据,从而得到10秒中一段的初始音频片段。
实际应用时,智能手机可以对每个初始音频片段进行处理,确定各初始音频片段的睡眠状态。例如确定初始音频片段为低通气状态、呼吸暂停状态、连续呼吸状态、连续鼾声状态。
其中,低通气是指睡眠过程中呼吸气流强度(幅度)较基础水平降低50%以上,并伴有血氧饱和度较基础水平下降≥4%或微醒觉。呼吸暂停综合症是响亮地鼾声突然中断,用户强力呼吸但不起作用,完全呼吸不了,几秒甚至几十秒钟后患者醒来,大声喘息,气道被迫开放,然后继续呼吸。
若用户在睡眠时处于连续呼吸状态、连续鼾声状态,则是正常的睡眠状态。若用户在睡眠时处于低通气状态、呼吸暂停状态,则说明存在异常睡眠状态。
若初始音频片段符合预设的异常的睡眠状态,则确定该初始音频片段是目标音频片段。
具体的,可以预先设置用于识别睡眠状态的模型,将各初始音频片段输入该模型中,得到各初始音频片段的睡眠状态,进而得到目标音频片段。
步骤102,根据各初始音频片段确定目标音频片段之前的第一鼾声信息,以及目标音频片段之后的第二鼾声信息。
进一步的,确定出目标音频片段之后,可以认为这些目标音频片段为疑似的异常睡眠音频片段,可以进一步的确定该目标音频片段是否确实为异常睡眠音频片段。
实际应用时,可以确定在目标音频片段前,用户的第一鼾声信息,以及在目标音频片段后,用户的第二鼾声信息,能够通过第一鼾声信息和第二鼾声信息,确定该目标音频片段是否确实为异常睡眠片段。
例如,可以确定在目标音频片段之前的第一初始音频片段,再根据该初始音频片段确定第一鼾声信息,确定在目标音频片段之后的第二初始音频片段,再根据该初始音频片段确定第二鼾声信息。
比如,可以根据第一初始音频片段中多个时刻的鼾声强度确定第一鼾声信息,根据第二初始音频片段中多个时刻的鼾声强度确定第二鼾声信息。还可以将第一初始音频片段中最后一刻的鼾声强度确定为第一鼾声信息,将第二初始音频片段中起始时刻的鼾声强度确定为第二鼾声信息。
步骤103,根据第一鼾声信息和第二鼾声信息确定目标音频片段的置信度值;置信度值用于表征目标音频片段属于异常睡眠音频片段的可能性。
其中,具体可以根据第一鼾声信息和第二鼾声信息确定目标音频片段的置信度值,该置信度值用于表征目标音频片段属于异常睡眠音频片段的可能性。
例如,若第一鼾声信息和第二鼾声信息之间的强度差距较大,则确定的置信度值较高,表征该目标音频片段属于异常睡眠音频片段的可能性更大。若第一鼾声信息和第二鼾声信息之间的强度差距较小,则确定的置信度值较低,表征该目标音频片段属于异常睡眠音频片段的可能性更小。
步骤104,根据各目标音频片段的置信度值,确定目标音频片段是否为异常睡眠音频片段。
具体的,智能手机可以根据目标音频片段的置信度,确定该目标音频片段是否为异常睡眠音频片段。
例如,可以预先设置置信度阈值,若确定的目标音频片段的置信度大于该置信度阈值,则可以确定该目标音频片段是异常睡眠音频片段,否则,确定该目标音频片段不是异常睡眠音频片段。
本公开提供的异常睡眠音频片段的识别方法,包括:获取利用传感器采集的多个初始音频片段,并在多个初始音频片段中确定符合预设睡眠状态的目标音频片段;预设睡眠状态表征异常的睡眠状态;根据各初始音频片段确定目标音频片段之前的第一鼾声信息,以及目标音频片段之后的第二鼾声信息;根据第一鼾声信息和第二鼾声信息确定目标音频片段的置信度值;置信度值用于表征目标音频片段属于异常睡眠音频片段的可能性;根据各目标音频片段的置信度值,确定目标音频片段是否为异常睡眠音频片段。本公开提供的异常睡眠音频片段的识别方法中,可以初步在多个初始音频片段中识别出可能是异常睡眠音频片段的目标音频片段,再利用该目标音频片段前后的鼾声信息确定该目标音频片段是否确实是异常睡眠音频片段,进而能够准确的在多个初始音频片段中确定出异常睡眠音频片段。
图2为本公开另一示例性实施例示出的异常睡眠音频片段的识别方法流程图。
如图2所示,本公开提供的异常睡眠音频片段的识别方法,包括:
步骤201,获取利用传感器采集的多个初始音频片段。
步骤201与步骤101中的获取初始音频片段的方式类似。
步骤202,将初始音频片段输入预设的睡眠事件识别模型,得到与初始音频片段对应的睡眠事件识别结果。
在智能手机中可以设置睡眠事件识别模型,该模型可以是预先通过机器学习技术训练得到的。例如,可以预先采集多个训练用的音频数据,并对其逐一标注睡眠事件,利用标注有睡眠事件的音频数据对模型进行训练,能够得到可以识别音频数据的睡眠事件的睡眠事件识别模型。
其中,可以将初始音频片段输入该预设的睡眠事件识别模型,该睡眠事件识别模型能够输出该初始音频片段的睡眠事件。
具体的,睡眠事件可以包括鼾声事件、梦话事件、呼吸事件、环境音事件。
步骤203,若初始音频片段的睡眠事件识别结果符合预设睡眠事件,则确定初始音频片段的睡眠状态识别结果;睡眠状态识别结果中包括预设睡眠状态。
进一步的,若确定初始音频片段的睡眠事件识别结果符合预设睡眠事件,则说明该初始音频片段中有存在异常睡眠片段的可能,因此,可以继续对该初始音频片段的睡眠状态进行识别。
若确定的初始音频片段的睡眠事件识别结果不符合预设睡眠事件,则说明该初始音频片段中不可能存在异常睡眠片段的可能,因此,不需要再对其进行睡眠状态的检测。
通过这种实施方式,能够在初始音频片段中确定出需要识别睡眠状态的音频片段,只需要识别符合预设睡眠事件的初始音频片段的睡眠状态,进而减少需要识别睡眠状态的音频数据的数量,提高数据处理速度。
若初始音频片段的睡眠事件识别结果符合预设睡眠事件,则可以进一步的确定该初始音频片段的睡眠状态识别结果。
其中,可以提取初始音频片段的音频特征;再根据音频特征确定初始音频片段的睡眠状态识别结果。对初始音频片段中的音频特征进行处理,能够更准确的得到该初始音频片段的睡眠状态识别结果。
具体可以提取初始音频片段的音频特征,例如F-Bank、MFCC、频谱能量等特征,再利用预先训练得到的分类模型对音频特征进行分类处理,得到分类结果,分类结果可以包括多种睡眠状态的识别结果。分类模型例如可以是随机森林、SVM、决策树等模型。
睡眠状态例如可以包括低通气、呼吸暂停、连续呼吸、连续鼾声等,分类模型可以对初始音频片段的音频特征进行处理,得到初始音频片段属于每种睡眠状态的概率,进而得到该初始音频片段的睡眠状态识别结果。
预设睡眠事件包括鼾声事件、呼吸事件;预设睡眠状态包括低通气、呼吸暂停。
其中,低通气、呼吸暂停的睡眠状态是异常的睡眠状态,在标注有鼾声事件、呼吸事件的睡眠片段中,有可能存在低通气、呼吸暂停的睡眠状态。
因此,在各个初始音频片段中先确定存在鼾声事件、呼吸事件的音频片段,再在这些音频片段中确定存在低通气、呼吸暂停睡眠状态的音频片段,从而能够准确的识别出低通气、呼吸暂停的异常睡眠音频片段。
步骤204,若初始音频片段的睡眠状态为预设睡眠状态,则确定初始音频片段为目标音频片段。
实际应用时,若初始音频片段的睡眠状态为预设睡眠状态,则可以认为该初始音频片段可能存在异常的睡眠状态,因此,可以确定该初始音频片段为目标音频片段。
步骤205,在初始音频片段中,获取在目标音频片段之前的第一音频片段,以及在目标音频片段之后的第二音频片段。
其中,确定出的目标音频片段可能是异常睡眠音频片段,为了更准确的确定其是否为异常睡眠音频片段,还可以获取该目标音频片段之前的第一音频片段,以及在目标音频片段之后的第二音频片段。
具体的,智能手机获取的各初始音频片段可以具有时间信息,比如获取了片段1、片段2、片段3,这三个片段的时间信息连续,若片段2是目标音频片段,则可以将片段1确定为该目标音频片段之前的第一音频片段,将片段3确定为该目标音频片段之后的第二音频片段。
进一步的,可以根据目标音频片段前后的其他的音频片段,确定该目标音频片段前后的鼾声信息,进而更准确的确定该目标音频片段是否为异常睡眠音频片段。
步骤206,在第一音频片段中提取目标音频片段之前的第一鼾声信息,在第二音频片段中提取目标音频片段之后的第二鼾声信息。
实际应用时,智能手机可以提取第一音频片段中的第一鼾声信息,比如,可以对第一音频片段中各时刻的鼾声信息进行处理,得到该第一鼾声信息,比如,可以将各时刻的鼾声强度的平均值,作为第一鼾声信息。
其中,智能手机可以提取第二音频片段中的第二鼾声信息,比如,可以对第二音频片段中各时刻的鼾声信息进行处理,得到该第二鼾声信息,比如,可以将各时刻的鼾声强度的平均值,作为第二鼾声信息。
具体的,智能手机还可以将第一音频片段中最后一时刻的鼾声强度,作为第一鼾声信息,可以将第二音频片段中第一个时刻的鼾声强度,作为第二鼾声信息。
通过这种实现方式,能够确定出目标音频片段之前的第一鼾声信息和此后的第二鼾声信息,从而能够根据这两个鼾声信息确定该目标音频片段是否为异常睡眠音频片段,通过这种方式,能够结合目标音频片段本身,以及前后的其他音频片段,确定该目标音频片段是否为异常睡眠音频片段,使得识别结果更加准确。
步骤207,根据第一鼾声信息和第二鼾声信息确定异常鼾声强度。
进一步的,第一鼾声信息和第二鼾声信息可以是鼾声强度,具体可以通过数值来表征鼾声强度。
实际应用时,可以根据第一鼾声信息和第二鼾声信息确定目标音频片段前后的异常鼾声强度,该异常鼾声强度具体可以是目标音频片段前后鼾声强度的差值,例如,可以将第一鼾声信息中的强度值与第二鼾声信息的强度值之间的差值,作为目标音频片段的异常鼾声强度。
步骤208,根据异常鼾声强度、目标音频片段对应的预设睡眠状态以及目标音频片段的时长,确定目标音频片段的置信度值。
其中,智能手机可以根据目标音频片段的异常鼾声强度,以及其对应的预设睡眠状态、持续时长,确定出目标音频片段的置信度值。
例如,目标音频片段的异常鼾声强度为p,睡眠状态为低通气,低通气的持续时长为t,则可以根据这三个信息确定目标音频片段的置信度值。可以预先设置与不同预设睡眠状态对应的值,也可以设置与不同预设睡眠状态对应的置信度确定方法,从而能够确定目标音频片段的置信度值。
置信度值的取值范围可以是0-1的值,置信度值越大,则说明目标音频片段是异常睡眠音频片段的可能性越大。
通过这种实现方式,充分考虑了不同的预设睡眠状态、状态的持续时长等因素,综合这些因素与目标音频片段的异常鼾声强度确定目标音频片段是否为异常睡眠音频片段,因此,能够准确的确定出异常睡眠音频片段的。
例如,若目标音频片段中的预设睡眠状态持续时间较短,则可能该目标音频片段不是异常睡眠音频片段。再例如,异常鼾声强度相同且预设睡眠状态持续时长相同的两个目标音频片段,若预设睡眠状态不同,则可能确定的结果也不同,比如将其中一条目标音频片段确定为异常睡眠音频片段,另一条目标片段不确定为异常睡眠音频片段。
步骤209,若目标音频片段的置信度值大于阈值,则确定目标音频片段为异常睡眠音频片段。
其中,可以预先设置阈值,通过比较目标音频片段的置信度值与该阈值,进而确定目标音频片段是否为异常睡眠音频片段。
具体的,若目标音频片段的置信度大于预设的阈值,则可以确定目标音频片段是异常睡眠音频片段。
在确定出可能是异常睡眠音频片段的目标音频片段后,可以根据目标音频片段的置信度值,进一步的确定该目标音频片段是否确实为异常睡眠音频片段,从而更准确的识别出异常睡眠音频片段。
步骤210,根据异常睡眠音频片段的睡眠状态,获取历史异常片段;其中,历史异常片段是通过用户操作确定的异常片段。
具体的,智能手机还可以获取历史异常片段。
用户在使用智能手机时,可以在智能手机收集的各初始音频片段中确认哪些属于异常片段,具体可以确认哪些属于低通气的异常片段,哪些属于呼吸暂停的异常片段。
进一步的,智能手机可以获取异常睡眠音频片段的睡眠状态,获取与该睡眠状态一致的历史异常片段,比如,当前确定的异常睡眠音频片段的睡眠状态为低通气的片段,则可以获取一条或多条属于低通气的历史异常片段。
步骤211,根据历史异常片段确定异常睡眠音频片段是否为真实异常片段。
实际应用时,可以再次根据历史异常片段确定异常睡眠音频片段是否为真实异常片段。
其中,历史异常片段是用户手动确认的异常睡眠片段,因此,可以认为该历史异常片段是准确的。可以将该历史异常片段作为标准数据,再次确认智能手机确定的历史异常片段是否为真实异常片段。
具体的,智能手机可以比对历史异常片段与异常睡眠音频片段,若二者较为相似,则可以确定异常睡眠音频片段是真实异常片段,否则,确定异常睡眠音频片段不是真实异常片段。
通过这种方式,能够结合用户的历史异常片段,更加准确的确定出真实异常片段。且不同用户的异常睡眠片段也不完全相同,因此,通过本公开的方案还能够根据不同用户的数据进行个性化识别,进一步的提高异常睡眠音频片段的识别准确性。
进一步的,智能手机可以获取历史异常片段的第一音频特征,获取异常睡眠音频片段的第二音频特征,再确定第一音频特征和第二音频特征之间的相似度。
若第一音频特征和第二音频特征的相似度符合预设条件,则确定异常睡眠音频片段为真实异常片段。通过比对历史异常片段和异常睡眠音频片段的特征,确定二者是否相似,能够判断出异常睡眠音频片段是否与该用户的历史异常片段相似,进而个性化的确定出异常睡眠音频片段是否符合该用户的异常睡眠情况,达到个性化识别的目的。
在一种可选的实施方式中,还可以根据异常睡眠音频片段获取并显示对应的辅助睡眠设备信息和/或辅助医疗资源信息。
实际应用时,智能手机还可以根据异常睡眠音频片段,获取用于解决该异常睡眠状态的辅助睡眠设备的信息,还可以获取用于解决该异常睡眠状态的辅助医疗资源的信息,进而可以显示这一信息,使得用户可以操作智能手机,购买相应设备,或者了解相应辅助医疗资源。
其中,辅助医疗资源例如可以是在线问诊等资源。可以在智能手机中显示相应的功能入口,使得用户可以使用这一功能。
通过本公开实施例提供的方案,能够实现自动识别睡眠问题并提供睡眠问题解决方案,从而可以为用户提供一体化的解决睡眠问题的方案。
在一种可选的实施方式中,根据异常睡眠音频片段生成并显示睡眠曲线,并在睡眠曲线中标注异常睡眠音频片段;睡眠曲线用于表征用户在各时刻的睡眠状态。
其中,本公开提供的方案还可以生成并显示睡眠曲线,可以在曲线中标注出异常睡眠音频片段。比如,可以标注第一时间到第二时间之间的睡眠片段为异常睡眠音频片段,供用户参考。
通过这种方式,能够通过较为直观的方式使用户了解自己的睡眠情况,用户还能够操作睡眠曲线,播放其中的异常睡眠音频片段,用户可以对其进行确认或否认,从而可以根据这一操作更新历史异常片段,更准确的对用户睡眠状况进行个性化识别。
具体的,还可以通过智能手机的陀螺仪、麦克风等传感器采集数据,结合人工智能技术和人的正常睡眠周期规律等,本方案实现了对用户进行睡眠周期监测,主要监测清醒、浅度睡眠和深度睡眠三种睡眠周期。
可以将陀螺仪、麦克风、智能穿戴设备等采集的数据输入预设的深度学习模型中,通过该模型对特征数据进行睡眠周期的估计,同时结合人的睡眠周期规律(浅度睡眠和深度睡眠交替出现,每个周期90~100分钟),对用户的睡眠周期进行预测。
还可以结合该睡眠周期生成睡眠曲线,从而还可以在睡眠曲线中标注出各个睡眠阶段,使得睡眠曲线的内容更加丰富,使用户能直观的了解自己的睡眠情况。
在一种可选的实施方式,还可以每天、每周等输出睡眠报告,在其中记录在这段时间内用户的睡眠状况。
图3为本公开一示例性实施例示出的睡眠曲线示意图。
如图3所示,智能手机可以显示如图3所示的睡眠曲线。用户还可以点击曲线中的任一个位置,智能手机可以显示该位置对应的睡眠状态。
图4为本公开一示例性实施例示出的异常睡眠音频片段的识别装置的结构示意图。
如图4所示,本公开提供的异常睡眠音频片段的识别装置400,包括:
获取单元410,用于获取利用传感器采集的多个初始音频片段;
目标确定单元420,用于在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段;所述预设睡眠状态表征异常的睡眠状态;
鼾声确定单元430,用于根据各所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息;
置信度确定单元440,用于根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值;所述置信度值用于表征所述目标音频片段属于异常睡眠音频片段的可能性;
异常确定单元450,用于根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段。
本公开提供的异常睡眠音频片段的识别装置,可以初步在多个初始音频片段中识别出可能是异常睡眠音频片段的目标音频片段,再利用该目标音频片段前后的鼾声信息确定该目标音频片段是否确实是异常睡眠音频片段,进而能够准确的在多个初始音频片段中确定出异常睡眠音频片段。
图5为本公开另一示例性实施例示出的异常睡眠音频片段的识别装置的结构示意图。
如图5所示,本公开提供的异常睡眠音频片段的识别装置500中,获取单元510与图4所示的获取单元410相似,目标确定单元520与图4所示的目标确定单元420相似,鼾声确定单元530与图4所示的鼾声确定单元430相似,置信度确定单元540与图4所示的置信度确定单元440相似,异常确定单元550与图4所示的异常确定单元450相似。
可选的,所述目标确定单元520,包括:
事件识别模块521,用于将所述初始音频片段输入预设的睡眠事件识别模型,得到与所述初始音频片段对应的睡眠事件识别结果;
状态识别模块522,用于若所述初始音频片段的睡眠事件识别结果符合预设睡眠事件,则确定所述初始音频片段的睡眠状态识别结果;所述睡眠状态识别结果中包括所述预设睡眠状态;
目标确定模块523,用于若所述初始音频片段的睡眠状态为所述预设睡眠状态,则确定所述初始音频片段为所述目标音频片段。
可选的,所述状态识别模块522具体用于:
提取所述初始音频片段的音频特征;
根据所述音频特征确定所述初始音频片段的睡眠状态识别结果。
可选的,所述预设睡眠事件包括鼾声事件、呼吸事件;
所述预设睡眠状态包括低通气、呼吸暂停。
可选的,所述鼾声确定单元530,包括:
片段获取模块531,用于在所述初始音频片段中,获取在所述目标音频片段之前的第一音频片段,以及在所述目标音频片段之后的第二音频片段;
鼾声确定模块532,用于在所述第一音频片段中提取所述目标音频片段之前的第一鼾声信息,在所述第二音频片段中提取所述目标音频片段之后的第二鼾声信息。
可选的,所述置信度确定单元540,包括:
强度确定模块541,用于根据所述第一鼾声信息和所述第二鼾声信息确定异常鼾声强度;
置信度确定模块542,用于根据所述异常鼾声强度、所述目标音频片段对应的预设睡眠状态以及所述预设睡眠状态的持续时长,确定所述目标音频片段的置信度值。
可选的,所述异常确定单元具体550用于:
若所述目标音频片段的置信度值大于阈值,则确定所述目标音频片段为所述异常睡眠音频片段。
可选的,若确定所述目标音频片段为所述异常睡眠音频片段,则所述装置还包括确认单元560,用于:
根据所述异常睡眠音频片段的睡眠状态,获取历史异常片段;其中,所述历史异常片段是通过用户操作确定的异常片段;
根据所述历史异常片段确定所述异常睡眠音频片段是否为真实异常片段。
可选的中,所述确认单元560,包括:
特征获取模块561,用于获取所述历史异常片段的第一音频特征,获取所述异常睡眠音频片段的第二音频特征;
确认模块562,用于若所述第一音频特征和所述第二音频特征的相似度符合预设条件,则确定所述异常睡眠音频片段为真实异常片段。
可选的,所述装置还包括信息获取单元570,用于:
根据所述异常睡眠音频片段获取并显示对应的辅助睡眠设备信息和/或辅助医疗资源信息。
可选的,所述装置还包括曲线生成单元580,用于:
根据所述异常睡眠音频片段生成并显示睡眠曲线,并在所述睡眠曲线中标注所述异常睡眠音频片段;所述睡眠曲线用于表征用户在各时刻的睡眠状态。
本公开提供一种异常睡眠音频片段的识别方法、电子设备及程序产品,应用于人工智能技术中的深度学习技术,用于准确的识别用户的异常睡眠音频片段。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如异常睡眠音频片段的识别方法。例如,在一些实施例中,异常睡眠音频片段的识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的异常睡眠音频片段的识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行异常睡眠音频片段的识别方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (25)
1.一种异常睡眠音频片段的识别方法,包括:
获取利用传感器采集的多个初始音频片段,并在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段;所述预设睡眠状态表征异常的睡眠状态;
根据各所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息;
根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值;所述置信度值用于表征所述目标音频片段属于异常睡眠音频片段的可能性;
根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段。
2.根据权利要求1所述的方法,其中,所述在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段,包括:
将所述初始音频片段输入预设的睡眠事件识别模型,得到与所述初始音频片段对应的睡眠事件识别结果;
若所述初始音频片段的睡眠事件识别结果符合预设睡眠事件,则确定所述初始音频片段的睡眠状态识别结果;所述睡眠状态识别结果中包括所述预设睡眠状态;
若所述初始音频片段的睡眠状态为所述预设睡眠状态,则确定所述初始音频片段为所述目标音频片段。
3.根据权利要求2所述的方法,其中,所述确定所述初始音频片段的睡眠状态识别结果,包括:
提取所述初始音频片段的音频特征;
根据所述音频特征确定所述初始音频片段的睡眠状态识别结果。
4.根据权利要求2或3所述的方法,其中,
所述预设睡眠事件包括鼾声事件、呼吸事件;
所述预设睡眠状态包括低通气、呼吸暂停。
5.根据权利要求1-4任一项所述的方法,其中,所述根据所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息,包括:
在所述初始音频片段中,获取在所述目标音频片段之前的第一音频片段,以及在所述目标音频片段之后的第二音频片段;
在所述第一音频片段中提取所述目标音频片段之前的第一鼾声信息,在所述第二音频片段中提取所述目标音频片段之后的第二鼾声信息。
6.根据权利要求1-5任一项所述的方法,其中,所述根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值,包括:
根据所述第一鼾声信息和所述第二鼾声信息确定异常鼾声强度;
根据所述异常鼾声强度、所述目标音频片段对应的预设睡眠状态以及所述预设睡眠状态的持续时长,确定所述目标音频片段的置信度值。
7.根据权利要求1-6任一项所述的方法,其中,根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段,包括:
若所述目标音频片段的置信度值大于阈值,则确定所述目标音频片段为所述异常睡眠音频片段。
8.根据权利要求1-7任一项所述的方法,若确定所述目标音频片段为所述异常睡眠音频片段,则所述方法还包括:
根据所述异常睡眠音频片段的睡眠状态,获取历史异常片段;其中,所述历史异常片段是通过用户操作确定的异常片段;
根据所述历史异常片段确定所述异常睡眠音频片段是否为真实异常片段。
9.根据权利要求8所述的方法,其中,所述根据所述历史异常片段确定所述异常睡眠音频片段是否为真实异常片段,包括:
获取所述历史异常片段的第一音频特征,获取所述异常睡眠音频片段的第二音频特征;
若所述第一音频特征和所述第二音频特征的相似度符合预设条件,则确定所述异常睡眠音频片段为真实异常片段。
10.根据权利要求1-9任一项所述的方法,还包括:
根据所述异常睡眠音频片段获取并显示对应的辅助睡眠设备信息和/或辅助医疗资源信息。
11.根据权利要求1-10任一项所述的方法,还包括:
根据所述异常睡眠音频片段生成并显示睡眠曲线,并在所述睡眠曲线中标注所述异常睡眠音频片段;所述睡眠曲线用于表征用户在各时刻的睡眠状态。
12.一种异常睡眠音频片段的识别装置,包括:
获取单元,用于获取利用传感器采集的多个初始音频片段;
目标确定单元,用于在多个所述初始音频片段中确定符合预设睡眠状态的目标音频片段;所述预设睡眠状态表征异常的睡眠状态;
鼾声确定单元,用于根据各所述初始音频片段确定所述目标音频片段之前的第一鼾声信息,以及所述目标音频片段之后的第二鼾声信息;
置信度确定单元,用于根据所述第一鼾声信息和所述第二鼾声信息确定所述目标音频片段的置信度值;所述置信度值用于表征所述目标音频片段属于异常睡眠音频片段的可能性;
异常确定单元,用于根据各所述目标音频片段的所述置信度值,确定所述目标音频片段是否为所述异常睡眠音频片段。
13.根据权利要求12所述的装置,其中,所述目标确定单元,包括:
事件识别模块,用于将所述初始音频片段输入预设的睡眠事件识别模型,得到与所述初始音频片段对应的睡眠事件识别结果;
状态识别模块,用于若所述初始音频片段的睡眠事件识别结果符合预设睡眠事件,则确定所述初始音频片段的睡眠状态识别结果;所述睡眠状态识别结果中包括所述预设睡眠状态;
目标确定模块,用于若所述初始音频片段的睡眠状态为所述预设睡眠状态,则确定所述初始音频片段为所述目标音频片段。
14.根据权利要求13所述的装置,其中,所述状态识别模块具体用于:
提取所述初始音频片段的音频特征;
根据所述音频特征确定所述初始音频片段的睡眠状态识别结果。
15.根据权利要求13或14所述的装置,其中,
所述预设睡眠事件包括鼾声事件、呼吸事件;
所述预设睡眠状态包括低通气、呼吸暂停。
16.根据权利要求12-15任一项所述的装置,其中,所述鼾声确定单元,包括:
片段获取模块,用于在所述初始音频片段中,获取在所述目标音频片段之前的第一音频片段,以及在所述目标音频片段之后的第二音频片段;
鼾声确定模块,用于在所述第一音频片段中提取所述目标音频片段之前的第一鼾声信息,在所述第二音频片段中提取所述目标音频片段之后的第二鼾声信息。
17.根据权利要求12-16任一项所述的装置,其中,所述置信度确定单元,包括:
强度确定模块,用于根据所述第一鼾声信息和所述第二鼾声信息确定异常鼾声强度;
置信度确定模块,用于根据所述异常鼾声强度、所述目标音频片段对应的预设睡眠状态以及所述预设睡眠状态的持续时长,确定所述目标音频片段的置信度值。
18.根据权利要求12-17任一项所述的装置,其中,所述异常确定单元具体用于:
若所述目标音频片段的置信度值大于阈值,则确定所述目标音频片段为所述异常睡眠音频片段。
19.根据权利要求12-18任一项所述的装置,若确定所述目标音频片段为所述异常睡眠音频片段,则所述装置还包括确认单元,用于:
根据所述异常睡眠音频片段的睡眠状态,获取历史异常片段;其中,所述历史异常片段是通过用户操作确定的异常片段;
根据所述历史异常片段确定所述异常睡眠音频片段是否为真实异常片段。
20.根据权利要求19所述的装置,其中,所述确认单元,包括:
特征获取模块,用于获取所述历史异常片段的第一音频特征,获取所述异常睡眠音频片段的第二音频特征;
确认模块,用于若所述第一音频特征和所述第二音频特征的相似度符合预设条件,则确定所述异常睡眠音频片段为真实异常片段。
21.根据权利要求12-20任一项所述的装置,还包括信息获取单元,用于:
根据所述异常睡眠音频片段获取并显示对应的辅助睡眠设备信息和/或辅助医疗资源信息。
22.根据权利要求12-21任一项所述的装置,还包括曲线生成单元,用于:
根据所述异常睡眠音频片段生成并显示睡眠曲线,并在所述睡眠曲线中标注所述异常睡眠音频片段;所述睡眠曲线用于表征用户在各时刻的睡眠状态。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603381.9A CN116327115A (zh) | 2021-12-24 | 2021-12-24 | 异常睡眠音频片段的识别方法、电子设备及程序产品 |
US18/088,005 US20230130263A1 (en) | 2021-12-24 | 2022-12-23 | Method For Recognizing Abnormal Sleep Audio Clip, Electronic Device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603381.9A CN116327115A (zh) | 2021-12-24 | 2021-12-24 | 异常睡眠音频片段的识别方法、电子设备及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116327115A true CN116327115A (zh) | 2023-06-27 |
Family
ID=86055615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111603381.9A Pending CN116327115A (zh) | 2021-12-24 | 2021-12-24 | 异常睡眠音频片段的识别方法、电子设备及程序产品 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230130263A1 (zh) |
CN (1) | CN116327115A (zh) |
-
2021
- 2021-12-24 CN CN202111603381.9A patent/CN116327115A/zh active Pending
-
2022
- 2022-12-23 US US18/088,005 patent/US20230130263A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230130263A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3693966A1 (en) | System and method for continuous privacy-preserved audio collection | |
US20150067835A1 (en) | Detecting Anomalous User Behavior Using Generative Models of User Actions | |
US8751414B2 (en) | Identifying abnormalities in resource usage | |
JP2015522314A5 (zh) | ||
CN113705425A (zh) | 活体检测模型的训练方法和活体检测的方法、装置、设备 | |
CN113270197A (zh) | 一种基于人工智能的健康预测方法、***及存储介质 | |
CN112800919A (zh) | 一种检测目标类型视频方法、装置、设备以及存储介质 | |
CN113827240B (zh) | 情绪分类方法和情绪分类模型的训练方法、装置及设备 | |
CN112669837B (zh) | 智能终端的唤醒方法、装置及电子设备 | |
CN116327115A (zh) | 异常睡眠音频片段的识别方法、电子设备及程序产品 | |
CN113554062B (zh) | 多分类模型的训练方法、设备和存储介质 | |
CN113704256B (zh) | 数据识别方法、装置、电子设备及存储介质 | |
CN113596011B (zh) | 流量识别方法及装置,计算设备和介质 | |
CN114399992A (zh) | 语音指令响应方法、装置及存储介质 | |
CN114120410A (zh) | 用于生成标签信息的方法、装置、设备、介质和产品 | |
CN114121022A (zh) | 语音唤醒方法、装置、电子设备以及存储介质 | |
CN112863548A (zh) | 训练音频检测模型的方法、音频检测方法及其装置 | |
CN112989101A (zh) | 适用于听力障碍患者的提醒方法、装置、设备及存储介质 | |
CN110827800A (zh) | 基于语音的性别识别方法及其装置、存储介质和设备 | |
CN114155589B (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
CN114140851B (zh) | 图像检测方法和用于训练图像检测模型的方法 | |
CN116936128A (zh) | 症状监测方法、装置、电子设备及存储介质 | |
CN117649933B (zh) | 在线问诊辅助方法、装置、电子设备和存储介质 | |
TW202223595A (zh) | 脈衝式手勢辨識方法與系統 | |
CN116455853A (zh) | 即时通信消息内容处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |