CN113448438B - 一种基于睡眠感知的控制***及方法 - Google Patents

一种基于睡眠感知的控制***及方法 Download PDF

Info

Publication number
CN113448438B
CN113448438B CN202110701370.8A CN202110701370A CN113448438B CN 113448438 B CN113448438 B CN 113448438B CN 202110701370 A CN202110701370 A CN 202110701370A CN 113448438 B CN113448438 B CN 113448438B
Authority
CN
China
Prior art keywords
information
processor
user
sleep
functional module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110701370.8A
Other languages
English (en)
Other versions
CN113448438A (zh
Inventor
马瑞强
刘春雷
张�浩
陈星植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202310210703.6A priority Critical patent/CN116339509A/zh
Priority to CN202110701370.8A priority patent/CN113448438B/zh
Publication of CN113448438A publication Critical patent/CN113448438A/zh
Application granted granted Critical
Publication of CN113448438B publication Critical patent/CN113448438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4863Measuring or inducing nystagmus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于睡眠感知的控制***及方法,所述控制***包括至少一个处理器,处理器与至少一个终端智能设备建立连接,所述处理器被配置为:接收至少一个音频采集模块采集的声音信息;从声音信息中提取至少一种呼吸频率信息,基于提取模型和呼吸频率信息识别睡眠状态;在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息。本发明通过对功能模块控制使其产生不会阻碍睡眠的刺激微变化来检测用户的睡眠感知,在用户进入睡眠状态的情况下关闭指定的功能模块,实现不通过脉搏信息、心脏信息、血流信息来直接确定睡眠状态并控制功能模块的效果。

Description

一种基于睡眠感知的控制***及方法
技术领域
本发明涉及睡眠感知技术领域,尤其涉及一种基于睡眠感知的控制***及方法。
背景技术
睡觉前,使用手机收听音乐、视频等的人群在增加,但不知不觉睡着的情形比较普遍,此时,音乐、视频依然处于播放状态。这使得智能终端耗费大量的电能,甚至将用户再次唤醒。因此,在用户进入睡眠状态后自动关闭音乐、视频等应用程序是必要的。
当前,普遍采用定时关闭的方式来控制音乐、视频等方式的关闭。但是,有的用户在定时时间没有进入睡眠,有的用户进入睡眠状态较快,在睡着后反而被没有关闭的音频、视频再次吵醒。如何根据睡眠感知来个性化的关闭音视频等应用功能是还没有解决的技术问题。
现有技术甚至依靠智能感知床垫、智能手表等装置来检测用户的睡眠状态,从而使得终端设备间接获取用户的睡眠状态,但是这就要求用户配置智能感知床垫、智能手表等配套装置,使得智能设备感知用户睡眠状态的成本增加,也不利于用户在任意睡眠的地方基于睡眠感知来进行音视频的个性化关闭。
例如,中国专利CN111772583A公开了一种智能音箱的睡眠监测分析方法、装置及电子设备,涉及人工智能、计算机视觉以及语音交互技术领域。具体实现方案为:获取由智能音箱采集的用户睡眠时的多帧图像以及音频;根据所述多帧图像,生成用户睡眠的图像曲线;根据所述音频,生成用户睡眠的音频曲线;根据所述图像曲线和所述音频曲线,得到所述用户的睡眠质量信息;输出所述用户的睡眠信息,所述睡眠信息包括如下至少一项:所述图像曲线、所述音频曲线、所述用户的睡眠质量信息、所述用户睡眠时的图像、所述用户睡眠时的音频。该发明使得用户可以获知睡眠状况的详细变化过程以及影响睡眠的外界因素,从而可以帮助用户更好地寻找改善睡眠的方法,极大提升用户的体验,没有解决在何时关闭音视频不会影响用户睡眠质量的问题。
例如,中国专利CN109920532B公开了一种带有睡眠功能医疗可穿戴设备的控制方法,本发明将VR设备佩戴于使用者头部,设备摄像头与眼部对应;VR设备摄像头对眼部的系列动作进行识别,并匹配特征数据;将S2 中匹配的特征数据进行处理,并转换成控制信号发送至处理中心;针对S3中不同的场景状态,控制VR设备播放相应的视频资料;当S2中匹配到睡眠信号后,处理中心控制VR设备关闭;本发明利用眼部捕捉***对用户的眼部的系列动作进行识别,并与特征库内的特征数据进行匹配识别,通过对兴奋眼部特征、平静眼部特征、狂躁眼部特征、伤心眼部特征和睡眠眼部特征的识别匹配,进而去调节不同的画质,帮助用户及时进入睡眠,具有很强的实用性。该装置虽然能够在检测到用户的睡眠状态后相应关闭音视频,但是用户必须佩带VR设备,这无疑会影响用户的睡眠,不具有用户便携的智能设备基于睡眠状态自动关闭音视频功能的方便和便捷。
因此,如何使得智能终端设备例如手机能够直接通过感知人类的呼吸声就确定睡眠状态,进而关闭音视频等功能是现有技术依然没有解决的技术问题。
此外,一方面由于对本领域技术人员的理解存在差异;另一方面由于发明人做出本发明时研究了大量文献和专利,但篇幅所限并未详细罗列所有的细节与内容,然而这绝非本发明不具备这些现有技术的特征,相反本发明已经具备现有技术的所有特征,而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
现有技术中,终端智能设备必须需要借助采集的血压信息、脉搏信息和呼吸信息共同来确定用户的睡眠状态,从而使得不具有采集脉搏信息、睡眠信息等功能的智能终端设备例如手机必须连接对应功能的设备才能够进行睡眠状态的监测并且进行个性化的控制,这使得用户必须携带有多个功能设备,否则不能够对睡眠状态进行监测。例如,现有的智能手表需要与智能手机保持连续的蓝牙信号连接,才能实现睡眠状态的监测。这使得仅拥有智能手机的用户无法仅通过采集呼吸信息来准确判断睡眠状态并且根据睡眠状态关闭播放的音视频等功能。不仅如此,当用户使用智能终端设备播放音频或者视频时,会产生大量的影响呼吸信息的杂音,进一步提升了呼吸信息识别和提取的困难。
因此,如何仅通过呼吸声音就能够准确判断用户进入睡眠状态并且关闭播放的音视频,是当前还没有解决的技术问题。当前对呼吸声音进行过滤得到准确的呼吸信息也是没有解决的技术问题。
本发明提供的控制***,能够使得智能终端设备仅通过采集呼吸信息,对呼吸信息进行处理得到个性化的呼吸声音,从而根据呼吸声音判断用户进入睡眠状态,进而关闭指定的功能。本发明使得用户通过仅具有声音采集功能的智能终端设备就能够实现控制关闭的技术效果,简化了用户控制的使用条件,使得用户通过简单的智能终端设备,例如智能手机、台式机、笔记本电脑、平板电脑等仅具有麦克风的智能终端设备来实现睡眠时的音视频的控制。
针对现有技术之不足,本发明提供一种基于睡眠感知的控制***,所述控制***包括至少一个处理器,处理器与至少一个终端智能设备建立连接,所述处理器被配置为:接收至少一个音频采集模块采集的声音信息;从声音信息中提取至少一种呼吸频率信息,基于提取模型和呼吸频率信息识别睡眠状态;在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息。本发明的控制***,消除了需要通过第三设备或者自身来采集物体特征信息再准确判断睡眠状态的缺陷,使得智能终端设备仅通过采集呼吸声就能够确定睡眠状态,并且通过睡眠中的刺激微变化的感知能够确定用户是否熟睡,减少检测不准确的误差,使得控制***能够准确判断睡眠状态并按照预设指令关闭功能模块。
优选地,所述处理器还被配置为:在确定用户进入睡眠状态的情况下,向运行的至少一个功能模块发送刺激信息微变化指令,以控制功能模块的刺激信息产生微变化的方式测试用户的睡眠感知。
优选地,所述处理器还被配置为:在用户对于功能模块的刺激信息产生的微变化没有反馈的情况下,所述处理器按照预设的控制指令向所述功能模块发送控制信息,从而按照预设的方式控制功能模块。
优选地,所述处理器还被配置为:在用户对于功能模块的刺激信息产生的微变化存在反馈的情况下,所述处理器对受控的功能模块的产生微变化的刺激信息进行复原。
优选地,所述处理器还被配置为:按照减少刺激信息的刺激强度的趋势控制所述功能模块,从而形成不阻碍睡眠的睡眠感知测试。
优选地,所述处理器还被配置为:在用户进入睡眠状态且对当前运行的功能模块的刺激信息的微变化不存在反馈的情况下,所述处理器基于当前的呼吸频率信息形成并更新个性化频率样本。
优选地,所述处理器还被配置为:在用户进入睡眠状态后,在当前运行模块的刺激信息产生微变化后的反馈信息至少包括智能终端设备的移动信息、输入的指令信息和/或动作信息。
本发明还提供一种基于睡眠感知的控制方法,所述方法至少包括:
接收至少一个音频采集模块采集的声音信息;
从声音信息中提取至少一种呼吸频率信息,
基于提取模型和呼吸频率信息识别睡眠状态;
在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息。
优选地,所述方法至少包括:在确定用户进入睡眠状态的情况下,向运行的至少一个功能模块发送刺激信息微变化指令,以控制功能模块的刺激信息产生微变化的方式测试用户的睡眠感知。
优选地,所述方法至少包括:在用户对于功能模块的刺激信息产生的微变化没有反馈的情况下,所述处理器按照预设的控制指令向所述功能模块发送控制信息,从而按照预设的方式控制功能模块。
附图说明
图1是本发明的基于睡眠感知的控制***的逻辑示意图。
附图标记列表
10:呼吸采集模块;20:处理器;21:数据库;30:功能模块。
具体实施方式
下面结合附图进行详细说明。
本发明提供一种基于睡眠感知的控制***及方法,也可以提供一种基于呼吸频率自定义控制***及便携智能终端设备。本发明的基于睡眠感知的控制***,能够在保留呼吸信息的同时排除一种或者多种噪音和震动信息,从而提取呼吸频率的准确信息。
本发明中的智能终端设备是指具备无线接入互联网、能够进行、部分数据处理、显示、执行对应数据化功能的使用设备。智能终端设备例如是智能手机、Ipad、播放器、电脑类等能够基于数据指令进行操作的智能产品。智能终端设备能够自身安装有声音采集装置,或者能够连接声音采集装置以采集用户的呼吸声音。声音采集装置例如是麦克风。
优选地,智能终端设备的麦克风耦合有扩音装置,能够进一步清晰的获取用户的呼吸信息。
本发明的处理器表示一个或者多个通用的设备,例如微处理器、中央处理单元(CPU)、专用集成芯片等等。
本发明的呼吸信息为呼吸声音信息,例如喘气声、呼噜声等。呼吸频率信息是指用户完成一个呼吸的频率,周期是指用户完成一个呼吸所用的时间。
本发明的基于睡眠感知的控制***能够在智能终端设备中安装并运行或者与智能终端设备建立数据连接。
用户的呼吸与其他噪音的区别在于,呼吸的声音是具有周期性的、规律的,并且呼吸频率在特定范围。例如,呼吸频率在每秒0.15~0.4次之间变化。
采集模块包括声音采集模块和加速传感器。采集模块是属于智能终端设备的一部分。采集模块能够基于处理器的指令来采集对应的信息。
优选地,本发明的控制***还包括数据库。数据库用来存储采集到的呼吸信息以及时间、存储与神经网络相关联的指令和从呼吸信息提取呼吸频率的过程数据。处理器从数据库中读取数据,或者,处理器将处理过程中的数据发送至数据库进行存储。
数据库优选为存储器。存储器表示能够存储数据和/或其他计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。存储器包括但不限于RAM、ROM、闪存或任何其他合适的存储设备。存储器能够耦合至处理器中,也能够与处理器以建立信号连接的方式设置。
优选地,处理器还可以包括存储器控制模块、输入/输出(I/O)控制器和通信接口,它们中的每一个都可以经由通信基础设施互连。
通信基础设施的示例包括但不限于通信总线(例如工业标准架构(ISA)、***组件互连(PCI)、PCI Express(PCIe)或类似总线)和网络。
I/O控制器表示能够协调和/或控制计算设备的输入和输出功能的任何类型或形式的模块。I/O控制器可以控制或促进处理器一个或多个元件之间的数据传输。
通信接口表示能够促进处理器与一个或多个附加设备之间的通信的任何类型或形式的通信设备或适配器。
图1为本发明的控制***的其中实施例。如图1所示,基于睡眠感知的控制***至少包括处理器20。处理器20与若干采集模块10、数据库21、和功能模块30分别建立连接,以能够传输数据信息及指令。数据库21可以通过存储驱动例如软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器等驱动器来驱动和存储数据信息。
优选地,智能终端设备设置有终端显示模块。终端显示模块与处理器通过有线或者无线的方式连接,终端显示模块与采集模块建立数据连接。终端显示模块将控制指令发送至功能模块。终端显示模块能够显示采集的移动信息、呼吸频率信息、睡眠时间、第一时间、第二时间、刺激信息微变化方式、关闭或者暂停时间等等信息。终端显示模块能够以图表或者曲线等多种方式显示信息。
本发明的功能模块是指设置在智能终端设备中能够基于处理器的指令进行调节和启闭的各种执行功能的模块。功能模块例如是音频播放器、视频播放器、开关机模块、灯的调节及开关模块、各个应用模块的启闭和调节等等若干种模块。
如图1所示,本发明的基于睡眠感知的控制***至少包括处理器,所述处理器被配置为:
接收至少一个音频采集模块采集的声音信息;
从声音信息中提取至少一种呼吸频率信息,
基于提取模型和呼吸频率信息识别睡眠状态;
在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息。
本发明中的呼吸频率信息提取模型,可以简称为提取模型,是基于深度学习模型建立的,用于提取呼吸频率信息。深度学习模型例如是卷积神经网络模型。
优选地,处理器内还设置有模拟滤波器,用于对接收到的呼吸信息进行放大,避免遗漏声音较小的呼吸声音。
优选地,智能终端设备中的加速传感器与处理器连接,并且采集智能终端设备的移动信号。移动信号包括音视频在三维空间内的移动速度。
处理器从放大的声音信息中提取呼吸频率信息。处理器从声音信息中消除不具有周期规律的噪音、音视频声音,得到具有周期规律的呼吸信息。
优选地,处理器中还设置有模拟增益模块,用于在10~100倍之间的模拟增益以覆盖呼吸的范围。优选地,处理器还能够连接实现增益的硬件,例如滤波器以将信号的频率响应限制在呼吸频率范围内。
优选地,模拟增益模块将过滤出的呼吸信息发送至提取模块。
处理器中的模拟滤波器对声音信息进行线性滤波的方式为:
Figure GDA0003854436520000071
对于线性滤波的信号质量y[n]由误差序列e[n]=d[n]-y[n]来确定。其中,n表示混合声音的频率,m表示超出指定频率范围的声音。ωm表示权重, x表示采集数据值。
优选地,选择权重以获得最小均方误差的方式为:
E{e2[n]}=E{d[n]-y[n]2}
计算线性滤波的选择权重的方式为:
Figure GDA0003854436520000081
根据正交原则,当误差e[n]与数据值为零时,得到:
E{x[n-k](d[n]-y[n])}=0,k=0,1,…,M-1
此时线性滤波的效果最佳。
优选地,处理器内的权重模块还可以基于训练算法通过训练得到正确的权重。
在处理器对获取的原始声音信息进行过滤以消除音视频或其他声音造成的噪音后,将过滤后形成的呼吸信息进行呼吸频率的提取。此时的呼吸信息不是完全无噪音的,还含有少部分的噪音,因此需要提取模块基于深度学习算法进行进一步的提取。
优选地,处理器提取呼吸频率信息的方式包括:
建立呼吸频率信息提取模型,
将呼吸频率信息提取模型提取的第一呼吸率与第一测试对象的可验证呼吸率进行比较以计算误差;
基于计算误差来反向调整提取模型的一层或更多层的前端参数以提高提取模型放入预测准确度。
在获取呼吸频率信息后,处理器基于呼吸频率信息确定用户是否进入睡眠状态,甚至判断用户进入睡眠阶段的哪个阶段。
优选地,呼吸信息信号存在以下关系:
Figure GDA0003854436520000082
呼吸信息信号在传输延迟信息带入后,表示为:
Figure GDA0003854436520000083
最终,采集模块接收到的混合采集的呼吸信息的关系为:
Figure GDA0003854436520000084
其中,频率fb与物体和采集模块之间的距离直接相关,距离b与物体的速度相关。频率fb和距离b通过傅里叶变换算法来计算得出。
对于用户的生命体征,频率fb能够用于测定用户的距离区间,距离b能够反映出用户的声源的位移变化。
优选地,在提取呼吸频率之前,处理器能够对呼吸信息的数据进行去躁。例如,通过方程f(x)=(x-μ)/σ进行标准化,其中μ表示波形的平均值,σ表示标准偏差。
通过对接收的呼吸信息进行去躁,还能够去除声音信息信号中的其他分量以及不需要的频率。例如,呼吸频率在每秒0.15~0.4之间变化。在不在呼吸频率范围内的其他频率能够消除。
本发明的提取模型中,卷积神经网络模型可以为两层卷积,也能够扩展到多于两层。
每一卷积层包括一个一维卷积层和一个池化层。一维卷积层有效地从整个数据集的较短片段中导出值得注意的特征,并且片段中特征的位置不具有高度关联。一维卷积层能够将固定长度周期内的任何类型的信号数据导出,因此能够提高数据筛选和导出的效率。因此,卷积神经网络在每一层使用一维或二维的卷积层进行训练。在卷积层数据处理之后通过池化层进行池化处理,能够降低输出的复杂性并且防止数据过度拟合。
优选地,池化层的大小设置为3表示输出矩阵的大小仅为输入矩阵的三分之一。池化层用于通过取窗口中元素的最大值将限定窗口的大小映射到单个结果来减小输入大小。
处理器被配置为:
将输入三维用于训练提取模型的波形信息进行离散化处理,从而提高信噪比。
将呼吸信息进行数据拟合能够减少数据中的小波动对提取模型的影响,一般情况下小波动为噪音。
优选地,处理器还被配置为:
将卷积层输出的数据引导至平均池化层。平均池化层为另一个池化层,用于避免过度拟合。平均池化层将卷积网络输出的矩阵变换为单个向量。
本发明中,处理器在确定用户进入睡眠状态后按照预设的指令对功能模块进行调节和控制。
优选地,处理器中的提取模型将提取的呼吸频率信息与呼吸频率样本进行对比,在呼吸频率样本与睡眠状态存在对因关联的基础上,处理器根据呼吸频率信息获得对应的睡眠状态。
本发明中的呼吸频率样本包括初始频率样本和个性化频率样本。初始频率样本是基于大众的呼吸频率特征与睡眠状态关联的样本集数据设置的。
本发明中的个性化频率样本是基于用户的个性化呼吸特征来对初始频率样本进行个性化调节形成的,从而形成了个性化频率样本与睡眠状态关联的信息。
优选地,提取模型中的初始频率样本与睡眠状态关联信息是预设的,可以由第三方数据平台提供,也可以是预先根据若干样本人群的睡眠实验基于深度学习模型来学习获取得到的。
初始频率样本与睡眠状态关联关系如下所示:
在不同睡眠阶段,用户睡眠状态的呼吸频率存在显著差异,在快速眼动睡眠阶段(REM),脑波变化迅速,睡眠者常会出现眼部快速跳动现象并在此阶段做梦,所以在这个阶段睡眠者的呼吸频率通常不稳定。在浅度睡眠阶段 (Light Sleep),眼部跳动现象停止,睡眠者呼吸频率趋于平稳。在深度睡眠阶段(Deep Sleep),睡眠者的呼吸频率进一步放缓。所以,呼吸频率的大小随睡眠者所处的睡眠阶段不同而不同。
声音采集模块按照8KHz的采样频率采集呼吸声音数据,呼吸声音数据按照每400个样本点为一组被划分为N组数据。N表示采样样本点的组数,采样频率是8kHz。400个样本点的时间间隔是0.05s。
在经过线性滤波将音频、视频的声音过滤并形成呼吸信息后,依据提取模型提取呼吸频率信息。
本发明不需要全程监测用户的睡眠状态,仅需要确定用户进入睡眠状态初始阶段即可对指定的功能模块进行关闭。然而,如何准确地仅通过呼吸声音的分析来确定用户进入睡眠状态,并且以不影响用户睡眠感觉的方式关闭播放的功能模块是需要重视的,也是现有技术难以做到的。
在进入睡眠状态并关闭功能模块时,特别是关闭用户正在看或者听的音视频时,若关闭地太早,用户仅仅是快进入睡眠状态,关闭功能模块反而会导致用户由于环境变化而清醒,起到反作用效果。若关闭地太晚,则失去了基于睡眠感知控制功能模块的作用。
基于此种缺陷,处理器以测试模式来测试用户在睡眠状态的感知等级。在用户的感知等级降低至预设级别时对功能模块进行控制。本发明通过测试模式来测试用户的感知等级从而以不影响用户睡眠感觉的方式来调控功能模块,甚至关闭功能模块。
本发明中的测试模式以刺激信息微变化的方式来测试用户的感知等级。本发明中的刺激是指由用户在使用功能模块时智能终端设备呈现的声音刺激、视觉刺激、播放进度刺激、播放内容变化等方式的刺激。鉴于本发明的用户处于睡眠状态或者接近睡眠状态,本发明中的刺激信息微变化是指不会将用户刺激至清醒的感官刺激。本发明的刺激信息微变化是对功能模块已经施加的刺激进行细微调节和变化,不会增加新的刺激以避免将用户唤醒。
优选地,处理器的刺激信息微变化的实施方式至少包括以下几种。
在基于呼吸频率信息判断用户进入睡眠状态后,处理器以限定音量差值第一次降低当前功能模块的播放音量,在播放音量调低后的第一限定时间内智能终端设备没有检测到任何输入的指令信息的情况下,处理器以阶梯音量的方式逐步降低播放音量,在播放音量低至关闭阈值范围内时直接关闭功能模块。播放音量的阶梯式降低,不会为用户带来新的刺激信息。
在用户还未完全进入睡眠状态时,用户的感知能力较强,播放音量的降低必然会带来体验变差,用户会移动智能终端设备或者输入相关的指令、或者动作信号来进行查看。处理器在检测到智能终端设备中的加速传感器采集的移动信号、或者相关输入设备的动作信号、或者输入指令时,处理器控制功能模块恢复播放音量。
在用户进入睡眠状态后,用户的感知能力变弱,处理器以限定音量差值第一次降低当前功能模块的播放音量,在用户没有感知的情况下不会移动智能终端设备、或者不会采用输入设备输入动作信号以查看功能模块的变化、也不会输入指令,因此处理器不会接收到加速传感器采集的移动信号、或者相关输入设备的动作信号、或者输入指令,此时处理器能够第二次降低播放音量,在第二限定时间内依然没有收到任何干涉信息的情况下,处理器将当前指定的功能模块关闭或者暂停运行。
本发明中,输入设备的动作信号例如是触屏动作信号、鼠标移动信号、键盘动作信号等。输入指令是指任何输入的指令信息。
在基于呼吸频率信息判断用户进入睡眠状态后,处理器以功能模块暂停的方式来检测用户的感知。例如,对音频模块、视频模块的播放内容进行暂行,在第三限定时间内没有检测到任何输入的指令信息的情况下,处理器向至少一个功能模块发送预设的控制指令。控制指令包括关闭指定功能模块、暂停、关机等等用户预设的指令。
若在第三限定时间内检测到智能终端设备的移动信息、任何输入的指令信息和输入设备的动作信号的情况下,处理器向被调控功能模块发送恢复运行的指令。
优选地,处理器通过至少一次以功能模块暂停的方式来检测用户的感知。优选地,处理器通过两次或者三次的功能模块暂停方式来检测用户的感知。
在通过一次以功能模块暂停的方式测试感知并检测到用户反馈后,处理器基于当前的呼吸频率信息再次判断用户是否进入睡眠状态。并且在用户进入睡眠状态后重复进行感知检测。
优选地,在基于呼吸频率信息判断用户进入睡眠状态后,处理器还能够通过变更播放内容的方式来检测用户的感知。优选的,处理器按照有助于睡眠的趋势来变更播放内容。例如,将播放音乐内容变更为有助于睡眠的无歌词内容的轻音乐,将播放视频内容变更为有助于睡眠的气氛舒缓的视频内容,如新闻视频、访问视频等不容易引起感官刺激的视频内容。
变更播放内容后,在第四限定时间内没有检测到任何输入的指令信息或者移动信号的情况下,处理器向至少一个功能模块发送预设的控制指令。控制指令包括关闭指定功能模块、暂停、关机等等用户预设的指令。
若在第四限定时间内检测到智能终端设备的移动信息、任何输入的指令信息和输入设备的动作信号的情况下,处理器向被调控功能模块发送恢复运行的指令。
优选的,在处理器控制功能模块暂停的情况下,处理器能够控制功能模块显示静止的画面或者问题。例如显示画面的文字内容为:即将关闭播放功能,或者使用某个画面将显示画面遮盖。在用户在第五限定时间内没有反馈任何信号的情况下,处理器判断用户感知较弱,进入睡眠状态,从而执行预设的控制指令。
本发明的刺激信息微变化不限于以上列举的几种方式,能够实现相同效果的刺激信息微变化均可以实施。
本发明的测试模式还能够用于将呼吸频率的初始频率样本适应性调整形成个性化的个性频率样本。
在控制***初次使用的时间段内,处理器能够在对功能模块进行刺激信息微变化的控制后,以在未收到用户反馈信号时的呼吸频率作为用户的个性化频率样本。
随着用户使用时间的延长以及检测次数的增加,处理器能够将用户使用各个种类的功能模块时进入睡眠状态的呼吸频率信息提取更新为个性化频率样本,同时进行存储,这使得数据库中的个性化频率样本越来越丰富。在处理器将提取的呼吸频率信息与个性化频率样本进行对比时,判断是否进入睡眠状态的准确率也会越来越高,形成正向循环。
在控制***被开启后,处理器向声音采集模块发送采集声音信息的指令,并且向加速传感器发送采集移动信息的指令。处理器接收到采集的声音信息以及智能终端设备自身的移动信息。
本发明的处理器还可以是与智能终端设备通过网络连接的云服务器。本发的控制***通过与智能终端设备连接,在不增加新的硬件的基础上,利用智能终端设备自身的组件采集声音信息和移动信息,并且基于功能模块的刺激信息微变化来检测用户的感知,从而能够在恰当的时间对功能模块进行预设的控制以节省能耗,提高用户的睡眠质量。
本发明中,呼吸信息包括呼气声、吸气声和鼾声。打鼾与呼吸声音具有某些共同特点,呼吸声音与打鼾声音在波形上具有相似性,都具有周期性,不同之处在于鼾声比呼吸声音的平均振幅大,这是由于鼾声通常比呼吸声音大的缘故。频谱图上显示,二者频率分布具有显著差异,鼾声的频率分布集中于0到1000Hz的低频段,而呼吸声音则在低频和高频段都分布较多,因此可以根据低频段与高频段的比值来判断采集的声音样本是呼吸声音中是否含有鼾声。
利用当前呼吸声音占主导地位的频率范围来判断鼾声的存在,用f表示含有n个样本点的待测声音帧,si表示f经过傅里叶变化后第i个数据值,那么让低频段与高频段的比值表示为:
Figure GDA0003854436520000141
当用户由正常呼吸状态转向打鼾的时候,声音频段就会逐渐向低频倾斜,导致A(f)值逐渐增大。通过分析超过100份不同用户的打鼾数据,约定当低频与高频比值逐渐变大并且A(f)>1.5的时候就说明当前用户处于打鼾状态,反之则处于正常呼吸状态。即当A(f)>1.5的时候确定用户在打鼾。
优选地,由于本发明的处理器能够基于以上区别区分鼾声。本发明的处理器还能够配置为:
在处理器确定用户进入睡眠状态并且检测到鼾声的情况下,处理器直接按照预设指令控制功能模块,不对用户进行睡眠感知检测。例如,有的用户刚进入睡眠状态就会打鼾,此时不需要再对用户进行感官检测,处理器能够控制功能模块直接关闭或者暂停,避免功能模块继续释放刺激信息打扰用户睡眠。
在处理器确定用户进入睡眠状态并且未检测到鼾声的情况下,处理器对用户进行刺激信息微变化的检测来检测用户的感知,在用户感知较弱的情况下进行功能模块的控制。
优选的,本发明的睡眠感知的等级能够基于用户对刺激信息微变化的反馈进行划分。
例如,处理器基于呼吸频率信息确定用户进入睡眠状态。当刺激信息为声音变化时,在声音的强度下降第一阶梯范围时,用户若无任何反馈信息或者反馈动作,在用户的感官等级为一级。在用户第二次被检测进入睡眠状态时,在声音的强度下降第二阶梯范围时,用户若无任何反馈信息或者反馈动作,在用户的感官等级为二级,即感官进一步变弱。第二阶梯范围比第一阶梯范围大。第一阶梯范围为0~5度,第二阶梯范围为5~10度。
以此类推,用户的感知等级能够分为多个等级,具体的划分范围以及等级设置能够按需要灵活调整。
优选的,处理器用过对刺激信息以混合的微变化来判断用户的感知等级。例如,对于播放的视频模块,处理器第一次通过采用遮盖播放画面并且不改变声音的方式来对用户进行感知检测。若用户对第一次刺激信息的微变化没有任何反馈,感官等级属于一级。
在第一次刺激微变化后,处理器通过控制视频模块的声音,例如改变声音的强度来第二次检测用户的感知等级。若用户对第二次刺激信息的微变化没有任何反馈,感官等级属于二级。
在第二次刺激微变化后,处理器通过改变播放内容的声音内容来对第三次检测用户的感知等级。如量视频的声音内容更换为歌曲内容。若用户对第三次刺激信息的微变化没有任何反馈,感官等级属于三级。
明显地,感官强度上,一级感官等级对应的一级感官强度大于二级感官强度,二级感官强度大于三级感官强度。在用户的睡眠感官等级进入二级或三级感官强度时,处理器向视频模块发送暂停或者关闭指令。
如示例所示,本发明还能够从多个方面来控制刺激信息的微变化以形成对用户感知的检测。本发明的刺激信息微变化的感知检测,以不打扰用户睡眠为目的。
优选地,处理器基于用户的感官等级以及对应的反馈信息来确定在哪一级感官等级进行功能模块的关闭或暂停运行。
例如,对于感知等级,用户总是在第一时间范围内对一级感官的检测有反馈,在第二时间内对二级感官的检测没有反馈。处理器基于用户的使用情况个性化进行调整。在进入睡眠状态后开始计时,在满足第一时间时进行一级感官检测。若在预设反馈时间无反馈后,处理器在满足第二时间时进行二级感官检测。若在预设反馈时间无反馈后,处理器确认用户的睡眠感知足够若,向功能模块发送关闭或者暂停指令。其中,第二时间时长大于第一时间时长。
若用户长期在满足第一时间后无反馈且执行次数超过预设次数阈值,则处理器能够在一级感官检测完成后,在预设反馈时间无反馈后向功能模块发送关闭或者暂停指令。
若用户长期在满足第二时间后关闭功能模块且相比于在一级感官关闭的执行次数的比例超过预设比例,则处理器可以跳过一级感官检测,直接进行二级感官检测并控制功能模块关闭。
如此,本发明能够在降低感官刺激的情况下减少对用户睡眠的影响,同时通过对呼吸频率信息的判断以及用户的睡眠感知来确定用户的感知弱化程度,使得功能模块的暂停或者关闭对用户睡眠无影响。
优选地,在呼吸频率信息为完全陌生的呼吸频率信息时,处理器可以通过建立新账户的方式来将新的呼吸频率信息以及睡眠状态的判断结果存储仅新账户,以便于用户进行区分,同时执行对预设的功能模块的控制功能。
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
本发明说明书包含多项发明构思,申请人保留根据每项发明构思提出分案申请的权利。本发明说明书包含多项发明构思,诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思,申请人保留根据每项发明构思提出分案申请的权利。

Claims (6)

1.一种基于睡眠感知的控制***,所述控制***包括至少一个处理器,处理器与至少一个终端智能设备建立连接,其特征在于,
所述处理器被配置为:
接收至少一个音频采集模块采集的声音信息;
从声音信息中提取至少一种呼吸频率信息,
基于提取模型和呼吸频率信息识别睡眠状态;
在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息;
在确定用户进入睡眠状态的情况下,向运行的至少一个功能模块发送刺激信息微变化指令,以控制功能模块的刺激信息产生微变化的方式测试用户的睡眠感知;
在用户对于功能模块的刺激信息产生的微变化没有反馈的情况下,所述处理器按照预设的控制指令向所述功能模块发送控制信息,从而按照预设的方式控制功能模块;
在基于呼吸频率信息判断用户进入睡眠状态后,处理器以限定音量差值第一次降低当前功能模块的播放音量,在播放音量调低后的第一限定时间内智能终端设备没有检测到任何输入的指令信息的情况下,处理器以阶梯音量的方式逐步降低播放音量,在播放音量低至关闭阈值范围内时直接关闭功能模块;
其中,处理器提取呼吸频率信息的方式包括:
建立呼吸频率信息提取模型,
将呼吸频率信息提取模型提取的第一呼吸率与第一测试对象的可验证呼吸率进行比较以计算误差;
基于计算误差来反向调整提取模型的一层或更多层的前端参数以提高提取模型放入预测准确度。
2.根据权利要求1所述的基于睡眠感知的控制***,其特征在于,所述处理器还被配置为:
在用户对于功能模块的刺激信息产生的微变化存在反馈的情况下,所述处理器对受控的功能模块的产生微变化的刺激信息进行复原。
3.根据权利要求2所述的基于睡眠感知的控制***,其特征在于,所述处理器还被配置为:
按照减少刺激信息的刺激强度的趋势控制所述功能模块,从而形成不阻碍睡眠的睡眠感知测试。
4.根据权利要求1所述的基于睡眠感知的控制***,其特征在于,所述处理器还被配置为:
在用户进入睡眠状态且对当前运行的功能模块的刺激信息的微变化不存在反馈的情况下,所述处理器基于当前的呼吸频率信息形成并更新个性化频率样本。
5.根据权利要求1所述的基于睡眠感知的控制***,其特征在于,所述处理器还被配置为:
在用户进入睡眠状态后,在当前运行模块的刺激信息产生微变化后的反馈信息至少包括智能终端设备的移动信息、输入的指令信息和/或动作信息。
6.一种基于睡眠感知的控制方法,其特征在于,所述方法至少包括:
接收至少一个音频采集模块采集的声音信息;
从声音信息中提取至少一种呼吸频率信息,
基于提取模型和呼吸频率信息识别睡眠状态;
在指定的睡眠状态向至少一个关联的功能模块发送预设的指令信息;
在确定用户进入睡眠状态的情况下,向运行的至少一个功能模块发送刺激信息微变化指令,以控制功能模块的刺激信息产生微变化的方式测试用户的睡眠感知;
在用户对于功能模块的刺激信息产生的微变化没有反馈的情况下,处理器按照预设的控制指令向所述功能模块发送控制信息,从而按照预设的方式控制功能模块;
在基于呼吸频率信息判断用户进入睡眠状态后,处理器以限定音量差值第一次降低当前功能模块的播放音量,在播放音量调低后的第一限定时间内智能终端设备没有检测到任何输入的指令信息的情况下,处理器以阶梯音量的方式逐步降低播放音量,在播放音量低至关闭阈值范围内时直接关闭功能模块;
其中,处理器提取呼吸频率信息的方式包括:
建立呼吸频率信息提取模型,
将呼吸频率信息提取模型提取的第一呼吸率与第一测试对象的可验证呼吸率进行比较以计算误差;
基于计算误差来反向调整提取模型的一层或更多层的前端参数以提高提取模型放入预测准确度。
CN202110701370.8A 2021-06-25 2021-06-25 一种基于睡眠感知的控制***及方法 Active CN113448438B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310210703.6A CN116339509A (zh) 2021-06-25 2021-06-25 一种智能终端设备的控制方法及控制装置
CN202110701370.8A CN113448438B (zh) 2021-06-25 2021-06-25 一种基于睡眠感知的控制***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110701370.8A CN113448438B (zh) 2021-06-25 2021-06-25 一种基于睡眠感知的控制***及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310210703.6A Division CN116339509A (zh) 2021-06-25 2021-06-25 一种智能终端设备的控制方法及控制装置

Publications (2)

Publication Number Publication Date
CN113448438A CN113448438A (zh) 2021-09-28
CN113448438B true CN113448438B (zh) 2023-02-03

Family

ID=77812386

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110701370.8A Active CN113448438B (zh) 2021-06-25 2021-06-25 一种基于睡眠感知的控制***及方法
CN202310210703.6A Pending CN116339509A (zh) 2021-06-25 2021-06-25 一种智能终端设备的控制方法及控制装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310210703.6A Pending CN116339509A (zh) 2021-06-25 2021-06-25 一种智能终端设备的控制方法及控制装置

Country Status (1)

Country Link
CN (2) CN113448438B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114732391B (zh) 2022-06-13 2022-08-23 亿慧云智能科技(深圳)股份有限公司 基于微波雷达的睡眠状态下的心率监测方法、装置及***
CN115120197A (zh) * 2022-06-17 2022-09-30 歌尔股份有限公司 监测睡眠时呼吸状况的方法和装置、电子设备及存储介质
CN115120837A (zh) * 2022-06-27 2022-09-30 慕思健康睡眠股份有限公司 基于深度学习的睡眠环境调节方法、***、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107928250A (zh) * 2017-11-22 2018-04-20 宁波德葳智能科技有限公司 一种无接触毫米波智能婴儿摇篮
CN108810300A (zh) * 2018-04-28 2018-11-13 平安科技(深圳)有限公司 智能调整智能终端铃声的方法及其控制方法及装置
CN109431470A (zh) * 2018-12-20 2019-03-08 西安交通大学医学院第二附属医院 睡眠呼吸监测方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779751B2 (en) * 2005-12-28 2017-10-03 Breath Research, Inc. Respiratory biofeedback devices, systems, and methods
WO2008014005A2 (en) * 2006-07-28 2008-01-31 Shala Cunningham Method to evaluate a client by a physical therapist
US8740806B2 (en) * 2012-11-07 2014-06-03 Somnarus Inc. Methods for detection of respiratory effort and sleep apnea monitoring devices
US9610030B2 (en) * 2015-01-23 2017-04-04 Hello Inc. Room monitoring device and sleep analysis methods
CN105807674B (zh) * 2014-12-30 2021-05-04 北京奇虎科技有限公司 一种可控制音频终端的智能可穿戴设备及其控制方法
CN105407217A (zh) * 2015-10-26 2016-03-16 南京步步高通信科技有限公司 移动终端音乐播放的方法及移动终端
CN107743289B (zh) * 2017-10-25 2020-08-07 宁波向往智能科技有限公司 一种智能家居场景中的智能音箱控制方法
CN117357070A (zh) * 2019-10-11 2024-01-09 京东方科技集团股份有限公司 一种睡眠监测方法、装置、设备及存储介质
CN212016413U (zh) * 2019-12-13 2020-11-27 深圳市三诺数字科技有限公司 一种催眠音乐控制装置、催眠音箱
CN111904424B (zh) * 2020-08-06 2021-08-24 苏州国科医工科技发展(集团)有限公司 基于相阵麦克风的睡眠监测及调控***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107928250A (zh) * 2017-11-22 2018-04-20 宁波德葳智能科技有限公司 一种无接触毫米波智能婴儿摇篮
CN108810300A (zh) * 2018-04-28 2018-11-13 平安科技(深圳)有限公司 智能调整智能终端铃声的方法及其控制方法及装置
CN109431470A (zh) * 2018-12-20 2019-03-08 西安交通大学医学院第二附属医院 睡眠呼吸监测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Non-contact_Breath_Motion_Monitor_ing_System_in_Full_Automation;I.Sato;《2005 IEEE Engineering in Medicine and Biology 27th Annual Conference》;20060410;3448-3451 *
音乐睡眠仪及一种控制睡眠的方法;李隆;《临床医学工程》;20120831;1241-1242 *

Also Published As

Publication number Publication date
CN113448438A (zh) 2021-09-28
CN116339509A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN113448438B (zh) 一种基于睡眠感知的控制***及方法
US9655559B2 (en) Automated sleep staging using wearable sensors
WO2018103028A1 (zh) 一种音频播放装置、***及方法
CN108366732A (zh) 困倦起始检测
CN108419096B (zh) 语音智能播放方法及***
CN110706816B (zh) 一种基于人工智能进行睡眠环境调控的方法及设备
Shuzo et al. Wearable eating habit sensing system using internal body sound
CN109568760A (zh) 一种睡眠环境调节方法及***
US10636437B2 (en) System and method for monitoring dietary activity
CN102458245A (zh) 使用血氧饱和度信号辨别潮式呼吸模式
US20220007964A1 (en) Apparatus and method for detection of breathing abnormalities
CN105476631A (zh) 一种基于脑电信号的睡眠检测及睡眠辅助方法及装置
CN106859653A (zh) 饮食行为检测装置及饮食行为检测方法
Selamat et al. Automatic food intake monitoring based on chewing activity: A survey
US20220054039A1 (en) Breathing measurement and management using an electronic device
Tran et al. Stethoscope-sensed speech and breath-sounds for person identification with sparse training data
CN110638419A (zh) 用于识别咀嚼的食物和/或饮用的饮料的方法和设备
CN109497956A (zh) 止鼾***及其控制方法
Zhang et al. An effective deep learning approach for unobtrusive sleep stage detection using microphone sensor
Luo et al. Design of embedded real-time system for snoring and OSA detection based on machine learning
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
Kondo et al. Optimized classification model for efficient recognition of meal-related activities in daily life meal environment
KR102588194B1 (ko) 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
Pan et al. The Methods of Realizing Baby Crying Recognition and Intelligent Monitoring Based on DNN-GMM-HMM
WO2023075746A1 (en) Detecting emotional state of a user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant