CN113633870B - 情绪状态调节***及方法 - Google Patents
情绪状态调节***及方法 Download PDFInfo
- Publication number
- CN113633870B CN113633870B CN202111017756.3A CN202111017756A CN113633870B CN 113633870 B CN113633870 B CN 113633870B CN 202111017756 A CN202111017756 A CN 202111017756A CN 113633870 B CN113633870 B CN 113633870B
- Authority
- CN
- China
- Prior art keywords
- emotion
- mobile terminal
- current user
- expression
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 260
- 238000000034 method Methods 0.000 title abstract description 39
- 230000008921 facial expression Effects 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000035876 healing Effects 0.000 claims description 55
- 230000002996 emotional effect Effects 0.000 claims description 46
- 239000011521 glass Substances 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 20
- 206010027951 Mood swings Diseases 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 17
- 238000000605 extraction Methods 0.000 abstract description 8
- 206010003805 Autism Diseases 0.000 description 26
- 208000020706 Autistic disease Diseases 0.000 description 26
- 230000001105 regulatory effect Effects 0.000 description 10
- 230000001225 therapeutic effect Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000147041 Guaiacum officinale Species 0.000 description 2
- 208000013875 Heart injury Diseases 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229940091561 guaiac Drugs 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000000741 silica gel Substances 0.000 description 2
- 229910002027 silica gel Inorganic materials 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Acoustics & Sound (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种情绪状态调节***及方法。该***包括，情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将面部表情图像和手部传感数据发送至移动终端；移动终端对面部表情图像进行特征提取，获得表情特征信息，并对手部压力传感数据进行处理，获得情绪起伏信号；移动终端根据表情特征信息和情绪起伏信号确定虚拟体验场景，并将虚拟体验场景发送至情绪检测模块；情绪检测模块基于虚拟体验场景对当前使用者的情绪状态进行调节。通过上述方式，本发明中需要使用者的表情特征信息和情绪起伏信号确定虚拟体验场景，之后基于虚拟体验场景进行情绪状态调节，实现了精准检测用户的情绪状态，从而对用户的情绪状态进行有效调节。
Description
技术领域
本发明涉及物联网技术领域，尤其涉及一种情绪状态调节***及方法。
背景技术
情绪特征的准确识别有助于后续训练***的发展，例如自闭症情绪特征的识别，目前临床治疗多采用特殊教育、心理行为治疗等综合性干预方法。现有技术中通过获取情绪脑电数据，之后对情绪脑电数据进行可视化处理，并显示到界面，之后根据自闭症儿童的情绪脑电数据进行音乐治疗。但通过脑电数据不能够精准检测出自闭症儿童的情绪结果，通过音乐治疗也不能对用户的情绪状态进行有效调节，因此，如何精准检测用户的情绪状态，并对用户的情绪状态进行有效调节是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种情绪状态调节***及方法，旨在解决如何精准检测用户的情绪状态，并对用户的情绪状态进行有效调节的技术问题。
为实现上述目的，本发明提供了一种情绪状态调节***，所述情绪状态调节***包括情绪检测模块及移动终端；
所述情绪检测模块，用于采集当前使用者的面部表情图像和手部压力传感数据，并将所述面部表情图像和所述手部传感数据发送至所述移动终端；
所述移动终端，用于对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号；
所述移动终端，还用于根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景，并将所述虚拟体验场景发送至所述情绪检测模块；
所述情绪检测模块，还用于基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
优选地，所述移动终端，还用于根据所述情绪起伏信号确定所述当前使用者的情绪分值；
所述移动终端，还用于根据所述表情特征信息和所述情绪分值确定情绪疗愈策略；
所述移动终端，还用于根据表情特征信息、所述情绪起伏信号及所述情绪疗愈策略确定虚拟体验场景。
优选地，所述移动终端，还用于根据所述表情特征信息和所述情绪分值确定所述当前使用者的情绪状态等级；
所述移动终端，还用于根据所述情绪状态等级确定情绪疗愈策略。
优选地，所述移动终端，还用于判断所述情绪分值是否大于预设阈值；
所述移动终端，还用于在所述情绪分值大于所述预设阈值时，根据所述表情特征信息确定所述当前使用者的情绪状态等级。
优选地，所述移动终端，还用于对所述情绪起伏信号进行分析，获得情绪波动分析图；
所述移动终端，还用于根据所述情绪波动分析图确定所述当前使用者的情绪分值。
优选地，所述移动终端，还用于根据所述表情特征信息生成虚拟人物画面，并根据所述情绪起伏信号确定虚拟背景画面；
所述移动终端，还用于根据所述虚拟人物画面、所述虚拟背景画面及所述情绪疗愈策略生成虚拟体验场景。
优选地，所述移动终端，还用于根据所述面部表情图像和所述情绪波动分析图生成所述当前使用者的情绪变化日志，以使监管人员查看所述当前使用者的情绪变化日志。
此外，为实现上述目的，本发明还提出一种情绪状态调节方法，所述情绪状态调节方法应用于如上文所述的情绪状态调节***，所述情绪状态调节***包括情绪检测模块及移动终端，所述情绪状态调节方法包括以下步骤:
所述情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将所述面部表情图像和所述手部传感数据发送至所述移动终端；
所述移动终端对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号；
所述移动终端根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景，并将所述虚拟体验场景发送至所述情绪检测模块；
所述情绪检测模块基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
优选地，所述根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景的步骤，包括：
所述移动终端根据所述情绪起伏信号确定所述当前使用者的情绪分值；
所述移动终端根据所述表情特征信息和所述情绪分值确定情绪疗愈策略；
所述移动终端根据表情特征信息、所述情绪起伏信号及所述情绪疗愈策略确定虚拟体验场景。
优选地，所述根据所述表情特征信息和所述情绪分值确定情绪疗愈策略的步骤，包括：
所述移动终端根据所述表情特征信息和所述情绪分值确定所述当前使用者的情绪状态等级；
所述移动终端根据所述情绪状态等级确定情绪疗愈策略。
本发明中首先情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将面部表情图像和手部传感数据发送至移动终端，之后移动终端对面部表情图像进行特征提取，获得表情特征信息，并对手部压力传感数据进行处理，获得情绪起伏信号，移动终端根据表情特征信息和情绪起伏信号确定虚拟体验场景，并将虚拟体验场景发送至情绪检测模块，最后情绪检测模块基于虚拟体验场景对当前使用者的情绪状态进行调节。现较与现有技术中根据脑电数据对用户进行音乐治疗，进而调节用户的情绪状态，而本发明中需要使用者的表情特征信息和情绪起伏信号确定虚拟体验场景，之后基于虚拟体验场景进行情绪状态调节，实现了精准检测用户的情绪状态，从而对用户的情绪状态进行有效调节，进而提高了用户体验感。
附图说明
图1为本发明情绪状态调节***第一实施例的流程示意图；
图2为本发明情绪状态调节***第一实施例的穿戴式眼镜模型图；
图3为本发明情绪状态调节***第一实施例的疗愈机器人模型图；
图4为本发明情绪状态调节方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的情绪状态调节***第一实施例的流程示意图。
本实施例中，所述情绪状态调节***包括情绪检测模块1001及移动终端1002；所述情绪检测模块1001，用于采集当前使用者的面部表情图像和手部压力传感数据，并将所述面部表情图像和所述手部传感数据发送至所述移动终端1002；所述移动终端1002，用于对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号；所述移动终端1002，还用于根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景，并将所述虚拟体验场景发送至所述情绪检测模块1001；所述情绪检测模块1001，还用于基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
需要说明的是，本方案的执行主体为情绪检测模块1001和移动终端1002，其中，情绪检测模块与移动终端存在交互模式，情绪检测模块包括穿戴式眼镜和疗愈机器人，应理解的是，穿戴式眼镜可以采集当前使用者的面部表情图像，疗愈机器人可以采集当前使用者的手部压力传感数据，移动终端可以对采集的面部表情图像和手部压力传感数据进行数据处理，获得表情特征信息和情绪起伏信号，之后根据表情特征信息和情绪起伏信号生成虚拟体验场景，最后将虚拟体验场景传输至穿戴式眼镜，以使当前使用者进行体验等。
穿戴式眼镜模型图参考图2，图2为本发明情绪状态调节***第一实施例的穿戴式眼镜模型图，穿戴式眼镜的结构如下：壳体由ABS塑料或碳纤维材质构成。穿戴后智能开启。虚拟现实技术(Virtual Reality VR)面罩由光学镜片和有机发光二极管(OLED)屏共同组成VR显示***。面罩上设计针孔镜头实时监控或拍摄当前使用者的面部表情图像。其中，穿戴式眼镜有分为VR体验***及监测***两个子***，之后VR体验***与监测***与后台或移动终端形成一体以达到远程实时监控情绪起伏变化的功能。
在具体实现中，穿戴式智能眼镜在带上以后通过移动终端发送的虚拟体验场景提供不同训练，进行真实的场景来训练孤独症儿童的情绪识别能力，在训练过程中记录其情绪变化最终显示到移动终端以提供记录反馈。
疗愈机器人模块图参考图3，图3为本发明情绪状态调节***第一实施例的疗愈机器人模型图，疗愈机器人形象呈现为一个可爱的卡通形象，能够使孤独症儿童与之相亲近，疗愈机器人可以通过陪小孩玩游戏、训练和培养孤独症儿童的行为康复，还可以根据孩子们的需求来调节声音和灯光，来为孤独症儿童进行更好的陪伴治愈，需要说明的是，疗愈机器人屏幕上根据检测到孤独症儿童情绪呈现不同的表情变化，检测心理行为变化启动不同陪伴模式。
疗愈机器人的产品外形由食用级材质环保硅胶和塑料面板构成整体的一个呈现。身体采用塑料板块，四肢采用环保硅胶可任意拉扯，增强整体趣味感。眼镜部分采用软灯板点阵式屏幕，可呈现出多种表情视觉画面。内部压感监测采用压力传感器模块以及安置智能芯片。头部采用分块触摸语音控制，通过不同的板块触摸，呈现出各种不同的功能，如：播放音乐，灯光变幻等模式。可以跟儿童产生一种情感上的互动，趣味同时体现出让整个产品更加精灵感。
疗愈机器人可以收到压力传感器电信号后，压力传感器把信号传送到智能芯片中，单片机优先检测压感程度。智能芯片将数据为基准把信号传送到灯光或者音乐***；且把当前压力数据以图型界面显示到智能终端，也可以转换到数据模式呈现到后台。
在本实施例中，穿戴式眼镜可以通过针孔镜头实时采集当前使用者即孤独症儿童的面部表情图像，之后将面部表情图像发送至移动终端，之后孤独症儿童可以手持疗愈机器人，移动终端根据手部压力传感器及面部表情图像确定疗愈机器人的陪伴表情及动作，之后将疗愈机器人的陪伴表情及动作都传输至移动终端，移动终端可以根据疗愈机器人的陪伴表情及动作形成虚拟人物画面投射至穿戴式眼镜，孤独症儿童可以根据穿戴式眼镜实时观察疗愈机器人的陪伴表情及动作，之后移动终端还可以根据孤独症儿童的面部表情图像及手部压力传感数据对应的情绪起伏信号生成虚拟背景画面，将虚拟背景画面与虚拟人物画面进行结合发送至穿戴式眼镜，孤独症儿童可以根据虚拟体验场景体验真实生活场景进行与人互动等。
所述情绪检测模块1001，用于采集当前使用者的面部表情图像和手部压力传感数据，并将所述面部表情图像和所述手部传感数据发送至所述移动终端1002。
需要说明的是，当前使用者可以为孤独症患者，孤独症患者使用穿戴式眼镜后，通过穿戴式眼镜拍摄当前孤独症患者的面部表情图像，手部压力传感数据为孤独症患者手持疗愈机器人，疗愈机器人内部存在压力传感器，之后可以根据压力传感器实时采集孤独症患者的手部压力传感数据。
在具体实现中，需要将穿戴式眼镜拍摄的孤独症患者的面部表情图像和疗愈机器人采集的手部压力传感数据发送至移动终端，移动终端可以对面部表情图像及手部压力传感数据进行处理并显示等。
疗愈机器人还可以将疗愈机器人外观形状及外观变化情况发送至移动终端，以使移动终端根据疗愈机器人外观形状及外观变化情况生成虚拟人物画面，该虚拟人物与疗愈机器人一致，之后将虚拟人物发送至穿戴式眼镜，使当前使用者通过穿戴式眼镜可以实时观察疗愈机器人。
所述移动终端1002，用于对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号.
移动终端可以对面部表情图像进行特征提取，获得表情特征信息，需要说明的是，表情特征信息为当前使用者的表情特征信息，其中表情特征信息包括眉眼及嘴巴的轮廓信息。移动终端对手部压力传感数据进行处理，获得情绪起伏信号，情绪起伏信号可以理解为当前使用者根据手部压力传感数据所产生的情绪变化信号等。
所述移动终端1002，还用于根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景，并将所述虚拟体验场景发送至所述情绪检测模块1001。
移动终端可以根据情绪起伏信号确定当前使用者的情绪分值，之后根据表情特征信息和情绪分值确定情绪疗愈策略，最后根据表情特征信息、情绪起伏信号及情绪疗愈策略确定虚拟体验场景。
情绪分值可以为理解为情绪起伏信号对应的打分值，之后根据打分值判断当前使用者的情绪变化情况，情绪分值可以为数字表示，例如5或8等，情绪分值越高说明当前使用者的情绪状态越强烈。
在具体实现中还可以根据情绪起伏信号生成情绪波动分析图即情绪起伏曲线图，根据情绪起伏曲线图确定当前使用者的情绪变化情况及情绪分值，例如情绪曲线图中曲线高处平缓，则当前使用者情绪较为强烈，情绪分值可以为9，例如情绪曲线图起伏较大，忽高忽低，则当前使用者情绪波动较为强烈，情绪分值可以为7等。
移动终端可以根据表情特征信息和情绪分值确定当前使用者的情绪状态等级，之后根据情绪状态等级确定情绪疗愈策略。
需要说明的是，根据表情特征信息可以明确当前使用者的表情状态，例如伤心、难过或紧张等。情绪状态等级可以为情绪状态高级、情绪状态中级及情绪状态低级等。
情绪疗愈策略可以为当前使用者处于虚拟体验场景的时长，可以5min，还可以为10min等。
假设当前使用者的表情特征信息为紧张状态，其情绪分值为9，则对应的当前使用者的情绪状态等级为紧张高级，其紧张高级对应的情绪疗愈策略可以为10min，也就是说当前使用者可以利用穿戴式眼镜处于虚拟体验场景9mi n。
应理解的是，移动终端还可以将当前使用者的表情特征信息传输至疗愈机器人，疗愈机器人可以根据当前使用者的表情特征信息在显示屏处展现对应的表情状态或陪伴表情状态。
在具体实现中，移动终端还可以判断情绪分值是否大于预设阈值，在情绪分值大于预设阈值时，根据表情特征信息确定当前使用者的情绪状态等级。
预设阈值为用户自定义设置，可以为4，例如情绪分值为3，预设阈值为4，则情绪分值小于预设阈值，当前使用者的情绪较为正常，不需要确定当前使用者的情绪状态等级；若情绪分值为5，预设阈值为4，则情绪分值大于预设阈值，当前使用者的情绪较为紧张，可知当前使用者的情绪状态等级为低级。
在本实施例中，情绪分值为5-6区间可以为情绪状态低级，情绪分值可以为7-8区间可以为情绪状态中级，情绪分值为9-10区间可以为情绪状态高级等。
需要说明的是，移动终端可以根据表情特征信息生成虚拟人物画面，根据情绪起伏信号确定虚拟背景画面，之后根据虚拟人物画面和虚拟背景画面及情绪疗愈策略生成虚拟体验场景。
虚拟背景画面可以预先存储至移动终端的多个虚拟背景画面，需要说明的是移动终端那中存在预设背景映射关系表，其中预设背景映射关系表中存在多个虚拟背景画面和多个用户情绪分值，虚拟背景画面与用户情绪分值存在一一对应的关系。
所述情绪检测模块1001，还用于基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
需要说明的是，当前使用者在基于虚拟体验场景进行情绪状态调节时，穿戴式眼镜和疗愈机器人还可以实时监测面部表情图像和手部压力传感数据，之后根据面部表情图像和手部压力传感数据对应的情绪波动分析图生成当前使用者的情绪变化日志，以使监管人员查看所述当前使用者的情绪变化日志。
本实施例中首先情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将面部表情图像和手部传感数据发送至移动终端，之后移动终端对面部表情图像进行特征提取，获得表情特征信息，并对手部压力传感数据进行处理，获得情绪起伏信号，移动终端根据表情特征信息和情绪起伏信号确定虚拟体验场景，并将虚拟体验场景发送至情绪检测模块，最后情绪检测模块基于虚拟体验场景对当前使用者的情绪状态进行调节。现较与现有技术中根据脑电数据对用户进行音乐治疗，进而调节用户的情绪状态，而本发明中需要使用者的表情特征信息和情绪起伏信号确定虚拟体验场景，之后基于虚拟体验场景进行情绪状态调节，实现了精准检测用户的情绪状态，从而对用户的情绪状态进行有效调节，进而提高了用户体验感。
此外，参照图4，本发明实施例还提出一种情绪状态调节方法，所述情绪状态调节方法应用于如上文所述的情绪状态调节***，所述情绪状态调节***包括情绪检测模块及移动终端，所述情绪状态调节方法包括以下步骤：
步骤S40：情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将所述面部表情图像和所述手部传感数据发送至移动终端。
需要说明的是，当前使用者可以为孤独症患者，孤独症患者使用穿戴式眼镜后，通过穿戴式眼镜拍摄当前孤独症患者的面部表情图像，手部压力传感数据为孤独症患者手持疗愈机器人，疗愈机器人内部存在压力传感器，之后可以根据压力传感器实时采集孤独症患者的手部压力传感数据。
在具体实现中，需要将穿戴式眼镜拍摄的孤独症患者的面部表情图像和疗愈机器人采集的手部压力传感数据发送至移动终端，移动终端可以对面部表情图像及手部压力传感数据进行处理并显示等。
疗愈机器人还可以将疗愈机器人外观形状及外观变化情况发送至移动终端，以使移动终端根据疗愈机器人外观形状及外观变化情况生成虚拟人物画面，该虚拟人物画面与疗愈机器人一致，之后将虚拟人物发送至穿戴式眼镜，使当前使用者通过穿戴式眼镜可以实时观察疗愈机器人
步骤S41：所述移动终端对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号。
移动终端可以对面部表情图像进行特征提取，获得表情特征信息，需要说明的是，表情特征信息为当前使用者的表情特征信息，其中表情特征信息包括眉眼及嘴巴的轮廓信息。移动终端对手部压力传感数据进行处理，获得情绪起伏信号，情绪起伏信号可以理解为当前使用者根据手部压力传感数据所产生的情绪变化信号等。
步骤S42：所述移动终端根据所述表情特征信息和所述情绪起伏信号确定虚拟体验场景，并将所述虚拟体验场景发送至所述情绪检测模块。
移动终端可以根据情绪起伏信号确定当前使用者的情绪分值，之后根据表情特征信息和情绪分值确定情绪疗愈策略，最后根据表情特征信息、情绪起伏信号及情绪疗愈策略确定虚拟体验场景。
情绪分值可以为理解为情绪起伏信号对应的打分值，之后根据打分值判断当前使用者的情绪变化情况，情绪分值可以为数字表示，例如5或8等，情绪分值越高说明当前使用者的情绪状态越强烈。
在具体实现中还可以根据情绪起伏信号生成情绪波动分析图即情绪起伏曲线图，根据情绪起伏曲线图确定当前使用者的情绪变化情况及情绪分值，例如情绪曲线图中曲线高处平缓，则当前使用者情绪较为强烈，情绪分值可以为9，例如情绪曲线图起伏较大，忽高忽低，则当前使用者情绪波动较为强烈，情绪分值可以为7等。
移动终端可以根据表情特征信息和情绪分值确定当前使用者的情绪状态等级，之后根据情绪状态等级确定情绪疗愈策略。
需要说明的是，根据表情特征信息可以明确当前使用者的表情状态，例如伤心、难过或紧张等。情绪状态等级可以为情绪状态高级、情绪状态中级及情绪状态低级等。
情绪疗愈策略可以为当前使用者处于虚拟体验场景的时长，可以5min，还可以为10min等。
假设当前使用者的表情特征信息为紧张状态，其情绪分值为9，则对应的当前使用者的情绪状态等级为紧张高级，其紧张高级对应的情绪疗愈策略可以为10min，也就是说当前使用者可以利用穿戴式眼镜处于虚拟体验场景9mi n。
应理解的是，移动终端还可以将当前使用者的表情特征信息传输至疗愈机器人，疗愈机器人可以根据当前使用者的表情特征信息在显示屏处展现对应的表情状态或陪伴表情状态。
在具体实现中，移动终端还可以判断情绪分值是否大于预设阈值，在情绪分值大于预设阈值时，根据表情特征信息确定当前使用者的情绪状态等级。
预设阈值为用户自定义设置，可以为4，例如情绪分值为3，预设阈值为4，则情绪分值小于预设阈值，当前使用者的情绪较为正常，不需要确定当前使用者的情绪状态等级；若情绪分值为5，预设阈值为4，则情绪分值大于预设阈值，当前使用者的情绪较为紧张，可知当前使用者的情绪状态等级为低级。
在本实施例中，情绪分值为5-6区间可以为情绪状态低级，情绪分值可以为7-8区间可以为情绪状态中级，情绪分值为9-10区间可以为情绪状态高级等。
需要说明的是，移动终端可以根据表情特征信息生成虚拟人物画面，根据情绪起伏信号确定虚拟背景画面，之后根据虚拟人物画面和虚拟背景画面及情绪疗愈策略生成虚拟体验场景。
虚拟背景画面可以预先存储至移动终端的多个虚拟背景画面，需要说明的是移动终端那中存在预设背景映射关系表，其中预设背景映射关系表中存在多个虚拟背景画面和多个用户情绪分值，虚拟背景画面与用户情绪分值存在一一对应的关系。
步骤S43：所述情绪检测模块基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
需要说明的是，当前使用者在基于虚拟体验场景进行情绪状态调节时，穿戴式眼镜和疗愈机器人还可以实时监测面部表情图像和手部压力传感数据，之后根据面部表情图像和手部压力传感数据对应的情绪波动分析图生成当前使用者的情绪变化日志，以使监管人员查看所述当前使用者的情绪变化日志。
本实施例中首先情绪检测模块采集当前使用者的面部表情图像和手部压力传感数据，并将面部表情图像和手部传感数据发送至移动终端，之后移动终端对面部表情图像进行特征提取，获得表情特征信息，并对手部压力传感数据进行处理，获得情绪起伏信号，移动终端根据表情特征信息和情绪起伏信号确定虚拟体验场景，并将虚拟体验场景发送至情绪检测模块，最后情绪检测模块基于虚拟体验场景对当前使用者的情绪状态进行调节。现较与现有技术中根据脑电数据对用户进行音乐治疗，进而调节用户的情绪状态，而本发明中需要使用者的表情特征信息和情绪起伏信号确定虚拟体验场景，之后基于虚拟体验场景进行情绪状态调节，实现了精准检测用户的情绪状态，从而对用户的情绪状态进行有效调节，进而提高了用户体验感。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的情绪状态调节***，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Onl y Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种情绪状态调节***，其特征在于，所述情绪状态调节***包括情绪检测模块及移动终端；
所述情绪检测模块，用于基于穿戴式眼镜通过针孔镜头采集当前使用者的面部表情图像，通过疗愈机器人内置的压力传感器采集手部压力传感数据，并将所述面部表情图像和所述手部压力传感数据发送至所述移动终端；
所述移动终端，用于对所述面部表情图像进行特征提取，获得表情特征信息，并对所述手部压力传感数据进行处理，获得情绪起伏信号，其中，所述表情特征信息包括眉眼及嘴巴的轮廓信息，所述情绪起伏信号为所述当前使用者根据所述手部压力传感数据所产生的情绪变化信号；
所述移动终端，还用于根据所述情绪起伏信号确定所述当前使用者的情绪分值；
所述移动终端，还用于根据所述表情特征信息和所述情绪分值确定情绪疗愈策略，所述情绪疗愈策略为所述当前使用者处于虚拟体验场景时长；
其中，所述移动终端，还用于根据所述表情特征信息、所述疗愈机器人对应的外观形状及外观变化情况生成虚拟人物画面，并根据所述情绪起伏信号确定虚拟背景画面；
所述移动终端，还用于根据所述虚拟人物画面、所述虚拟背景画面及所述情绪疗愈策略生成虚拟体验场景；
所述情绪检测模块，还用于基于所述虚拟体验场景对所述当前使用者的情绪状态进行调节。
2.如权利要求1所述的***，其特征在于，所述移动终端，还用于根据所述表情特征信息和所述情绪分值确定所述当前使用者的情绪状态等级；
所述移动终端，还用于根据所述情绪状态等级确定情绪疗愈策略。
3.如权利要求2所述的***，其特征在于，所述移动终端，还用于判断所述情绪分值是否大于预设阈值；
所述移动终端，还用于在所述情绪分值大于所述预设阈值时，根据所述表情特征信息确定所述当前使用者的情绪状态等级。
4.如权利要求3所述的***，其特征在于，所述移动终端，还用于对所述情绪起伏信号进行分析，获得情绪波动分析图；
所述移动终端，还用于根据所述情绪波动分析图确定所述当前使用者的情绪分值。
5.如权利要求4所述的***，其特征在于，所述移动终端，还用于根据所述面部表情图像和所述情绪波动分析图生成所述当前使用者的情绪变化日志，以使监管人员查看所述当前使用者的情绪变化日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017756.3A CN113633870B (zh) | 2021-08-31 | 2021-08-31 | 情绪状态调节***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017756.3A CN113633870B (zh) | 2021-08-31 | 2021-08-31 | 情绪状态调节***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113633870A CN113633870A (zh) | 2021-11-12 |
| CN113633870B true CN113633870B (zh) | 2024-01-23 |
Family
ID=78424822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111017756.3A Active CN113633870B (zh) | 2021-08-31 | 2021-08-31 | 情绪状态调节***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113633870B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116594511B (zh) * | 2023-07-17 | 2023-11-07 | 天安星控(北京)科技有限责任公司 | 基于虚拟现实的场景体验方法、装置、计算机设备和介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6425764B1 (en) * | 1997-06-09 | 2002-07-30 | Ralph J. Lamson | Virtual reality immersion therapy for treating psychological, psychiatric, medical, educational and self-help problems |
| CN103654798A (zh) * | 2013-12-11 | 2014-03-26 | 四川大学华西医院 | 一种情绪监测与记录方法及其装置 |
| CN106620990A (zh) * | 2016-11-24 | 2017-05-10 | 深圳创达云睿智能科技有限公司 | 一种调节情绪的方法及其装置 |
| CN106955113A (zh) * | 2017-05-10 | 2017-07-18 | 安徽徽韵心理咨询有限公司 | 一种反馈式智能拥抱引导仪 |
| CN109271018A (zh) * | 2018-08-21 | 2019-01-25 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及*** |
| CN109571494A (zh) * | 2018-11-23 | 2019-04-05 | 北京工业大学 | 情绪识别方法、装置及宠物机器人 |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断***、设备及介质 |
| CN109683709A (zh) * | 2018-12-17 | 2019-04-26 | 苏州思必驰信息科技有限公司 | 基于情绪识别的人机交互方法及*** |
| CN110404148A (zh) * | 2019-08-07 | 2019-11-05 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种基于虚拟现实技术的自闭症情绪安抚方法及*** |
| CN111531552A (zh) * | 2020-03-13 | 2020-08-14 | 华南理工大学 | 一种心理陪伴机器人及情绪支援方法 |
| KR102280722B1 (ko) * | 2020-02-20 | 2021-07-22 | 공영일 | 정신 건강 관리 서비스를 위한 힐링 의자 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11393252B2 (en) * | 2019-05-01 | 2022-07-19 | Accenture Global Solutions Limited | Emotion sensing artificial intelligence |
-
2021
- 2021-08-31 CN CN202111017756.3A patent/CN113633870B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6425764B1 (en) * | 1997-06-09 | 2002-07-30 | Ralph J. Lamson | Virtual reality immersion therapy for treating psychological, psychiatric, medical, educational and self-help problems |
| CN103654798A (zh) * | 2013-12-11 | 2014-03-26 | 四川大学华西医院 | 一种情绪监测与记录方法及其装置 |
| CN106620990A (zh) * | 2016-11-24 | 2017-05-10 | 深圳创达云睿智能科技有限公司 | 一种调节情绪的方法及其装置 |
| CN106955113A (zh) * | 2017-05-10 | 2017-07-18 | 安徽徽韵心理咨询有限公司 | 一种反馈式智能拥抱引导仪 |
| CN109271018A (zh) * | 2018-08-21 | 2019-01-25 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及*** |
| CN109571494A (zh) * | 2018-11-23 | 2019-04-05 | 北京工业大学 | 情绪识别方法、装置及宠物机器人 |
| CN109683709A (zh) * | 2018-12-17 | 2019-04-26 | 苏州思必驰信息科技有限公司 | 基于情绪识别的人机交互方法及*** |
| CN109620185A (zh) * | 2019-01-31 | 2019-04-16 | 山东大学 | 基于多模态信息的自闭症辅助诊断***、设备及介质 |
| CN110404148A (zh) * | 2019-08-07 | 2019-11-05 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种基于虚拟现实技术的自闭症情绪安抚方法及*** |
| KR102280722B1 (ko) * | 2020-02-20 | 2021-07-22 | 공영일 | 정신 건강 관리 서비스를 위한 힐링 의자 장치 |
| CN111531552A (zh) * | 2020-03-13 | 2020-08-14 | 华南理工大学 | 一种心理陪伴机器人及情绪支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113633870A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110890140B (zh) | 基于虚拟现实的自闭症康复训练及能力评估***及方法 | |
| US11656680B2 (en) | Technique for controlling virtual image generation system using emotional states of user | |
| CN113156650B (zh) | 利用映像的增强现实***和方法 | |
| TWI658377B (zh) | 機器人輔助互動系統及其方法 | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练***与方法 | |
| CN109585021B (zh) | 基于全息投影技术的精神状态评估方法 | |
| CN106730238B (zh) | 一种环境自适应的智能辅助睡眠装置及方法 | |
| US10249391B2 (en) | Representation of symptom alleviation | |
| CN104298722B (zh) | 多媒体交互***及其方法 | |
| CN111063416A (zh) | 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估*** | |
| CN107463780A (zh) | 一种3d虚拟自闭症治疗***及治疗方法 | |
| CN108310587A (zh) | 一种睡眠控制装置与方法 | |
| CN106362260B (zh) | Vr情绪调节装置 | |
| US20210383714A1 (en) | Information processing device, information processing method, and program | |
| CN110363129B (zh) | 基于微笑范式和音视频行为分析的孤独症早期筛查*** | |
| JP2012524596A (ja) | 鼻気流式デバイスコントローラ | |
| CN102473320A (zh) | 通过学习到的来自用户的输入使视觉表示生动化 | |
| CN111444789B (zh) | 一种基于视频感应技术的近视预防方法及其*** | |
| Rizzo et al. | Performance-driven facial animation: basic research on human judgments of emotional state in facial avatars | |
| JP6930546B2 (ja) | 出力制御装置、出力制御方法およびプログラム | |
| JP2017153887A (ja) | 心身状態推定装置、心身状態推定方法、およびアイウエア | |
| CN113633870B (zh) | 情绪状态调节***及方法 | |
| KR102430067B1 (ko) | 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법 | |
| CN113837153A (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** | |
| CN109816601A (zh) | 一种图像处理方法和终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |