CN110825503B - 主题切换方法、装置及存储介质、服务器 - Google Patents
主题切换方法、装置及存储介质、服务器 Download PDFInfo
- Publication number
- CN110825503B CN110825503B CN201910969202.XA CN201910969202A CN110825503B CN 110825503 B CN110825503 B CN 110825503B CN 201910969202 A CN201910969202 A CN 201910969202A CN 110825503 B CN110825503 B CN 110825503B
- Authority
- CN
- China
- Prior art keywords
- emotion
- mood
- theme
- user
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008451 emotion Effects 0.000 claims abstract description 359
- 230000036651 mood Effects 0.000 claims abstract description 319
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 206010063659 Aversion Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据分析、用户画像、用户情绪画像技术领域，本申请实施例提供的一种主题切换方法，包括：监测应用程序是否处于前台运行，当应用程序处于前台运行时，应用程序前台运行，获取当前人脸特征数据，实时采集用户的语音信息；根据人脸特征数据确定用户的第一情绪，根据语音信息中的语音信号和语义信息确定用户的第二情绪；依据第一情绪和第二情绪确定用户的心情指数，按照预设规则获取与心情指数相对应的主题内容，将主题内容配置为应用程序的当前主题。基于用户表情对用户的心情进行判断，以用户的心情获得更为精确的主题，实现主题自动更新，使得主题更为贴合用户的心情，或者提醒用户保持好心情，实现对用户心情调节，提高用户体验。
Description
技术领域
本发明涉及数据分析、用户画像、用户情绪画像技术领域，具体涉及一种主题切换方法、装置及存储介质、服务器。
背景技术
随着计算机技术的发展，人们对电子设备的美观需求越来越高。越来越多的用户使用终端设备执行各种各样的功能以满足自身需求，如使用终端设备阅读文字、观看视频、听音乐、玩游戏等，为适应用户的个性化需求，人们可以通过主题应用市场下载不同类型的主题，在合适的场合对下载的主题进行安装，使得电子设备可以根据该主题展示对应的桌面壁纸、锁屏壁纸、应用程序图标等，各种应用程序以及***程序均包含多个可设置、更换的主题，不同主题对应不同的显示界面，常规的主题设置主要针对于终端设备的主题更改设置，而用户使用的应用程序多是用户根据自己的喜好进行手动设置，或者应用程序后台的默认设置，常规的设置方式使得应用程序主题样式固定单一，设置效率低下，设置的方式也较为单一或者繁杂，如果用户不进行手动更改或者应用程序后台默认主题不更改，导致应用程序的主题长时间得不到更新。
发明内容
为克服以上技术问题，特别是目前应用程序主题样式固定单一，设置效率低下且不能调节用户心情的问题，特提出以下技术方案：
本发明实施例提供的一种主题切换方法，包括：
监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
依据所述第一情绪和所述第二情绪确定用户的心情指数；
按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。
可选地，所述根据所述语音信息中的语音信号和语义信息确定用户的第二情绪，包括：
将所述语音信号与预设语音信号进行匹配，确定所述语音信号的第一子情绪；
将所述语义信息转换为文本信息，对所述文本信息进行分词处理，根据分词处理后的所述文本信息确定第二子情绪；
基于所述第一子情绪和所述第二子情绪及所述第一子情绪预设的第一权重和所述第一子情绪预设的第二权重确定所述第二情绪。
可选地，所述依据所述第一情绪和所述第二情绪确定用户的心情指数，包括：
依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。
可选地，所述依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数，包括：
将所述普拉奇克情绪模型输入所述机器学习模型，获得情绪融合模型；
将所述第一情绪输入所述情绪融合模型，获得所述第一情绪在所述普拉奇克情绪模型中第一情绪值和第一权重值，将所述第二情绪输入所述情绪融合模型，获得所述第二情绪在所述普拉奇克情绪模型中第二情绪值和第一权重值；
将所述第一情绪值乘以第一心情权重加上第二情绪值乘以第二心情权重，获得所述用户的心情指数。
可选地，所述依据所述第一情绪和所述第二情绪确定用户的心情指数之后，包括：
获取用户预设时间段内的若干心情指数，计算所述若干心情指数确定用户若干心情指数平均值；
将所述平均值作为用户的心情指数。
可选地，所述按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题，包括：
当所述用户的心情指数在第一预设阈值范围内时，将暖色系主题配置为所述应用程序的当前主题；
当所述用户的心情指数在第二预设阈值范围内时，将鼓励性主题配置为所述应用程序的当前主题。
可选地，所述主题切换方法，还包括：
依据所述第一情绪确定用户的第一心情指数，依据所述第二情绪确定用户的第二心情指数；
按照所述预设规则获取与所述第一心情指数相对应的第一主题内容，按照所述预设规则获取与所述第二心情指数相对应的第二主题内容，将所述第一主题内容和所述第二主题内容进行对比，确定所述第一主题内容和所述第二主题内容是否一致；
当所述第一主题内容和所述第二主题内容不一致时，获取历史第一主题内容和历史第二主题内容不一致时所述应用程序的历史主题内容，将所述历史主题内容配置为所述应用程序当前的主题内容；其中，所述第一主题内容和所述历史第一主题内容一致，所述第二主题内容和所述历史第二主题内容一致。
本发明实施例提供了一种主题切换装置，包括：
获取模块，用于监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
确定模块，用于根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
第一心情指数确定模块，用于依据所述第一情绪和所述第二情绪确定用户的心情指数；
第一配置模块，用于按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。
可选地，所述确定模块，包括：
匹配单元，用于将所述语音信号与预设语音信号进行匹配，确定所述语音信号的第一子情绪；
分词单元，用于将所述语义信息转换为文本信息，对所述文本信息进行分词处理，根据分词处理后的所述文本信息确定第二子情绪；
第二情绪确定单元，用于基于所述第一子情绪和所述第二子情绪及所述第一子情绪预设的第一权重和所述第一子情绪预设的第二权重确定所述第二情绪。
可选地，所述配置模块，包括：
心情指数确定单元，用于依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一技术方案所述的主题切换方法。
本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据任一技术方案所述的主题切换方法的步骤。
本发明与现有技术相比，具有以下有益效果：
1、本申请实施例提供的一种主题切换方法，包括：监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；依据所述第一情绪和所述第二情绪确定用户的心情指数，按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。基于用户表情对用户的心情进行判断，并基于用户的心情获得更为精确的主题，在用户心情不好使能够提醒用户保持好心情，在用户心情好时，也能够给用户持续注入乐观的情绪，在实现主题自动更新的基础上，主题更为贴合用户的心情，通过提醒用户可以使得用户保持一个好心情，实现对用户心情调节的作用，进而提高了用户体验。
2、本申请实施例提供的一种主题切换方法，所述依据所述第一情绪和所述第二情绪确定用户的心情指数，包括：依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。在获取设备终端采集到的用户人脸和语音，通过分析用户人脸和语音信息确定用户情绪的基础上，结合机器学习算法确定各情绪在普拉奇克情绪模型中的位置，确定用户当前心情指数，基于用户的心情指数更新应用程序与用户心情指数相对应的主题，通过该方法不仅仅增加了应用程序主题的风格样式，还能够提醒用户随时保持好心情。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明主题切换方法的典型实施例中一种实施方式的流程示意图；
图2为本发明主题切换方法的典型实施例中普拉克奇模型图；
图3为本发明主题切换方法的典型实施例中普拉克奇模型图确定用户情绪的结构示意图；
图4为本发明主题切换装置的典型实施例的结构示意图；
图5为本发明服务器的一实施例结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作***或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本申请实施例提供的一种主题切换方法，在其中一种实施方式中，如图1所示，包括：S100、S200、S300、S400。
S100：监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
S200：根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
S300：依据所述第一情绪和所述第二情绪确定用户的心情指数；
S400：按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。
常规情况下，由于用户在与移动终端进行交互的过程中，终端实时监测应用程序是否处于前台运行状态，当应用程序处于前台运行状态，则说明用户正在与移动终端中的应用程序进行交互，在此过程中，移动终端则能启动摄像装置捕捉人脸，启动语音采集装置实时采集用户的语音信息，进而能够基于捕捉到的人脸进行情绪识别，因此，为了能够更为精准地使得应用程序的主题与用户情绪相对应，获取当前获取人脸图像。另外，还能获取用户解锁时的人脸图像，进而可以在用户解锁打开应用程序之后，使得应用程序的主题呈现出与用户心情相对应的主题。另外，在获取到人脸图像之后，为了能够确定用户的情绪，提取用户的人脸特征数据，人脸特征数据的提取可以通过如下方法实现，主要步骤包括：预先定义系列特征点，该特征点标记在人脸的不同区域，主要集中在人脸的眉毛、眼睛、嘴巴和下巴部位；通过图像卷积抽取特征点的Gabor小波系数，以Gabor特征的匹配距离作为相似度的度量标准；特征提取完毕后，通过多层神经网络得到面部表情的识别结果。采用基于卷积神经网络的面部识别方法，其中，卷积神经网络是一种前馈神经网络，其人工神经元可以响应一部分覆盖范围内的周围单元。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层。具体的，主要步骤包括：定位人脸所在的图像位置，进行图像预处理(如去掉无关噪声)；对预处理后的图像采用包括5个卷基层和3个随机池化层的网络模型得到识别结果。由于单独通过人脸图像确定用户的情绪，并不能够精准地找到与用户情绪相对应的主题，且在部分情况下，用户还会通过隐藏自己的表情来掩盖用户的情绪，隐藏自己表现在脸部的情绪特征，导致不能够精准地确定用户的当前情绪，因此，为了能够更为精准地确定用户的人脸特征，在申请中，还需要通过采集的实时语音信息确定用户的第二情绪，在语音信息中，包括了用户的语音信号和语义信息。语音信号主要通过与数据库中的预设的语音信号进行匹配(详见后文)，语义则是用户字词句表达的出的意思，基于用户的语音信息进行用户情绪特征的识别，将语音信息和人脸特征对应的信息综合共同确定用户的情绪、心情，能够得到更为准确的用户心情状态，进而便于基于用户心情状态向用户推送相关的应用主题，以便于用户能够在打开应用程序过程中，该主题能够对用户的心情起到调节作用，使得用户能够将影响自己心情的不好情绪发泄出来，或者好情绪能够持续。通过移动终端进行人脸解锁时，或者摄像装置能够拍摄到用户人脸的角度时得到的人脸数据，常常直接表达出了用户在当前状况下的情绪，而部分用户可能或通过情绪隐藏的方法。结合前述可知，单一特征的情绪并不能够完整或者精准地体现出用户当下的心情，因此，在确定了用户脸部情绪以用户语音中包含的情绪之后，为了能够精准地体现出用户的心情指数，将第一情绪和第二情绪融合在一起，共同确定用户的心情指数。在本申请中以普拉奇克情绪模型(详见图2)为基准，通过机器学习模型将第一情绪融合和第二情绪融合共同确定用户的心情指数，具体用户心情指数确定过程见后文，在此不做赘述。需要说明的是，本申请中人脸特征数据和语音信息获得的过程并不具有先后顺序，且不限制两者得到的顺序，两者可以同时获取和采集，也可以人脸特征数据先获取到，然后再采集实时语音信息，或者是相反的顺序。
可选地，所述主题切换方法，还包括：
依据所述第一情绪确定用户的第一心情指数，依据所述第二情绪确定用户的第二心情指数；
按照所述预设规则获取与所述第一心情指数相对应的第一主题内容，按照所述预设规则获取与所述第二心情指数相对应的第二主题内容，将所述第一主题内容和所述第二主题内容进行对比，确定所述第一主题内容和所述第二主题内容是否一致；
当所述第一主题内容和所述第二主题内容不一致时，获取历史第一主题内容和历史第二主题内容不一致时所述应用程序的历史主题内容，将所述历史主题内容配置为所述应用程序当前的主题内容；其中，所述第一主题内容和所述历史第一主题内容一致，所述第二主题内容和所述历史第二主题内容一致。
需要说明的是，在前述示例过程中，因为采集语音总有一段时间，而这个人脸特征得保留一段时间，因此，通过当前人脸特征与实时采集到的用户语音信息共同确定用户的心情指数时间不一致，导致主题内容不能更好地与用户心情指数进行匹配，为了实现应用程序的主题内容更好地与用户心情指数匹配。将相同情况下的历史主题内容配置为应用程序当前的主题内容，第一主题内容和历史第一主题内容一致，第二主题内容和历史第二主题内容一致，即第一主题内容为暖色系，历史第一主题也为暖色系，第二主题为鼓励性，历史第二主题也为鼓励性，当历史主题设置为鼓励性时，则将应用程序当前设置的主题内容替换为鼓励性主题。在该过程中的历史是指第一主题内容和第二主题内容两者产生之前的时间点，更进一步地，为获取到当前人脸特征和实时采集到的语音信息之前。示例性，当终端监测到应用程序在前台运行，即用户在使用应用程序过程中，在10:00的时候采集到用户的人脸特征，但是还未能够同时采集到用户语音信息，则根据用户的人脸特征得到用户的第一情绪为开心，并根据该第一情绪得到用户的心情指数较好，根据该心情指数得到的第一主题内容为暖色系主题；在10:01分时采集到用户的语音信息，根据该语音信息得到用户的第二情绪为悲伤，并根据该第二情绪得到用户的心情指数较低，根据该心情指数得到的第二主题内容为鼓励性主题；此时，由于通过人脸特征和语音信息得到的主题内容不一致，则需要参考在10:00分之前相同状况下历史主题内容，即在10:00分之前历史第一主题内容为暖色系主题，历史第二主题内容为鼓励性主题的状况下，应用程序配置的主题内容，若10：00之前相同状况下应用程序配置的是暖色系主题，则将暖色系主题配置为应用程序当前的主题内容，若10：00之前相同状况下应用程序配置的是鼓励性主题，则将鼓励性主题配置为应用程序当前的主题内容。更进一步地，在其中一种实施方式中，统计历史第一主题内容和历史第二主题内容不一致时，配置历史第一主题内容作为应用程序历史主题内容的数量和配置历史第二主题内容作为应用程序历史主题内容的数量，将数量较大的历史主题配置为应用程序当前的主题内容。通过该方法能够使得配置的主题内容更为贴合用户的心情，特别地，在前述状况下，历史主题为用户自己确定时，使得应用程序的主题内容和用户心情更为贴合，更能够满足用户的需求。
进一步地，应用程序可通过人脸，语音确定主题；也可以通过用户输入的文字，确定心情指数，得到主题。其中，用户的心情指数结合本申请前后文确定，在此不做赘述。当这两个心情指数不一致，或主题内容不一致时，可以某一个为准。比如，从语音得出用户悲伤，但从文字得出用户很开心，这时候同样结合前述说明参考历史主题，切换与历史主题一致的主题。其中，另外也可以后文中预设时间段内的若干心情指数为基准，确定本申请中应用程序的主题。
可选地，所述根据所述语音信息中的语音信号和语义信息确定用户的第二情绪，包括：
将所述语音信号与预设语音信号进行匹配，确定所述语音信号的第一子情绪；
将所述语义信息转换为文本信息，对所述文本信息进行分词处理，根据分词处理后的所述文本信息确定第二子情绪；
基于所述第一子情绪和所述第二子情绪及所述第一子情绪预设的第一权重和所述第一子情绪预设的第二权重确定所述第二情绪。
结合前文可知，语音信号需要与预设的语音信号进行匹配才能确定用户语音信号包含的部分情绪。相应的，在本申请提供的实施例中，语音信号主要通过与数据库中的预设的语音信号进行匹配，进而确定语音信号对应的第一子情绪，例如，若用户大声地吼人，则获取到高分贝而急促的语音信号，采用语音情感识别技术处理后，即识别用户语音中的分贝与语速，将其与数据库中预设的分贝与语速对应的情绪特征对比，确定用户该语音信号对应的第一子情绪。为了能够更为准确地确定用户情绪，通过对用户语音信号中的语义信息进行文字识别分词处理，在分词处理过程中，由于分词处理更能够精准地读取出用户当前的情绪，结合用户语音信号(用户讲话过程中的语音情绪，即语气)进而更能精准地表征出用户当前的情绪特征。在部分情况中，用户常常通过隐藏自己的语音信号表达自己的情绪，例如在用户很愤怒的时候，常常通过平静的语气结合表达自己愤怒情绪的语义来表征自己的情绪特征；在一些情况，可以直接通过说话的语气识别出用户的情绪特征，再结合用户的语义信息，使得用户情绪特征表现得更加明显。因此，语义信号常常可以直接获取到部分的用户情绪特征，而语音信号表现出的情绪特征辅助了第二情绪的表达，通过预设语音信号和语义信号在第二情绪特征中的权重，进而可以更为精准地体现出用户当前的情绪。其中两者的情绪特征所占的权重同样能采用前述的普拉奇克情绪模型确定，具体情绪特征所占的权重确定过程详见后文，在此不做赘述。另外，还可以在数据库中预设有不同子情绪对应的权重值，该权重通过大数据对机器模型进行训练，得到在不同的语音信号和与该语音信号相关联的语义信息下的子情绪权重，语音信号确定的第一子情绪的第一权重和语义信号确定的第二子情绪的第二权重，并将第一子情绪和第一权重以映射关系预存储在数据库中，将第二子情绪和第二权重以映射关系预存储在数据库中。在确定第二情绪时，则根据两者情绪确定第二情绪。相应的，假设确定第二情绪的权重差值大于预设阈值时，将权重值较大的子情绪作为第二情绪，示例性的，预设阈值为60％，在第一子情绪权重明显大于第二情绪的权重(如大于60％)时，则将第一子情绪作为第二情绪，在第二子情绪权重大于第二情绪的权重(如大于70％)时，则将第二子情绪作为第二情绪。更进一步地，在两者权重接近时，即小于等于60％时，则说明第一子情绪和第二子情绪为相同或者相似的情绪，此时以任意一个子情绪作为第二情绪。
可选地，所述依据所述第一情绪和所述第二情绪确定用户的心情指数，包括：
依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。
可选地，所述依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数，包括：
将所述普拉奇克情绪模型输入所述机器学习模型，获得情绪融合模型；
将所述第一情绪输入所述情绪融合模型，获得所述第一情绪在所述普拉奇克情绪模型中第一情绪值和第一权重值，将所述第二情绪输入所述情绪融合模型，获得所述第二情绪在所述普拉奇克情绪模型中第二情绪值和第一权重值；
将所述第一情绪值乘以第一心情权重加上第二情绪值乘以第二心情权重，获得所述用户的心情指数。
普拉奇克(Plutchik)认为情绪是多维的，它包括强度、相似性和两极性三个维度。即(1)所有的情绪都能表现出不同的强度，如不同程度的愉快或悲伤；(2)不同的情绪在感受上的相似性，如快乐和期待、厌恶与惧怕等；(3)两极性是指感受完全不同的两种情绪，如悲痛与狂喜等。普拉奇克采用一个橘瓣体来形象的描述三个维度之间的关系(类似于八色相环)，每个橘瓣体代表一类基本情绪，即狂喜、接受、惊奇、恐惧、悲痛、憎恨、狂怒和警惕。在这个橘瓣体中最强烈的情绪位于上部，越往下情绪强度越弱；对角位置的情绪表现出两极性；相邻的情绪具有相似性。机器学习模型可以进行自动调节，以便改进算法的操作或行为，在以普拉奇克情绪模型为基准上，使得得到的用户心情指数更为精准。依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪(如图2所示)以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。相应的，将普拉奇克情绪模型输入所述机器学习模型，获得情绪融合模型，进而便于通过机器学习模型确定了用户在普拉奇克情绪模型中的情绪，由于其计算出的情绪值并不在普拉奇克情绪模型的某一情绪的中间位置，则根据该情绪在普拉奇克情绪模型的某一情绪的位置以及第一情绪和第二情绪之间的位置关系，确定用户的心情指数。另外，情绪融合模型通过大数据中的第一情绪和第二情绪作为样本数据，进而能够通过样本数据对情绪融合模型进行训练，提高情绪融合模型的精准度，降低误差，便于依据训练后的情绪融合模型对用户的各情绪进行计算，能够更为精准地确定用户的心情指数。
示例性的，将第一情绪和第二情绪分别输入情绪融合模型，当第一情绪为生气时，且位置靠近狂怒时，而第二情绪为害怕且位置在害怕区域的中间位置，则可以确定用户的生气值较高。为了能够确定用户的心情指数，在本申请中，将正面情绪表现较高的情绪值确定为1(如期待、狂喜、崇拜)，将正面情绪表现较为缓和的情绪值确定为0.5(如期待、狂喜、信赖)，将正面情绪表现较为平静的情绪值确定为0.1(如等待、平和、接纳)，将负面情绪表现较高的情绪值确定为-1(如狂怒、憎恨、悲痛、震惊、恐惧)，将负面情绪表现较为缓和的情绪值确定为-0.5(如生气、厌恶、悲伤、惊讶、害怕)，将负面情绪表现较为平静的情绪值确定为-0.1(如烦恼、厌烦、忧伤、意外、不安)。
以下结合前述示例和图3对心情指数具体的计算过程中进行解释，以橘瓣中心为圆心画圆，且半径为橘瓣中心线到边缘的距离，如图3中半径所在橘瓣中黑色线段(其中生气区域的白色线段覆盖了黑色线段部分长度)。当第一情绪为生气，且位置靠近狂怒时，则根据生气情绪在生气区域中靠近圆心的距离确定情绪权重，如生气情绪位于该橘瓣的半径上。更进一步地，当生气情绪的位置处于生气区域半径线段(白色线段)70％的位置(以生气区域远离圆心的边界为基准)，结合普拉奇克情绪模型中情绪强烈度可知，生气情绪值较低，此时确定生气情绪权重占心情指数的70％；同理，在第二情绪为害怕且位置在害怕区域的中间位置，即害怕情绪位于害怕所在橘瓣的半径上，且处于害怕区域半径线段50％的位置处(与画半径橘瓣相对橘瓣中害怕区域内黑色线段)，确定害怕情绪的权重占心情指数50％，生气情绪的权重占心情指数70％，之后则根据两者占心情指数的权重以及对应的心情指数计算规则确定用户的心情指数。因此，通过该示例可知，用户的心情指数为：0.7*(-0.5)+0.5*(-0.5)＝-0.6，表明用户的心情指数较低。在前述基础上，当情绪点(如生气)的位置不在半径，则基于该点画平行于生气两边界(与半径相交的边界)的弧，使得生气情绪所在的弧能与半径相交，相交点确定为生气情绪在橘瓣中生气区域的位置。
进一步地，在确定第一情绪和第二情绪在普拉奇克情绪模型对应情绪中的位置时，将第一情绪对应的人脸特征输入机器学习模型，将第二情绪对应的语音信号和语义信息输入机器学习模型，基于大数据对机器模型的训练，确定第一情绪在普拉奇克情绪模型对应情绪中的具***置和第二情绪在普拉奇克情绪模型对应情绪中的具***置，进而便于依据第一情绪和第二情绪各自对应的具***置确定第一情绪和第二情绪在用户心情指数中的权重。相应的，在机器学习模型库中，包含了各个情绪对应的人脸特征、语音信号、语义信息中的一种和多种，该情绪为普拉奇克情绪模型中的情绪，且同一个情绪中包含了若干人脸特征，和/或若干语音信号，和/或若干语音信息；同一个情绪中的不同的人脸特征表示在普拉奇克情绪模型中的具***置，同样的，同一个情绪中的不同的语音信号表示在普拉奇克情绪模型中的具***置，同一个情绪中的不同的语音信息表示在普拉奇克情绪模型中的具***置，在通过机器学习模型确定第一情绪在普拉奇克情绪模型对应情绪中的具***置过程中，将用户的人脸特征与机器学习模型库中的各人脸特征进行匹配，在匹配成功时，则确定了第一情绪在普拉奇克情绪模型对应情绪中的具***置，进而结合前文的方法确定第一情绪的权重，以此类推，则能够确定语音信号和语音信息在普拉奇克情绪模型对应情绪中的具***置，并能够确定各自第二情绪中的权重，在此不做赘述。由于语音信号和语音信息确定的是第二情绪，则将语音信号和语音信息各自在普拉奇克情绪模型中对应的情绪值与各自在普拉奇克情绪模型中对应的权重相乘，之后将将乘积的结果求和，获得第二情绪的用户的心情指数。为了能够使得主题能够更好地起到对用户心情调节的作用，在本申请中，在情绪占比的基础上确定用户心情指数，在用于心情不好时，向用户推送更能缓解情绪占比较大的主题。
进一步地，在数据库存储有与用户心情指数相对应的主题，或者主题类型，进而根据用户心情指数直接从数据库中提取与用户心情指数相对应的主题，或者通过网络下载与主题类型相同的主题，并将得到的新主题配置为用户应用程序的主题，数据库中存储的用户心情指数与主题之间的关系，如表1：
表1用户心情指数与主题存储关系
| 主题 | 心情指数 |
| 主题1 | 心情指数A |
| 主题2 | 心情指数B |
| 主题3 | 心情指数C |
可选地，所述依据所述第一情绪和所述第二情绪确定用户的心情指数之后，包括：
获取用户预设时间段内的若干心情指数，计算所述若干心情指数确定用户若干心情指数平均值；
将所述平均值作为用户的心情指数。
结合前述可知，当不能够确定用户当前的心情指数时，获取预设时段内的若干心情指数，如当前周的上一周。示例性的，获取周一前上一周用户的若干心情指数，根据若干心情指数确定上一周用户情绪的状态，进而可以便于确定上一周可能对用户心情对当前的影响，因此，基于上一周用户心情指数确定应用程序的主题。进一步地，在确定用户预设时段内的心情指数是根据若干心情指数确定用户若干心情指数平均值，之后则可以采用如前所述的方法确定用户应用程序的主题。
可选地，所述按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题，包括：
当所述用户的心情指数在第一预设阈值范围内时，将暖色系主题配置为所述应用程序的当前主题；
当所述用户的心情指数在第二预设阈值范围内时，将鼓励性主题配置为所述应用程序的当前主题。
在用户心情指数高(即用户心情好)的时候，将暖色系主题配置为应用程序的当前主题，或者配置能让人积极向上的主题。在用户心情指数低(即用户心情不好)的时候，向用户配置鼓励性的主题。结合前文说明，基于用户表情对用户的心情进行判断，并基于用户的心情获得更为精确的主题，在用户心情不好使能够提醒用户保持好心情，在用户心情好时，也能够给用户持续注入乐观的情绪，在实现主题自动更新的基础上，主题更为贴合用户的心情，通过提醒用户可以使得用户保持一个好心情，实现对用户心情调节的作用，进而提高了用户体验。
本发明实施例还提供了一种主题切换装置，在其中一种实施方式中，如图4所示，包括：获取模块100、确定模块200、配置模块300：
获取模块100，用于监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
确定模块200，用于根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
第一心情指数确定模块300，用于依据所述第一情绪和所述第二情绪确定用户的心情指数；
第一配置模块400，用于依据所述第一情绪和所述第二情绪确定用户的心情指数，按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。
进一步地，如图4所示，本发明实施例中提供的一种主题切换方法装置还包括：匹配单元210，用于将所述语音信号与预设语音信号进行匹配，确定所述语音信号的第一子情绪；分词单元220，用于将所述语义信息转换为文本信息，对所述文本信息进行分词处理，根据分词处理后的所述文本信息确定第二子情绪；第二情绪确定单元230，用于基于所述第一子情绪和所述第二子情绪及所述第一子情绪预设的第一权重和所述第一子情绪预设的第二权重确定所述第二情绪。第一心情指数确定单元310，用于依据机器学***均值；第二心情指数确定模块520，用于将所述平均值作为用户的心情指数。第一配置单元410，用于当所述用户的心情指数在第一预设阈值范围内时，将暖色系主题配置为所述应用程序的当前主题；第二配置单元420，用于当所述用户的心情指数在第二预设阈值范围内时，将鼓励性主题配置为所述应用程序的当前主题。第三心情指数确定模块610，用于依据所述第一情绪确定用户的第一心情指数，依据所述第二情绪确定用户的第二心情指数；对比模块620，用于按照所述预设规则获取与所述第一心情指数相对应的第一主题内容，按照所述预设规则获取与所述第二心情指数相对应的第二主题内容，将所述第一主题内容和所述第二主题内容进行对比，确定所述第一主题内容和所述第二主题内容是否一致；第二配置模块630，用于当所述第一主题内容和所述第二主题内容不一致时，获取历史第一主题内容和历史第二主题内容不一致时所述应用程序的历史主题内容，将所述历史主题内容配置为所述应用程序当前的主题内容；其中，所述第一主题内容和所述历史第一主题内容一致，所述第二主题内容和所述历史第二主题内容一致。
本发明实施例提供的一种主题切换方法装置可以实现上述主题切换方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一项技术方案所述的主题切换方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质，可实现上述主题切换方法的实施例，在本申请中基于用户表情对用户的心情进行判断，并基于用户的心情获得更为精确的主题，在实现主题自动更新的基础上，主题更为贴合用户的心情，通过提醒用户可以使得用户保持一个好心情，实现对用户心情调节的作用，进而提高了用户体验；本申请实施例提供的一种主题切换方法，包括：监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；依据所述第一情绪和所述第二情绪确定用户的心情指数，按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。常规情况下，由于用户在与移动终端进行交互的过程汇总，会捕捉到人脸，进而能够基于捕捉到的人脸进行情绪识别，因此，为了能够更为精准地使得应用程序的主题与用户情绪相对应，获取实时获取人脸图像。另外，还能获取用户解锁时的人脸图像，进而可以在用户解锁打开应用程序之后，使得应用程序的主题呈现出与用户心情相对应的主题。另外，在获取到人脸图像之后，为了能够确定用户的情绪，提取用户的人脸特征数据。由于单独通过人脸图像确定用户的情绪，并不能够精准地找到与用户情绪相对应的主题，且在部分情况下，用户还会通过隐藏自己的表情来掩盖用户的情绪，隐藏自己表现在脸部的情绪特征，导致不能够精准地确定用户的当前情绪，因此，为了能够更为精准地确定用户的人脸特征，在申请中，还需要通过采集的实时语音信息确定用户的第二情绪，在语音信息中，包括了用户的语音信号和语义信息。语音信号主要通过与数据库中的预设的语音信号进行匹配(详见后文)，语义则是用户字词句表达的出的意思，基于用户的语音信息进行用户情绪特征的识别，将语音信息和人脸特征对应的信息综合共同确定用户的情绪、心情，能够得到更为准确的用户心情状态，进而便于基于用户心情状态向用户推送相关的应用主题，以便于用户能够在打开应用程序过程中，该主题能够对用户的心情起到调节作用，使得用户能够将影响自己心情的不好情绪发泄出来，或者好情绪能够持续。通过移动终端进行人脸解锁时，或者摄像装置能够拍摄到用户人脸的角度时得到的人脸数据，常常直接表达出了用户在当前状况下的情绪，而部分用户可能或通过情绪隐藏的方法。结合前述可知，单一特征的情绪并不能够完整或者精准地体现出用户当下的心情，因此，在确定了用户脸部情绪以用户语音中包含的情绪之后，为了能够精准地体现出用户的心情指数，将第一情绪和第二情绪融合在一起，共同确定用户的心情指数。在本申请中以普拉奇克情绪模型(详见图2)为基准，通过机器学习模型将第一情绪融合和第二情绪融合共同确定用户的心情指数。
此外，在又一种实施例中，本发明还提供一种服务器，如图5所示，所述服务器处理器503、存储器505、输入单元507以及显示单元509等器件。本领域技术人员可以理解，图5示出的结构器件并不构成对所有服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器505可用于存储应用程序501以及各功能模块，处理器503运行存储在存储器505的应用程序501，从而执行设备的各种功能应用以及数据处理。存储器505可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器505只作为例子而非作为限定。
输入单元507用于接收信号的输入，以及用户输入的个人信息和相关的身体状况信息。输入单元507可包括触控面板以及其它输入设备。触控面板可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元509可用于显示客户输入的信息或提供给客户的信息以及计算机设备的各种菜单。显示单元509可采用液晶显示器、有机发光二极管等形式。处理器503是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器503内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。图5中所示的一个或多个处理器503能够执行、实现图4中所示的获取模块100的功能、确定模块200的功能、第一心情指数确定模块300的功能、第一配置模块400的功能、匹配单元210的功能、分词单元220的功能、第二情绪确定单元230的功能、第一心情指数确定单元310的功能、第一输入单元311、第二输入单元312、心情指数获得单元313、若干心情指数获取模块510的功能、第二心情指数确定模块520的功能、第一配置单元410的功能、第二配置单元420的功能、第三心情指数确定模块610的功能、对比模块620的功能、第二配置模块630的功能。
在一种实施方式中，所述服务器包括一个或多个处理器503，以及一个或多个存储器505，一个或多个应用程序501，其中所述一个或多个应用程序501被存储在存储器505中并被配置为由所述一个或多个处理器503执行，所述一个或多个应用程序301配置用于执行以上实施例所述的主题切换方法。
本发明实施例提供的一种服务器，可实现上述主题切换方法的实施例，在本申请中基于用户表情对用户的心情进行判断，并基于用户的心情获得更为精确的主题，在实现主题自动更新的基础上，主题更为贴合用户的心情，通过提醒用户可以使得用户保持一个好心情，实现对用户心情调节的作用，进而提高了用户体验；本申请实施例提供的一种主题切换方法，包括：监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；依据所述第一情绪和所述第二情绪确定用户的心情指数，按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题。常规情况下，由于用户在与移动终端进行交互的过程汇总，会捕捉到人脸，进而能够基于捕捉到的人脸进行情绪识别，因此，为了能够更为精准地使得应用程序的主题与用户情绪相对应，获取实时获取人脸图像。另外，还能获取用户解锁时的人脸图像，进而可以在用户解锁打开应用程序之后，使得应用程序的主题呈现出与用户心情相对应的主题。另外，在获取到人脸图像之后，为了能够确定用户的情绪，提取用户的人脸特征数据。由于单独通过人脸图像确定用户的情绪，并不能够精准地找到与用户情绪相对应的主题，且在部分情况下，用户还会通过隐藏自己的表情来掩盖用户的情绪，隐藏自己表现在脸部的情绪特征，导致不能够精准地确定用户的当前情绪，因此，为了能够更为精准地确定用户的人脸特征，在申请中，还需要通过采集的实时语音信息确定用户的第二情绪，在语音信息中，包括了用户的语音信号和语义信息。语音信号主要通过与数据库中的预设的语音信号进行匹配(详见后文)，语义则是用户字词句表达的出的意思，基于用户的语音信息进行用户情绪特征的识别，将语音信息和人脸特征对应的信息综合共同确定用户的情绪、心情，能够得到更为准确的用户心情状态，进而便于基于用户心情状态向用户推送相关的应用主题，以便于用户能够在打开应用程序过程中，该主题能够对用户的心情起到调节作用，使得用户能够将影响自己心情的不好情绪发泄出来，或者好情绪能够持续。通过移动终端进行人脸解锁时，或者摄像装置能够拍摄到用户人脸的角度时得到的人脸数据，常常直接表达出了用户在当前状况下的情绪，而部分用户可能或通过情绪隐藏的方法。结合前述可知，单一特征的情绪并不能够完整或者精准地体现出用户当下的心情，因此，在确定了用户脸部情绪以用户语音中包含的情绪之后，为了能够精准地体现出用户的心情指数，将第一情绪和第二情绪融合在一起，共同确定用户的心情指数。在本申请中以普拉奇克情绪模型(详见图2)为基准，通过机器学习模型将第一情绪融合和第二情绪融合共同确定用户的心情指数。
本发明实施例提供的服务器可以实现上述提供的主题切换方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种主题切换方法，其特征在于，包括：
监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
依据所述第一情绪和所述第二情绪确定用户的心情指数；
按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题；
所述方法还包括：
依据所述第一情绪确定用户的第一心情指数，依据所述第二情绪确定用户的第二心情指数；
按照所述预设规则获取与所述第一心情指数相对应的第一主题内容，按照所述预设规则获取与所述第二心情指数相对应的第二主题内容，将所述第一主题内容和所述第二主题内容进行对比，确定所述第一主题内容和所述第二主题内容是否一致；
当所述第一主题内容和所述第二主题内容不一致时，获取历史第一主题内容和历史第二主题内容不一致时所述应用程序的历史主题内容，将所述历史主题内容配置为所述应用程序当前的主题内容；其中，所述第一主题内容和所述历史第一主题内容一致，所述第二主题内容和所述历史第二主题内容一致。
2.根据权利要求1所述的主题切换方法，其特征在于，所述根据所述语音信息中的语音信号和语义信息确定用户的第二情绪，包括：
将所述语音信号与预设语音信号进行匹配，确定所述语音信号的第一子情绪；
将所述语义信息转换为文本信息，对所述文本信息进行分词处理，根据分词处理后的所述文本信息确定第二子情绪；
基于所述第一子情绪和所述第二子情绪及所述第一子情绪预设的第一权重和所述第一子情绪预设的第二权重确定所述第二情绪。
3.根据权利要求2所述的主题切换方法，其特征在于，所述依据所述第一情绪和所述第二情绪确定用户的心情指数，包括：
依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数。
4.根据权利要求3所述的主题切换方法，其特征在于，所述依据机器学习模型确定用户所述第一情绪和第二情绪在普拉奇克情绪模型中的情绪以及各情绪在普拉奇克情绪模型中对应的心情权重值，根据所述情绪和所述心情权重值确定用户的心情指数，包括：
将所述普拉奇克情绪模型输入所述机器学习模型，获得情绪融合模型；
将所述第一情绪输入所述情绪融合模型，获得所述第一情绪在所述普拉奇克情绪模型中第一情绪值和第一权重值，将所述第二情绪输入所述情绪融合模型，获得所述第二情绪在所述普拉奇克情绪模型中第二情绪值和第一权重值；
将所述第一情绪值乘以第一心情权重加上第二情绪值乘以第二心情权重，获得所述用户的心情指数。
5.根据权利要求1至4任一项所述的主题切换方法，其特征在于，所述依据所述第一情绪和所述第二情绪确定用户的心情指数之后，还包括：
获取用户预设时间段内的若干心情指数，计算所述若干心情指数的平均值；
将所述平均值作为用户的心情指数。
6.根据权利要求1至4任一项所述的主题切换方法，其特征在于，所述按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题，包括：
当所述用户的心情指数在第一预设阈值范围内时，将暖色系主题配置为所述应用程序的当前主题；
当所述用户的心情指数在第二预设阈值范围内时，将鼓励性主题配置为所述应用程序的当前主题。
7.一种主题切换装置，其特征在于，包括：
获取模块，用于监测应用程序是否处于前台运行，当所述应用程序处于前台运行时，获取当前人脸特征数据，实时采集用户的语音信息；
确定模块，用于根据所述人脸特征数据确定用户的第一情绪，根据所述语音信息中的语音信号和语义信息确定用户的第二情绪；
第一心情指数确定模块，用于依据所述第一情绪和所述第二情绪确定用户的心情指数；
第一配置模块，用于按照预设规则获取与所述心情指数相对应的主题内容，将所述主题内容配置为所述应用程序的当前主题；
所述装置还包括：
第三心情指数确定模块，用于依据所述第一情绪确定用户的第一心情指数，依据所述第二情绪确定用户的第二心情指数；
对比模块，用于按照所述预设规则获取与所述第一心情指数相对应的第一主题内容，按照所述预设规则获取与所述第二心情指数相对应的第二主题内容，将所述第一主题内容和所述第二主题内容进行对比，确定所述第一主题内容和所述第二主题内容是否一致；
第二配置模块，用于当所述第一主题内容和所述第二主题内容不一致时，获取历史第一主题内容和历史第二主题内容不一致时所述应用程序的历史主题内容，将所述历史主题内容配置为所述应用程序当前的主题内容；其中，所述第一主题内容和所述历史第一主题内容一致，所述第二主题内容和所述历史第二主题内容一致。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至6任一项所述的主题切换方法。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1至6任一项所述的主题切换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910969202.XA CN110825503B (zh) | 2019-10-12 | 2019-10-12 | 主题切换方法、装置及存储介质、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910969202.XA CN110825503B (zh) | 2019-10-12 | 2019-10-12 | 主题切换方法、装置及存储介质、服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825503A CN110825503A (zh) | 2020-02-21 |
| CN110825503B true CN110825503B (zh) | 2024-03-19 |
Family
ID=69549165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910969202.XA Active CN110825503B (zh) | 2019-10-12 | 2019-10-12 | 主题切换方法、装置及存储介质、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825503B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379962A (zh) * | 2020-11-25 | 2021-02-19 | Oppo（重庆）智能科技有限公司 | 桌面主题调整方法、移动终端、服务器以及存储介质 |
| CN114666443A (zh) * | 2020-12-22 | 2022-06-24 | 成都鼎桥通信技术有限公司 | 基于情绪的应用程序运行方法及设备 |
| CN112768075A (zh) * | 2021-01-20 | 2021-05-07 | 西安闻泰电子科技有限公司 | 用户健康监控方法、***、计算机设备及存储介质 |
| CN112667196A (zh) * | 2021-01-28 | 2021-04-16 | 百度在线网络技术（北京）有限公司 | 信息展示方法及装置、电子设备和介质 |
| CN113163155B (zh) * | 2021-04-30 | 2023-09-05 | 咪咕视讯科技有限公司 | 用户头像生成方法、装置、电子设备及存储介质 |
| CN113947798A (zh) * | 2021-10-28 | 2022-01-18 | 平安科技（深圳）有限公司 | 应用程序的背景更换方法、装置、设备及存储介质 |
| CN114925276A (zh) * | 2022-05-26 | 2022-08-19 | 惠州高盛达智显科技有限公司 | 一种智能地板显示方法及*** |
| CN115033146A (zh) * | 2022-06-29 | 2022-09-09 | 深圳市沃特沃德信息有限公司 | 更换应用图标的方法、装置、计算机设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868830A (zh) * | 2012-09-26 | 2013-01-09 | 广东欧珀移动通信有限公司 | 一种移动终端主题的切换控制方法及装置 |
| WO2018119924A1 (zh) * | 2016-12-29 | 2018-07-05 | 华为技术有限公司 | 一种调节用户情绪的方法及装置 |
| CN108305642A (zh) * | 2017-06-30 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 情感信息的确定方法和装置 |
| CN108307037A (zh) * | 2017-12-15 | 2018-07-20 | 努比亚技术有限公司 | 终端控制方法、终端及计算机可读存储介质 |
| CN109117734A (zh) * | 2018-07-18 | 2019-01-01 | 平安科技（深圳）有限公司 | ***主题设置方法、装置、计算机设备及存储介质 |
| CN109672937A (zh) * | 2018-12-28 | 2019-04-23 | 深圳Tcl数字技术有限公司 | 电视应用主题切换方法、电视、可读存储介质及*** |
| CN110087451A (zh) * | 2016-12-27 | 2019-08-02 | 本田技研工业株式会社 | 情绪改善装置以及情绪改善方法 |
| CN110325982A (zh) * | 2017-11-24 | 2019-10-11 | 微软技术许可有限责任公司 | 在会话中提供多媒体文档的摘要 |
-
2019
- 2019-10-12 CN CN201910969202.XA patent/CN110825503B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868830A (zh) * | 2012-09-26 | 2013-01-09 | 广东欧珀移动通信有限公司 | 一种移动终端主题的切换控制方法及装置 |
| CN110087451A (zh) * | 2016-12-27 | 2019-08-02 | 本田技研工业株式会社 | 情绪改善装置以及情绪改善方法 |
| WO2018119924A1 (zh) * | 2016-12-29 | 2018-07-05 | 华为技术有限公司 | 一种调节用户情绪的方法及装置 |
| CN108305642A (zh) * | 2017-06-30 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 情感信息的确定方法和装置 |
| CN110325982A (zh) * | 2017-11-24 | 2019-10-11 | 微软技术许可有限责任公司 | 在会话中提供多媒体文档的摘要 |
| CN108307037A (zh) * | 2017-12-15 | 2018-07-20 | 努比亚技术有限公司 | 终端控制方法、终端及计算机可读存储介质 |
| CN109117734A (zh) * | 2018-07-18 | 2019-01-01 | 平安科技（深圳）有限公司 | ***主题设置方法、装置、计算机设备及存储介质 |
| CN109672937A (zh) * | 2018-12-28 | 2019-04-23 | 深圳Tcl数字技术有限公司 | 电视应用主题切换方法、电视、可读存储介质及*** |
Non-Patent Citations (1)
| Title |
|---|
| 多维数据特征融合的用户情绪识别;陈茜;史殿习;杨若松;;计算机科学与探索;20161231;第10卷(第06期);第751-759页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825503A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825503B (zh) | 主题切换方法、装置及存储介质、服务器 | |
| US20210042580A1 (en) | Model training method and apparatus for image recognition, network device, and storage medium | |
| WO2020135194A1 (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
| Cavallo et al. | Emotion modelling for social robotics applications: a review | |
| US10402501B2 (en) | Multi-lingual virtual personal assistant | |
| US9501743B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
| CN108227932A (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN108334583A (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| CN110473554B (zh) | 音频校验方法、装置、存储介质及电子设备 | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN110119672A (zh) | 一种嵌入式疲劳状态检测***及方法 | |
| US11907273B2 (en) | Augmenting user responses to queries | |
| CN111079833A (zh) | 图像识别方法、装置以及计算机可读存储介质 | |
| Paudyal et al. | A comparison of techniques for sign language alphabet recognition using armband wearables | |
| US20190371344A1 (en) | Apparatus and method for predicting/recognizing occurrence of personal concerned context | |
| US20210201696A1 (en) | Automated speech coaching systems and methods | |
| CN117637134A (zh) | 健康管理***、方法、电子设备和计算机可读存储介质 | |
| US20230210716A1 (en) | Voice-based control of sexual stimulation devices | |
| CN117235354A (zh) | 一种基于多模态大模型的用户个性化服务策略及*** | |
| CN116740238A (zh) | 个性化配置方法、装置、电子设备及存储介质 | |
| US20220329546A1 (en) | Virtual-assistant-based resolution of user inquiries via failure-triggered document presentation | |
| Shen | Natural interaction technology in virtual reality | |
| Oskoei et al. | Feature-channel subset selection for optimising myoelectric human-machine interface design | |
| CN113705312A (zh) | 一种血红蛋白检测方法、装置和计算机可读存储介质 | |
| Radha et al. | Emotion Based Song Suggestion System for Tamil Language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |