CN113035232A - 一种基于语音识别的心理状态预测***、方法及装置 - Google Patents

Abstract

一种基于语音识别的心理状态预测***，包括本地交互预测端(1)、心理诊断和预测云端(2)、心理医生在线诊断端(3)和异常警报端(4)；所述心理诊断和预测云端(2)分别和所述本地交互预测端(1)、所述心理医生在线诊断端(3)和异常警报端(4)之间进行通信连接；其中，所述本地交互预测端(1)包括语音录入模块(5)、提示语音播放模块(6)、音频文字转换模块(7)和生理参数获取模块(11)；所述语音录入模块(5)和所述音频文字转换模块(7)数据通信连接；所述心理诊断和预测云端(2)包括心理症状和心理预测数据库(8)、心理状态识别模型创建模块(9)和心理状态预测模块(10)。本发明的利用大数据和深度技术的技术手段，并结合心理医生诊断案例直接得出心理预测的模型，并进行心理治疗，同时采用抽样对建立模型的样本进行修正，以便使得模型更加准确。

Description

一种基于语音识别的心理状态预测***、方法及装置

技术领域

本发明涉及心理状态检测技术领域，具体为一种基于语音识别的心理状态预测***、方法及装置。

背景技术

经济技术的快速的发展，给人们的物质生活带来了极大的改善。但是，经济技术的发展，带来也是社会进度节奏的加快，给人们的身心生活也带了较大的压力，容易产心理健康问题，可以说，心理健康问题是当下社会的一种普遍问题，在多元化的社会经济体系下，人们的价值观、生活方式正在急剧发生变化。不同的年龄群体都或多或少会对未来生活缺乏安全预期，对环境的快速变化无法作出适应性的改变，产生焦虑、抑郁、人际敏感甚至是***的心理疾病倾向，因此，为了解决这种心理问题，去及时了解人员的心理状态，进行合理的预测和进行接收心理医生的心理疏导就显得极为重要。

但是，对与患者而言，心理疾病不受生理疾病痛苦控制，很难主动去进行心理问题诊疗，同时由于自己的主观排斥意识，会故意逃避问题、隐瞒事实，这也影响最终的测评结果、判定准确性。如何让患者可以打开心扉，而又不用担心自己的心理隐私被泄露，这是患者的一直担忧和鼓励的，这也是往往心理咨询存在的问题，尽管正常情况，心理治疗的医护人员并不会去泄露患者的隐私，如何打消患者的心理顾虑这是我们心理治疗十分重要的事情。

为了避免患者对直接面对心理医生带来的心理压力，也存在不少利用智能设备进行自动心理判断和心理疏导的设备。如：

专利CN111653361A公开了一种基于语音情感识别法的职工心理体检***，包括心理体检***和医疗***，所述心理体检***包括用户层、体检核心业务层、护理基础业务层和护理数据资源层，所述心理体检***通过语音识别收集信息，进行信息的采集、存储、传输与处理，通过对使用者的信息采集进行心理体检和健康管理，所述医疗***包括医疗用户层、医疗核心业务层、医疗基础服务层和医疗数据资源层。该发明体检核心业务层包括心理体检，通过心理体检进行职工的心理诊断、设有的心理健康管理可以进行患者管理，帮助患者更好的进行心理恢复，语音识别***用于进行患者的语音识别，通过患者的语音进行判定患者的心理问题。

专利CN 112117002A公开了一种结合虚拟现实技术的新型智能化心理评估干预***、方法，所述结合虚拟现实技术的新型智能化心理评估干预***包括：心理数据采集模块、主控模块、心理数据处理模块、VR场景选择模块、心理测试模块、评估模型构建模块、心理状态评估模块、评估报告生成模块、心理治疗模块、云存储模块、更新显示模块。该发明通过心理数据处理模块将基于生理信号确定的异常心理状态和基于量表确定的异常风险因子进行关联，为用户进行心理调节提供客观数据依据，辅助用户改善心理状态；同时，通过心理状态评估模块消除了个体主观因素对数据收集的影响，有助于更加准确地进行心理健康状态评估。

专利CN111784134A公开了本发明提供一种数据驱动的多模态学业水平预测方法，包括将前期采集阶的学生相关信息作为训练集进行量化输入，并采用回归分析方法分析计算各类要素对最终学业水平的影响程度，得到要素相关系数；根据要素相关系数，按比例调整数据，并借助支持向量机的算法模型进行成绩预测；将预测成绩与实际成绩对比，调整支持向量机的算法模型并调整要素相关系数，直至耦合预测成绩与实际成绩之间的误差小于等于预设值为止；获取待测学生包含各类要素的学生相关信息，根据最终的要素相关系数及支持向量机的算法模型，得到待测学生的预测成绩。实施该发明，能解决现有支持向量机预测所存在的问题，降低后续工作机器内存和运算时间，确保预测准确性。

另外一方面，情感识别指计算机对从传感器采集来的信号进行分析和处理，得出对方当前的情感状态。情感也被定义为关乎一个人思想、感受和表现的心理状态，情感状态是心理状态的外在表现。因此准确识别一个人的情感对分析其心理状态有着重要的意义。文本情感识别是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，即分析说话人的态度，推断其所包含的情感类别。传统机器学习在处理情感分类问题的时候通常是基于支持向量机、信息熵等传统算法，其优势在于具有对多种特征建模的能力，但要用人工标注的单个词作为特征，而语料的不足往往就是性能的瓶颈。对句子进行情感分类的难处在于如何抽取到句子中与情感表达紧密相关的特征，以人工标注的单个词作为特征会忽略单词所处的上下文语义信息，导致最终的分类效果不理想。为了解决特征抽取的难题，现在大部分的解决方案就是采用谷歌提出的文本预训练模型Bert(bidirectional encoderrepresentations from transformer)。Bert利用编码器和解码器超强的特征抽取能力来学习词语的双向编码表示，融合了上下文信息的词语编码能更好地进行情感决策。

为了提供更加精细的心理咨询，如能更加准确捕捉患者的心理情况和模拟心理医生提供心理状态的判断，提供准确的诊断信息，就会带来极大的福音，另外一方面，深度学习是学习样本数据的内在规律和表示层次，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。如果能将该技术用于心理状态的预测，那么必将给心理状态预测带来极大的福音。

语音是人与人沟通的媒介，它可以方便人们交流情感。随着智能移动电话以及网络的大量普及及应用，智能语音助手、智能音箱设备开始走进人们的日常生活，而人与智能语音助手、智能音箱设备进行对话时，就会涉及自动语音识别技术。自动语音识别技术的目标是给定一段对话者的音频，把它转化成对应的文字。语音识别技术在人机交互上扮演着重要的角色。

语音识别可以看作是音频域到文本域的转换。在研究早期，由于无法对音频到文本的转换过程直接建模，因此使用贝叶斯定理将语音识别问题转换为给定一段文字条件下求得对应音频特征的概率乘以这段文字的先验概率。随着深度神经网络的快速发展，人们开始把深度神经网络技术应用到声学模型建模上。后来随着对语音识别的认识更加深刻，人们开始从声学模型建模出发，直接构建一个分类网络，网络的输出直接为文本标签序列，比如英语是字母标签或者单个汉字标签序列，这就是最近很流行的端到端语音识别方法。这种方法不再需要发音词典，使得语言识别***构建门槛降低。目前常用的端到端语音识别方法有基于连接时序分布的端到端语音识别方法和基于注意力机制的编解码语音识别方法。

但是，上述专利中提及的基于语音识别的心理状态预测***和方法的解决方案与本发明方案存在差异化，主要差异化内容如下：

1.情感语音数据库总体语料不足，特别是自然场景下的数据库。语音情感识别指直接通过对语音进行分析，推断该语义所包含的情感类别。传统的语音情感分类方法大多使用支持向量机、高斯混合模型等机器学习算法。随着深度学习技术的逐步完善，部分研究者将其应用于语音特征的提取，取得了一定的成果。目前已基本实现安静环境下的语音情感识别，但在嘈杂环境下的语音情感识别尚不成熟。

2.数据标注困难，目前广泛使用的标注方法和专业辅助工具较少且难度大，情感标注也要求标注者有一定的经验，同时标注过程中精神高度集中；

3.典型特征较少，多为声学特征。特征方面近期没有得到重大突破，语音情感识别理论需进一步完善。

因此，语音情感识别尚未达到成熟阶段，需进行语料库的丰富、理论的加强和方法的创新。面对上述技术问题，人们希望提供一种能够快速捕捉患者的表情、同时可以保证视频不被医生自己看到，保证患者的隐身安全，同时提供更加精确的获取心理患者的心理状态的***，以满足病人的实时选择需要，从而更好地、更放心地进行心理诊疗的心理咨询诊疗***，并且在发生危险的情况或者极端情况下，及时进行报警，但到目前为止，现有技术中并无有效办法解决上述技术难题。

发明内容

针对上述技术问题，本发明提出了一种基于语音识别技术的心理状态预测方法及***，主要过程是获取说话者的语音数据后，经过语音识别和文本情感识别得到说话者说话的文本内容，进而通过心理状态识别模型来识别说话者的心理状态。相较于直接通过语音进行情感识别的模型来说，本发明更为成熟实用，摒弃了对语音标注工具少难度大的问题。相较于通过文本直接进行心理状态识别来说，本发明更为可靠、解释性更强。通过说话者在一段时间内说话情绪的变化来推测出其心理状态这种方法更能让大众接受。识别出的心理状态最终可以使Al进行更加专业的心理咨询或者对用户提出预警等，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于语音识别的心理状态预测***，包括本地交互预测端、心理诊断和预测云端、心理医生在线诊断端和异常警报端；所述心理诊断和预测云端分别和所述本地交互预测端、所述心理医生在线诊断端和异常警报端之间进行通信连接；

其中，所述本地交互预测端包括语音录入模块、提示语音播放模块、音频文字转换模块和生理参数获取模块；所述语音录入模块和所述音频文字转换模块数据通信连接；

所述心理诊断和预测云端包括心理症状和心理预测数据库、心理状态识别模型创建模块和心理状态预测模块；

包括心理状态识别模型创建：心理疾病患者依据所述提示语音播放模块播放的指令，通过所述语音录入模块录入一定时间段的语音信息，并发送给所述音频文字转换模块；所述音频文字转换模块将语音信息转换为文字症状信息；所述生理参数获取模块获取所述心理疾病患者的生理参数，从而所述本地交互预测端将所述文字症状信息和生理参数发送给所述心理诊断和预测云端；所述心理诊断和预测云端将获取的所述文字症状信息和生理参数发送给所述心理医生在线诊断端；

所述心理医生在线诊断端为包括一个心理医生的模块，从而心理医生可以在远程获取所述心理诊断和预测云端发送的心理症状特征数据，并进行心理状态预测形成心理状态预测数据，并反馈给所述心理诊断和预测云端，所述心理诊断和预测云端依据心理症状特征数据和心理状态预测数据形成心理症状-心理预测数据记录；并将所述心理症状-心理预测数据记录发送给所述心理诊断和预测云端，并存储于所述心理症状和心理预测数据库；当在所述心理症状和心理预测数据库的所述心理症状-心理预测数据记录数量达到一定数量时，所述心理状态识别模型创建模块依据储存于所述心理症状和心理预测数据库终端所述心理症状-心理预测数据记录，采用深度学习的方法创建心理状态识别模型；

心理状态预测：在完成所述心理状态识别模型创建后，当进行心理状态预测时，心理疾病患者依据所述提示语音播放模块播放的指令，通过所述语音录入模块录入一定时间段的语音信息，并发送给所述音频文字转换模块；所述音频文字转换模块将语音信息转换为文字症状信息；所述生理参数获取模块获取所述心理疾病患者的生理参数，从而所述本地交互预测端将所述文字症状信息和生理参数发送给所述心理诊断和预测云端；所述心理状态预测模块依据所述文字症状信息和生理参数，并利用所述创建心理状态识别模型进行大数据学习，从而得出该患者的心理预测数据，并将该心理预测数据发送至所述本地交互预测端，并通过所述提示语音播放模块播放给心理疾病患者，同时，将该心理状态预测构成心理症状-心理预测数据记录并存储于所述心理症状和心理预测数据库；

在所述心理医生在线诊断端或所述心理状态预测模块检测到所述心理疾病患者心理出现异常时，通过所述异常警报端进行报警，并利用所述提示语音播放模块进行缓解心理疾病患者的行为。

优选的，所述生理参数获取模块获取所述心理疾病患者的心率参数，当检测到所述心率参数不符合该心理疾病患者的年龄、体重、身高和性别的心率参数时，则表明该心理疾病患者未真实反馈其心理症状参数，通过所述提示语音播放模块进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

优选的，所述音频文字转换模块将语音信息转换为文字症状信息时，同时，录入所述语音信息中的情绪，并将该情绪采用文字的方式表达，共同形成文字症状信息；为了准确获取心理疾病患者的语音症状，通过所述提示语音播放模块选择智能化问答和交谈的形式，以便获取心理疾病患者的真实心理。

优选的，心理疾病患者通过手动方式选择方言识别模式，实现所述音频文字转换模块自动调整到识别某地的方言，以便准确的识别患者的语音，转换成文字；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式。

优选的，所述心理诊断和预测云端定期将存储于所述心理症状和心理预测数据库中的所述心理症状-心理预测数据记录随机抽取并发送给所述心理医生在线诊断端，通过所述心理医生在线诊断端进行人工诊断，并将诊断的结果对比所述心理症状-心理预测数据记录中的心理预测的结果，如果存在偏差，则将该心理症状-心理预测数据记录的心理预测的结果替换为人工诊断的结构。

优选的，在所述语音录入模块在获取足够的心理状态预测数据时，以一定时间段或一定会话请求的会话条数为基础，其中，所述的一定时间是以天为单位或者小时、分钟为基准；又或者以一次心理咨询为一个时间单位。

优选的，所述心理状态识别模型创建模块定期利用存储于所述心理症状和心理预测数据库中的所述心理症状-心理预测数据记录进行深度学习，并修改所述心理状态识别模型。

优选的，所述生理参数获取模块还获取脉搏信息，当所述脉搏数据存在明显异常时，通过所述异常警报端进行报警，同时通过所述提示语音播放模块进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

另外一方面，本申请还提供一种基于语音识别的心理状态预测方法，包括基于语音识别的心理状态预测***，具体步骤如下：

S1；构建数据集并训练心理状态识别模型：以满足一定条数的语音数据为基准进行构建心理状态识别模型；

S102：数据获取；语音录入单元获取一定时间内说话者的语音数据；默认在该单位时间内说话者心理状态一致，并将语音数据存储于语音采集数据库；

S103：语音识别；音频文字转换模块对获取的语音数据进行语音识别操作，将语音数据转化成文本数据；语音识别技术可采用目前常用的基于连接时序分布的端到端语音识别方法或者基于注意力机制的编解码语音识别方法等；

S104：文本情感识别；将步骤S103中通过语音识别得到的文本进行情感分类；为了捕获到用户更加丰富的情感变化，采用句子级别的文本情感识别算法，并对情感类别定义为Mover简单地将离散情感分为痛苦、快乐两类基本情感；其中，快乐类代表积极的情绪，痛苦类代表消极的情绪。进一步，Ekman将离散情感分成愤怒、厌恶、恐惧、快乐、悲伤、惊喜和中性情感共7种基本情感。文本情感识别技术主要采用文本的预训练模型Bert来学习词语的双向编码表示，融合了上下文信息的词语编码能更好地进行情感决策；

S105：打标签；由专业的心理咨询师对经过步骤S104获得到的情感变化情况给出心理状态评估，评定该咨询者是正常、敏感、焦虑、抑郁中的一种；

S106：判断数据是否收集够N条；语音采集数据库包括说话者的情绪变化情况以及说话者的心理状态标签；如果收集够则进行步骤S107进行训练得到心理状态识别模型；如果没有收集够数据，则回到步骤S102继续进行数据获取；

S107：构建心理状态识别模型，并训练该心理状态识别模型；心理状态的类别定义按照从健康心理状态到心理疾病状态分为四个等级：健康状态、不良状态、心理障碍、心理疾病。或者也可以把心理状态的类别通俗定义为正常、敏感、焦虑、抑郁；经过步骤S106，得到说话者在单位时间下的情感变化情况；根据这些文本数据构建机器学习或者深度学习算法来解决从情感状态来预测心理状态的问题；

S2：使用心理状态识别模型进行心理状态预测：当有用户拨打了智能心理服务热线，开始与***进行聊天对话；

S202：接收用户的语音数据；***开始接收用户的倾诉语音；

S203：语音识别；对***接收到的语音进行语音识别，识别出用户说话的文本内容；这些用户倾诉的文本内容后续可作为***聊天模型的输入，用于预测聊天的Al回复；

S204：文本情感分类；在这里我们采用句子级别的文本情感分类方法；将步骤S203识别出来的文本内容，按照句号进行分割，并将分割后的句子进行情感预测，得到该句子所属的情感类别；经过步骤S204我们会得到这一轮对话中，用户的情感状态波动情况；

S205：预测用户心理状态，通过该轮对话中用户的情感状态波动情况预测用户的心理状态。有了用户的心理状态，***就可以对处在不同心理状态的用户进行更专业的心理疏导，提升用户体验，另外也可对于心理处于危险状态的用户发出警报。

优选的，在步骤S107中，其中，所述算法为决策树、逻辑回归、支持向量机、循环神经网络中的一种。

与现有技术相比，本发明的有益效果是：

1、本发明通过对话***可以收集单个用户的聊天内容数据建立用户心理状态倾向模型，做到及时诊断、提前治疗、预测行为等工作，减少***、危害社会公共安全等悲剧的事件发生。辅助医院、公安部门防患于未然，提升社会和谐稳定、个人家庭稳定幸福。

2、本发明中，为了方便心理状态识别模型的训练，我们只需要根据用户的情绪状态变化来预测用户的心理状态。这里没有采用直接通过文本来预测心理状态，主要因为用户的心理状态并不能简单通过一句话来预测，为了更准确的预测出用户的心理状态，我们决定采用通过用户所表现出来的情绪来推测用户的心理状态。另外这里我们并不需要对语音进行心理状态的标注，因为对语音标注人力成本太高，而且目前也没有较好的语音标注工具。

3、本发明根据说话者的情绪波动情况给出心理状态的识别结果，使得对心理状态分析的结果解释性更强。本发明实用性强，可操作性强。训练心理识别模型所用到的数据只需打上所属心理类别的标签即可。本发明应用广泛，在智能心理客服、心理咨询机器人等场景均可进行心理状态识别。

5本发明的利用大数据和深度技术的技术手段，并结合心理医生诊断案例直接得出心理预测的模型，并进行心理治疗，同时采用抽样对建立模型的样本进行修正，以便使得模型更加准确。

附图说明

图1为本发明的整体结构示意图；

图2为本发明的本地交互预测端的结构示意图；

图3为本发明的心理诊断和预测云端的结构示意图；

图4为本发明的模型创建的流程示意图；

图5为本发明的心理预测的流程示意图。

图中：1、本地交互预测端；2、心理诊断和预测云端；3、心理医生在线诊断端；4、异常警报端；5、语音录入模块；6、提示语音播放模块；7、音频文字转换模块；8、心理症状和心理预测数据库；9、心理状态识别模型创建模块；10、心理状态预测模块；11、生理参数获取模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施例一：

一种基于语音识别的心理状态预测***，包括本地交互预测端1、心理诊断和预测云端2、心理医生在线诊断端3和异常警报端4；所述心理诊断和预测云端2分别和所述本地交互预测端1、所述心理医生在线诊断端3和异常警报端4之间进行通信连接；

其中，所述本地交互预测端1包括语音录入模块5、提示语音播放模块6、音频文字转换模块7和生理参数获取模块11；所述语音录入模块5和所述音频文字转换模块7数据通信连接；

所述心理诊断和预测云端2包括心理症状和心理预测数据库8、心理状态识别模型创建模块9和心理状态预测模块10；

包括心理状态识别模型创建：心理疾病患者依据所述提示语音播放模块6播放的指令，通过所述语音录入模块5录入一定时间段的语音信息，并发送给所述音频文字转换模块7；所述音频文字转换模块7将语音信息转换为文字症状信息；所述生理参数获取模块11获取所述心理疾病患者的生理参数，从而所述本地交互预测端1将所述文字症状信息和生理参数发送给所述心理诊断和预测云端2；所述心理诊断和预测云端2将获取的所述文字症状信息和生理参数发送给所述心理医生在线诊断端3；

所述心理医生在线诊断端3为包括一个心理医生的模块，从而心理医生可以在远程获取所述心理诊断和预测云端2发送的心理症状特征数据，并进行心理状态预测形成心理状态预测数据，并反馈给所述心理诊断和预测云端2，所述心理诊断和预测云端2依据心理症状特征数据和心理状态预测数据形成心理症状-心理预测数据记录；并将所述心理症状-心理预测数据记录发送给所述心理诊断和预测云端2，并存储于所述心理症状和心理预测数据库8；当在所述心理症状和心理预测数据库8的所述心理症状-心理预测数据记录数量达到一定数量时，所述心理状态识别模型创建模块9依据储存于所述心理症状和心理预测数据库8终端所述心理症状-心理预测数据记录，采用深度学习的方法创建心理状态识别模型；

心理状态预测：在完成所述心理状态识别模型创建后，当进行心理状态预测时，心理疾病患者依据所述提示语音播放模块6播放的指令，通过所述语音录入模块5录入一定时间段的语音信息，并发送给所述音频文字转换模块7；所述音频文字转换模块7将语音信息转换为文字症状信息；所述生理参数获取模块11获取所述心理疾病患者的生理参数，从而所述本地交互预测端1将所述文字症状信息和生理参数发送给所述心理诊断和预测云端2；所述心理状态预测模块10依据所述文字症状信息和生理参数，并利用所述创建心理状态识别模型进行大数据学习，从而得出该患者的心理预测数据，并将该心理预测数据发送至所述本地交互预测端1，并通过所述提示语音播放模块6播放给心理疾病患者，同时，将该心理状态预测构成心理症状-心理预测数据记录并存储于所述心理症状和心理预测数据库8；

在所述心理医生在线诊断端3或所述心理状态预测模块10检测到所述心理疾病患者心理出现异常时，通过所述异常警报端4进行报警，并利用所述提示语音播放模块6进行缓解心理疾病患者的行为。

优选的，所述生理参数获取模块11获取所述心理疾病患者的心率参数，当检测到所述心率参数不符合该心理疾病患者的年龄、体重、身高和性别的心率参数时，则表明该心理疾病患者未真实反馈其心理症状参数，通过所述提示语音播放模块6进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

优选的，所述音频文字转换模块7将语音信息转换为文字症状信息时，同时，录入所述语音信息中的情绪，并将该情绪采用文字的方式表达，共同形成文字症状信息；为了准确获取心理疾病患者的语音症状，通过所述提示语音播放模块6选择智能化问答和交谈的形式，以便获取心理疾病患者的真实心理。

优选的，心理疾病患者通过手动方式选择方言识别模式，实现所述音频文字转换模块7自动调整到识别某地的方言，以便准确的识别患者的语音，转换成文字；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式。

优选的，所述心理诊断和预测云端2定期将存储于所述心理症状和心理预测数据库8中的所述心理症状-心理预测数据记录随机抽取并发送给所述心理医生在线诊断端3，通过所述心理医生在线诊断端3进行人工诊断，并将诊断的结果对比所述心理症状-心理预测数据记录中的心理预测的结果，如果存在偏差，则将该心理症状-心理预测数据记录的心理预测的结果替换为人工诊断的结构。

优选的，在所述语音录入模块5在获取足够的心理状态预测数据时，以一定时间段或一定会话请求的会话条数为基础，其中，所述的一定时间是以天为单位或者小时、分钟为基准；又或者以一次心理咨询为一个时间单位。

优选的，所述心理状态识别模型创建模块9定期利用存储于所述心理症状和心理预测数据库8中的所述心理症状-心理预测数据记录进行深度学习，并修改所述心理状态识别模型。

优选的，所述生理参数获取模块11还获取脉搏信息，当所述脉搏数据存在明显异常时，通过所述异常警报端4进行报警，同时通过所述提示语音播放模块6进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

具体实施例二：

一种基于语音识别的心理状态预测方法，包括基于语音识别的心理状态预测***，具体步骤如下：

S1；构建数据集并训练心理状态识别模型：以满足一定条数的语音数据为基准进行构建心理状态识别模型；

S102：数据获取；语音录入单元5获取一定时间内说话者的语音数据；默认在该单位时间内说话者心理状态一致，并将语音数据存储于语音采集数据库；

S103：语音识别；音频文字转换模块7对获取的语音数据进行语音识别操作，将语音数据转化成文本数据；语音识别技术可采用目前常用的基于连接时序分布的端到端语音识别方法或者基于注意力机制的编解码语音识别方法等；

S104：文本情感识别；将步骤S103中通过语音识别得到的文本进行情感分类；为了捕获到用户更加丰富的情感变化，采用句子级别的文本情感识别算法，并对情感类别定义为Mover简单地将离散情感分为痛苦、快乐两类基本情感；其中，快乐类代表积极的情绪，痛苦类代表消极的情绪。进一步，Ekman将离散情感分成愤怒、厌恶、恐惧、快乐、悲伤、惊喜和中性情感共7种基本情感。文本情感识别技术主要采用文本的预训练模型Bert来学习词语的双向编码表示，融合了上下文信息的词语编码能更好地进行情感决策；

S105：打标签；由专业的心理咨询师对经过步骤S104获得到的情感变化情况给出心理状态评估，评定该咨询者是正常、敏感、焦虑、抑郁中的一种；

S106：判断数据是否收集够N条；语音采集数据库包括说话者的情绪变化情况以及说话者的心理状态标签；如果收集够则进行步骤S107进行训练得到心理状态识别模型；如果没有收集够数据，则回到步骤S102继续进行数据获取；

S107：构建心理状态识别模型，并训练该心理状态识别模型；心理状态的类别定义按照从健康心理状态到心理疾病状态分为四个等级：健康状态、不良状态、心理障碍、心理疾病。或者也可以把心理状态的类别通俗定义为正常、敏感、焦虑、抑郁；经过步骤S106，得到说话者在单位时间下的情感变化情况；根据这些文本数据构建机器学习或者深度学习算法来解决从情感状态来预测心理状态的问题；

S2：使用心理状态识别模型进行心理状态预测：当有用户拨打了智能心理服务热线，开始与***进行聊天对话；

S202：接收用户的语音数据；***开始接收用户的倾诉语音；

S203：语音识别；对***接收到的语音进行语音识别，识别出用户说话的文本内容；这些用户倾诉的文本内容后续可作为***聊天模型的输入，用于预测聊天的Al回复；

S204：文本情感分类；在这里我们采用句子级别的文本情感分类方法；将步骤S203识别出来的文本内容，按照句号进行分割，并将分割后的句子进行情感预测，得到该句子所属的情感类别；经过步骤S204我们会得到这一轮对话中，用户的情感状态波动情况；

S205：预测用户心理状态，通过该轮对话中用户的情感状态波动情况预测用户的心理状态。有了用户的心理状态，***就可以对处在不同心理状态的用户进行更专业的心理疏导，提升用户体验，另外也可对于心理处于危险状态的用户发出警报。

优选的，在步骤S107中，其中，所述算法为决策树、逻辑回归、支持向量机、循环神经网络中的一种。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于语音识别的心理状态预测***，包括本地交互预测端(1)、心理诊断和预测云端(2)、心理医生在线诊断端(3)和异常警报端(4)；所述心理诊断和预测云端(2)分别和所述本地交互预测端(1)、所述心理医生在线诊断端(3)和异常警报端(4)之间进行通信连接。

2.根据权利要求1所述的一种基于语音识别的心理状态预测***，其特征在于：所述本地交互预测端(1)包括语音录入模块(5)、提示语音播放模块(6)、音频文字转换模块(7)和生理参数获取模块(11)；所述语音录入模块(5)和所述音频文字转换模块(7)数据通信连接；

所述心理诊断和预测云端(2)包括心理症状和心理预测数据库(8)、心理状态识别模型创建模块(9)和心理状态预测模块(10)；

包括心理状态识别模型创建：心理疾病患者依据所述提示语音播放模块(6)播放的指令，通过所述语音录入模块(5)录入一定时间段的语音信息，并发送给所述音频文字转换模块(7)；所述音频文字转换模块(7)将语音信息转换为文字症状信息；所述生理参数获取模块(11)获取所述心理疾病患者的生理参数，从而所述本地交互预测端(1)将所述文字症状信息和生理参数发送给所述心理诊断和预测云端(2)；所述心理诊断和预测云端(2)将获取的所述文字症状信息和生理参数发送给所述心理医生在线诊断端(3)；

所述心理医生在线诊断端(3)为包括一个心理医生的模块，从而心理医生可以在远程获取所述心理诊断和预测云端(2)发送的心理症状特征数据，并进行心理状态预测形成心理状态预测数据，并反馈给所述心理诊断和预测云端(2)，所述心理诊断和预测云端(2)依据心理症状特征数据和心理状态预测数据形成心理症状-心理预测数据记录；并将所述心理症状-心理预测数据记录发送给所述心理诊断和预测云端(2)，并存储于所述心理症状和心理预测数据库(8)；当在所述心理症状和心理预测数据库(8)的所述心理症状-心理预测数据记录数量达到一定数量时，所述心理状态识别模型创建模块(9)依据储存于所述心理症状和心理预测数据库(8)终端所述心理症状-心理预测数据记录，采用深度学习的方法创建心理状态识别模型；

心理状态预测：在完成所述心理状态识别模型创建后，当进行心理状态预测时，心理疾病患者依据所述提示语音播放模块(6)播放的指令，通过所述语音录入模块(5)录入一定时间段的语音信息，并发送给所述音频文字转换模块(7)；所述音频文字转换模块(7)将语音信息转换为文字症状信息；所述生理参数获取模块(11)获取所述心理疾病患者的生理参数，从而所述本地交互预测端(1)将所述文字症状信息和生理参数发送给所述心理诊断和预测云端(2)；所述心理状态预测模块(10)依据所述文字症状信息和生理参数，并利用所述创建心理状态识别模型进行大数据学习，从而得出该患者的心理预测数据，并将该心理预测数据发送至所述本地交互预测端(1)，并通过所述提示语音播放模块(6)播放给心理疾病患者，同时，将该心理状态预测构成心理症状-心理预测数据记录并存储于所述心理症状和心理预测数据库(8)；

在所述心理医生在线诊断端(3)或所述心理状态预测模块(10)检测到所述心理疾病患者心理出现异常时，通过所述异常警报端(4)进行报警，并利用所述提示语音播放模块(6)进行缓解心理疾病患者的行为；所述生理参数获取模块(11)获取所述心理疾病患者的心率参数，当检测到所述心率参数不符合该心理疾病患者的年龄、体重、身高和性别的心率参数时，则表明该心理疾病患者未真实反馈其心理症状参数，通过所述提示语音播放模块(6)进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

3.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：所述音频文字转换模块(7)将语音信息转换为文字症状信息时，同时，录入所述语音信息中的情绪，并将该情绪采用文字的方式表达，共同形成文字症状信息；为了准确获取心理疾病患者的语音症状，通过所述提示语音播放模块(6)选择智能化问答和交谈的形式，以便获取心理疾病患者的真实心理。

4.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：心理疾病患者通过手动方式选择方言识别模式，实现所述音频文字转换模块(7)自动调整到识别某地的方言，以便准确的识别患者的语音，转换成文字；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式。

5.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：所述心理诊断和预测云端(2)定期将存储于所述心理症状和心理预测数据库(8)中的所述心理症状-心理预测数据记录随机抽取并发送给所述心理医生在线诊断端(3)，通过所述心理医生在线诊断端(3)进行人工诊断，并将诊断的结果对比所述心理症状-心理预测数据记录中的心理预测的结果，如果存在偏差，则将该心理症状-心理预测数据记录的心理预测的结果替换为人工诊断的结构。

6.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：在所述语音录入模块(5)在获取足够的心理状态预测数据时，以一定时间段或一定会话请求的会话条数为基础，其中，所述的一定时间是以天为单位或者小时、分钟为基准；又或者以一次心理咨询为一个时间单位。

7.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：所述心理状态识别模型创建模块(9)定期利用存储于所述心理症状和心理预测数据库(8)中的所述心理症状-心理预测数据记录进行深度学习，并修改所述心理状态识别模型。

8.根据权利要求2所述的一种基于语音识别的心理状态预测***，其特征在于：所述生理参数获取模块(11)还获取脉搏信息，当所述脉搏数据存在明显异常时，通过所述异常警报端(4)进行报警，同时通过所述提示语音播放模块(6)进行播放舒缓音乐，平缓心理疾病患者的情绪后再进行心理预测。

9.一种基于语音识别的心理状态预测方法，包括如权利要求2-8中任意一项的基于语音识别的心理状态预测***，具体步骤如下：

S1；构建数据集并训练心理状态识别模型：以满足一定条数的语音数据为基准进行构建心理状态识别模型；

S102：数据获取；语音录入单元(5)获取一定时间内说话者的语音数据；默认在该单位时间内说话者心理状态一致，并将语音数据存储于语音采集数据库；

S103：语音识别；音频文字转换模块(7)对获取的语音数据进行语音识别操作，将语音数据转化成文本数据；语音识别技术采用基于连接时序分布的端到端语音识别方法或者基于注意力机制的编解码语音识别方法；

S104：文本情感识别；将步骤S103中通过语音识别得到的文本进行情感分类；为了捕获到用户更加丰富的情感变化，采用句子级别的文本情感识别算法，并对情感类别定义为痛苦、快乐两类基本情感；其中，快乐类代表积极的情绪，痛苦类代表消极的情绪；

S105：打标签；由专业的心理咨询师对经过步骤S104获得到的情感变化情况给出心理状态评估，评定该咨询者是正常、敏感、焦虑、抑郁中的一种；

S106：判断数据是否收集够一定数量；语音采集数据库包括说话者的情绪变化情况以及说话者的心理状态标签；如果收集够则进行步骤S107进行训练得到心理状态识别模型；如果没有收集够数据，则回到步骤S102继续进行数据获取；

S107：构建心理状态识别模型，并训练该心理状态识别模型；心理状态的类别定义按照从健康心理状态到心理疾病状态分为四个等级：健康状态、不良状态、心理障碍、心理疾病。或者也可以把心理状态的类别通俗定义为正常、敏感、焦虑、抑郁；经过步骤S106，得到说话者在单位时间下的情感变化情况；根据这些文本数据构建机器学习或者深度学习算法来解决从情感状态来预测心理状态的问题；

S2：使用心理状态识别模型进行心理状态预测：当有用户拨打了智能心理服务热线，开始与所述基于语音识别的心理状态预测***进行聊天对话；

S202：接收用户的语音数据；基于语音识别的心理状态预测***开始接收用户的倾诉语音；

S203：语音识别；对基于语音识别的心理状态预测***接收到的语音进行语音识别，识别出用户说话的文本内容；这些用户倾诉的文本内容后续可作为基于语音识别的心理状态预测***聊天模型的输入，用于预测聊天的Al回复；

S204：文本情感分类；在这里采用句子级别的文本情感分类方法；将步骤S203识别出来的文本内容，按照句号进行分割，并将分割后的句子进行情感预测，得到该句子所属的情感类别；经过步骤S204得到这一轮对话中，用户的情感状态波动情况；

S205：预测用户心理状态，通过该轮对话中用户的情感状态波动情况预测用户的心理状态。有了用户的心理状态，基于语音识别的心理状态预测***对处在不同心理状态的用户进行更专业的心理疏导，提升用户体验，另外也可对于心理处于危险状态的用户发出警报。

10.根据权利要求9所述的一种基于语音识别的心理状态预测方法，其特征在于：在步骤S107中，其中，所述算法为决策树、逻辑回归、支持向量机、循环神经网络中的一种。

Images