CN107577991A - 随访数据处理方法、装置、存储介质和计算机设备 - Google Patents
随访数据处理方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN107577991A CN107577991A CN201710681325.4A CN201710681325A CN107577991A CN 107577991 A CN107577991 A CN 107577991A CN 201710681325 A CN201710681325 A CN 201710681325A CN 107577991 A CN107577991 A CN 107577991A
- Authority
- CN
- China
- Prior art keywords
- follow
- classification
- classification results
- mind
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种随访数据处理方法、装置、存储介质和计算机设备。所述方法包括，从随访视频中提取表情特征，对所述表情特征进行分类识别得到对应的精神状态；从所述随访视频中获取音频数据，对所述音频数据进行特征提取，得到对应的音频特征；获取所述随访视频对应的主观感觉记录信息；根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，所述分类结果对应的候选分类至少包括第一分类和第二分类，提高了随访数据的利用率并能得到准确的分析结果。
Description
技术领域
本发明涉及随访技术领域，特别是涉及一种随访数据处理方法、装置、存储介质和计算机设备。
背景技术
随访是医院根据医疗、科研、教学的需要，与诊治后的病人保持联系，从而对病人疾病的疗效和发展状况继续进行追踪观察。随访在医学上有着广泛的应用，在一些慢性疾病治疗、术后康复治疗、对疾病的筛查与防治等领域，随访有着重要意义。
传统技术中，随访过程中会产生大量数据，因此随访员在随访结束后需要对大量的随访数据进行处理、分析和总结，不仅效率低下，而且人工分析的差异性大，导致分析处理的结果并不准确。
随访过程中会产生大量的数据，但是，在传统技术中，由于数据加工处理技术落后，对于随访的数据只用于简单的判断患者的相关情况，未进一步收集和加工处理数据，导致大量数据被浪费，而且通过人工分析随访数据得出分析的结果，差异性大，导致分析处理的结果并不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种随访数据处理方法、装置、存储介质和计算机设备，以提高随访数据的利用率并得到准确的分析结果。
一种随访数据处理方法，所述方法包括：
从随访视频中提取表情特征，对所述表情特征进行分类识别得到对应的精神状态；
从所述随访视频中获取音频数据，对所述音频数据进行特征提取，得到对应的音频特征；
获取所述随访视频对应的主观感觉记录信息；
根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，所述分类结果对应的候选分类至少包括第一分类和第二分类。
在其中一个实施例中，所述根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤包括：
对所述精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；
对所述组合特征进行特征融合或选择，得到最优特征集；
将所述最优特征集依次输入多个分类器，得到多个分类结果；
将所述多个分类结果进行决策融合得到最终的分类结果。
在其中一个实施例中，所述从随访视频中提取表情特征的步骤包括：
对所述随访视频进行人脸检测，得到人脸图像；
对所述人脸图像采用特征提取算法提取表情特征，所述表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
在其中一个实施例中，所述方法还包括：
获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，所述第一参数包括精神状态；
根据所述随访时间信息及第一参数集合，生成第一变化曲线。
在其中一个实施例中，所述方法还包括：
获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，所述第二参数包括音频特征、主观感觉记录信息中的至少一种；
将所述第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果；
根据所述计算结果及随访时间信息，生成第二变化曲线。
在其中一个实施例中，所述根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤之后还包括：
获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息；
根据所述分类结果集合及随访时间信息，生成分类结果动态变化曲线。
一种随访数据处理装置，所述装置包括：
精神状态获取模块，用于从随访视频中提取表情特征，对所述表情特征进行分类识别得到对应的精神状态；
音频特征获取模块，用于从所述随访视频中获取音频数据，对所述音频数据进行特征提取，得到对应的音频特征；
主观感觉记录信息获取模块，用于获取所述随访视频对应的主观感觉记录信息；
分类识别模块，用于根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，所述分类结果对应的候选分类至少包括第一分类和第二分类。
在其中一个实施例中，所述分类识别模块包括：
特征组合单元，用于对所述精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；
特征融合单元，用于对所述组合特征进行特征融合或选择，得到最优特征集；
分类识别单元，用于将所述最优特征集依次输入多个分类器，得到多个分类结果；
决策融合单元，用于将所述多个分类结果进行决策融合得到最终的分类结果。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，使得所述处理器执行上述随访数据处理方法所述的步骤。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述随访数据处理方法所述的步骤。
上述随访数据处理方法、装置、存储介质和计算机设备，通过从随访视频中提取表情特征，对表情特征进行分别识别得到精神状态，并且从随访视频中提取音频数据，对音频数据进行特征提取，得到音频特征，并且获取随访视频对应主观感觉记录信息，对精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，从而实现了对随访数据的可信化采集和高效率的处理，不仅提高了随访数据的利用率，而且能得到准确的分析结果
附图说明
图1为一个实施例中随访数据处理方法的流程图；
图2为一个实施例中采用分类算法得到分类结果的步骤流程图；
图3为一个实施例中从随访视频中提取表情特征的步骤流程图；
图4为另一个实施例中随访数据处理方法的流程图；
图5为一个实施例中第一变化曲线图；
图6为另一个实施例中随访数据处理方法的流程图；
图7为再一个实施例中随访数据处理方法的流程图；
图8为一个实施例中随访数据处理装置的结构框图；
图9为一个实施例中分类识别模块的结构框图；
图10为一个实施例中精神状态获取模块的结构框图；
图11为另一个实施例中随访数据处理装置的结构框图；
图12为又一个实施例中随访数据处理装置的结构框图；
图13为又一个实施例中随访数据处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
在一个实施例中，如图1所示，提供了一种随访数据处理方法，该方法包括：
步骤S110，从随访视频中提取表情特征，对表情特征进行分类识别得到对应的精神状态。
具体地，随访视频指的是随访员对患者以视频聊天的方式进行随访时所录制并保存的视频，该视频可以保存为随访员终端的本地文件，也可以上传至服务器进行存储。
表情特征指的是能表征人脸当前表情的脸部特征集合，而精神状态指的是人的心境情绪以及传递给外界的感觉信息。对表情特征进行分类识别后，得到对应的表情，该表情即为当前的精神状态，精神状态的种类包括但不限于快乐、悲伤、恐惧、厌恶、信任、愤怒、惊喜和期待等。
进一步，对表情特征进行分类识别可采用多层神经网络分类算法，另外还可采用用最大似然分类、支持向量机、遗传分类等分类识别算法。
步骤S120，从随访视频中获取音频数据，对音频数据进行特征提取，得到对应的音频特征。
具体地，首先对视频随访过程中的音频信号进行预处理，包括去噪、采样、量化、预加重、加窗处理，其次，对预处理后的信号进行分析计算，提取具有明确含义的音频特征。
在一个实施例中，提取的特征包括声音大小、语速、顿挫次数、顿挫时长，其中，声音大小为语音信号的振幅平均值；语速为语音时长和发音音节数的比值；顿挫次数为在语音时段内，每2个发音音节时间间隔大于某一阈值的次数；顿挫时长为在语音时段内，发生顿挫的平均时长。
步骤S130，获取随访视频对应的主观感觉记录信息。
具体地，主观感觉记录信息为随访员在随访结束后针对本次随访根据患者的描述所做的随访记录信息，包括但不限于患者的睡眠质量、语言表达与交流能力、信任、生活活动半径、是否喜欢独居家中还是经常外出活动等。该主观感觉记录信息可以是保存在随访员终端的本地文件，也可以保存在服务器中的数据信息。
在一个实施例中，随访员在随访结束后以选择题的形式对患者的主观感觉进行记录，此时主观感觉记录信息以数值进行表征。比如，在某一次随访中，对于睡眠质量的选择题如下：1、良好；2、一般；3、较差，当随访员记录的信息为“1、良好”，则用数字“1”表征患者的说明质量良好。
步骤S140，根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，分类结果对应的候选分类至少包括第一分类和第二分类。
具体地，该分类结果即为随访数据处理后所对应的最终结果，该最终结果可根据实际应用预先定义，该最终结果的候选分类至少包括第一分类和第二分类，也可以根据实际情况有多个不同的分类结果。分类算法包括但不限于多层神经网络、最大似然分类、遗传算法等。
在一个实施例中，分类结果对应的候选分类包括第一分类和第二分类，其中，第一分类对应的分类结果和第二分类对应的分类结果成互斥关系，如第一分类对应的分类结果为“好”，第二分类对应的分类结果为“坏”。
在另一个实施例中，分类结果对应的候选分类包括第一分类、第二分类以及第三分类，其中，第一分类、第二分类以及第三分类分别对应不同等级的分类结果。如第一分类对应的分类结果为“一般”，第二分类对应的分类结果为“较好”，第三分类对应的分类结果为“非常好”。可以理解，在本实施例中，分类结果的候选分类可以包括更多不同等级的分类。
本实施例中，通过从随访视频中提取表情特征，对表情特征进行分类识别得到精神状态，从随访视频中提取音频数据，对音频数据进行特征提取，得到音频特征，并且获取随访视频对应主观感觉记录信息，对精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，从而实现了对随访数据的可信化采集和高效率的处理，不仅提高了随访数据的利用率，而且能得到准确的分析结果。
在一个实施例中，如图2所示，根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤包括：
步骤S141，对精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征。
具体地，特征组合是指将多个特征集组合起来，构成联合特征向量，在本实施例中，特征集包括精神状态特征集、音频特征集、主观感觉记录特征集，组合特征即为精神状态特征集、音频特征集、主观感觉记录特征集构成的联合特征向量空间。
步骤S142，对组合特征进行特征融合或选择，得到最优特征集。
具体地，最优特征集为对分类帮助最大的有效特征集，特征融合或选择指的是将原特征空间按照一定的规则映射到一个更低维的特征空间，来达到原特征维数的减少，去除冗余信息，更好地保留在后续分类中的有效信息，保证类别可分性，提高分类精度。
步骤S143，将最优特征集依次输入多个分类器，得到多个分类结果。
具体地，分类器包括但不限于最大似然分类器、神经网络分类器、支持向量机分类器等。
步骤S144，将多个分类结果进行决策融合得到最终的分类结果。
具体地，决策融合指的是对上述分类器的每一个分类结果进行属性说明，然后将这些分类结果按照一定的规则进行融合，得到最终分类结果。
在一个实施例中，如图3所示，从随访视频中提取表情特征的步骤包括：
步骤S111，对随访视频进行人脸检测，得到人脸图像。
具体地，人脸检测是指采用人脸检测算法在随访视频中定位并提取人脸区域图像，将该图像作为人脸图像。人脸检测算法包括但不限于基于直方图粗分割和奇异值特征的人脸检测算法、基于二进小波变换的人脸检测算法、基于AdaBoost算法的人脸检测、基于面部双眼结构特征的人脸检测算法等。
步骤S112，对人脸图像采用特征提取算法提取表情特征，表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
具体地，表情特征提取是指对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取。它是精神状态识别中的核心步骤，它决定着最终的识别结果，直接影响识别率的高低。具体的特征提取方法包括但不限于主成分分析法(Principal ComponentAnalysis,PCA)、独立成分分析法(Indenpent Compondent Analysis，ICA)和线性判别分析法(Linear Discriminant Analysis，LDA)、Gabor小波法、LBP算子法等。
在一个实施例中，如图4所示，上述方法还包括：
步骤S210，获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，第一参数包括精神状态。
步骤S220，根据随访时间信息及第一参数集合，生成第一变化曲线。
具体地，随访时间信息包括但不限于随访日期、随访开始的具体时间点中的至少一种。
在一个实施例中，第一参数为精神状态，以随访时间信息为横坐标，精神状态对应的等级为纵坐标生成第一变化曲线，第一变化曲线用于反映患者的精神状态随时间的动态变化。
如图5所示，为一个实施例中的第一变化曲线图，由图可以看出，第一变化曲线在5月30号到6月8号的这段时间内整体呈上升趋势，可见该患者的精神状态明显好转。
在一个实施例中，如图6所示，上述方法还包括：
步骤S240，获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，第二参数包括音频特征、主观感觉记录信息中的至少一种。
步骤S250，将第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果。
步骤S260，根据计算结果及随访时间信息，生成第二变化曲线。
具体地，随访时间信息包括但不限于随访日期、随访开始的具体时间点中的至少一种。第二参数为随访过程中产生的数据，包括但不限于音频特征、主观感觉记录中的至少一种。将第二参数根据预先设定好的标准数值化，计算各个数值的总值，即为第一参数对应的计算结果。
举例说明，当第二参数为音频特征(语速、顿挫时长与次数)时，可按语速恰当程度、语句流畅性的评价标准进行综合评估，生成的第二变化曲线为语言表达能力综合评价时间曲线。其中，语速恰当程度可按下述的标准：180-300个字/分钟为语速正常，得3分；300-420个字/分钟为语速较快，得2分；大于420个字/分钟为语速过快，得1分；90-180个字/分钟为语速较慢，得2分；小于90个字/分钟为语速过慢，得1分。语句流畅性评价可按下述标准：0-2次顿挫次数/发音时段，且平均每次顿挫时长小于1秒为正常，得3分；大于5次顿挫次数/发音时段，或平均每次顿挫时长大于2秒为结巴严重，得1分；其余情况得2分。将以上2项得分相加，即为语言表达综合能力。
在本实施例中，通过生成第二变化曲线，从另一个维度反应随访期间患者的变化状态。
在一个实施例中，如图7所示，上述方法还包括：
步骤S150，获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息。
具体地，每一次随访对应一个分类结果，分类结果对应的候选分类至少包括第一分类和第二分类。随访时间信息包括但不限于随访日期、随访开始的具体时间点中的至少一种。
步骤S160，根据分类结果集合及随访时间信息，生成分类结果动态变化曲线。
具体地，分类结果动态变化曲线用于直观地反应分类结果随时间的变化情况。该分类结果动态变化曲线的变化形态包括呈上升趋势变化、呈下降趋势变化或呈波浪形变化等。当该分类结果动态变化曲线呈上升趋势时，则表示该段时间内分类结果对应的变化状态逐渐好转；当该分类结果动态变化曲线呈下降趋势时，则表示该段时间内分类结果对应的变化状态逐渐变差；当该分类结果动态变化曲线呈波浪形变化时，则表示该段时间内分类结果对应的变化状态不稳定。
在一个实施例中，如图8所示，还提供了一种随访数据处理装置，该装置包括：
精神状态获取模块310，用于从随访视频中提取表情特征，对表情特征进行分类识别得到对应的精神状态；
音频特征获取模块320，用于从随访视频中获取音频数据，对音频数据进行特征提取，得到对应的音频特征；
主观感觉记录信息获取模块330，用于获取随访视频对应的主观感觉记录信息；
分类识别模块340，用于根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，分类结果对应的候选分类至少包括第一分类和第二分类。
在一个实施例中，如图9所示，分类识别模块340包括：
特征组合单元340a，用于对精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；
特征融合单元340b，用于对组合特征进行特征融合或选择，得到最优特征集；
分类识别单元340c，用于将最优特征集依次输入多个分类器，得到多个分类结果；
决策融合单元340d，用于将多个分类结果进行决策融合得到最终的分类结果。
在一个实施例中，如图10所示，精神状态获取模块310包括：
人脸检测单元310a，用于对随访视频进行人脸检测，得到人脸图像；
表情特征提取单元310b，用于对人脸图像采用特征提取算法提取表情特征，表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
在一个实施例中，如图11所示，上述装置还包括：
第一获取模块410，用于获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，第一参数包括精神状态；
第一变化曲线生成模块420，用于根据随访时间信息及第一参数集合，生成第一变化曲线。
在一个实施例中，如图12所示，上述装置还包括：
第二获取模块440，获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，第二参数包括音频特征、主观感觉记录信息中的至少一种；
计算模块450，将第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果；
第二变化曲线生成模块460，根据计算结果及随访时间信息，生成第二变化曲线。
在一个实施例中，如图13所示，上述装置还包括：
第三获取模块350，用于获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息；
分类结果动态变化曲线生成模块360，根据分类结果集合及随访时间信息，生成分类结果动态变化曲线。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中储存有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行以下步骤：从随访视频中提取表情特征，对表情特征进行分类识别得到对应的精神状态；从随访视频中获取音频数据，对音频数据进行特征提取，得到对应的音频特征；获取随访视频对应的主观感觉记录信息；根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，分类结果对应的候选分类至少包括第一分类和第二分类。
在一个实施例中，根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，包括：对精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；对组合特征进行特征融合或选择，得到最优特征集；将最优特征集依次输入多个分类器，得到多个分类结果；将多个分类结果进行决策融合得到最终的分类结果。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行以下步骤：对随访视频进行人脸检测，得到人脸图像；对人脸图像采用特征提取算法提取表情特征，表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行以下步骤：获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，第一参数包括精神状态；根据随访时间信息及第一参数集合，生成第一变化曲线。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行以下步骤：获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，第二参数包括音频特征、主观感觉记录信息中的至少一种；将第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果；根据计算结果及随访时间信息，生成第二变化曲线。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤之后还执行：获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息；根据分类结果集合及随访时间信息，生成分类结果动态变化曲线。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：从随访视频中提取表情特征，对表情特征进行分类识别得到对应的精神状态；从随访视频中获取音频数据，对音频数据进行特征提取，得到对应的音频特征；获取随访视频对应的主观感觉记录信息；根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，分类结果对应的候选分类至少包括第一分类和第二分类。
在一个实施例中，根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，包括：对精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；对组合特征进行特征融合或选择，得到最优特征集；将最优特征集依次输入多个分类器，得到多个分类结果；将多个分类结果进行决策融合得到最终的分类结果。
在一个实施例中，从随访视频中提取表情特征，包括：对随访视频进行人脸检测，得到人脸图像；对人脸图像采用特征提取算法提取表情特征，表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行以下步骤：获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，第一参数包括精神状态；根据随访时间信息及第一参数集合，生成第一变化曲线。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行以下步骤：获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，第二参数包括音频特征、主观感觉记录信息中的至少一种；将第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果；根据计算结果及随访时间信息，生成第二变化曲线。
在一个实施例中，计算机可读指令被处理器执行时，使得处理器还执行根据精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤之后还执行：获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息；根据分类结果集合及随访时间信息，生成分类结果动态变化曲线。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种随访数据处理方法，所述方法包括：
从随访视频中提取表情特征，对所述表情特征进行分类识别得到对应的精神状态；
从所述随访视频中获取音频数据，对所述音频数据进行特征提取，得到对应的音频特征；
获取所述随访视频对应的主观感觉记录信息；
根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，所述分类结果对应的候选分类至少包括第一分类和第二分类。
2.根据权利要求1所述的方法，其特征在于，所述根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤包括：
对所述精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；
对所述组合特征进行特征融合或选择，得到最优特征集；
将所述最优特征集依次输入多个分类器，得到多个分类结果；
将所述多个分类结果进行决策融合得到最终的分类结果。
3.根据权利要求1所述的方法，其特征在于，所述从随访视频中提取表情特征的步骤包括：
对所述随访视频进行人脸检测，得到人脸图像；
对所述人脸图像采用特征提取算法提取表情特征，所述表情特征包括人脸器官、纹理区域以及预定义的特征点中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多次随访对应的第一参数集合及第一参数集合中各个第一参数对应的随访时间信息，所述第一参数包括精神状态；
根据所述随访时间信息及第一参数集合，生成第一变化曲线。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多次随访对应的第二参数集合及第二参数集合中各个第二参数对应的随访时间信息，所述第二参数包括音频特征、主观感觉记录信息中的至少一种；
将所述第二参数集合中各个第二参数根据预设的标准进行计算得到对应的计算结果；
根据所述计算结果及随访时间信息，生成第二变化曲线。
6.根据权利要求1所述的方法，其特征在于，所述根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果的步骤之后还包括：
获取多次随访对应的分类结果集合及分类结果集合中各个分类结果对应的随访时间信息；
根据所述分类结果集合及随访时间信息，生成分类结果动态变化曲线。
7.一种随访数据处理装置，其特征在于，所述装置包括：
精神状态获取模块，用于从随访视频中提取表情特征，对所述表情特征进行分类识别得到对应的精神状态；
音频特征获取模块，用于从所述随访视频中获取音频数据，对所述音频数据进行特征提取，得到对应的音频特征；
主观感觉记录信息获取模块，用于获取所述随访视频对应的主观感觉记录信息；
分类识别模块，用于根据所述精神状态、音频特征、主观感觉记录信息采用分类算法进行分类识别，得到分类结果，所述分类结果对应的候选分类至少包括第一分类和第二分类。
8.根据权利要求7所述的装置，其特征在于，所述分类识别模块包括：
特征组合单元，用于对所述精神状态、音频特征、主观感觉记录信息进行特征组合，得到组合特征；
特征融合单元，用于对所述组合特征进行特征融合或选择，得到最优特征集；
分类识别单元，用于将所述最优特征集依次输入多个分类器，得到多个分类结果；
决策融合单元，用于将所述多个分类结果进行决策融合得到最终的分类结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，使得所述处理器执行权利要求1至6中任一项所述方法的步骤。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710681325.4A CN107577991B (zh) | 2017-08-10 | 2017-08-10 | 随访数据处理方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710681325.4A CN107577991B (zh) | 2017-08-10 | 2017-08-10 | 随访数据处理方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107577991A true CN107577991A (zh) | 2018-01-12 |
| CN107577991B CN107577991B (zh) | 2020-07-10 |
Family
ID=61034750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710681325.4A Active CN107577991B (zh) | 2017-08-10 | 2017-08-10 | 随访数据处理方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107577991B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648787A (zh) * | 2018-05-18 | 2018-10-12 | 杭州认识科技有限公司 | 医疗随访方法和装置 |
| CN108806801A (zh) * | 2018-05-18 | 2018-11-13 | 杭州认识科技有限公司 | 医疗随访方法和装置 |
| CN108898115A (zh) * | 2018-07-03 | 2018-11-27 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109767845A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 医疗随访方法、装置、计算机设备和存储介质 |
| CN110246593A (zh) * | 2018-03-08 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种电话随访方法、装置及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424533B1 (en) * | 2011-09-24 | 2016-08-23 | Z Advanced Computing, Inc. | Method and system for predicting an outcome of an event |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及*** |
| CN205680247U (zh) * | 2016-04-19 | 2016-11-09 | 陈进民 | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 |
| CN106878677A (zh) * | 2017-01-23 | 2017-06-20 | 西安电子科技大学 | 基于多传感器的学生课堂掌握程度评估***和方法 |
-
2017
- 2017-08-10 CN CN201710681325.4A patent/CN107577991B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424533B1 (en) * | 2011-09-24 | 2016-08-23 | Z Advanced Computing, Inc. | Method and system for predicting an outcome of an event |
| CN205680247U (zh) * | 2016-04-19 | 2016-11-09 | 陈进民 | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及*** |
| CN106878677A (zh) * | 2017-01-23 | 2017-06-20 | 西安电子科技大学 | 基于多传感器的学生课堂掌握程度评估***和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘洞波 等: "《移动机器人粒子滤波定位与地图创建》", 30 September 2016, 湘潭大学出版社 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246593A (zh) * | 2018-03-08 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种电话随访方法、装置及计算机可读存储介质 |
| CN108648787A (zh) * | 2018-05-18 | 2018-10-12 | 杭州认识科技有限公司 | 医疗随访方法和装置 |
| CN108806801A (zh) * | 2018-05-18 | 2018-11-13 | 杭州认识科技有限公司 | 医疗随访方法和装置 |
| CN108898115A (zh) * | 2018-07-03 | 2018-11-27 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN108898115B (zh) * | 2018-07-03 | 2021-06-04 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109522818B (zh) * | 2018-10-29 | 2021-03-30 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN109767845A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 医疗随访方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107577991B (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577991A (zh) | 随访数据处理方法、装置、存储介质和计算机设备 | |
| Cummins et al. | Speech analysis for health: Current state-of-the-art and the increasing impact of deep learning | |
| Wöllmer et al. | LSTM-modeling of continuous emotions in an audiovisual affect recognition framework | |
| Joshi et al. | Multimodal assistive technologies for depression diagnosis and monitoring | |
| Bone et al. | Robust unsupervised arousal rating: A rule-based framework withknowledge-inspired vocal features | |
| CN108197115A (zh) | 智能交互方法、装置、计算机设备和计算机可读存储介质 | |
| WO2019204186A1 (en) | Integrated understanding of user characteristics by multimodal processing | |
| CN110085221A (zh) | 语音情感交互方法、计算机设备和计算机可读存储介质 | |
| Yang et al. | Feature augmenting networks for improving depression severity estimation from speech signals | |
| CN110085220A (zh) | 智能交互装置 | |
| Seneviratne et al. | Extended Study on the Use of Vocal Tract Variables to Quantify Neuromotor Coordination in Depression. | |
| Yang et al. | Enhanced multiclass SVM with thresholding fusion for speech-based emotion classification | |
| Kim et al. | Multimodal affect classification at various temporal lengths | |
| CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测*** | |
| Dadiz et al. | Detecting depression in videos using uniformed local binary pattern on facial features | |
| Syed et al. | Inter classifier comparison to detect voice pathologies | |
| Hantke et al. | EAT- The ICMI 2018 Eating Analysis and Tracking Challenge | |
| Jaratrotkamjorn et al. | Bimodal emotion recognition using deep belief network | |
| Shah et al. | Speech emotion recognition based on SVM using MATLAB | |
| CN116803337B (zh) | 基于睡眠监测的音乐辅助睡眠方法、装置、设备 | |
| Loizou | An automated integrated speech and face imageanalysis system for the identification of human emotions | |
| Zhao et al. | Data-driven facial attractiveness of Chinese male with epoch characteristics | |
| Huang et al. | Detecting Intelligibility by Linear Dimensionality Reduction and Normalized Voice Quality Hierarchical Features. | |
| Pathonsuwan et al. | RS-MSConvNet: A novel end-to-end pathological voice detection model | |
| Bhatia | Multimodal sensing of affect intensity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |