CN112614583A - 抑郁等级测试*** - Google Patents
抑郁等级测试*** Download PDFInfo
- Publication number
- CN112614583A CN112614583A CN202011336311.7A CN202011336311A CN112614583A CN 112614583 A CN112614583 A CN 112614583A CN 202011336311 A CN202011336311 A CN 202011336311A CN 112614583 A CN112614583 A CN 112614583A
- Authority
- CN
- China
- Prior art keywords
- depression
- eyeball
- data
- model
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 122
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 142
- 238000004458 analytical method Methods 0.000 claims abstract description 75
- 230000014509 gene expression Effects 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 37
- 210000001747 pupil Anatomy 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 18
- 230000004397 blinking Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 210000001508 eye Anatomy 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 208000024714 major depressive disease Diseases 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 206010020710 Hyperphagia Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010021137 Hypovolaemia Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 208000022119 inability to concentrate Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000021266 loss of appetite Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Epidemiology (AREA)
- Psychology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Ophthalmology & Optometry (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域，提供一种抑郁等级测试***。***包括：问卷数据获取模块、视频数据处理模块、模型分析模块以及模型测评模块；问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据；视频数据处理模块根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合；模型分析模块将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数；模型测评模块将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果。采用本***能够实现实时监控自身抑郁程度。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种抑郁等级测试***。
背景技术
抑郁症又称抑郁障碍，以显著而持久的心境低落为主要特征，是心境障碍的主要类型。抑郁症的主要表现包括：心境低落、思维迟缓、意志活动减退、认知功能损耗以及睡眠障碍等躯体症状。调查显示，我国抑郁症的发病率为3％-5％，目前国内有超过9000万人口罹患抑郁症。
传统的抑郁症状筛查需要进行繁琐的医学诊疗，需要经过问卷调查、化验、影响检查等流程，需要医生根据用户的当前状况、病史以及各种社会心理量表填写情况进行抑郁程度评估。
然而，传统抑郁症状筛查由于需要进行繁琐的医学诊疗，需要经过问卷调查、化验、影响检查等流程，存在筛查时间长的问题，无法支持用户实时对自身抑郁程度进行监控。
发明内容
基于此，有必要针对上述技术问题，提供一种支持用户实时对自身抑郁程度进行监控的抑郁等级测试***。
一种抑郁等级测试***，所述***包括问卷数据获取模块、视频数据处理模块、模型分析模块以及模型测评模块；问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据；视频数据处理模块根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合；模型分析模块将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数；模型测评模块将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果。
在其中一个实施例中，***还包括面部分析模型训练模块，面部分析模型训练模块获取携带表情类别标签和眼球识别特征点标签的样本人脸数据，根据样本人脸数据对初始面部分析模型进行训练，得到已训练的面部分析模型。
在其中一个实施例中，模型分析模块还用于将视频帧集合中各视频帧输入已训练的面部分析模型中的人脸识别网络，得到与各视频帧对应的人脸图像，将人脸图像输入已训练的面部分析模型中的表情分类网络，得到视频帧的表情类别，并将人脸图像输入已训练的面部分析模型中的眼球识别网络，通过眼球识别网络确定眼球识别特征点，根据眼球识别特征点定位眼球，得到眼球识别数据。
在其中一个实施例中，模型分析模块还用于根据各视频帧的表情类别，统计各表情类别对应的视频帧所占答题视频数据的第一时间比例，并根据眼球识别数据，确定各视频帧的眼球凝视方向以及用户眨眼次数，根据各视频帧的眼球凝视方向，统计各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例，根据答题分数、第一时间比例、第二时间比例以及用户眨眼次数，得到待评估用户的待评估参数。
在其中一个实施例中，模型分析模块还用于根据眼球识别数据，得到各视频帧对应的眼球特征数据以及可识别眼球视频帧数，根据眼球特征数据中的瞳孔位置，确定各视频帧的眼球凝视方向，并根据可识别眼球视频帧数，得到用户眨眼次数。
在其中一个实施例中，***还包括测试模型训练模块，测试模型训练模块获取携带抑郁等级标签的样本训练数据，根据样本训练数据对初始抑郁等级测试模型进行有监督学习训练，得到已训练的抑郁等级测试模型。
在其中一个实施例中，模型测评模块还用于将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试标签，根据抑郁等级测试标签，确定抑郁等级测试结果。
在其中一个实施例中，模型测评模块还用于当抑郁等级测试标签表征为无抑郁时，得到抑郁等级测试结果为无抑郁。
在其中一个实施例中，模型测评模块还用于当抑郁等级测试标签表征为有抑郁时，获取与抑郁等级测试模型对应的抑郁等级概率，根据抑郁等级概率确定抑郁等级测试结果。
在其中一个实施例中，***还包括信息推荐模块，当抑郁等级测试标签表征为有抑郁时，信息推荐模块推荐抑郁等级测试结果信息。
上述抑郁等级测试***，通过利用问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据，利用视频数据处理模块根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合，利用模型分析模块将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数，利用模型测评模块将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果，能够根据答题问卷数据以及答题视频数据实现对用户的抑郁等级测试，从而可以使得用户只需要提供答题问卷数据以及答题视频数据就能够实现实时对自身抑郁程度的监控。
附图说明
图1为一个实施例中抑郁等级测试***的应用场景图；
图2为一个实施例中抑郁等级测试***的结构框图；
图3为另一个实施例中抑郁等级测试***的结构框图。
具体实施方式
本申请涉及人工智能技术，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的抑郁等级测试***，可以应用于如图1所示的应用环境中。当用户需要实时对自身抑郁程度进行监控时，通过与终端104交互，提供答题问卷数据以及答题视频数据至终端内设置的抑郁等级测试***，抑郁等级测试***先通过问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据，再通过视频数据处理模块根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合，再通过模型分析模块将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数，最后通过模型测评模块将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果。其中，终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。
在一个实施例中，如图2所示，提供了一种抑郁等级测试***，以该***应用于图1中的终端为例进行说明，抑郁等级测试***包括问卷数据获取模块202、视频数据处理模块204、模型分析模块206以及模型测评模块208；
问卷数据获取模块202获取待评估用户的答题问卷数据以及答题视频数据。
其中，答题问卷数据是指待评估用户针对问卷所回答的数据，即问卷的答案。答题视频数据是指在待评估用户答题的同时，实时采集到的待评估用户的面部信息，即在待评估用户答题过程中录制的待评估用户答题视频。
具体的，数据获取模块会获取待评估用户的答题问卷数据以及答题视频数据。举例说明，答题问卷数据可以为待评估用户通过设置有抑郁等级测试***的终端在线答题所提交的，答题视频数据可以为在待评估用户的答题过程中在线录制的视频。
举例说明，问卷具体可以为：1.无法入眠，无法保持睡眠，或睡眠时间过多、2.感觉乏力和没有精力、3.没有胃口或过量饮食、4.对自己不满(感觉自己是个失败者)，或感觉让自己或家人感到失望、5.无法集中精力，比如在读书或看电视时、6.行动或说话缓慢以致引起旁人注意、或因为烦躁而坐立不安、7.认为死亡或者伤害自己是解决方式等7道题目。***括四个选项，分别是：A.完全没有B.有过几天C.超过一半天数D.几乎每天。
视频数据处理模块204根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合。
其中，答题分数是指待评估用户针对问卷所回答的答案所对应的分数。具体的，每个答案都有对应的分值，通过将答案所对应的分值进行叠加，就可以得到答题分数。举例说明，当答案为四个选项时，根据四个选项与抑郁程度的严重程度的对应关系，可分别将四个选项赋分值为1、2、3、4，通过将答案所对应的分值进行叠加，就可以得到答题分数。
具体的，视频数据处理模块会根据答题问卷数据以及预设各答案所对应的分值，统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合。
模型分析模块206将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数。
其中，已训练的面部分析模型是指用于对待评估用户的面部信息进行分析的模型，已训练的面部分析模型包括人脸识别网络、表情分类网络和眼球识别网络。人脸识别网络用于从视频帧中识别出人脸图像，比如，人脸识别网络具体可以为利用肤色进行人脸检测的网络，又比如，人脸识别网络具体可以为预训练的目标检测网络。表情分类网络用于对所识别出的人脸图像的表情进行分类，得到表情类别。眼球识别网络用于对所识别出的人脸图像进行眼球定位，得到眼球识别数据。举例说明，表情类别具体可以是愤怒，厌恶，害怕，开心，伤心，惊讶，正常等七种。待评估参数是指用于对用于的抑郁程度进行评估的参数。
具体的，模型分析模块会将视频帧集合中各视频帧输入已训练的面部分析模型，通过面部分析模型中的人脸识别网络对各视频帧进行人脸识别，得到与各视频帧对应的人脸图像，将人脸图像分别输入面部分析模型中的表情分类网络和眼球识别网络，通过表情分类网络对人脸图像进行表情分类，得到视频帧的表情类别，通过眼球识别网络对人脸图像进行眼球定位，得到眼球识别数据。
具体的，模型分析模块会根据各视频帧的表情类别，统计各表情类别对应的视频帧所占答题视频数据的第一时间比例，并根据眼球识别数据，确定各视频帧的眼球凝视方向以及用户眨眼次数，根据各视频帧的眼球凝视方向，统计各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例，根据答题分数、第一时间比例、第二时间比例以及用户眨眼次数，得到待评估用户的待评估参数。
模型测评模块208将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果。
其中，抑郁等级测试结果用于表征用户抑郁程度。具体包括无抑郁、中度抑郁、重度抑郁等。
具体的，模型测评模块将待评估参数输入已训练的抑郁等级测试模型，可以得到抑郁等级测试标签，抑郁等级测试标签可表征抑郁程度，服务器通过对抑郁等级测试标签进行分析，就可以得到抑郁等级测试结果。
上述抑郁等级测试***，通过利用问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据，利用视频数据处理模块根据答题问卷数据统计答题分数，并对答题视频数据进行视频帧抽取，得到与答题视频数据对应的视频帧集合，利用模型分析模块将视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据答题分数、各视频帧的表情类别以及眼球识别数据，得到待评估用户的待评估参数，利用模型测评模块将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果，能够根据答题问卷数据以及答题视频数据实现对用户的抑郁等级测试，从而可以使得用户只需要提供答题问卷数据以及答题视频数据就能够实现实时对自身抑郁程度的监控。
在其中一个实施例中，如图3所示，***还包括面部分析模型训练模块302，面部分析模型训练模块获取携带表情类别标签和眼球识别特征点标签的样本人脸数据，根据样本人脸数据对初始面部分析模型进行训练，得到已训练的面部分析模型。
其中，在初始面部分析模型中包括人脸识别网络、初始表情分类网络和初始眼球识别网络。表情类别标签是指表征预设表情类别的标签。眼球识别特征点标签是指定位眼球识别特征点的标签，即眼球识别特征点的标注。
具体的，面部分析模型训练模块会获取携带表情类别标签和眼球识别特征点标签的样本人脸数据，首先利用样本人脸数据对人脸识别网络进行训练，再以样本人脸数据作为输入，以与样本人脸数据对应的表情类别标签作为有监督学习标签，对初始面部分析模型中的表情分类网络进行有监督训练，得到已训练的表情分类网络。同时，面部模型训练模块会以样本人脸数据作为输入，以与样本人脸数据对应的眼球识别特征点标签作为有监督学习标签，对初始面部分析模型中的初始眼球识别网络进行有监督训练，得到已训练的初始眼球识别网络。
进一步的，在对初始面部分析模型中的表情分类网络进行有监督训练时，会先通过表情分类网络中的特征提取网络会对样本人脸数据进行特征提取，得到与样本人脸数据对应的特征图，再通过表情分类网络中的卷积网络对特征图进行卷积处理，得到样本人脸数据归属于各预设表情类别的概率，根据样本人脸数据归属于各预设表情类别的概率，输出表情类别分析结果，最后通过比对表情类别分析结果和表情类别标签，对表情分类网络的网络参数进行调整，得到已训练的表情分类网络。
在本实施例中，通过获取携带表情类别标签和眼球识别特征点标签的样本人脸数据，根据样本人脸数据对初始面部分析模型进行训练，得到已训练的面部分析模型，能够实现对已训练的面部分析模型的获取。
在其中一个实施例中，模型分析模块还用于将视频帧集合中各视频帧输入已训练的面部分析模型中的人脸识别网络，得到与各视频帧对应的人脸图像，将人脸图像输入已训练的面部分析模型中的表情分类网络，得到视频帧的表情类别，并将人脸图像输入已训练的面部分析模型中的眼球识别网络，通过眼球识别网络确定眼球识别特征点，根据眼球识别特征点定位眼球，得到眼球识别数据。
其中，眼球识别特征点包括上眼皮、下眼皮以及瞳孔等，通过眼球识别特征点就可以定位到眼球，眼球识别数据包括是否识别到眼球、所识别的眼球在人脸图像中的位置等。进一步的，是否识别到眼球中包括未识别到眼球的情况，未识别到眼球是指用户眨眼的情况，通过统计是否识别到眼球，可以得到用户眨眼次数。
具体的，模型分析模块会将视频帧集合中各视频帧输入已训练的面部分析模型中的人脸识别网络，得到与各视频帧对应的人脸图像，将人脸图像输入已训练的面部分析模型中的表情分类网络，通过表情分类网络中的特征提取网络对人脸图像进行特征提取，得到与人脸图像对应的人脸特征图，再通过表情分类网络中的卷积网络对人脸特征图进行卷积处理，得到人脸图像归属于各预设表情类别的概率，最后对人脸图像归属于各预设表情类别的概率进行排序，选取最大的概率值对应的预设表情类别作为与人脸图像对应的表情类别，得到视频帧的表情类别。同时，模型分析模块会将人脸图像输入已训练的面部分析模型中的眼球识别网络，通过眼球识别网络确定眼球识别特征点，再根据眼球识别特征点定位眼球，得到眼球识别数据。
在本实施例中，通过将人脸图像输入已训练的面部分析模型中的表情分类网络，得到视频帧的表情类别，并将人脸图像输入已训练的面部分析模型中的眼球识别网络，通过眼球识别网络确定眼球识别特征点，根据眼球识别特征点定位眼球，得到眼球识别数据，能够实现对视频帧的表情类别以及眼球识别数据的获取。
在其中一个实施例中，模型分析模块还用于根据各视频帧的表情类别，统计各表情类别对应的视频帧所占答题视频数据的第一时间比例，并根据眼球识别数据，确定各视频帧的眼球凝视方向以及用户眨眼次数，根据各视频帧的眼球凝视方向，统计各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例，根据答题分数、第一时间比例、第二时间比例以及用户眨眼次数，得到待评估用户的待评估参数。
其中，眼球凝视方向包括正前方，左下方，右下方，左上方，右上方等。在确定眼球凝视方向时，要进行上下方向和左右方向两个角度的判断，眼球凝视方向具体可以通过瞳孔在眼球中的位置确定，通过设定阈值确定瞳孔的偏移倾向，就可以确定眼球凝视方向。用户眨眼次数可通过是否识别到眼球进行判断，当未识别到眼球时，表示用户当时在眨眼。
举例说明，当眼球凝视方向为正前方时，瞳孔应该处于眼球中的中心位置，此时在瞳孔与眼球上界限以及眼球下界限之间的距离应该是相同的，且与眼球左界限以及眼球右界限之间的距离也应该是相同的，可以通过瞳孔与眼球上界限以及眼球下界限之间的距离确定瞳孔在上下方向上的偏移倾向，通过瞳孔与左界限以及眼球右界限之间的距离确定瞳孔在左右方向上的偏移倾向，从而根据瞳孔在上下方向上的偏移倾向以及瞳孔在左右方向上的偏移倾向确定眼球凝视方向。
具体的，模型分析模块会根据各视频帧的表情类别，统计各表情类别对应的视频帧所占答题视频数据的第一时间比例，并根据眼球识别数据，得到各视频帧对应的眼球特征数据以及可识别眼球视频帧数，根据眼球特征数据确定各视频帧的眼球凝视方向，并根据可识别眼球视频帧数得到用户眨眼次数，根据各视频帧的眼球凝视方向，统计各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例，将答题分数、第一时间比例、第二时间比例以及用户眨眼次数，作为待评估用户的待评估参数。
在本实施例中，通过对各视频帧的表情类别的分析可以得到第一时间比例，通过对眼球识别数据的分析可以得到第二时间比例以及用户眨眼次数，进而根据答题分数、第一时间比例、第二时间比例以及用户眨眼次数，能够实现对待评估用户的待评估参数的获取。
在其中一个实施例中，模型分析模块还用于根据眼球识别数据，得到各视频帧对应的眼球特征数据以及可识别眼球视频帧数，根据眼球特征数据中的瞳孔位置，确定各视频帧的眼球凝视方向，并根据可识别眼球视频帧数，得到用户眨眼次数。
其中，瞳孔位置是指瞳孔在眼球中的位置。
具体的，模型分析模块会根据眼球识别数据，得到各视频帧对应的眼球特征数据，在眼球特征数据中包括瞳孔位置，模型分析模块根据瞳孔位置即确定瞳孔的偏移倾向，根据瞳孔的偏移倾向，可以确定各视频帧的眼球凝视方向，并根据可识别眼球视频帧数以及视频帧集合的视频帧总数，确定未识别到眼球的视频帧数，将未识别到眼球的视频帧数作为用户眨眼次数。
在本实施例中，通过根据眼球识别数据，得到各视频帧对应的眼球特征数据以及可识别眼球视频帧数，根据眼球特征数据中的瞳孔位置，确定各视频帧的眼球凝视方向，并根据可识别眼球视频帧数，得到用户眨眼次数，能够实现对各视频帧的眼球凝视方向和用户眨眼次数的获取。
在其中一个实施例中，如图3所示，***还包括测试模型训练模块304，测试模型训练模块获取携带抑郁等级标签的样本训练数据，根据样本训练数据对初始抑郁等级测试模型进行有监督学习训练，得到已训练的抑郁等级测试模型。
其中，样本训练数据包括各样本用户的用于评估抑郁程度的参数集合，参数集合中包括各表情类别对应的视频帧所占答题视频数据的第一时间比例、各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例、答题分数以及用户眨眼次数等参数。抑郁等级标签用于表征样本用户的抑郁程度。比如，抑郁等级标签具体可以是无抑郁。又比如，抑郁等级标签具体可以是中度抑郁。再比如，抑郁等级标签具体可以是重度抑郁。
具体的，测试模型训练模块会获取携带抑郁等级标签的样本训练数据，根据携带抑郁等级标签的样本训练数据构造各样本用户的样本训练向量，以样本训练向量为输入，以各样本用户的抑郁等级标签为有监督学习标签，对初始抑郁等级测试模型进行有监督学习训练，得到已训练的抑郁等级测试模型。
在本实施例中，通过获取携带抑郁等级标签的样本训练数据，根据携带抑郁等级标签的样本训练数据对初始抑郁等级测试模型进行有监督学习训练，得到已训练的抑郁等级测试模型，能够实现对已训练的抑郁等级测试模型的获取。
在其中一个实施例中，模型测评模块还用于将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试标签，根据抑郁等级测试标签，确定抑郁等级测试结果。
其中，抑郁等级测试标签用于表征待评估用户是否抑郁。举例说明，抑郁等级测试标签具体可以为0和1，其中0代表无抑郁，1代表有抑郁。
具体的，模型测评模块会根据待评估参数构造对应的待评估向量，将待评估向量输入已训练的抑郁等级测试模型，得到抑郁等级测试标签，再根据抑郁等级测试标签，确定抑郁等级测试结果。
在本实施例中，通过将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试标签，根据抑郁等级测试标签，确定抑郁等级测试结果，能够实现对抑郁等级测试结果的确定。
在其中一个实施例中，模型测评模块还用于当抑郁等级测试标签表征为无抑郁时，得到抑郁等级测试结果为无抑郁。
在其中一个实施例中，模型测评模块还用于当抑郁等级测试标签表征为有抑郁时，获取与抑郁等级测试模型对应的抑郁等级概率，根据抑郁等级概率确定抑郁等级测试结果。
具体的，抑郁等级概率是指抑郁等级测试模型在对待评估参数进行分析的过程中生成的概率值，可用于表征待评估用户的抑郁程度。举例说明，可以预先设置抑郁等级概率与抑郁等级测试结果之间的对应关系，当抑郁等级测试标签表征为有抑郁时，通过获取与抑郁等级测试模型对应的抑郁等级概率，根据抑郁等级概率查询预先设置的抑郁等级概率与抑郁等级测试结果之间的对应关系，就可以确定抑郁等级测试结果。进一步举例说明，抑郁等级概率与抑郁等级测试结果之间的对应关系具体可以为当抑郁等级概率为0.5-0.75之间时，对应的抑郁等级测试结果为中度抑郁，当抑郁等级概率为大于0.75时，对应的抑郁等级测试结果为重度抑郁。
在本实施例中，通过获取与抑郁等级测试模型对应的抑郁等级概率，根据抑郁等级概率确定抑郁等级测试结果，能够实现对抑郁等级测试结果的确定。
在其中一个实施例中，如图3所述，抑郁等级测试***还包括信息推荐模块306，当抑郁等级测试标签表征为有抑郁时，信息推荐模块推荐抑郁等级测试结果信息。
其中，抑郁等级测试结果信息是指医院信息和医生信息。
具体的，当抑郁等级测试标签表征为有抑郁时，信息推荐模块会推荐抑郁等级测试结果信息至待评估用户。进一步的，推荐的抑郁等级测试结果信息可以为通过爬虫技术，事先爬取到的优质医院信息和医生信息。更进一步的，信息推荐模块会向待评估用户推送地理位置获取提示，当接收到同意获取地理位置反馈时，获取待评估用户的地理位置，根据待评估用户的地理位置和事先已爬取到的优质医院信息和医生信息进行智能推荐。举例说明，可以根据优质医院信息和医生信息对应的医院地址与待评估用户的地理位置之间的距离进行排序推荐。
在本实施例中，通过推荐抑郁等级测试结果信息能够有助于待评估用户进行进一步预约和治疗。
在其中一个实施例中，如图3所示，抑郁等级测试***还包括校准模块308，校准模块对待评估用户进行视频录制校准。
具体的，校准模块可以检测待评估用户的评估请求，当检测到待评估用户的评估请求时，校准模块会推送文字显示窗口以及视频窗口至终端显示，其中的文字显示窗口用于显示问卷数据，待评估用户可以按需对文字显示窗口的位置进行调整，视频窗口用于对待评估用户进行视频录制校准，以确保用户在答题过程中可以录制到全面的用户视频数据。
在本实施例中，通过对待评估用户进行视频录制校准，能够录制到全面的用户视频数据，从而实现对待评估用户的准确评估。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种抑郁等级测试***，所述***包括问卷数据获取模块、视频数据处理模块、模型分析模块以及模型测评模块；
所述问卷数据获取模块获取待评估用户的答题问卷数据以及答题视频数据；所述视频数据处理模块根据所述答题问卷数据统计答题分数，并对所述答题视频数据进行视频帧抽取，得到与所述答题视频数据对应的视频帧集合；所述模型分析模块将所述视频帧集合中各视频帧输入已训练的面部分析模型，得到各视频帧的表情类别以及眼球识别数据，根据所述答题分数、各视频帧的表情类别以及眼球识别数据，得到所述待评估用户的待评估参数；所述模型测评模块将所述待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试结果。
2.根据权利要求1所述的***，其特征在于，所述***还包括面部分析模型训练模块，所述面部分析模型训练模块获取携带表情类别标签和眼球识别特征点标签的样本人脸数据，根据所述样本人脸数据对初始面部分析模型进行训练，得到已训练的面部分析模型。
3.根据权利要求1所述的***，其特征在于，所述模型分析模块还用于将所述视频帧集合中各视频帧输入所述已训练的面部分析模型中的人脸识别网络，得到与各视频帧对应的人脸图像，将所述人脸图像输入所述已训练的面部分析模型中的表情分类网络，得到视频帧的表情类别，并将所述人脸图像输入所述已训练的面部分析模型中的眼球识别网络，通过所述眼球识别网络确定眼球识别特征点，根据所述眼球识别特征点定位眼球，得到眼球识别数据。
4.根据权利要求1所述的***，其特征在于，所述模型分析模块还用于根据各视频帧的表情类别，统计各表情类别对应的视频帧所占答题视频数据的第一时间比例，并根据所述眼球识别数据，确定各视频帧的眼球凝视方向以及用户眨眼次数，根据各所述视频帧的眼球凝视方向，统计各眼球凝视方向对应的视频帧所占答题视频数据的第二时间比例，根据所述答题分数、所述第一时间比例、所述第二时间比例以及所述用户眨眼次数，得到待评估用户的待评估参数。
5.根据权利要求4所述的***，其特征在于，所述模型分析模块还用于根据眼球识别数据，得到各视频帧对应的眼球特征数据以及可识别眼球视频帧数，根据所述眼球特征数据中的瞳孔位置，确定各视频帧的眼球凝视方向，并根据所述可识别眼球视频帧数，得到用户眨眼次数。
6.根据权利要求1所述的***，其特征在于，所述***还包括测试模型训练模块，所述测试模型训练模块获取携带抑郁等级标签的样本训练数据，根据所述样本训练数据对初始抑郁等级测试模型进行有监督学习训练，得到已训练的抑郁等级测试模型。
7.根据权利要求1所述的***，其特征在于，所述模型测评模块还用于将待评估参数输入已训练的抑郁等级测试模型，得到抑郁等级测试标签，根据所述抑郁等级测试标签，确定抑郁等级测试结果。
8.根据权利要求7所述的***，其特征在于，所述模型测评模块还用于当所述抑郁等级测试标签表征为无抑郁时，得到抑郁等级测试结果为无抑郁。
9.根据权利要求7所述的***，其特征在于，所述模型测评模块还用于当所述抑郁等级测试标签表征为有抑郁时，获取与抑郁等级测试模型对应的抑郁等级概率，根据所述抑郁等级概率确定抑郁等级测试结果。
10.根据权利要求7所述的***，其特征在于，所述***还包括信息推荐模块，当所述抑郁等级测试标签表征为有抑郁时，所述信息推荐模块推荐抑郁等级测试结果信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011336311.7A CN112614583A (zh) | 2020-11-25 | 2020-11-25 | 抑郁等级测试*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011336311.7A CN112614583A (zh) | 2020-11-25 | 2020-11-25 | 抑郁等级测试*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614583A true CN112614583A (zh) | 2021-04-06 |
Family
ID=75225154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011336311.7A Pending CN112614583A (zh) | 2020-11-25 | 2020-11-25 | 抑郁等级测试*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614583A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113509183A (zh) * | 2021-04-21 | 2021-10-19 | 杭州聚视鼎特科技有限公司 | 一种基于ar人工智能分析情感焦虑抑郁紧张的方法 |
| CN114334090A (zh) * | 2022-03-02 | 2022-04-12 | 博奥生物集团有限公司 | 一种数据分析方法、装置及电子设备 |
| CN115620384A (zh) * | 2022-12-19 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像预测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080154894A1 (en) * | 2006-12-20 | 2008-06-26 | Annlar, Inc. | System for cross-acquisition of physiological and psychological information |
| CN107871537A (zh) * | 2017-11-22 | 2018-04-03 | 山东师范大学 | 一种基于多模态特征的抑郁倾向测评装置、*** |
| CN108335749A (zh) * | 2018-01-26 | 2018-07-27 | 首都师范大学 | 抑郁症数据分析方法及装置 |
| CN108537160A (zh) * | 2018-03-30 | 2018-09-14 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
| CN111046293A (zh) * | 2019-12-27 | 2020-04-21 | 恒信东方文化股份有限公司 | 一种根据测评结果推荐内容的方法及其*** |
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| CN111933275A (zh) * | 2020-07-17 | 2020-11-13 | 兰州大学 | 一种基于眼动与面部表情的抑郁评估*** |
-
2020
- 2020-11-25 CN CN202011336311.7A patent/CN112614583A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080154894A1 (en) * | 2006-12-20 | 2008-06-26 | Annlar, Inc. | System for cross-acquisition of physiological and psychological information |
| CN107871537A (zh) * | 2017-11-22 | 2018-04-03 | 山东师范大学 | 一种基于多模态特征的抑郁倾向测评装置、*** |
| CN108335749A (zh) * | 2018-01-26 | 2018-07-27 | 首都师范大学 | 抑郁症数据分析方法及装置 |
| CN108537160A (zh) * | 2018-03-30 | 2018-09-14 | 平安科技（深圳）有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
| CN111046293A (zh) * | 2019-12-27 | 2020-04-21 | 恒信东方文化股份有限公司 | 一种根据测评结果推荐内容的方法及其*** |
| CN111540440A (zh) * | 2020-04-23 | 2020-08-14 | 深圳市镜象科技有限公司 | 基于人工智能的心理体检方法、装置、设备和介质 |
| CN111933275A (zh) * | 2020-07-17 | 2020-11-13 | 兰州大学 | 一种基于眼动与面部表情的抑郁评估*** |
Non-Patent Citations (2)
| Title |
|---|
| FIROOZ SADJADI: "《自动目标识别的物理学原理》", 30 April 2014 * |
| 黄建民: "《人体大揭秘》", 31 May 2013 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113509183A (zh) * | 2021-04-21 | 2021-10-19 | 杭州聚视鼎特科技有限公司 | 一种基于ar人工智能分析情感焦虑抑郁紧张的方法 |
| CN114334090A (zh) * | 2022-03-02 | 2022-04-12 | 博奥生物集团有限公司 | 一种数据分析方法、装置及电子设备 |
| CN114334090B (zh) * | 2022-03-02 | 2022-07-12 | 博奥生物集团有限公司 | 一种数据分析方法、装置及电子设备 |
| CN115620384A (zh) * | 2022-12-19 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、眼底图像预测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schmalzl et al. | Training of familiar face recognition and visual scan paths for faces in a child with congenital prosopagnosia | |
| de Santos Sierra et al. | A stress-detection system based on physiological signals and fuzzy logic | |
| CN112614583A (zh) | 抑郁等级测试*** | |
| Wang et al. | Facial expression video analysis for depression detection in Chinese patients | |
| US20140315168A1 (en) | Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders | |
| Zhu et al. | Detecting emotional reactions to videos of depression | |
| KR20150076167A (ko) | 감각 및 인지 프로파일링을 위한 시스템 및 방법 | |
| US20140016860A1 (en) | Facial analysis to detect asymmetric expressions | |
| CN108186030B (zh) | 一种刺激信息提供装置和潜能值测验的认知指标分析方法 | |
| Green et al. | Factors contributing to individual differences in facial expression categorisation | |
| Buettner | Robust user identification based on facial action units unaffected by users' emotions | |
| Lawson | I just love the attention: implicit preference for direct eye contact | |
| Fabiano et al. | Gaze-based classification of autism spectrum disorder | |
| KR20160136055A (ko) | 성격 검사 장치 및 그 방법 | |
| Bayat et al. | The influence of text difficulty level and topic on eye-movement behavior and pupil size during reading | |
| CN112950609A (zh) | 一种智能眼动识别分析方法及*** | |
| CN113647950A (zh) | 心理情绪检测方法及*** | |
| Martin-Malivel et al. | Do humans and baboons use the same information when categorizing human and baboon faces? | |
| CN114129165A (zh) | 一种基于可信评估量表的心理测评方法、***及存储介质 | |
| Li et al. | Your eye tells how well you comprehend | |
| Yasser et al. | Detection of confusion behavior using a facial expression based on different classification algorithms | |
| Dupré et al. | Emotion recognition in humans and machine using posed and spontaneous facial expression | |
| Chen et al. | An intelligent multimodal framework for identifying children with autism spectrum disorder | |
| CN111738234A (zh) | 基于个体眼动特征的自动化共情能力识别方法 | |
| Girardi et al. | The way it makes you feel predicting users’ engagement during interviews with biofeedback and supervised learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220520 Address after: 518048 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd. Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001 Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
| RJ01 | Rejection of invention patent application after publication |