CN110838357A - 基于人脸识别及动捕的注意力全息智能训练*** - Google Patents
基于人脸识别及动捕的注意力全息智能训练*** Download PDFInfo
- Publication number
- CN110838357A CN110838357A CN201911132218.1A CN201911132218A CN110838357A CN 110838357 A CN110838357 A CN 110838357A CN 201911132218 A CN201911132218 A CN 201911132218A CN 110838357 A CN110838357 A CN 110838357A
- Authority
- CN
- China
- Prior art keywords
- training
- trainee
- attention
- course
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 285
- 230000009471 action Effects 0.000 claims abstract description 31
- 206010003805 Autism Diseases 0.000 claims abstract description 19
- 208000020706 Autistic disease Diseases 0.000 claims abstract description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 16
- 208000035475 disorder Diseases 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 230000008451 emotion Effects 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 206010022998 Irritability Diseases 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 238000006467 substitution reaction Methods 0.000 claims description 8
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000001960 triggered effect Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 21
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 208000036626 Mental retardation Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 208000012239 Developmental disease Diseases 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 206010042008 Stereotypy Diseases 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Instructional Devices (AREA)
Abstract
本发明提供的基于人脸识别及动捕的注意力全息智能训练***，采集识别模块采集并识别受训人的人脸信息，并从受训数据记录库中获得受训人的身份注册信息，将受训人的身份注册信息传输给训练模块；训练模块根据受训人的身份注册信息从预设的课程数据库中载入相关的注意力训练课程，并将注意力训练课程中的图像信息传输给全息柜；全息柜通过高速动作捕捉摄像头捕获受训人的行为动作，触发注意力训练课程的人机互动游戏反馈，实现图像信息的全息显示该***使用MR+人脸识别+动作捕捉的技术，通过全息柜连接课程显示，实现训练，为注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
Description
技术领域
本发明属于软件技术领域，具体涉及基于人脸识别及动捕的注意力全息智能训练***。
背景技术
自闭症是广泛性发育障碍的一种亚型，起病于婴幼儿期，患者主要表现为不同程度的言语发育障碍、人际交往障碍、兴趣狭窄和行为方式刻板。约有3/4的患者伴有明显的精神发育迟滞，部分患儿在一般性智力落后的背景下某方面具有较好的能力。通常，自闭症患者都存在有注意力障碍的问题。
目前自闭症训练主要是个体化的康复训练，通常从注意力训练介入开始。其中，注意力康复训练是引发受训者兴趣和达成训练最有效、最主要的训练方法组成。目标是由注意力训练促进患者认知能力提高、培养学习能力，刺激语言发育，进而提高社会交往能力，掌握基本生活技能和学习技能。但是现有技术中缺乏一种有效的训练工具，能够给注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
发明内容
针对现有技术中的缺陷，本发明提供一种基于人脸识别及动捕的注意力全息智能训练***，为注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
一种基于人脸识别及动捕的注意力全息智能训练***，包括：
采集识别模块：用于采集并识别受训人的人脸信息，并从受训数据记录库中获得受训人的身份注册信息，将受训人的身份注册信息传输给训练模块；所述受训数据记录库中记录有一一对应的受训人的人脸信息和身份注册信息；
训练模块：用于根据受训人的身份注册信息从预设的课程数据库中载入相关的注意力训练课程，并将注意力训练课程中的图像信息传输给全息柜；
全息柜：用于通过高速动作捕捉摄像头捕获受训人的行为动作，触发注意力训练课程的人机互动游戏反馈，实现图像信息的全息显示。
优选地，所述训练模块还用于：
获取采集识别模块采集到的受训人的人脸信息，用受训人的人脸信息对注意力训练课程中目标人物的脸部进行虚拟角色的面部替代。
优选地，所述训练模块还用于将注意力训练课程中的图像信息传输给投屏模块；
采集识别模块还用于捕获受训人的行为动作，并将该行为动作传输给投屏模块；
所述投屏模块用于根据受训人的行为动作触发注意力训练课程的人机互动游戏反馈，实现图像信息的投屏显示。
优选地，还包括：
评估模块：用于记录受训人训练过程中的训练数据，包括结果、时长、次数、数量和进度；根据所述训练数据对受训人的效果进行评估，得到各个注意力训练课程的掌握程度，并根据各个注意力训练课程的掌握程度调整注意力训练课程的训练频率；评估模块还用于根据所有受训人的训练数据得到评价值，并根据所述评价值对不同受训人的注意力训练课程进行优化。
优选地，所述训练模块还用于：
当受训人退出注意力训练课程时，记录注意力训练课程的训练进度；当接收到采集识别模块上传的受训人的身份注册信息时，获取该受训人上次注意力训练课程的训练进度，根据上次训练进度载入注意力训练课程。
优选地，所述注意力训练课程包括采用MR技术实现的三维游戏课程；
所述注意力训练课程包括虚拟场景和训练游戏程序，训练模块还用于对注意力训练课程进行教学演示、编排、管理和参数设定。
优选地，所述训练模块还用于：
在受训人操作注意力训练课程时，实时通过采集识别模块采集受训人的人脸信息和行为动作，根据得到的人脸信息和行为动作分析受训人的情绪；
当受训人当前的情绪与上一次情绪不同时，记录注意力训练课程当前的训练进度、受训人当前的情绪、当前时间以及受训人当前的行为动作；
在注意力训练课程当前的训练进度上生成包含受训人情绪的情绪标签。
优选地，所述训练模块还用于：
当受训人当前的情绪为愤怒或烦躁时，获取情绪标签为开心、高兴或喜欢的训练进度，将注意力训练课程切换至该训练进度；
在受训人操作注意力训练课程时，当识别到的受训人当前的情绪与情绪标签的历史情绪不一致时，更新情绪标签的情绪为注意力障碍或自闭症方面受训者当前的情绪。
优选地，所述训练模块还用于：
当受训人当前的情绪切换至开心、高兴或喜欢时，记录受训人的训练时间，当训练时间达到预设的切换时间时，将注意力训练课程切换至情绪标签为愤怒或烦躁的训练进度。
优选地，还包括跟踪模块；
跟踪模块用于根据注意力训练课程的训练过程生成受训人的训练记录表，并根据受训人的训练记录表生成受训人的训练结果；
所述训练记录表包括各个训练进度下受训人的情绪以及受训人当前的行为动作。
由上述技术方案可知，本发明提供的基于人脸识别及动捕的注意力全息智能训练***，具有以下效果：
1)可以用于注意力障碍或自闭症方面的注意力康复训练，使用MR+人脸识别+动作捕捉+数据只能优化的技术，将注意力训练课程投屏到显示屏上，或通过全息柜连接课程显示，为注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
2)采用人脸识别技术实现受训人扫脸载入注意力训练课程，使用方便。
3)采用人脸识别技术，将受训人的人脸替换注意力训练课程的虚拟角色人脸，实现虚拟角色人脸代入，增强课程虚拟角色的代入感。
4)采用动作捕捉技术，用显示器实现受训人与课程的互动，连接显示屏投屏增强视觉观感；或采用全息柜实现课程的全息显示，超强立体感，使训练增加趣味性，提升训练效果。
5)采用针对注意力障碍或自闭症方面受训者编写的三维游戏课程，与游戏互动算法，令课程生动，有吸引力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的注意力训练全息***的模块框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一：
一种基于人脸识别及动捕的注意力全息智能训练***，参见图1，包括：
采集识别模块：用于采集并识别受训人的人脸信息，并从受训数据记录库中获得受训人的身份注册信息，将受训人的身份注册信息传输给训练模块；所述受训数据记录库中记录有一一对应的受训人的人脸信息和身份注册信息；
具体地，数据记录库将受训人的身份注册信息与其受训数据进行绑定关联。受训人注册时，采集受训人的人脸信息和身份注册信息进行建档。采集识别模块采集注意力障碍或自闭症方面受训者的人脸信息，利用脸部识别算法对人脸信息进行识别后，激活受训人的身份信息并传输给训练模块；采集识别模块通过摄像头采集受训人的人脸信息。
训练模块：用于根据受训人的身份注册信息从预设的课程数据库中载入相关的注意力训练课程，并将注意力训练课程中的图像信息传输给全息柜；
具体地，课程数据库中存储有针对不同症状注意力障碍或自闭症方面受训者、不同程度注意力障碍或自闭症方面受训者制定的注意力训练课程。训练模块根据识别到的受训人，载入该受训人关联的注意力训练课程。该***采用人脸识别技术实现受训人扫脸载入注意力训练课程，使用方便，同时还能实现受训人和注意力训练课程一一对应关联，针对不同受训人，采用不同的注意力训练课程进行训练，针对性强。
全息柜：用于通过高速动作捕捉摄像头捕获受训人的行为动作，触发注意力训练课程的人机互动游戏反馈，实现图像信息的全息显示。
具体地，行为动作包括受训人的脸部动作、手部动作、腿部动作、身体动作等等。该***将注意力训练课程采用全息显示的方式进行展示，利用动作捕捉技术和全息柜实现课程的全息显示，具有超强立体感，增加训练的趣味性，提升训练效果。该***采用全息显示的方式展示注意力训练课程以及受训人在操作时的行为动作，为注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
该***可以用于注意力障碍或自闭症方面的注意力康复训练，使用MR+人脸识别+动作捕捉+数据只能优化的技术，将注意力训练课程投屏到显示屏上，或通过全息柜连接课程显示，为注意力障碍或自闭症方面受训者提供沉浸感更好、趣味性更强的训练。
优选地，所述训练模块还用于：
获取采集识别模块采集到的受训人的人脸信息，用受训人的人脸信息对注意力训练课程中目标人物的脸部进行虚拟角色的面部替代。
具体地，该***采用人脸识别技术，将受训人的人脸替换注意力训练课程的虚拟角色人脸，实现虚拟角色人脸代入，增强课程虚拟角色的代入感。
优选地，所述训练模块还用于将注意力训练课程中的图像信息传输给投屏模块；
采集识别模块还用于捕获受训人的行为动作，并将该行为动作传输给投屏模块；
所述投屏模块用于根据受训人的行为动作触发注意力训练课程的人机互动游戏反馈，实现图像信息的投屏显示。优选地，可以通过主机显示屏或电视机显示屏进行投屏。
具体地，该***除了采用采用全息成像的方式显示训练图像以外，还可以采用投屏的方式进行显示，将注意力训练课程中图像信息和用户的行为动作投屏到显示屏上。采用投屏的方式显示相对于全息成像的方式，操作更加简洁，成本更低。
优选地，还包括：
评估模块：用于记录受训人训练过程中的训练数据，包括结果、时长、次数、数量和进度；根据所述训练数据对受训人的效果进行评估，得到各个注意力训练课程的掌握程度，并根据各个注意力训练课程的掌握程度调整注意力训练课程的训练频率；评估模块还用于根据所有受训人的训练数据得到评价值，并根据所述评价值对不同受训人的注意力训练课程进行优化。
具体地，评估模块记录受训人的训练数据。评估模块一方面根据每个受训人的训练数据评估个人的效果，如果受训人对某个注意力训练课程的掌握程度较好，可以降低该注意力训练课程的训练次数，如果受训人对某个注意力训练课程的掌握程度较差，可以增加该注意力训练课程的训练次数。另一方面根据所有受训人的训练数据评估注意力训练课程是否合理，是否可以进行优化。评估模块在积累大量训练数据后，对比受训人的训练数据，得出相关评价值做参照指标，并根据评价值对照不同个体给予优化训练的建议，支持课程优化建议管理。
实施例二：
实施例二在实施例一的基础上增加了以下内容：
所述训练模块还用于：
当受训人退出注意力训练课程时，记录注意力训练课程的训练进度；当接收到采集识别模块上传的受训人的身份注册信息时，获取该受训人上次注意力训练课程的训练进度，根据上次训练进度载入注意力训练课程。
具体地，该***还具有记忆功能，记录上次受训人的训练进度，并在该受训人重新进行训练时，根据上次受训人的训练进度载入注意力训练课程，使得受训人本次训练能够无缝连接至上一次的训练进度，使用更加方便。例如受训人上次再训练到第二阶段时就退出了，那么当受训人再次登录进行训练时，直接载入注意力训练课程的第二阶段。
优选地，所述注意力训练课程包括采用MR技术实现的三维游戏课程；
所述注意力训练课程包括虚拟场景和训练游戏程序，训练模块还用于对注意力训练课程进行教学演示、编排、管理和参数设定。
具体地，该***采用针对注意力障碍或自闭症方面受训者编写的三维游戏课程，与游戏互动算法，令课程生动，有吸引力。注意力训练课程以虚拟场景与训练游戏程序构成，训练模块根据其输出的反馈给予课程内容反馈；用于对课程进行教学演示、编排、管理、参数设定、次序设定、实施课件管理。
优选地，所述训练模块还用于：
在受训人操作注意力训练课程时，实时通过采集识别模块采集受训人的人脸信息和行为动作，根据得到的人脸信息和行为动作分析受训人的情绪；
当受训人当前的情绪与上一次情绪不同时，记录注意力训练课程当前的训练进度、受训人当前的情绪、当前时间以及受训人当前的行为动作；
在注意力训练课程当前的训练进度上生成包含受训人情绪的情绪标签。
具体地，该***还在训练的过程中，实时记录受训人的情绪。该***根据受训人的人脸信息和行为动作得到受训人的情绪，例如当受训人出现皱眉、瘪嘴、或者是拍打等行为动作时，认为受训人当前情绪为愤怒或烦躁。当受训人出现大笑，拥抱等行为动作时，认为受训人当前情绪为开心、高兴或喜欢。
该***记录注意力训练课程整个训练过程中的情绪变化，例如受训人在注意力训练课程的第一阶段中，检测到其情绪为开心、高兴或喜欢，则在第一阶段生成情绪为开心、高兴或喜欢的情绪标签。而在注意力训练课程的第二阶段中，检测到其情绪为愤怒或烦躁，则在第二阶段生成情绪为愤怒或烦躁的情绪标签。
优选地，所述训练模块还用于：
当受训人当前的情绪为愤怒或烦躁时，获取情绪标签为开心、高兴或喜欢的训练进度，将注意力训练课程切换至该训练进度；
在受训人操作注意力训练课程时，当识别到的受训人当前的情绪与情绪标签的历史情绪不一致时，更新情绪标签的情绪为受训人当前的情绪。
具体地，由于注意力障碍或自闭症方面受训者在训练过程中，需要注意其情绪变化，当受训人抗拒时，不可强制继续训练，需要切换至情绪标签为开心、高兴或喜欢的训练进度，防止受训人情绪崩溃。情绪包括愤怒、烦躁、抗拒、开心、高兴或喜欢等等。
该***随时捕捉受训人当前的情绪并比对，当与上一次情绪不同时，自动对上一次情绪进行更新记录，使得注意力训练课程能最新地反映受训人训练过程中的情绪。例如假设受训人上次训练到注意力训练课程第二阶段时，其情绪是喜欢。而这次受训人在训练过程中，其情绪是烦躁的，那么就需要更新注意力训练课程第二阶段的情绪标签为烦躁。对情绪、训练效果、难度的变化实时记录、比对。
优选地，所述训练模块还用于：
当受训人当前的情绪切换至开心、高兴或喜欢时，记录受训人的训练时间，当训练时间达到预设的切换时间时，将注意力训练课程切换至情绪标签为愤怒或烦躁的训练进度。
具体地，在训练过程中，如果受训人的情绪为开心、高兴或喜欢的时间达到预设时间时，说明受训人当前情绪较好，可以尝试训练情绪标签为愤怒或烦躁的课程。例如受训人持续开心、高兴或喜欢达到1个小时以后，可以切换到情绪标签为愤怒或烦躁的课程，这样保证受训人情绪稳定的前提下，能完成整个注意力训练课程的训练。
优选地，还包括跟踪模块；
跟踪模块用于根据注意力训练课程的训练过程生成受训人的训练记录表，并根据受训人的训练记录表生成受训人的训练结果；
所述训练记录表包括各个训练进度下受训人的情绪以及受训人当前的行为动作。
具体地，该***还具有跟踪记录功能，能够在受训人完成整个注意力训练课程的训练后，根据整个训练过程生成受训人的训练记录表，训练记录表能够反映受训人整个课程训练过程中的训练情况和情绪，方便医护人员及时了解受训人的训练情况。
本发明实施例所提供的***，为简要描述，实施例部分未提及之处，可参考前述***实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于人脸识别及动捕的注意力全息智能训练***，其特征在于，包括：
采集识别模块：用于采集并识别受训人的人脸信息，并从受训数据记录库中获得受训人的身份注册信息，将受训人的身份注册信息传输给训练模块；所述受训数据记录库中记录有一一对应的受训人的人脸信息和身份注册信息；
训练模块：用于根据受训人的身份注册信息从预设的课程数据库中载入相关的注意力训练课程，并将注意力训练课程中的图像信息传输给全息柜；
全息柜：用于通过高速动作捕捉摄像头捕获受训人的行为动作，触发注意力训练课程的人机互动游戏反馈，实现图像信息的全息显示。
2.根据权利要求1所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，所述训练模块还用于：
获取采集识别模块采集到的受训人的人脸信息，用受训人的人脸信息对注意力训练课程中目标人物的脸部进行虚拟角色的面部替代。
3.根据权利要求1所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，
所述训练模块还用于将注意力训练课程中的图像信息传输给投屏模块；
采集识别模块还用于捕获受训人的行为动作，并将该行为动作传输给投屏模块；
所述投屏模块用于根据受训人的行为动作触发注意力训练课程的人机互动游戏反馈，实现图像信息的投屏显示。
4.根据权利要求1～3中任一权利要求所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，还包括：
评估模块：用于记录受训人训练过程中的训练数据，包括结果、时长、次数、数量和进度；根据所述训练数据对受训人的效果进行评估，得到各个注意力训练课程的掌握程度，并根据各个注意力训练课程的掌握程度调整注意力训练课程的训练频率；评估模块还用于根据所有受训人的训练数据得到评价值，并根据所述评价值对不同受训人的注意力训练课程进行优化。
5.根据权利要求1～3中任一权利要求所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，所述训练模块还用于：
当受训人退出注意力训练课程时，记录注意力训练课程的训练进度；当接收到采集识别模块上传的受训人的身份注册信息时，获取该受训人上次注意力训练课程的训练进度，根据上次训练进度载入注意力训练课程。
6.根据权利要求1～3中任一权利要求所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，
所述注意力训练课程包括采用MR技术实现的三维游戏课程；
所述注意力训练课程包括虚拟场景和训练游戏程序，训练模块还用于对注意力训练课程进行教学演示、编排、管理和参数设定。
7.根据权利要求6所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，所述训练模块还用于：
在受训人操作注意力训练课程时，实时通过采集识别模块采集受训人的人脸信息和行为动作，根据得到的人脸信息和行为动作分析受训人的情绪；
当受训人当前的情绪与上一次情绪不同时，记录注意力训练课程当前的训练进度、受训人当前的情绪、当前时间以及受训人当前的行为动作；
在注意力训练课程当前的训练进度上生成包含受训人情绪的情绪标签。
8.根据权利要求7所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，所述训练模块还用于：
当受训人当前的情绪为愤怒或烦躁时，获取情绪标签为开心、高兴或喜欢的训练进度，将注意力训练课程切换至该训练进度；
在受训人操作注意力训练课程时，当识别到的受训人当前的情绪与情绪标签的历史情绪不一致时，更新情绪标签的情绪为注意力障碍或自闭症方面受训者当前的情绪。
9.根据权利要求8所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，所述训练模块还用于：
当受训人当前的情绪切换至开心、高兴或喜欢时，记录受训人的训练时间，当训练时间达到预设的切换时间时，将注意力训练课程切换至情绪标签为愤怒或烦躁的训练进度。
10.根据权利要求9所述基于人脸识别及动捕的注意力全息智能训练***，其特征在于，还包括跟踪模块；
跟踪模块用于根据注意力训练课程的训练过程生成受训人的训练记录表，并根据受训人的训练记录表生成受训人的训练结果；
所述训练记录表包括各个训练进度下受训人的情绪以及受训人当前的行为动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911132218.1A CN110838357A (zh) | 2019-11-19 | 2019-11-19 | 基于人脸识别及动捕的注意力全息智能训练*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911132218.1A CN110838357A (zh) | 2019-11-19 | 2019-11-19 | 基于人脸识别及动捕的注意力全息智能训练*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110838357A true CN110838357A (zh) | 2020-02-25 |
Family
ID=69576586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911132218.1A Pending CN110838357A (zh) | 2019-11-19 | 2019-11-19 | 基于人脸识别及动捕的注意力全息智能训练*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110838357A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560756A (zh) * | 2020-12-24 | 2021-03-26 | 北京嘀嘀无限科技发展有限公司 | 识别人脸的方法、装置、电子设备和存储介质 |
| CN114758530A (zh) * | 2022-04-28 | 2022-07-15 | 浙江理工大学 | 一种婴幼儿面孔能力训练程序及训练方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005092138A (ja) * | 2003-09-19 | 2005-04-07 | Akihiro Kawamura | 能力訓練装置、能力測定装置、プログラム、能力訓練方法、および、能力測定方法 |
| US20120077160A1 (en) * | 2010-06-25 | 2012-03-29 | Degutis Joseph | Computer-implemented interactive behavioral training technique for the optimization of attention or remediation of disorders of attention |
| CN108665555A (zh) * | 2018-05-15 | 2018-10-16 | 华中师范大学 | 一种融入真实人物形象的孤独症干预*** |
| CN109003658A (zh) * | 2018-07-20 | 2018-12-14 | 杭州行开科技有限公司 | 一种针对自闭症的裸眼3d互动*** |
| CN109550233A (zh) * | 2018-11-15 | 2019-04-02 | 东南大学 | 基于增强现实技术的孤独症儿童注意力训练*** |
| CN109585021A (zh) * | 2018-11-28 | 2019-04-05 | 华南理工大学 | 基于全息投影技术的精神状态评估***及其工作方法 |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN110251148A (zh) * | 2019-06-05 | 2019-09-20 | 南京邮电大学 | 一种基于模糊情绪识别的机器人辅助康复控制方法 |
-
2019
- 2019-11-19 CN CN201911132218.1A patent/CN110838357A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005092138A (ja) * | 2003-09-19 | 2005-04-07 | Akihiro Kawamura | 能力訓練装置、能力測定装置、プログラム、能力訓練方法、および、能力測定方法 |
| US20120077160A1 (en) * | 2010-06-25 | 2012-03-29 | Degutis Joseph | Computer-implemented interactive behavioral training technique for the optimization of attention or remediation of disorders of attention |
| CN108665555A (zh) * | 2018-05-15 | 2018-10-16 | 华中师范大学 | 一种融入真实人物形象的孤独症干预*** |
| CN109003658A (zh) * | 2018-07-20 | 2018-12-14 | 杭州行开科技有限公司 | 一种针对自闭症的裸眼3d互动*** |
| CN109550233A (zh) * | 2018-11-15 | 2019-04-02 | 东南大学 | 基于增强现实技术的孤独症儿童注意力训练*** |
| CN109585021A (zh) * | 2018-11-28 | 2019-04-05 | 华南理工大学 | 基于全息投影技术的精神状态评估***及其工作方法 |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN110251148A (zh) * | 2019-06-05 | 2019-09-20 | 南京邮电大学 | 一种基于模糊情绪识别的机器人辅助康复控制方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560756A (zh) * | 2020-12-24 | 2021-03-26 | 北京嘀嘀无限科技发展有限公司 | 识别人脸的方法、装置、电子设备和存储介质 |
| CN114758530A (zh) * | 2022-04-28 | 2022-07-15 | 浙江理工大学 | 一种婴幼儿面孔能力训练程序及训练方法 |
| CN114758530B (zh) * | 2022-04-28 | 2023-08-08 | 浙江理工大学 | 一种婴幼儿面孔能力训练程序及训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108665492B (zh) | 一种基于虚拟人的舞蹈教学数据处理方法及*** | |
| CN107030691B (zh) | 一种看护机器人的数据处理方法及装置 | |
| CN110488975B (zh) | 一种基于人工智能的数据处理方法及相关装置 | |
| CN104298722A (zh) | 多媒体交互***及其方法 | |
| Bidwell et al. | Classroom analytics: Measuring student engagement with automated gaze tracking | |
| CN106236115A (zh) | 一种心理测试*** | |
| CN109448851A (zh) | 一种认知评估方法及装置 | |
| CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
| CN108345385A (zh) | 虚拟陪跑人物建立与交互的方法及装置 | |
| CN204650422U (zh) | 一种基于语言交互操控的移动智能玩具 | |
| CN113506624A (zh) | 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预*** | |
| CN206557851U (zh) | 一种教学听课情况采集装置 | |
| Rizzo et al. | Performance-driven facial animation: basic research on human judgments of emotional state in facial avatars | |
| CN108335747A (zh) | 认知训练*** | |
| CN109240786A (zh) | 一种主题更换方法及电子设备 | |
| CN110838357A (zh) | 基于人脸识别及动捕的注意力全息智能训练*** | |
| Quan | Development of computer aided classroom teaching system based on machine learning prediction and artificial intelligence KNN algorithm | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训***及方法 | |
| CN113723530A (zh) | 基于视频分析和电子心理沙盘的智能心理评估*** | |
| CN115691804A (zh) | 基于数字孪生元宇宙的社会认知评估训练*** | |
| WO2020228349A1 (zh) | 一种基于空气成像的虚拟新闻主播***及其实现方法 | |
| CN109377802A (zh) | 一种自动交互式智能教育***及方法 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、***及计算机设备 | |
| CN109003139A (zh) | 一种支持智能交互的文化广场***及方法 | |
| CN110287912A (zh) | 基于深度学习的目标对象情感状态确定方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200225 |