CN108764204A - 一种评测知觉状态的方法及装置 - Google Patents
一种评测知觉状态的方法及装置 Download PDFInfo
- Publication number
- CN108764204A CN108764204A CN201810575225.8A CN201810575225A CN108764204A CN 108764204 A CN108764204 A CN 108764204A CN 201810575225 A CN201810575225 A CN 201810575225A CN 108764204 A CN108764204 A CN 108764204A
- Authority
- CN
- China
- Prior art keywords
- user
- evaluation
- test
- consciousness
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 181
- 238000011156 evaluation Methods 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 33
- 208000004547 Hallucinations Diseases 0.000 claims abstract description 44
- 230000008447 perception Effects 0.000 claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 19
- 241000596297 Photis Species 0.000 claims abstract description 11
- 206010019072 Hallucination, olfactory Diseases 0.000 claims abstract description 9
- 230000009278 visceral effect Effects 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 75
- 238000001514 detection method Methods 0.000 claims description 51
- 230000009471 action Effects 0.000 claims description 34
- 230000003993 interaction Effects 0.000 claims description 24
- 230000008921 facial expression Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 20
- 230000005236 sound signal Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000007689 inspection Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 206010021403 Illusion Diseases 0.000 abstract description 3
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种评测知觉状态的方法及装置,其中,该方法包括:获取知觉评测方案;基于知觉评测方案,向用户输出引导指令,并采集用户响应引导指令所作出的响应行为;根据用户的响应行为,确定用户的评测结果;其中,知觉评测方案是根据用户基础信息确定的,用户基础信息包括以下的至少两个:年龄、性别、身高、体重;评测结果包括以下至少一个结果:对深度的感知、对运动的感知、感知的稳定性、错觉、评论性幻听、议论性幻听、命令性幻听、幻视、幻味、幻嗅、幻触、内脏幻觉。本发明实施例通过生成知觉评测方案,分析用户知觉评测结果,以此判定被检测儿童是否发育正常、被检测儿童的知觉能力水平以及被检测儿童是否存在知觉障碍。
Description
技术领域
本发明涉及用户行为数据处理技术领域,具体而言,涉及一种评测知觉状态的方法及装置。
背景技术
知觉是一系列组织并解释外界客体和事件的产生的感觉信息的加工过程。换句话说,知觉是客观事物直接作用于感官而在头脑中产生的对事物整体的认识。对客观事物的个别属性的认识是感觉,对同一事物的各种感觉的结合,就形成了对这一物体的整体的认识,也就是形成了对这一物体的知觉。知觉是直接作用于感觉器官的客观物体在人脑中的反映。也就是说,知觉是各种感觉的结合,它来自于感觉,但已不同于感觉。感觉只反映事物的个别属性,知觉却认识了事物的整体;感觉是单一感觉器官的活动的结果,知觉却是各种感觉协同活动的结果;感觉不依赖于个人的知识和经验,知觉却受个人知识经验的影响。同一物体,不同的人对它的感觉是类似的,但对它的知觉就会有差别,知识经验越丰富对物体的知觉越完善,越全面。
近年来,人们对儿童的知觉能力越来越重视,因此,如何提供一种评测知觉状态的方法和装置是目前亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种评测知觉状态的方法和装置,以检查儿童是否发育正常以及被检测人是否存在知觉障碍。
第一方面,本发明实施例提供了一种评测知觉状态的方法,其中,包括:
获取知觉评测方案;
基于知觉评测方案,向用户输出引导指令,并采集用户响应引导指令所作出的响应行为;
根据用户的响应行为,确定用户的评测结果;
其中,知觉评测方案是根据用户基础信息确定的,用户基础信息包括以下的至少两个:年龄、性别、身高、体重;评测结果包括以下至少一个结果:对深度的感知、对运动的感知、感知的稳定性、错觉、评论性幻听、议论性幻听、命令性幻听、幻视、幻味、幻嗅、幻触、内脏幻觉。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,知觉评测方案包括评测知觉场景方案和评测知觉采集方案;
评测知觉场景方案包括场景参与形式、场景主题和场景道具;场景参与形式包括陪同或独立参与;场景主题包括以下至少一个主题:感知检测、幻觉检测、错觉检测;感知检测包括深度的感知检测、运动的感知检测、感知的稳定性检测;幻觉检测包括幻听检测、幻视检测、幻味检测、幻嗅检测、幻触检测、内脏幻觉检测;
评测知觉采集方案包括以下任意一个或多个:视频采集、音频采集和传感器信号采集;
或,评测知觉采集方案包括以下一个或多个:肢体动作采集、语音语调采集和面部表情采集。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,根据用户的响应行为,确定用户的评测结果的步骤,包括:
通过视频采集设备和音频采集设备生成用户行为视频和用户音频信号;
根据用户行为视频中图片与参考图片的相似度和用户音频信号中频谱与参考音频信号频谱的相似度共同确定用户的肢体动作轨迹、面部表情、语音语调变化情况;
根据用户的肢体动作轨迹、面部表情、语音语调变化情况共同确定用户的评测结果;
其中,参考图片和参考音频信号是预先存储在处理器中的。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据用户的响应行为,确定用户的评测结果的步骤,包括:
通过不同角度的摄像头获取用户的响应行为,以生成多个用户行为视频;
对多个用户行为视频中图片进行处理得到标准图片组;
将标准图片组中每一帧图片与每一帧参考图片进行灰度等级的对比,得到灰度等级对比结果;
根据灰度等级对比结果计算标准图片组的总体灰度差异平均数;
根据设定的相似度等级划分规则,获取总体灰度差异平均数所对应的图片相似度;
根据图片相似度确定用户的肢体动作轨迹和面部表情变化情况;
根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果;
根据用户的响应行为,确定用户的评测结果的步骤,还包括:
通过不同角度的音频采集设备获取用户的响应行为,以生成多个用户音频信号;
对多个用户音频信号提取音频信号频谱,根据音频信号频谱计算音频信号相似度;
根据音频信号相似度确定用户的语音语调变化情况;
根据用户的语音语调变化情况确定用户的评测结果。
本发明实施例提供了第一方面的第四种可能的实施方式,其中,知觉评测方案还包括相应的评测知觉场景方案,评测知觉场景方案包括真实场景或虚拟场景、陪同或独立、道具;
知觉评测方案还包括相应的评测知觉采集方案,评测知觉采集方案包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备;
知觉评测方案,包括在陪同或独立的场景内,测试用户在不同情景中的反应;
视频采集设备设置在场景内不同角度的位置,采集用户在不同情景中不同角度下的身体动作、表情;
声音采集设备设置在场景内不同的位置,采集用户在不同情景中不同位置下的声音;
声音播放设备设置在场景内不同角度的位置,播放音频提示引导用户在场景内的行为;
视频播放设备设置在场景内不同角度的位置,播放视频提示引导用户在场景内的行为;
根据采集到的用户的响应行为确定最终评测结果。
第二方面,本发明实施例还提供了一种评测知觉状态的装置,应用于上述任一项中的评测知觉状态的方法,装置包括:评测室主体和设置在评测室主体上的采集模块、提示模块、控制器和处理器,控制器分别与采集模块、提示模块电性连接,处理器分别与采集模块、提示模块电性连接;
采集模块用于采集评测室主体内的用户响应引导指令所作出的响应行为,并将采集到的响应行为发送到处理器;
提示模块用于向评测室主体内的用户发出引导指令;
控制器,用于控制采集模块和提示模块的动作;
处理器,用于执行如上述任一项中的评测知觉状态的方法的步骤。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,采集模块包括声音采集设备,和/或视频采集设备;
提示模块包括声音播放设备,和/或视频播放设备,和/或文字指示设备;
声音采集设备包括话筒和麦克风;
视频采集设备包括摄像头、录像机和图像传感器;
声音播放设备包括广播、音箱和扬声器;
视频播放设备包括电视机、电脑和交互屏。
结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,评测知觉状态的装置,还包括:采集柱;
评测室主体为立体结构,由设置在角落的采集柱支撑;
采集柱上设置有导轨,采集模块和提示模块设置在导轨上,以便采集模块和提示模块沿导轨从评测室主体顶面板朝评测室主体底面板的方向滑动。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,评测知觉状态的装置,还包括:虚拟现实模块,虚拟现实模块用于构建用户在评测室主体内的数据交互。
结合第二方面,本发明实施例提供了第二方面的第四种可能的实施方式,其中,评测室主体由自动幕布围成,自动幕布可实现下拉展开和上拉卷起。
本发明实施例提供的一种评测知觉状态的方法和装置,采用获取用户基础信息来构建知觉评测方案,并引导用户做出响应,并采集用户的响应行为,进行分析得出用户的知觉评测结果,即感知正常、不正常,出现、不出现幻觉,出现、不出现错觉。与现有技术中的人工评测相比,其更适配于待评测用户,并可以根据用户个人情况生成用户个性化的知觉评测方案,更易得出较为准确的评测结果。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种评测知觉状态的方法的流程图;
图2示出了本发明实施例所提供的一种评测知觉状态的装置的结构示意图;
图3示出了本发明实施例所提供的一种评测室主体内部的立体结构示意图;
图4示出了本发明实施例所提供的一种评测室主体的平面结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对知觉的检查在现实中非常普遍,检查过程绝大多数以人工检查为主,得到的检测结果一般是直接基于即可得到的结果,并且很少以年龄、性别等基础信息对用户进行区分检测。针对该种情况,申请人提供了一种进行知觉评测的方法。
本发明第一方面的实施例,如图1所示,提出一种评测知觉状态的方法,包括:
步骤S101,获取知觉评测方案;
步骤S102,基于知觉评测方案,向用户输出引导指令,并采集用户响应引导指令所作出的响应行为;
步骤S103,根据用户的响应行为,确定用户的评测结果;
其中,知觉评测方案是根据用户基础信息确定的,用户基础信息包括以下的至少两个:年龄、性别、身高、体重;评测结果包括以下至少一个结果:对深度的感知、对运动的感知、感知的稳定性、错觉、评论性幻听、议论性幻听、命令性幻听、幻视、幻味、幻嗅、幻触、内脏幻觉。
本发明提供的评测知觉状态的方法,首先,预先制定多种不同的知觉评测方案,评测知觉状态的装置根据待评测用户的基础信息自动为其匹配出与之相对应的知觉评测方案;其中,用户基础信息不限于年龄、性别、身高、体重;然后,装置获取上述匹配出的知觉评测方案,并向用户发出与该知觉评测方案相对应的引导指令,用户根据引导指令会做出响应行为,装置采集用户的响应行为;最后,装置对采集到的用户的响应行为进行分析处理后,得出用户知觉状态的测评结果。通过本发明提供的知觉评测方案,能够评测出用户是否存在知觉障碍,以便根据评测的结果采取相应的措施。
其中,步骤S103包括如下步骤:
将用户的响应行为输入到评测模型中,以使模型输出评测结果;其中,模型用于表征如下两点:
1.从响应行为的角度来反应评测结果;
2.评测结果(对深度的感知、对运动的感知、感知的稳定性、错觉、评论性幻听、议论性幻听、命令性幻听、幻视、幻味、幻嗅、幻触、内脏幻觉)与年龄及特定行为的对应关系。
在本发明的一个实施例中,优选地,知觉评测方案包括评测知觉场景方案和评测知觉采集方案;
评测知觉场景方案包括场景参与形式、场景主题和场景道具;场景参与形式包括陪同或独立参与;场景主题包括以下至少一个主题:感知检测、幻觉检测、错觉检测;感知检测包括深度的感知检测、运动的感知检测、感知的稳定性检测;幻觉检测包括幻听检测、幻视检测、幻味检测、幻嗅检测、幻触检测、内脏幻觉检测;
评测知觉采集方案包括以下任意一个或多个:视频采集、音频采集和传感器信号采集;
或,评测知觉采集方案包括以下一个或多个:肢体动作采集、语音语调采集和面部表情采集。
在该实施例中,知觉评测方案还包括评测知觉场景方案和评测知觉采集方案,评测知觉场景方案就是建立对知觉测试的相应反应行为与场景的对应关系,包含建立对应行为与场景设定元素的对应关系,场景设定元素包含场景适应年龄段、场景参与者、场景主题、场景形式、场景道具等的对应关系;包含建立对应行为与场景设定的对应关系,场景设定包含适应年龄段、人与人的设定、人与物的设定、行为与流程内容的对应关系。场景适应年龄段是根据用户输入的用户基础信息确定的,即用户年龄,根据不同的年龄段确定不同的评测知觉场景方案。场景参与形式包括陪同或独立参与,其中,陪同又分为照顾者陪同和测试员陪同。场景的参与者包括用户,以及用户的陪伴者,当用户是完全民事行为能人时,则可以独自参与知觉评测;当用户是限制民事行为能力人或者无民事行为人时,需要在监护人的陪同下进入评测场景参与知觉评测。场景道具包括玩具,可以为积木。场景主题包括以下至少一个主题:感知检测、幻觉检测、错觉检测;其中,感知检测包括深度的感知检测、运动的感知检测、感知的稳定性检测,幻觉检测包括幻听检测、幻视检测、幻味检测、幻嗅检测、幻触检测、内脏幻觉检测。例如,深度的感知检测,具体地,测试员蒙上儿童的眼睛,拿一块积木让其触摸,询问是否是平滑的,即通过让儿童触摸积木,使其感受积木的凹凸不平,进而儿童做出响应反应,装置根据儿童做出的响应反应,自动判断儿童的知觉状态评测结果,即判断儿童能否感知;幻听检测,具体地,在安静的环境下,测试员询问儿童听到什么,装置根据儿童做出的响应反应,自动判断儿童的知觉状态评测结果,即判断儿童是否出现幻听。场景形式可以是真实或者虚拟,可以利用虚拟现实来实现用户的知觉评测。
其中,评测知觉采集方案就是根据知觉评测方案生成的如何采集用户信息的方案。针对用户在场景中的行为,建立对用户肢体动作、语音语调和面部表情的采集方案。评测知觉采集方案包括以下任意一个或多个:视频采集、音频采集和传感器信号采集。
在本发明的一个实施例中,优选地,步骤103,包括:
通过视频采集设备和音频采集设备生成用户行为视频和用户音频信号;
根据用户行为视频中图片与参考图片的相似度和用户音频信号中频谱与参考音频信号频谱的相似度共同确定用户的肢体动作轨迹、面部表情、语音语调变化情况;
根据用户的肢体动作轨迹、面部表情、语音语调变化情况共同确定用户的评测结果;
其中,参考图片和参考音频信号是预先存储在处理器中的。
在该实施例中,视频采集和面部表情的采集可以通过视频采集设备采集,语音语调的采集可以通过音频采集设备采集,同时也可以利用传感器来采集用户的各种行为反应。通过视频采集设备生成用户行为视频,根据用户行为视频中图片与参考图片的相似度确定用户的肢体动作轨迹和面部表情变化情况。其中,参考图片是预先存储在处理器中的,参考图片记录用户在不同情景中可能出现的肢体动作和面部表情,比如,儿童触摸积木时,会对凹凸不平的积木产生感受,包括能感受到的反应和不能感受到的反应,并将上述反应分别体现在面部表情、肢体动作上,通过对这些反应时刻的画面进行拍摄或录制成视频,进而经过处理得每种响应下的图片,并将这些图片作为参考图片预先存储在处理器中,与通过采集设备或传感器采集到的被测用户响应反应得到的图片作对比,可以得到用户对知觉有没有反应的结果。对于用户的语音语调也同样处理,将参考音频预先存储在处理器中,如用户开心时发出的笑声、害怕时发出的声音等,其它例子与此相似,不再赘述。
在本发明的一个实施例中,优选地,步骤103,包括:
通过不同角度的摄像头获取用户的响应行为,以生成多个用户行为视频;
对多个用户行为视频中图片进行处理得到标准图片组;
将标准图片组中每一帧图片与每一帧参考图片进行灰度等级的对比,得到灰度等级对比结果;
根据灰度等级对比结果计算标准图片组的总体灰度差异平均数;
根据设定的相似度等级划分规则,获取总体灰度差异平均数所对应的图片相似度;
根据图片相似度确定用户的肢体动作轨迹和面部表情变化情况;
根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果;
根据用户的响应行为,确定用户的评测结果的步骤,还包括:
通过不同角度的音频采集设备获取用户的响应行为,以生成多个用户音频信号;
对多个用户音频信号提取音频信号频谱,根据音频信号频谱计算音频信号相似度;
根据音频信号相似度确定用户的语音语调变化情况;
根据用户的语音语调变化情况确定用户的评测结果。
在该实施例中,将采集到的视频信息和语音信息经过处理器的分析处理后可得到用户的知觉评测结果,具体地,通过不同角度的摄像头获取用户的响应行为,以生成多个用户行为视频,安装在不同角度的摄像头可以将用户的所用行为进行不同角度的拍摄,将多个用户行为视频转换为静态图片组,将静态图片组压缩,得到第一图片组,将压缩后的图片灰度化,得到第二图片组,对比第二图片组(标准图片组)中的每一帧图片与每一帧参考图片的灰度等级,得到两幅图片灰度等级不同的像素点数目,计算第二图片组中的每一帧图片总体灰度差异平均数,总体灰度差异平均数为第二图片组中每张图片的灰度差异平均数的总和除以第二图片组中图片的的总数,灰度差异平均数为灰度等级不同的像素点数目的总和除以参考图片数量的结果,根据设定的相似度等级划分规则,获取总体灰度差异平均数所对应的图片相似度;
通过不同角度的音频采集设备获取用户的响应行为,以生成多个用户音频信号,对采集到的用户音频信号提取音频信号频谱,识别音频信号频谱的波峰位置,获取各波峰位置对应的特征值和时间点,根据各特征值和时间点得到用户音频信号的第一时间序列,对比第一时间序列与第二时间序列,根据对比结果得到用户音频信号与参考音频信号的相似度;
根据用户的肢体动作轨迹、面部表情和语音语调变化情况共同确定用户的评测结果,即相似度越高,说明采集到的用户视频图片与参考图片以及采集到的用户音频中的音频信号频谱与参考音频信号频谱的相似度的重合度越高,即可判断出用户的思维评测结果。
在本发明的一个实施例中,优选地,知觉评测方案还包括相应的评测知觉场景方案,评测知觉场景方案包括真实场景或虚拟场景、陪同或独立、道具;
知觉评测方案还包括相应的评测知觉采集方案,评测知觉采集方案包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备;
知觉评测方案,包括在陪同或独立的场景内,测试用户在不同情景中的反应;
视频采集设备设置在场景内不同角度的位置,采集用户在不同情景中不同角度下的身体动作、表情;
声音采集设备设置在场景内不同的位置,采集用户在不同情景中不同位置下的声音;
声音播放设备设置在场景内不同角度的位置,播放音频提示引导用户在场景内的行为;
视频播放设备设置在场景内不同角度的位置,播放视频提示引导用户在场景内的行为;
根据采集到的用户的响应行为确定最终评测结果。
在该实施例中,实施知觉评测方案并得到评测结果的步骤包括:向用户输出引导指令,并采集用户响应引导指令所作出的响应行为,根据用户的响应行为,确定用户的评测结果。具体地,知觉评测方案,包括在陪同或独立的场景内,测试用户在不同情景中的反应,视频采集设备设置在场景内不同角度的位置,采集用户在不同情景中不同角度下的身体动作、表情,声音采集设备设置在场景内不同角度的位置,采集用户在不同情景中不同角度下的声音,声音播放设备设置在场景内不同角度的位置,播放音频提示引导用户在场景内的行为,视频播放设备设置在场景内不同角度的位置,播放视频提示引导用户在场景内的行为。
知觉评测方案包括:
(1)深度的感知检测方案,包括:用户在陪同或独立的情况下,测试员蒙上用户的眼睛,拿一块积木让用户触摸,询问是否是平滑的,声音播放设备和视频播放设备引导用户做出反应,视频采集设备和音频采集设备采集用户在此情境下的身体动作和语音语调。
用户在触摸到积木时,能感受到积木的凹凸不平;或不能感受到积木的凹凸不平;
确定最终评测结果,判定用户对深度的感知情况。
(2)幻听检测检测方案,包括:用户在陪同或独立的情况下,并且在安静环境的前提下,测试员询问用户听到什么,播放设备和视频播放设备引导用户做出反应,视频采集设备和音频采集设备采集用户在此情境下的身体动作和语音语调。
用户听到了声音,即出现幻听;或用户没有听到声音,即没有出现幻听;
确定最终评测结果,判定用户是否出现幻听。
(3)幻视检测方案,包括:用户在陪同或独立的情况下,测试员询问用户看到什么,播放设备和视频播放设备引导用户做出反应,视频采集设备和音频采集设备采集用户在此情境下的身体动作和语音语调。
用户看到了东西,即出现幻视;或用户没有看到了东西,即没有出现幻视;
确定最终评测结果,判定用户是否出现幻视。
举例说明,首先是采集用户基础信息,由用户录入初始信息,可以是被评测用户录入或者由其监护人录入也可由用户自主选择评测方案。
例:采集被评测用户的基础信息
1)用户1:年龄:13个月、性别:男性、身高:65CM,体重:12.5g
需父母或监护人辅助录入基础信息;
2)用户2:年龄:40个月、性别:女性、身高:95CM,体重:26.5g
根据以上信息,输出评测方案:
用户1:在父母的陪同下,测试员蒙上儿童的眼睛,拿一块积木让儿童触摸,询问儿童是否是平滑的,观察儿童的反应;
用户2:在父母的陪同下,在安静环境的前提下,测试员询问儿童听到什么,观察儿童的反应;
2)评测场景
用户1:真实场景、陪同、父母;
用户2:真实场景、陪同、父母;
3)采集方案(匹配儿童身高、多角度采集)
用户1:1米的采集柱,含多个摄像头、声音播放设备、声音采集设备;
用户2:1米的采集柱,含多个摄像头、声音播放设备、声音采集设备;
采集柱是指集成了多个可旋转摄像头、声音播放设备、采集声音的设备等的集成采集装置。
评测方根据方案配置场景、道具、内容、流程。
用户1:划分评测区、准备道具、安装调试采集设备
用户2:划分评测区、准备道具、安装调试采集设备
被评估用户进入构建的场景,被评估用户按流程去完成指定特定行为的流程和内容。
采集***采集用户在场景中的动作行为、语音语调、人机交互结果、表情等数据,采集***上传采集的数据到服务端数据分析平台。
用户1:采集儿童在触摸到积木时,儿童的身体动作、声音、表情;
用户2:采集儿童在安静环境的前提下,测试员询问儿童听到什么,儿童的身体动作、声音、表情;
服务端数据分析平台分析用户的各类行为数据,并给各类数据结果进行赋值,赋值结果主要为有/没有感知、有/没有动作、走/跳/跑等行为、有/没有表情、高兴/愤怒等表情。
用户1:面对测试员蒙上儿童的眼睛,拿一块积木让用户触摸,询问儿童是否是平滑的情形下,儿童感受到积木的凹凸不平;有反应;
面对测试员蒙上儿童的眼睛,拿一块积木让儿童触摸,询问儿童是否是平滑的的情形下,儿童感受不到积木的凹凸不平;无反应;
用户2:面对在安静环境的前提下,测试员询问儿童听到什么的情形下,儿童听到声音;出现幻听;
面对在安静环境的前提下,测试员询问儿童听到什么的情形下,儿童没有听到声音;没有出现幻听。
服务端将被评估用户的评测方案和评测分析结果输出给评测方。
例如:
用户1:感知正常;用户2:没有出现幻听;
儿童作为被评测用户,知觉评测的方案举例如下:
本发明第二方面的实施例,提供一种评测知觉状态的装置,如图2所示,设置在评测室主体内,应用于上述任一项中的评测知觉状态的方法,装置包括:评测室主体和设置在评测室主体上的采集模块201、提示模块202、控制器203和处理器204,控制器203分别与采集模块201、提示模块202电性连接,处理器204分别与采集模块201、提示模块202电性连接;
采集模块201,用于采集评测室主体内的用户响应引导指令所作出的响应行为,并将采集到的响应行为发送到处理器;
提示模块202,用于向评测室主体内的用户发出引导指令;
控制器203,用于控制采集模块和提示模块的动作;
处理器204,用于执行如上述任一项中的评测知觉状态的方法的步骤。
本发明提供的评测知觉状态的装置,包括:采集模块201、提示模块202、控制器203和处理器204,通过提示模块202向用户输出引导指令,并通过采集模块201采集用户响应引导指令所作出的响应行为,进而根据用户的响应行为,确定用户的评测结果。具体地,采集模块201、提示模块202和处理器204设置在评测室主体内,处理器204也可以设置在评测室主体外,采集模块201将在评测室主体内采集到的用户响应行为上传到处理器204,由处理器204进行分析处理,最后输出用户的评测结果。其中,控制器203与采集模块201和提示模块202电性连接,进而能够控制采集模块201和提示模块202的动作,以便采集到所需要的全部信息,避免信息采集的不全面。
在本发明的一个实施例中,优选地,其中,采集模块包括声音采集设备,和/或视频采集设备;
提示模块包括声音播放设备,和/或视频播放设备,和/或文字指示设备;
声音采集设备包括话筒和麦克风;
视频采集设备包括摄像头、录像机和图像传感器;
声音播放设备包括广播、音箱和扬声器;
视频播放设备包括电视机、电脑和交互屏。
在该实施例中,如图3所示,采集模块包括声音采集设备、视频采集设备和传感器采集设备,声音采集设备包括话筒和录音机,视频采集设备包括摄像头305、录像机和图像传感器等。提示模块设置在评测室主体30内,以发出引导指令引导评测用户按照指令行为。提示模块包括声音播放设备,视频播放设备,和文字指示设备等。声音播放设备包括广播、音箱和扬声器307,视频播放设备包括电视机、电脑和交互屏,文字指示设备包括提示板、文字标志,交互屏包括主交互屏306和辅助交互屏310,主交互屏306用于根据***提供的问题,与用户进行人机交互,辅助交互屏310用于辅助人机交互。
在本发明的一个实施例中,优选地,如图3所示,评测知觉状态的装置,还包括:采集柱301;评测室主体30为立体结构,由设置在角落的采集柱301支撑;采集柱301上设置有导轨,采集模块和提示模块设置在导轨上,以便采集模块和提示模块沿导轨从评测室主体30顶面板朝评测室主体30底面板的方向滑动。
在该实施例中,评测室主体30内部设置有采集柱301,采集模块和提示模块可以设置在采集柱301上,采集柱301上设置有导轨,导轨沿整个采集柱平行布置,以使采集模块和提示模块可以沿着导轨从评测室主体30顶面板向底面板的方向上下滑动,导轨可以是多条,以安装不同角度的采集模块和提示模块,控制器通过对采集模块和提示模块进行控制,使采集模块和提示模块能够在采集柱的导轨上运动。
在本发明的一个实施例中,优选地,评测知觉状态的装置,还包括:
虚拟现实模块,虚拟现实模块用于构建用户在评测室主体30内的数据交互。
在该实施例中,如图3所示,评测室主体30包括框架302,评测室主体30顶面板上安装灯具303,营造构建交互环境光效,也可以安装身高采集设备304,如超声波身高测量组件等。评测室主体30的底面板上安装有人体信号采集设备308,包括体重采集设备,人体成分测量组件等,同时也设置有电源,以使整个评测室主体30保持正常运行。评测室主体30的前面板上设置有主交互屏306,以及扬声器307,主交交互屏306和扬声器307也可以安装在其他面板上,辅助交互屏310、311主要是为主交互屏306提供辅助作用,所以辅助交互屏310、311的安装位置可以在主交互屏306周围的任何面板上。评测室主体30内还设置虚拟现实装置,以构建用户在评测室主体30内的数据交互。评测室主体30主体30内还设置有电源309。
在本发明的一个实施例中,优选地,评测室主体由自动幕布围成,自动幕布可实现下拉展开和上拉卷起。
在该实施例中,如图4所示,是评测室主体的平面结构图,其中顶面板上设置有灯具405和身高采集设备404,前面板上设置有主交互屏407、扬声器408和视频采集设备409,底面板上设置有人体信号采集设备410和电源,右面板上设置有辅助交互屏402和处理器403,采集柱401、411、412、413同时作为评测室主体的支撑柱。每两个支撑柱之间设置有幕布406、414、415、416,其中,自动幕布可为卷轴或者平拉,可与控制器进行连接,实现通过控制器对其进行控制。
本发明实施例所提供的一种知觉评测的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的***、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种评测知觉状态的方法,其特征在于,包括:
获取知觉评测方案;
基于所述知觉评测方案,向用户输出引导指令,并采集用户响应引导指令所作出的响应行为;
根据用户的响应行为,确定用户的评测结果;
其中,所述知觉评测方案是根据用户基础信息确定的,所述用户基础信息包括以下的至少两个:年龄、性别、身高、体重;所述评测结果包括以下至少一个结果:对深度的感知、对运动的感知、感知的稳定性、错觉、评论性幻听、议论性幻听、命令性幻听、幻视、幻味、幻嗅、幻触、内脏幻觉。
2.根据权利要求1所述的一种评测知觉状态的方法,其特征在于,所述知觉评测方案包括评测知觉场景方案和评测知觉采集方案;
所述评测知觉场景方案包括场景参与形式、场景主题和场景道具;所述场景参与形式包括陪同或独立参与;所述场景主题包括以下至少一个主题:感知检测、幻觉检测、错觉检测;所述感知检测包括深度的感知检测、运动的感知检测、感知的稳定性检测;所述幻觉检测包括幻听检测、幻视检测、幻味检测、幻嗅检测、幻触检测、内脏幻觉检测;
所述评测知觉采集方案包括以下任意一个或多个:视频采集、音频采集和传感器信号采集;
或,所述评测知觉采集方案包括以下一个或多个:肢体动作采集、语音语调采集和面部表情采集。
3.根据权利要求1所述的一种评测知觉状态的方法,其特征在于,所述根据用户的响应行为,确定用户的评测结果的步骤,包括:
通过视频采集设备和音频采集设备生成用户行为视频和用户音频信号;
根据用户行为视频中图片与参考图片的相似度和用户音频信号中频谱与参考音频信号频谱的相似度共同确定用户的肢体动作轨迹、面部表情、语音语调变化情况;
根据用户的肢体动作轨迹、面部表情、语音语调变化情况共同确定用户的评测结果;
其中,所述参考图片和所述参考音频信号是预先存储在处理器中的。
4.根据权利要求3所述的一种评测知觉状态的方法,其特征在于,所述根据用户的响应行为,确定用户的评测结果的步骤,包括:
通过不同角度的摄像头获取用户的响应行为,以生成多个用户行为视频;
对多个用户行为视频中图片进行处理得到标准图片组;
将所述标准图片组中每一帧图片与每一帧参考图片进行灰度等级的对比,得到灰度等级对比结果;
根据所述灰度等级对比结果计算标准图片组的总体灰度差异平均数;
根据设定的相似度等级划分规则,获取所述总体灰度差异平均数所对应的图片相似度;
根据所述图片相似度确定用户的肢体动作轨迹和面部表情变化情况;
根据用户的肢体动作轨迹和面部表情变化情况确定用户的评测结果;
所述根据用户的响应行为,确定用户的评测结果的步骤,还包括:
通过不同角度的音频采集设备获取用户的响应行为,以生成多个用户音频信号;
对多个用户音频信号提取音频信号频谱,根据所述音频信号频谱计算音频信号相似度;
根据所述音频信号相似度确定用户的语音语调变化情况;
根据用户的语音语调变化情况确定用户的评测结果。
5.根据权利要求1至4中任一项所述的一种评测知觉状态的方法,其特征在于:
所述知觉评测方案还包括相应的评测知觉场景方案,评测知觉场景方案包括真实场景或虚拟场景、陪同或独立、道具;
所述知觉评测方案还包括相应的评测知觉采集方案,评测知觉采集方案包括多个视频采集设备、声音采集设备、声音播放设备和视频播放设备;
所述知觉评测方案,包括在陪同或独立的场景内,测试用户在不同情景中的反应;
所述视频采集设备设置在场景内不同角度的位置,采集用户在不同情景中不同角度下的身体动作、表情;
所述声音采集设备设置在场景内不同的位置,采集用户在不同情景中不同位置下的声音;
所述声音播放设备设置在场景内不同角度的位置,播放音频提示引导用户在场景内的行为;
所述视频播放设备设置在场景内不同角度的位置,播放视频提示引导用户在场景内的行为;
根据采集到的用户的响应行为确定最终评测结果。
6.一种评测知觉状态的装置,应用于如权利要求1-5任一项所述的评测知觉状态的方法,其特征在于,装置包括:评测室主体和设置在所述评测室主体上的采集模块、提示模块、控制器和处理器,所述控制器分别与所述采集模块、所述提示模块电性连接,所述处理器分别与所述采集模块、所述提示模块电性连接;
所述采集模块用于采集所述评测室主体内的用户响应引导指令所作出的响应行为,并将采集到的响应行为发送到所述处理器;
所述提示模块用于向所述评测室主体内的用户发出引导指令;
所述控制器,用于控制所述采集模块和所述提示模块的动作;
所述处理器,用于执行如权利要求1-5中任一项所述的评测知觉状态的方法的步骤。
7.根据权利要求6所述的一种评测知觉状态的装置,其特征在于:
所述采集模块包括声音采集设备,和/或视频采集设备;
所述提示模块包括声音播放设备,和/或视频播放设备,和/或文字指示设备;
所述声音采集设备包括话筒和麦克风;
所述视频采集设备包括摄像头、录像机和图像传感器;
所述声音播放设备包括广播、音箱和扬声器;
所述视频播放设备包括电视机、电脑和交互屏。
8.根据权利要求7所述的一种评测知觉状态的装置,其特征在于,还包括:
采集柱;
所述评测室主体为立体结构,由设置在角落的所述采集柱支撑;
所述采集柱上设置有导轨,所述采集模块和所述提示模块设置在导轨上,以便所述采集模块和所述提示模块沿所述导轨从评测室主体顶面板朝评测室主体底面板的方向滑动。
9.根据权利要求8所述的一种评测知觉状态的装置,其特征在于,还包括:
虚拟现实模块,所述虚拟现实模块用于构建用户在评测室主体内的数据交互。
10.根据权利要求6至9中任一项所述的一种评测知觉状态的装置,其特征在于:
所述评测室主体由自动幕布围成,所述自动幕布可实现下拉展开和上拉卷起。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810575225.8A CN108764204A (zh) | 2018-06-06 | 2018-06-06 | 一种评测知觉状态的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810575225.8A CN108764204A (zh) | 2018-06-06 | 2018-06-06 | 一种评测知觉状态的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108764204A true CN108764204A (zh) | 2018-11-06 |
Family
ID=64000214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810575225.8A Withdrawn CN108764204A (zh) | 2018-06-06 | 2018-06-06 | 一种评测知觉状态的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764204A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109448851A (zh) * | 2018-11-14 | 2019-03-08 | 科大讯飞股份有限公司 | 一种认知评估方法及装置 |
CN110786825A (zh) * | 2019-09-30 | 2020-02-14 | 浙江凡聚科技有限公司 | 基于虚拟现实视听觉通路的空间知觉失调测训*** |
CN114748039A (zh) * | 2022-04-15 | 2022-07-15 | 中国民航大学 | 一种空间深度知觉测试***和方法 |
-
2018
- 2018-06-06 CN CN201810575225.8A patent/CN108764204A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109448851A (zh) * | 2018-11-14 | 2019-03-08 | 科大讯飞股份有限公司 | 一种认知评估方法及装置 |
CN110786825A (zh) * | 2019-09-30 | 2020-02-14 | 浙江凡聚科技有限公司 | 基于虚拟现实视听觉通路的空间知觉失调测训*** |
CN110786825B (zh) * | 2019-09-30 | 2022-06-21 | 浙江凡聚科技有限公司 | 基于虚拟现实视听觉通路的空间知觉失调测训*** |
CN114748039A (zh) * | 2022-04-15 | 2022-07-15 | 中国民航大学 | 一种空间深度知觉测试***和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190340944A1 (en) | Multimedia Interactive Teaching System and Method | |
KR20200130231A (ko) | 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅 | |
CN108764204A (zh) | 一种评测知觉状态的方法及装置 | |
JP2020507835A5 (zh) | ||
CN108937969A (zh) | 一种评测认知状态的方法及装置 | |
US20160283816A1 (en) | System and method for improving communication productivity | |
Rosenblum et al. | Audiovisual investigation of the loudness-effort effect for speech and nonspeech events. | |
JP2007102344A (ja) | 自動評価装置、プログラムおよび方法 | |
CN108877841A (zh) | 一种评测语言状态的方法及装置 | |
JP2016100033A (ja) | 再生制御装置 | |
CN108937970A (zh) | 一种评测情感状态的方法及装置 | |
CN113760100A (zh) | 一种带有虚拟形象生成、显示和控制功能的人机交互设备 | |
Prince et al. | Synching models with infants: A perceptual-level model of infant audio-visual synchrony detection | |
CN108784709A (zh) | 一种评测动作行为状态的方法及装置 | |
CN113052127A (zh) | 一种行为检测方法、***、计算机设备及机器可读介质 | |
CN108937971A (zh) | 一种评测注意力状态的方法及装置 | |
CN108777165A (zh) | 一种评测社交状态的方法及装置 | |
CN106618610A (zh) | 一种面向害羞儿童社会技能训练的头戴终端*** | |
CN108777171A (zh) | 一种评测感觉状态的方法及装置 | |
KR20150033050A (ko) | 학습장애자용 집중력 강화 학습 제공 시스템 | |
CN109960154A (zh) | 一种基于人工智能学习舱的操作方法及其管理*** | |
CN108877836A (zh) | 一种评测言语状态的方法及装置 | |
CN108764364A (zh) | 一种评测应激反应状态的方法及装置 | |
CN111210681A (zh) | 一种多功能智慧黑板 | |
US20230360772A1 (en) | Virtual reality based cognitive therapy (vrct) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181106 |
|
WW01 | Invention patent application withdrawn after publication |