CN103530501A - 多感知通道交互的应激辅助决策实验装置及其实验方法 - Google Patents
多感知通道交互的应激辅助决策实验装置及其实验方法 Download PDFInfo
- Publication number
- CN103530501A CN103530501A CN201310416023.6A CN201310416023A CN103530501A CN 103530501 A CN103530501 A CN 103530501A CN 201310416023 A CN201310416023 A CN 201310416023A CN 103530501 A CN103530501 A CN 103530501A
- Authority
- CN
- China
- Prior art keywords
- stress
- signal
- aid decision
- decision making
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种多感知通道交互的应激辅助决策实验装置及其实验方法，包括以下步骤：1）开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；2）根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；3）根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。综合利用知识方法库、数据库和模型库来设计推理机，从而完成应激辅助决策***的建立，实现人机交互。
Description
技术领域
本发明属于人机工程学技术领域，涉及一种多感知通道交互的应激辅助决策实验装置及其实验方法。
背景技术
随着信息技术的高速发展，未来新型装备的显示与控制***也必然对人机交互提出更高要求。显示与控制***是操控者和装备间传递信息的重要人机交互界面，不但直接关系到操控者对信息感知的反应速度和质量，而且也直接影响着决策安全。特别是作战时，飞行员置身于“信息***”的应激过程中，因此显示屏的大小、数量、显示符号、画面、告警信息类型、显示通道都将成为影响飞行员做出准确判断的重要影响因素，显控人机界面已经从单一的人机交互方式向着更高级的能辅助操作者决策的多通道人机交互方向发展，在一些军事装备或重要监测领域，显控界面人机工效已成为衡量高新技术***装备的重要指标。
目前，许多研究机构都对人体生理响应特性和多通道信息特性进行了研究。关于生理响应研究，目前最常用的是利用心率变异性来对应激进行评估。Di jksterhuis等提出的无意识思维理论提出在简单条件下,意识思维的决策效果更好,而在复杂条件下,直觉思维的决策效果更好。关于多感知通道的信息提取和融合方面，Wagner J等使用音乐为诱发材料，对人体的愤怒、高兴、悲伤和愉悦4种情感产生的生理信号如肌电、心电、皮肤电导和呼吸信号等进行了分类识别。由于情感产生往往伴随着噪声及多情感耦合等因素，不但情感识别的准确率和置信度均有待提高，而且相应的单通道***其鲁棒性和可靠性比较差，为此本专利融合表情、声音、动作以及生理等多个通道对情感状态识别与响应进行分析和研究。对于多通道信息融合，方志刚等把特定***中的多通道生物特征融合问题归结为分类器的设计问题，提出一种基于多层线性分类器的分数层融合方法；也有综合利用模糊积分理论和贝叶斯理论的多通道信息融合算法，但缺乏对多通道融合算法的适应性分析和容错性考虑。
多通道辅助决策交互显控***在语音交互、触控技术、姿态识别方面进展迅速，其中卡内基梅隆大学的Sphinx***、英国剑桥大学的HTK***和日本京都大学的Julius***都是世界领先的语音识别***引擎；在触控领域，从电阻式触屏到红外式触屏、从iphone的手持触屏到大型人机交互触屏、从传统的单点触屏到现在的多点触屏，其技术也在行业需求下日新月异；纽约大学的Jefferson Y.Han研发的受抑内全反射FTIR(Frustrated TotalInternal Reflection)技术将更快速的处理大量2D、3D信息；在动作识别领域，欧洲的瑞士联邦科学院（EPFL）和法国的国家信息与自动化研究所（INRIA）都在人体动作捕捉和运动路径估计上取得了大量成果；而国内在多通道智能交互上中科院、清华大学、浙江大学等机构在语言识别和动作识别方面也取得了显著成效。如王强等人开发了基于Agent的多通道交互***，但其实用性还有待提高，而且使用人员必须经过认真培训才能较好的操作；还有学者对视觉与听觉通道的HRV激活水平进行了研究，HRV是人体应激状态下的重要参考指标，发现视觉通道在HRV上的激活水平高于听觉通道HRV上的激活水平。尽管许多交互技术被用来进行辅助决策，但是语音交互、触控技术、表情识别和生理信号一直都被认为是交互显控***中可靠的技术。
研究人体多感知通道的功能分配、信息提取以及感知响应，如表情识别、手势识别、触控、语音识别及生理信号等，对挖掘人体感知潜能，研发出更具人性化的智能人机交互界面具有重要意义。
发明内容
为克服以上缺陷，本发明的目的在于提供一种多感知通道交互的应激辅助决策实验装置及其实验方法，能够实现不同应激任务下辅助人体进行决策。
为达到以上目的，本发明的技术方案为：
一种多感知通道交互的应激辅助决策实验方法，包括以下步骤：
1）、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；
2）、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；
3）、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。
所述应激运行模型建立过程具体包括：
1-1、根据应激运行模式划分多种应激任务；
1-2、在每种应激任务下，采集被测人员的情感信号、语音信号和生理信号，并采用基于D-S证据理论的反馈式信息融合服务器，将情感信号、语音信号和生理信号融合成每种应激任务下的统一目标信号；
1-3、根据每种应激任务下的统一目标信号，建立应激运行模型。
所述知识方法库建立包括：根据不同应激任务下的感知响应规律、多通道优先级、专家经验和操控者的习惯倾向，依据支持向量机和二叉决策树相结合的方法构建对应的知识方法库。
所述步骤2）之后，步骤3）之前还包括：
比较所述目标信号与预设的目标信极限阈值：
当所述目标信号达到预设的目标信极限阈值时，启动***自动报警并启动紧急应激方案；当目标信号未达到预设的目标信极限阈值时，交互***进入应激响应模式。
所述步骤3）具体步骤包括：
2-1、推理机根据应激状态类型确定不同应激状态类型的多通道反应优先级顺序；
2-2、由自适应***完成通道交互方式和界面信息内容的自适应更选；
2-3、通过多交互通道辅助被测人员在应激运行模式中经行应激决策。
所述推理机基于动态贝叶斯网络，利用知识方法库、数据库和模型库来设计。
一种多感知通道交互的应激辅助决策实验装置，包括模拟仓室***、表情识别***、语音识别***、生理信号测量***、以及PC主机控制***；
模拟仓室***用于模拟应激运行模式中的应激任务；
表情识别***用于采集被测人员在所述应激任务中的表情，并将所采集到的表情转换为表情信号；
语音识别***用于采集被测人员在所述应激任务中的语音，并将所采集到的语音转换为语音信号；
生理信号测量***用于采集被测人员在所述应激任务中的生理参数，并将所采集到的生理参数转换为生理信号；
PC主机控制***用于将所采集到的情感信号、语音信号和生理信号进行融合，得到目标信号，并且根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型，最后根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中经行应激决策。
所述模拟仓室***包括：模拟仓室，所述模拟仓室中心底板上安装有可调节座椅，可调节座椅的正面依次安装有多通道设备支架和视景屏，多通道设备支架上安装有触摸屏；所述视景屏为外圆半径为1750mm，内圆半径为1700mm的大视角弧形幕。
所述表情识别***表情采集装置为摄像头；语音识别***中的语音采集装置为麦克风；生理信号测量***中的生理参数采集装置为心率与脉搏测量传感器；其中，所述摄像头以及麦克风安装于多通道设备支架上。
所述PC主机控制***的主板芯片组为Intel H61，采用G530处理器。
与现有技术相比较，本发明的技术有益效果为：
本发明提供了一种多感知通道交互的应激辅助决策实验装置及其实验方法，通过采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号，不同任务下的感知响应规律、通道优先级、专家经验和操控者的习惯倾向等，构建应激知识方法库，并基于动态贝叶斯网络，综合利用知识方法库、数据库和模型库来设计推理机，从而完成应激辅助决策***的建立，实现人机交互，能够提高操作者的认知效率和精度，缩短人机适应时间，真正实现了人-机-环境的和谐统一。
附图说明
图1是本发明的多感知通道交互的应激辅助决策实验方法流程图；
图2是本发明的多感知通道交互的应激辅助决策实验装置结构示意图；
图3是本发明的多感知通道交互的应激辅助决策实验装置侧视图；
图4是本发明的多感知通道交互的应激辅助决策实验装置多通道设备支架结构示意图；
图5是本发明的多感知通道交互的应激辅助决策实验方法实施例应用流程图。
图中，1为视景屏，2为触摸屏，3为麦克风，4为键盘，5为摄像头，6为心率与脉搏测量传感器，7为模拟仓室，8为多通道设备支架。
具体实施方式
下面结合附图对本发明做详细描述。
参见图1所示，本发明提供了一种多感知通道交互的应激辅助决策实验方法，包括以下步骤：
1）、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；
所述应激运行模型建立过程具体包括：
1-1、根据应激运行模式划分多种应激任务；
1-2、在每种应激任务下，采集被测人员的情感信号、语音信号和生理信号，并采用基于D‐S证据理论的反馈式信息融合服务器，将情感信号、语音信号和生理信号融合成每种应激任务下的统一目标信号；
1-3、根据每种应激任务下的统一目标信号，建立应激运行模型。
2）、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；
具体的，首先比较所述目标信号与预设的目标信极限阈值，所示目标信极限阈值基于应激响应阈值理论和应激模型库设置：
当所述目标信号达到预设的目标信极限阈值时，启动***自动报警并启动紧急应激方案；当目标信号未达到预设的目标信极限阈值时，交互***进入应激响应模式；
3）、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策；其中，所述知识方法库建立包括：根据不同应激任务下的感知响应规律、多通道优先级、专家经验和操控者的习惯倾向，依据支持向量机和二叉决策树相结合的方法构建对应的知识方法库。
所述步骤3）具体步骤包括：
2-1、推理机根据应激状态类型确定不同应激状态类型的多通道反应优先级顺序；所述推理机基于动态贝叶斯网络，利用知识方法库、数据库和模型库来设计。
2-2、由自适应***完成通道交互方式和界面信息内容的自适应更选；
2-3、通过多交互通道辅助被测人员在应激运行模式中经行应激决策。
参见图2、3、4所示，本发明还提供了一种多感知通道交互的应激辅助决策实验装置，包括模拟仓室***、表情识别***、语音识别***、生理信号测量***、以及PC主机控制***；
模拟仓室***用于模拟应激运行模式中的应激任务；
表情识别***用于采集被测人员在所述应激任务中的表情，并将所采集到的表情转换为表情信号；
语音识别***用于采集被测人员在所述应激任务中的语音，并将所采集到的语音转换为语音信号；
生理信号测量***用于采集被测人员在所述应激任务中的生理参数，并将所采集到的生理参数转换为生理信号；
PC主机控制***用于将所采集到的情感信号、语音信号和生理信号进行融合，得到目标信号，并且根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型，最后根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中经行应激决策。
所述模拟仓室***包括：模拟仓室7，所述模拟仓室7中心底板上安装有可调节座椅，可调节座椅的正面依次安装有多通道设备支架8和视景屏1，多通道设备支架8上安装有触摸屏2，多通道设备支架8上还设置有用于输入的键盘4。
所述表情识别***表情采集装置为摄像头5；语音识别***中的语音采集装置为麦克风3；生理信号测量***中的生理参数采集装置为心率与脉搏测量传感器6；其中，所述摄像头5以及麦克风3安装于多通道设备支架8上。
所述PC主机控制***的主板芯片组为Intel H61，采用G530处理器。
模拟舱室7：是实验台的基础组成部分，该舱室是一体化舱室，可采用碳纤维复合材料通过高速数控加工中心加工而成。碳纤维复合材料比重小于钢的1/4，抗拉强度为钢的7～9倍，兼具抗腐蚀、辐射、电磁屏蔽、抗疲劳等特点。在降低成本预算下，亦可采用Q235钢的冷轧钢板冲压后退火加工而成。Q235钢的强度、塑性、韧性和焊接性等综合机械性能在普通碳素结构钢中属最好，能较好地满足一般的使用要求，在常温下轧制后，不产生氧化铁皮，表面质量好，尺寸精度高，再加之退火处理，其机械性能和工艺性能都优于热轧板。同时，可调节座椅、多通道设备支架8、触摸屏2等其他设备可通过螺栓连接固定在模拟舱室底板上。
视景屏1：视景屏1采用外圆半径为1750mm，内圆半径为1700mm的LED弧形幕，通过环氧树脂板制成，屏幕基底材料为石墨烯和聚酯片复合材料，表面光学图层能够排除90%以上的环境光。在视景仿真应用环境中，视景屏用来呈现实验任务的场景，柱幕较平面幕有更大的视角，会使用户产生强烈的沉浸感，适用于多通道视景仿真***。该视景屏1色彩还原度高，场景显示效果逼真度好，通过Vega Prime、Open-GL等不同图形设计软件结合C++编程可以模拟不同的应激实验场景。例如在飞行实验中，可以模拟展示机场跑道以及天气、地形以及真实环境等。
多通道设备支架8：是实验台的重要组成部分，多通道设备中的触摸屏2、USB高清摄像头、高性能MEMS麦克风、心率与脉搏测量传感器、眼动仪都安装在此支架上，该支架采用优质冷轧钢板加工，防磁防静电，布线规范整洁，支架高度可以通过插销式螺栓来调节并用螺钉直接固定在模拟舱室底板上；
触摸屏：采用32寸多点TFTLCD触控屏，高1600mm,宽890mm,厚500mm，分辨率1920*1080,对比度500cd/m2，通过VESA悬臂安装在模拟舱室内，如图所示。通过红外扫描或光学成像前定位，坐标输出4096×4096。支持手写笔和手指直接触摸操作，响应时间为5.5毫秒，理论点击次数5000万次。通信方式采用全速USB，兼容WINXP/VISTA/X86/LINUX等操作***。2路ＨＤＭ信号输入，音频输出2×15w，输入电压100-240V ＡＣ，输入功率500W。
语音识别***：在IBM公司Via Voice语音***VV引擎基础上，通过添加新的通用类及调用方法进行二次开发。Via Voice***由语音板、口音适应程序、IBM ViaVoice属性、麦克风设置向导程序、词汇管理器及联机参考手册等6个部分组成，通过口音适应程序建立针对个人口音特点的模型。配备高性能MEMS麦克风，不仅比传统的驻极体电容式麦克风（ECM）更小，且不易受到机械振动、温度变化和电磁干扰的影响，有助于目标应用大幅提升音质，提供噪声确定和过滤等更多功能，如噪声抑制和方向性拾声，更具可靠性和稳健性。该***识别率可达95%以上。
表情识别***：采用基于Profiler1引擎的面部表情分析软件FaceReader。通过面部前方安放的HD1080P（1920*1080）USB高清摄像头采集数据，采集时要求面部朝向转动小于30度，同时在正面补充散射光源来提高采集质量。行为观察记录分析***The Observer XT对整合的数据进行分析和可视化，该***采用三维模型利用面部肌肉491个点的位置来计算和分类面部表情，客观的评估个人的情绪变化。目前可追踪双眼、嘴巴、眉毛状态及注视方向，将表情划分为以下七类：高兴、悲伤、生气、惊讶、害怕、厌恶、没有表情。同时，The Observer XT可同步整合面部表情数据和其他数据，例如生理数据、键盘点击、鼠标点击、眼动仪数据等，这种良好的兼容性可以分析完整的实验场景。此外，开放的API接口，允许界面***软件实时访问面部表情分析***中的数据，使界面对情绪做出同步响应。
生理信号测量***：由BYS-14型心率与脉搏测量传感器及SMUP-E生物信号处理***组成。BYS-14型心脉仪采用固态压阻式传感器，可实现四导（心电、脉象、斜率、时差）功能，灵敏度≧10mm,谐振荡响应频率为50HZ，具有良好的线性和重复性。生物信号处理***SMUP-E面板输入端与心脉仪直接相连通过并行口电缆与用户计算机的接口连接，四路最大采样率为10kHz，模／数转换器分辨率12位，噪声<50mV（输入接地，滤波100kHz），可进行HRV分析计算。
可调节座椅：由座椅机构和调节机构两部分组成。座椅机构由钢制管材焊接而成，用螺钉固定在实验台底板上，强度符合GB15083-1994的规定，并在靠背两侧加焊凸起的侧支撑板，保证支撑的有效性；调节机构主要包括高度位移调整机构和靠背角度调节机构。此处选用单锁止滑道，前后调整距离为0～±100mm，靠背机构前调角度为30°，后调角度为90°。
PC主机控制***：主板芯片组为Intel H61，采用G530处理器，内存容量为DDII2G，
硬盘容量为500G，音频为AC97Audio。VGA接口采用DB-15，USB（2.0-3.0）接口4个，串口（RS232）3个，100Mbps高速网络接口（无线网卡可选）1个，键盘和鼠标均采用PS/2接口，并内置高速CF接口。
环境条件：-10～35摄氏度,湿度小于85%。供电电源需220V单三相电，被试间踢脚线位置需留有直径10－15CM的圆孔一个走电线电缆，保证2个三相电插座即可。采用直流电照明，试验台整体用隔音材料隔断，尽量做到隔音，同时采用防静电地板。
实施例：
参见图5所示，本发明将设计一套能进行多通道交互操作并能辅助应激辅助决策的方法，该方法包括应激环境下显控***的设计、应激辅助决策***的建立和应激辅助决策过程的具体实现。
1）应激环境下多通道交互***的设计：
整个虚拟座舱显控***运行于PC机上，使用VC++开发平台来开发虚拟座舱显控***的框架程序。PC机触摸屏用以模拟座舱显控界面，视景屏采用外圆半径为1750mm，内圆半径为1700mm的LED弧形幕，通过Vega Prime、Open-GL等不同图形设计软件结合C++编程模拟不同的视景仿真应用环境。例如在飞行实验中，可以模拟展示机场跑道以及天气、地形以及真实环境等，会使用户产生强烈的沉浸感。在可视化显示界面基础上，通过TFTLCD触控屏、高性能MEMS麦克风、USB高清摄像头及相应的后台分析软件实现多通道交互，使驾驶员以自然、并行的方式进行人机对话，并充分利用情境感知的输入方式捕捉用户的交互意图，操控者以多通道交互响应为主，并可通过辅助交互决策***完成智能操控。
2）应激辅助***的建立
在应激环境下，为达到辅助操作者做出最优反馈的目的，需要构建应激辅助模型，并根据应激辅助模型构建应激辅助***。具体过程如下，首先根据应激运行模式细分应激任务，以不同层级任务作为诱发应激源使操控者处于不同的应激状态下，此时，对面部表情、心脉、语音等信号进行同步采集，并通过情感计算方法计算以上信号的特征参数，分别分析面部表情、HRV及语调特征与应激状态之间的映射关系，并采用基于Dempster-Shafer证据理论的反馈式信息融合方法，对上述三种信号特征进行融合，得到统一的目标信号，通过该目标信号和应激响应阈值理论来表达和识别应激状态，并建立应激模型库；其次，根据不同任务下的感知响应规律、通道优先级、专家经验和操控者的习惯倾向等，依据支持向量机（SVM）和二叉决策树相结合的方法构建应激知识方法库，并基于动态贝叶斯网络，综合利用知识方法库、数据库和模型库来设计推理机，从而完成应激辅助决策***的建立。
3）应激辅助决策过程的具体实现
在模拟座舱显控***中，将不同层级的应激任务作为诱发源，通过触摸屏2和弧形视景屏1来呈现不同任务下的视景仿真环境，使操控者产生不同的应激状态。此时，通过信号采集***同步采集人体的情感、语音和生理信号，并通过配套的分析软件进行分析归类，具体如下：情感信号主要包括面部表情信号，通过操控者面部前方安放的HD1080P（1920×1080）USB高清摄像头5进行数据采集，采集时要求面部朝向转动小于30度，同时在正面补充散射光源来提高采集质量，并通过The Observer XT分析软件研究图像中面部五官的几何分布特征，依据模式匹配算法和特征点提取算法分别进行状态识别，将表情划分为平静、高兴、悲伤、生气、惊讶、害怕、厌恶七类，客观的评估应激状态下个人体的情绪状态；生理信号的采集主要包括心电和脉象采集，其中心脉测量***由BYS-14型心率与脉搏测量传感器及SMUP-E生物信号处理软件组成，生理信号测量***的面板输入端通过并行口电缆与计算机接口连接，并通过分析软件进行心率变异性（HRV）计算；语音信号的采集通过多设备支架上的MEMS麦克风3来完成，滤波、平滑、归一化处理后，通过语音处理软件提取语调参数；对上述三种信号，采用基于D-S证据理论的反馈式信息融合服务器融合成统一的目标信号，并根据该目标信号调用应激模型库来识别应激状态，并通过推理机调用知识方法库，指导自适应控制***完成完成应激辅助决策过程。
以飞行任务为例：
在交互过程中，将不同应激状态的融合响应信号作为目标信号，基于应激响应阈值理论和应激模型库，若目标信号达到极限阈值，***自动报警并启动紧急应激方案，通过自适应控制***操控自动驾驶仪，使飞机迫降或更改航线，进入安全区域；若目标信号未达到极限阈值，则交互***进入应激响应模式，此模式基于应激辅助决策***的应激模型库和应激知识方法库对应激任务类型和人体应激状态进行匹配，通过推理机确定不同应激状态的多通道反应优先级顺序，再由知识方法库调用自适应***完成通道交互方式和界面信息内容的自适应更选,通过TFTLCD触控屏、高性能MEMS麦克风或USB摄像头完成操作，实现多交互通道与显示界面的最优映射和高效交互。
在技术上，开放的API接口，允许界面***软件实时访问分析情感和生理信号分析***中的数据，使界面对应激状态做出同步响应，实现自适应控制。根据虚拟座舱显控***软件接收与之交联的交互操控命令及多线程辅助处理页面切换技术，在框架程序内部调用应用软件实现座舱显控***的主处理机功能；调取如触摸控制、语音命令等基本信息，使用非模态对话框作为OpenGL背景，在框架内部处理OpenGL数据，实现图形窗口的显示；座舱显控***的应用软件实现各交互通道的接口通信处理以及数据综合处理，实现人机界面畅通有序的切换和交互，最终完成应激辅助决策过程。
本发明提出的多感知通道显控***设计方法是一种以人体直感响应为目标的新型显控一体方式，不但在界面形式上强调宜人性和交互效率，而且从认知层面挖掘多通道下人体直觉化响应机理，将人机***界面设计从传统的强调人机交互模式向更高层次的注重交互工效上发展。此方法不但可作为未来人机界面设计的理论依据和技术指导，也可为人机工程学理论增添了新的设计和评价方法。
本发明一方面可以提高操作者的认知效率和精度，缩短人机适应时间，特别是在作战等军事应激情况下，还能辅助操作者进行判断和决策，真正实现了人-机-环境的和谐统一；另一方面，对于提升复杂机电装备舱室特别是武器装备的自主研发能力，形成***配套的高新技术武器装备体系有着重要意义。该研究成果可推广应用于航空、航天、能源、化工等行业的仪器显控***的优化设计中，以创造更高的经济和社会价值。
Claims (10)
1.一种多感知通道交互的应激辅助决策实验方法，其特征在于，包括以下步骤：
1）、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；
2）、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；
3）、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。
2.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述应激运行模型建立过程具体包括：
1-1、根据应激运行模式划分多种应激任务；
1-2、在每种应激任务下，采集被测人员的情感信号、语音信号和生理信号，并采用基于D-S证据理论的反馈式信息融合服务器，将情感信号、语音信号和生理信号融合成每种应激任务下的统一目标信号；
1-3、根据每种应激任务下的统一目标信号，建立应激运行模型。
3.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述知识方法库建立包括：根据不同应激任务下的感知响应规律、多通道优先级、专家经验和操控者的习惯倾向，依据支持向量机和二叉决策树相结合的方法构建对应的知识方法库。
4.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述步骤2）之后，步骤3）之前还包括：
比较所述目标信号与预设的目标信极限阈值：
当所述目标信号达到预设的目标信极限阈值时，启动***自动报警并启动紧急应激方案；当目标信号未达到预设的目标信极限阈值时，交互***进入应激响应模式。
5.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述步骤3）具体步骤包括：
2-1、推理机根据应激状态类型确定不同应激状态类型的多通道反应优先级顺序；
2-2、由自适应***完成通道交互方式和界面信息内容的自适应更选；
2-3、通过多交互通道辅助被测人员在应激运行模式中经行应激决策。
6.根据权利要求5所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述推理机基于动态贝叶斯网络，利用知识方法库、数据库和模型库来设计。
7.一种多感知通道交互的应激辅助决策实验装置，其特征在于，包括模拟仓室***、表情识别***、语音识别***、生理信号测量***、以及PC主机控制***；
模拟仓室***用于模拟应激运行模式中的应激任务；
表情识别***用于采集被测人员在所述应激任务中的表情，并将所采集到的表情转换为表情信号；
语音识别***用于采集被测人员在所述应激任务中的语音，并将所采集到的语音转换为语音信号；
生理信号测量***用于采集被测人员在所述应激任务中的生理参数，并将所采集到的生理参数转换为生理信号；
PC主机控制***用于将所采集到的情感信号、语音信号和生理信号进行融合，得到目标信号，并且根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型，最后根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中经行应激决策。
8.根据权利要求7中所述的多感知通道交互的应激辅助决策实验装置，其特征在于，所述模拟仓室***包括：模拟仓室（7），所述模拟仓室（7）中心底板上安装有可调节座椅，可调节座椅的正面依次安装有多通道设备支架（8）和视景屏（1），多通道设备支架（8）上安装有触摸屏（2）；所述视景屏（1）为外圆半径为1750mm，内圆半径为1700mm的大视角弧形幕。
9.根据权利要求8中所述的多感知通道交互的应激辅助决策实验装置，其特征在于，所述表情识别***表情采集装置为摄像头(5)；语音识别***中的语音采集装置为麦克风（3）；生理信号测量***中的生理参数采集装置为心率与脉搏测量传感器(6)；其中，所述摄像头(5)以及麦克风（3）安装于多通道设备支架（8）上。
10.根据权利要求8中所述的多感知通道交互的应激辅助决策实验装置，其特征在于，所述PC主机控制***的主板芯片组为Intel H61，采用G530处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310416023.6A CN103530501B (zh) | 2013-09-12 | 2013-09-12 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310416023.6A CN103530501B (zh) | 2013-09-12 | 2013-09-12 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103530501A true CN103530501A (zh) | 2014-01-22 |
| CN103530501B CN103530501B (zh) | 2016-11-23 |
Family
ID=49932506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310416023.6A Expired - Fee Related CN103530501B (zh) | 2013-09-12 | 2013-09-12 | 多感知通道交互的应激辅助决策实验装置及其实验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103530501B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104615044A (zh) * | 2014-12-29 | 2015-05-13 | 西安交通大学 | 一种基于任务时序反馈机制的指控舱席位划分实验方法 |
| CN106127155A (zh) * | 2016-06-22 | 2016-11-16 | 广东工业大学 | 一种行车危险识别方法和*** |
| CN106529504A (zh) * | 2016-12-02 | 2017-03-22 | 合肥工业大学 | 一种复合时空特征的双模态视频情感识别方法 |
| CN109254649A (zh) * | 2018-08-02 | 2019-01-22 | 东南大学 | 一种基于封闭式座舱的高效交互*** |
| CN109298779A (zh) * | 2018-08-10 | 2019-02-01 | 济南奥维信息科技有限公司济宁分公司 | 基于虚拟代理交互的虚拟训练***与方法 |
| CN110597382A (zh) * | 2019-08-08 | 2019-12-20 | 中广核工程有限公司 | 一种核电站控制室多通道融合人机交互方法以及*** |
| CN111443801A (zh) * | 2020-03-25 | 2020-07-24 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备及存储介质 |
| CN113257403A (zh) * | 2021-04-26 | 2021-08-13 | 武汉中科医疗科技工业技术研究院有限公司 | 医疗设备控制方法、***、装置、计算机设备和存储介质 |
| CN113419633A (zh) * | 2021-07-07 | 2021-09-21 | 西北工业大学 | 用于在线学习学生行为分析的多源信息采集*** |
| CN114287938A (zh) * | 2021-12-13 | 2022-04-08 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1645358A (zh) * | 2005-01-12 | 2005-07-27 | 河海大学 | 基于状态向量距离的证据理论信息融合决策方法 |
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的*** |
| CN101840439A (zh) * | 2010-05-25 | 2010-09-22 | 天津大学 | 基于应急事件和应急预案的应急情景推荐方法 |
| TW201205489A (en) * | 2010-07-28 | 2012-02-01 | Univ Nat Chiao Tung | Decision support system capable of sensing physiological status |
| CN102699919A (zh) * | 2011-03-28 | 2012-10-03 | 江苏久祥汽车电器集团有限公司 | 智能决策与驱动控制技术 |
| CN202541524U (zh) * | 2011-12-12 | 2012-11-21 | 王晓原 | 基于驾驶员认知活动综合计算的辅助驾驶控制装置 |
-
2013
- 2013-09-12 CN CN201310416023.6A patent/CN103530501B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1645358A (zh) * | 2005-01-12 | 2005-07-27 | 河海大学 | 基于状态向量距离的证据理论信息融合决策方法 |
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的*** |
| CN101840439A (zh) * | 2010-05-25 | 2010-09-22 | 天津大学 | 基于应急事件和应急预案的应急情景推荐方法 |
| TW201205489A (en) * | 2010-07-28 | 2012-02-01 | Univ Nat Chiao Tung | Decision support system capable of sensing physiological status |
| CN102699919A (zh) * | 2011-03-28 | 2012-10-03 | 江苏久祥汽车电器集团有限公司 | 智能决策与驱动控制技术 |
| CN202541524U (zh) * | 2011-12-12 | 2012-11-21 | 王晓原 | 基于驾驶员认知活动综合计算的辅助驾驶控制装置 |
Non-Patent Citations (1)
| Title |
|---|
| REN C.LUO 等: "multisensor fusion and integration：approaches，applications，and future research directions", 《IEEE SENSORS JOURNAL》, vol. 2, no. 2, 30 April 2002 (2002-04-30) * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104615044A (zh) * | 2014-12-29 | 2015-05-13 | 西安交通大学 | 一种基于任务时序反馈机制的指控舱席位划分实验方法 |
| CN104615044B (zh) * | 2014-12-29 | 2017-02-22 | 西安交通大学 | 一种基于任务时序反馈机制的指控舱席位划分实验方法 |
| CN106127155A (zh) * | 2016-06-22 | 2016-11-16 | 广东工业大学 | 一种行车危险识别方法和*** |
| CN106529504B (zh) * | 2016-12-02 | 2019-05-31 | 合肥工业大学 | 一种复合时空特征的双模态视频情感识别方法 |
| CN106529504A (zh) * | 2016-12-02 | 2017-03-22 | 合肥工业大学 | 一种复合时空特征的双模态视频情感识别方法 |
| CN109254649A (zh) * | 2018-08-02 | 2019-01-22 | 东南大学 | 一种基于封闭式座舱的高效交互*** |
| CN109298779A (zh) * | 2018-08-10 | 2019-02-01 | 济南奥维信息科技有限公司济宁分公司 | 基于虚拟代理交互的虚拟训练***与方法 |
| CN109298779B (zh) * | 2018-08-10 | 2021-10-12 | 济南奥维信息科技有限公司济宁分公司 | 基于虚拟代理交互的虚拟训练***与方法 |
| CN110597382A (zh) * | 2019-08-08 | 2019-12-20 | 中广核工程有限公司 | 一种核电站控制室多通道融合人机交互方法以及*** |
| CN111443801A (zh) * | 2020-03-25 | 2020-07-24 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备及存储介质 |
| CN111443801B (zh) * | 2020-03-25 | 2023-10-13 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备及存储介质 |
| CN113257403A (zh) * | 2021-04-26 | 2021-08-13 | 武汉中科医疗科技工业技术研究院有限公司 | 医疗设备控制方法、***、装置、计算机设备和存储介质 |
| CN113419633A (zh) * | 2021-07-07 | 2021-09-21 | 西北工业大学 | 用于在线学习学生行为分析的多源信息采集*** |
| CN114287938A (zh) * | 2021-12-13 | 2022-04-08 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
| CN114287938B (zh) * | 2021-12-13 | 2024-02-13 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103530501B (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103530501B (zh) | 多感知通道交互的应激辅助决策实验装置及其实验方法 | |
| Jiang et al. | Gesture recognition based on skeletonization algorithm and CNN with ASL database | |
| Pickering et al. | A research study of hand gesture recognition technologies and applications for human vehicle interaction | |
| Barattini et al. | A proposed gesture set for the control of industrial collaborative robots | |
| CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
| Riener et al. | Natural, intuitive finger based input as substitution for traditional vehicle control | |
| Sagayam et al. | Recognition of hand gesture image using deep convolutional neural network | |
| Maza et al. | Multimodal interface technologies for UAV ground control stations: a comparative analysis | |
| Dewan et al. | Laban movement analysis to classify emotions from motion | |
| Feng et al. | A digital twin-driven method for product performance evaluation based on intelligent psycho-physiological analysis | |
| CN104571884B (zh) | 用于识别用户终端的触摸的装置和方法 | |
| Chen et al. | Evaluating aircraft cockpit emotion through a neural network approach | |
| Li et al. | SSVEP-based brain-computer interface for part-picking robotic co-worker | |
| Zhang et al. | Mid-air gestures for in-vehicle media player: elicitation, segmentation, recognition, and eye-tracking testing | |
| Liu | Application and research of computer aided technology in clothing design driven by emotional elements | |
| CN111887803A (zh) | 飞机驾驶舱人机工效多维监测评价*** | |
| Fu et al. | Research on application of cognitive-driven human-computer interaction | |
| Liang et al. | Effects of input method and display mode of situation map on early warning aircraft reconnaissance task performance with different information complexities | |
| Ren et al. | Multi-modal human-computer interaction system in cockpit | |
| CN105892661B (zh) | 机器智能决策的方法 | |
| Yao et al. | Research on the UAV multi-channel human-machine interaction system | |
| Brown | Role models | |
| Liu et al. | Research on the Usability Evaluation Model of Human-Computer Interaction for Command and Control System | |
| Khalifa et al. | Hand motion modeling for psychology analysis in job interview using optical flow-history motion image: OF-HMI | |
| Wang | Virtual Reality Immersive Interactive Design Based on Big Data Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Xiaoling Inventor after: Yao Lei Inventor after: Dong Yuanzhe Inventor after: Wang Wai Inventor after: Ji Jue Inventor after: Chen Jinzhi Inventor after: He Weijun Inventor after: Chen Xihua Inventor before: Li Xiaoling Inventor before: Yao Lei Inventor before: Dong Yuanzhe Inventor before: Wang Wai Inventor before: Ji Jue |
|
| CB03 | Change of inventor or designer information | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170505 Address after: 201107, T4 701-702, Lane 268, Lane 2, Tai Hong Road, Shanghai, Minhang District Patentee after: Shanghai window charm Optical Technology Co., Ltd. Address before: 710049 Xianning West Road, Shaanxi, China, No. 28, No. Patentee before: Xi'an Jiaotong University |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161123 Termination date: 20190912 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |