CN111443665A - 一种基于眼动信号的智慧病房控制方法和*** - Google Patents

Abstract

本发明涉及一种基于眼动信号的智慧病房控制方法和***，属于人机交互、信号处理、智能家居相交叉的技术领域。***包括眼动追踪模块、菜单显示模块、数据分析模块、命令输出模块。面向病患，由菜单显示模块呈现控制菜单；由眼动追踪模块追踪被测者的眼动信号；数据分析模块分析眼动信号与菜单选项的映射关系；命令输出模块将选中的菜单选项以无线信号的方式传输至病房功能模块下各个子模块；病房功能模块包含电动病床、病房呼叫、电视、空调、电动窗帘等单元。利用本申请提出的控制方法和***可以让病患通过视线实现对各项起居相关需求表达和设施控制。

Description

一种基于眼动信号的智慧病房控制方法和***

技术领域

本发明公开了一种基于眼动信号的智慧病房控制方法和***，尤其涉及利用病患视线注视显示器显示菜单对病房各项起居相关的需求表达和设施控制的方法，属于人机交互、信号处理、智能家居相交叉的技术领域。

背景技术

脑卒中患者中较大比例的病患存在语言和运动功能障碍。老年人口中也有相当比例的人群患有上述障碍。此外，部分患者由于气管、鼻饲管插管或肺部、喉部、口腔炎症可能影响正常语言发音。上述人群均存在无法通过正常说话、书写、打字表达意思的障碍，亟需一种辅助设备帮助患者实施意思表达。

基于生理信号的人机接口是一种通过获取人体生理信号，经过信号处理、特征提取、特征分类等处理实现人体对外部进行命令输出的技术手段。目前，通过获取脑电、肌电、脑部血氧代谢信号实施命令输出的研究和设备比较普遍。但上述方法和技术必须佩戴传感器，病患长期佩戴传感器易造成皮肤不适。同时，上述方法和技术易受到肌电干扰或使用环境中存在的电磁干扰，造成信号质量低下，存在分类错误的可能。

眼动追踪技术（eye tracking）是一种通过红外摄像头追踪眼球运动轨迹的技术。利用眼动追踪实施人机接口属于新兴方法和技术。本申请旨在利用眼动追踪技术帮助病患实现针对病房各项起居相关的需求表达和设施的控。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了一种基于眼动信号的智慧病房控制方法和***，面对语言或运动障碍的病患，向其呈现控制菜单并追踪其眼球运动，利用信号分析方法获取病患关注的菜单选项输出相关装置或设备的控制信号，实现了病房内设备的智能控制，解决了病房设备不能满足功能障碍病人各项起居需求的技术问题。

本发明为实现上述发明目的采用如下技术方案：

基于眼动信号的智慧病房控制方案包括以下三个部分。

一）基于多层菜单的控制***构建：

1）将病患对各项起居相关的需求表达和设施控制以菜单形式显示在显示器上，以树状结构方式构建多级菜单对各项起居相关的需求表达以及设施控制命令实施精细划分；

2）主菜单由呼叫、娱乐、房间管理、床位调整、饮食、解手等选项构成；呼叫选项对应的一级子菜单的各项选项为：呼叫医生、呼叫护士、呼叫护工、呼叫家属；娱乐选项对应的一级子菜单的各项选项为：电视、收音机；电视和收音机下各自设置二级子菜单，二级子菜单各项选项均为：关闭设备、频道增减、音量增减；房间管理选项对应的一级子菜单的各项选项为：空调、照明、窗帘；空调、照明、窗帘下均设置二级子菜单，二级子菜单内容可根据空调、照明、窗帘控制需要具体设置；床位调整选项对应的一级子菜单的各项选项为：头调高、头调低、腿调高、腿调低、左调高、左调低、右调高、右调低、复位；饮食选项对应的一级子菜单的各项选项为：食品、饮料；食品和饮料下各自设置二级子菜单，二级子菜单细分内容可根据实际使用需求具体设置；解手选项对应的一级子菜单的各项选项为：大解、小解；

3）各级子菜单均具有返回主菜单选项，各级菜单选项的个数和显示内容均可根据需求进行编辑。

二）注视点空间和时间特性的分析：

1）完成基于红外摄像头的眼球追踪参数设置，并分别获取瞳孔和角膜反射斑，获得注视点对应的眼动坐标；

2）进行注视点校准，在屏幕的上下左右四边的中点以及屏幕的四角分别显示标定点，采集观察者注视标定点时的眼动坐标，建立屏幕与眼动坐标范围的映射关系；计算观察者注视点与标定点之间的偏差，当平均偏差小于视角1度时，完成校准工作，否则，继续校准过程直至满足误差要求；

3）利用眼动仪每隔2 ms采样一次患者注视点在显示器上的坐标值，以200 ms为时窗计算该时窗内屏幕上各个像素的注视时间，根据菜单显示模块当前显示的菜单数量和位置将屏幕划分为若干个子区域，统计各个子区域内所有像素的注视时长总和，将最大值对应的子区域作为该时窗内的注视区；

4）以当前菜单开始显示时刻为0时刻，从200 ms开始，以100 ms为滑动步长将200 ms的时窗沿时间轴滑动，分析各个滑动时窗所对应的注视区位置。当连续5个滑动时窗对应的注视区均相同时，将该注视区对应的某项菜单选项作为病患的选择进行输出。

三）病房功能模块的各种单元控制：

1）病房功能模块由电动病床、病房呼叫、电视、收音机、照明、空调、电动窗帘单元构成；电动病床单元可以实现手电一体控制，可以实现病床的头部升降、腿部升降、左右侧翻功能；病房呼叫单元可以实现呼叫医生、呼叫护士、呼叫护工、呼叫家属功能；电视单元可以实现对电视各项功能的遥控；收音机单元可以实现对收音机各项功能的遥控；照明单元可以实现对各个灯具的遥控；空调可以实现对空调各项功能的遥控；电动窗帘单元可以实现对窗帘升降的遥控。

2）病房功能模块的各项操控均可由病患通过视线实施控制，也可通过手动操作实施控制；

3）病房功能模块可以实现控制单元的增加或删减。

本发明采用上述技术方案，具有以下有益效果：

（1）通过视线追踪实现对各项起居相关需求的表达和设施控制，通过眼动追踪技术实现病房设备的人机接口，在现有病房设备的基础上加装眼动仪并赋以软件设计即可实现设备自动响应病患眼动信号的智慧病房。

（2）为了避免病患在注视菜单的过程中由于视线漂移造成多个子区域热度值总和较高进而影响控制命令的正确下达，本申请在获取注视点原始热图后统计滑动时窗内的注视区，仅在连续若干滑动时窗内的注视区均相同时确定该注视区为病患注视区，保证了控制命令的准确下达。

（3）各项菜单选项可根据需求实施在线编辑，方便对应各种实际使用环境和应用需求，有利于用户根据实际需求扩充病房功能模块。

附图说明

图1为***构成图。

图2为***信号流向图。

图3为病房功能模块图。

图4为由菜单显示模块显示的智慧病房控制主菜单。

图5为呼叫选项对应的一级子菜单。

图6为娱乐选项对应的一级子菜单。

图7为房间管理选项对应的一级子菜单。

图8为床位调整选项对应的一级子菜单。

图9为饮食选项对应的一级子菜单。

图10为解手选项对应的一级子菜单。

图11为电视选项对应的二级子菜单。

图12为收音机选项对应的二级子菜单。

图13为将屏幕划分为若干个子区域的示意图。

图14为将滑动窗和滑动步长的示意图。

图15为选取某个时窗内注视时长总和最大子区域为注视区的示例。

图16为判别持续注视区为病患意愿输出的示例。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。

如图1所示，本发明公开的基于眼动信号的智慧病房控制***由眼动追踪模块、菜单显示模块、数据分析模块、命令输出模块。如图2所示，菜单显示模块向数据分析模块发送当前显示菜单各个选项内容以及选项按钮在屏幕中所处的坐标位置。眼动追踪模块追踪病患眼球运动轨迹坐标以获取注视点原始热图。数据分析模块对眼动追踪模块输出的注视点原始热图首先进行高斯空间平滑处理；再利用阈值法获取超过阈值的热图分布；根据菜单显示模块发送的选项按钮在屏幕中所处的坐标位置将屏幕划分为若干菜单选项子区域，统计各个菜单选项子区域内所有像素的热度值总和，确定所有像素热度值总和最大的菜单选项子区域为病患注视区，向菜单显示模块输出显示该菜单选项被选中的指令，生成该菜单选项对应的控制单元的控制命令。控制命令经由命令输出模块以无线信号方式发送至病房功能模块对应的单元，由各个单元完成对应的控制功能。为了避免病患在注视菜单的过程中由于视线漂移造成多个子区域热度值总和较高进而影响控制命令的正确下达，本申请在获取注视点原始热图后统计滑动时窗内的注视区，在连续若干（例如，5个）滑动时窗内的注视区均相同时，确定该注视区为病患注视区。

如图3所示，病房功能模块由电动病床、病房呼叫、电视、收音机、照明、空调、电动窗帘单元构成；病房功能模块对应的单元指的是调节电动病床头部升降、腿部升降、左右侧翻的手电一体控制手柄，以及电视、收音机、照明、空调、电动窗帘的遥控器。

将病患对各项起居相关的需求表达和设施控制以树状结构的菜单形式显示在显示器上。如图4所示，主菜单在显示器上全屏显示，由呼叫、娱乐、房间管理、床位调整、饮食、解手等选项按钮构成，各个选项按钮之间等间隔分布。如图5所示，呼叫选项对应的一级子菜单由呼叫医生、呼叫护士、呼叫护工、呼叫家属、返回等选项按钮构成。如图6所示，娱乐选项对应的一级子菜单由电视、收音机、返回等选项按钮构成。如图7所示，房间管理选项对应的一级子菜单由空调、照明、窗帘、返回等选项按钮构成。如图8所示，床位调整选项对应的一级子菜单由头调高、头调低、腿调高、腿调低、左调高、左调低、右调高、右调低、复位、返回等选项按钮构成。如图9所示，饮食选项对应的一级子菜单由食品、饮料、返回等选项按钮构成。如图10所示，解手选项对应的一级子菜单由大解、小解、返回等按钮构成。如图11所示，电视选项对应的二级子菜单由频道增、频道减、音量增、音量减、关电视、返回等选项按钮构成。如图12所示，收音机选项对应的二级子菜单由频道增、频道减、音量增、音量减、关收音机、返回等选项按钮构成。

如图13所示，根据菜单显示模块当前显示的菜单数量和位置将屏幕划分为若干个子区域，当前显示菜单为两行三列共六项选项，据此将显示屏幕划分为两行三列共六个子区域。

如图14所示，统计滑动时窗内注视区的方法为：以当前菜单开始显示时刻为0时刻，以200 ms为时窗计算该时窗内屏幕上各个像素的热度值，从200 ms开始，以100 ms为滑动步长将200 ms的时窗沿时间轴滑动，统计各个滑动时窗所对应的注视区，当连续5个滑动时窗对应的注视区相同时，将该注视区对应的某项菜单选项作为病患的选择，输出对应该菜单选项的控制命令。

图15为选取某个时窗内注视时长总和最大子区域为注视区的示例。根据显示菜单中选项的个数和所在位置，将屏幕划分为相同大小的子区域。计算200 ms时窗内各个子区域内所有像素的注视时长总和，将最大值对应的子区域作为该时窗内的注视区。如图所示，第一行第二列的子区域内注视时长总和最大，则将第一行第二列的子区域作为该时窗内的注视区。

图16为判别持续注视区为病患意愿输出的示例。当连续5个时窗的注视区相同时，则判定该注视区对应的选项为病患的意愿输出。如图所示，连续5个时窗的注视区都为第一行第二列的子区域，因此判别该区域对应的选项为病患的意愿输出。

Claims (8)

1.一种基于眼动信号的智慧病房控制方法，其特征在于，采集病患眼球运动轨迹坐标以获取注视点原始热图，根据选项按钮在屏幕中所处的坐标位置将菜单显示区域划分为菜单选项子区域，统计各菜单选项子区域内所有像素热度值以确定病患注视区，输出病患注视区内菜单选项对应的控制命令。

2.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，在获取注视点原始热图后，统计滑动时窗内各菜单选项子区域内所有像素热度值以确定病患注视区，在连续若干滑动时窗内的病患注视区相同时，确定该注视区为病患注视区。

3.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，统计各菜单选项子区域内所有像素热度值以确定病患注视区的具体方法为：对获取的注视点原始热图先进行高斯空间平滑处理，再利用阈值法获取超过阈值的热图分布，统计各个菜单选项子区域内所有像素的热度值总和，以所有像素热度值总和最大的菜单选项子区域为病患注视区。

4.根据权利要求1所述一种基于眼动信号的智慧病房控制方法，其特征在于，所述菜单为树状结构的多级菜单，包括对应于呼叫、娱乐、房间管理、床位调整、饮食、解手的主菜单，对应于主菜单各选项的一级子菜单，对应于一级子菜单的二级子菜单；呼叫选项对应的一级子菜单的各项选项为：呼叫医生、呼叫护士、呼叫护工、呼叫家属；娱乐选项对应的一级子菜单的各项选项为：电视、收音机；电视和收音机选项对应的二级子菜单的各项选项为：关闭设备、频道增减、音量增减；房间管理选项对应的一级子菜单的各项选项为：空调、照明、窗帘；空调、照明、窗帘选项对应的二级子菜单的各项选项为内容打开、关闭；床位调整选项对应的一级子菜单的各项选项为：头调高、头调低、腿调高、腿调低、左调高、左调低、右调高、右调低、复位；饮食选项对应的一级子菜单的各项选项为：食品、饮料；解手选项对应的一级子菜单的各项选项为：大解、小解。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任意一项所述方法。

6.一种基于眼动信号的智慧病房控制***，其特征在于，包括：

眼动追踪模块，追踪病患眼球运动轨迹坐标以获取注视点原始热图；

菜单显示模块，向数据分析模块发送当前显示菜单各个选项内容以及选项按钮在屏幕中所处的坐标位置；

数据分析模块，根据选项按钮在屏幕中所处的坐标位置将菜单显示区域划分为菜单选项子区域，接收眼动追踪模块输出的注视点原始热图，统计各菜单选项子区域内所有像素热度值以确定病患注视区，输出病患注视区内菜单选项对应的控制命令；及，

命令输出模块，传输病患注视区内菜单选项对应的控制命令至病房功能模块的控制单元。

7.一种基于眼动信号的智慧病房控制装置，其特征在于，包括：

眼动仪，追踪病患眼球运动轨迹坐标以获取注视点原始热图；

显示屏，向控制器发送当前显示菜单各个选项内容以及选项按钮在屏幕中所处的坐标位置；及，

控制器，根据选项按钮在屏幕中所处的坐标位置将菜单显示区域划分为菜单选项子区域，接收眼动仪输出的注视点原始热图，统计各菜单选项子区域内所有像素热度值以确定病患注视区，输出病患注视区内菜单选项对应的控制命令，传输病患注视区内菜单选项对应的控制命令至病房功能模块的控制单元。

8.根据权利要求7所述一种基于眼动信号的智慧病房控制装置，其特征在于，所述眼动仪固定在显示屏上方，显示屏以一定的向下倾角固定在病床上方。

Images