CN107273677A - 一种多通道神经功能定量评价*** - Google Patents

Abstract

本发明公开了一种多通道神经功能定量评价***，利用智能感知、多通道融合、自然交互等关键技术，使用深度摄像机、手持终端、手写终端、麦克风、数据转发器、移动工作站等设备搭建完成一套人体运动姿态数据采集***，将感知、运动、认知的医学检测方法与多通道数据融合分析技术相结合，建立涵盖笔势分析、步态分析、语音分析、上肢功能分析等神经***疾病异常行为早期检测的多通道神经功能定量评价***，克服了传统的神经***疾病检测工具方式难以获取较全面的、定量化的生理参数的问题，并消除了传统采集方式具有的干扰性对感知数据的真实性和后续诊断的准确性的影响。

Description

一种多通道神经功能定量评价***

技术领域

本发明属于计算机应用及医疗康复领域，具体涉及一种多通道神经功能定量评价***。

背景技术

人类社会已走入老龄化社会，危害老年人群的慢性病成为威胁人类健康的重要疾病。其中，影响神经***功能的脑血管病、痴呆、帕金森病在全世界范围发病率呈上升趋势，具有高死亡率、高致残率的特点，严重影响患者寿命及生活质量，给社会和家庭带来沉重负担。

这些疾病的诊断过程通常需经历临床资料收集、医生根据知识和经验判断、最终形成诊断的过程。因此，神经***功能及结构的在体数据评价、收集是神经***疾病诊断和研究的基石。

神经***包含感知、认知和运动三部分功能，由于神经***的功能定位特点，对上述三部分功能的评价可以最直接地判定神经***是否受损及受损部位。长期以来，各种体感、运动功能评价方法和认知功能评定方法广泛应用于临床，可以分项评定视觉、听觉、触觉、记忆力、注意力、操作执行功能、肌力、肌张力、共济、平衡等等多方面的神经功能。

神经科医生及神经***疾病研究者应用上述评价方法进行日常工作。显而易见，这些评价方法完全依赖于评价者的经验，对神经功能进行主观定性评价，尽管部分评价方法有分级概念，但这一分级无疑不是等值差异的定量数据。其不足主要有以下几个方面：①评价者主观判断决定评价结果；②非定量数据；③依赖于现场评测，信息化、数字化程度低，无法对检测关键要素进行全程数据存储和回放分析。

因此，由于神经***结构和功能的复杂性，现有的在体数据评价收集方式具有依赖主观经验判断、不能定量和缺乏整体性的特点，给神经***疾病的临床诊断和临床研究带来极大的不确定性。

发明内容

针对上述问题，本发明提供了一种多通道神经功能定量评价***，利用智能感知、多通道融合、自然交互等关键技术，使用深度摄像机、手持终端、手写终端、麦克风、数据转发器、移动工作站等设备搭建完成一套人体运动姿态数据采集***，将感知、运动、认知的医学检测方法与多通道数据融合分析技术相结合，建立涵盖笔势分析、步态分析、语音分析、上肢功能分析等神经***疾病异常行为早期检测的多通道神经功能定量评价***。

为了实现上述目的，本发明采用以下技术方案：

一种多通道神经功能定量评价***，包括：人体步态及姿态数据采集分析模块，手部运动功能特征采集模块，语音特征采集模块以及多通道数据融合分析模块；

所述人体步态及姿态数据采集分析模块用于采集自然状态下人体行走时的步态及身体姿态数据并分析获得对应的特征数据；

所述手部运动功能特征采集模块用于采集触控及书写时与神经***疾病相关的手部运动功能特征数据；

所述语音特征采集模块用于采集日常对话及医学检测过程中与神经***疾病相关的语音特征数据；

所述多通道数据融合分析模块用于将所述人体步态及姿态数据采集分析模块、手部运动功能特征采集模块和语音特征采集模块获得的特征数据进行融合，并与特定神经***疾病相关联，获得神经***疾病定量评价模型参数，以用于神经功能定量评价。

进一步地，所述人体步态及姿态数据采集分析模块包括布设于数据采集空间内的单个或多个深度摄像机，所述深度摄像机采集到的步态及身体姿态数据包括彩色图像流、深度图像流、红外图像流、声音数据流和骨骼关节点姿态数据流，经该模块分析得到的特征数据包括速度、加速度、轨迹、角度、时长、周期、步高、步速、步距等姿态参数。

进一步地，所述人体步态及姿态数据采集分析模块还包括数据回放标注子模块，用于通过医学相关人员对需要进行人工监督分析的特征(如手指捏合参数、快速轮替参数等)进行人工标注。

进一步地，所述手部运动功能特征采集模块包括手持终端和手写终端，所述手持终端用于通过监测使用手持终端过程中的交互动作，通过手持终端本身的传感器采集与神经***疾病相关的手部运动功能特征数据(包括声音、触控压力、触控面积、手部震颤)，所述手写终端用于采集手写输入时与神经***疾病相关的手部运动功能特征数据(包括压力、轨迹、姿态倾角)。

进一步地，所述手持终端还包括无线控制终端模块，用于对整个***进行远程操控。

进一步地，所述无线控制终端模块又包括：信息录入子模块，用于对被采集者的信息(主要为被采集者ID号)进行扫描录入；量表评分录入子模块，用于录入被采集者的量表评分(利手、构音不良等)；检查项目的计时子模块，用于记录检查项目的时间(启动时间，停止时间、时长)；远程操控子模块，用于对数据采集的进程进行远程操控(数据采集的启动、暂停、停止，被采集者信息、采集***的运行状态记录)。

进一步地，所述语音特征采集模块用于通过麦克风采集日常对话过程中及医学检测过程中的语音数据，包括持续元音发音(例如“ah….”)或连续语句发音(一句话或是一段话)，获取与神经***疾病相关的语音特征。

进一步地，所述多通道数据融合分析模块采集大量的正常未患病人群及神经***疾病患者的运动功能检查数据，并计算其运动行为的特征参数值，在此基础之上，将上述特征参数值与特定的神经***疾病进行数据关联分析，从正常未患病人群的特征参数之中确定神经功能正常值范围，并与相应的神经***疾病患者的特征参数进行对比分析，获得与神经***疾病相关联的定量神经功能评价的模型参数，从而用于神经功能定量评价。

本发明的有益效果如下：

本发明基于多通道生理交互知识库提供的特征级、中间级、语义级的融合分析数据，融合神经***疾病诊断规则与统计推断模型的混合分类模型，构造神经***疾病的定量预测、筛查、诊断模型。将医学检测方法与智能感知、多通道融合、自然交互相结合，感知和理解用户连线、步态、语音、上肢功能分析等关键特征，在神经功能评价方法的指导下，结合神经***相关疾病的具体数据，分析挖掘症状对应的关键特征，编写数据分析算法，最终建立多通道神经功能定量评价***。

对被采集者进行无干扰的医学动作姿态数据采集，采用视觉、触觉及手写笔等传感器，采其在自然行走、触控操作、书写状态下的神经***疾病相关的医学数据，从而克服了传统穿戴式医疗传感器所采集的行为特征与正常生活条件下的行为特征不完全一致的问题，并消除了由于采集方式具有的干扰性对感知数据的真实性和后续诊断的准确性的影响。

定量化采集多种通道的医学特征数据，包括上肢、下肢、坐姿、书写、触控、语音等运动行为的数据参数，融合分析多种模态的异构感知采数据与特定神经***疾病的映射关系，克服了传统的神经***疾病检测工具方式难以获取较全面的、定量化的生理参数的问题。

附图说明

图1：本发明多通道神经功能定量评价***的技术架构图。

图2：本发明采集人体步态及身体姿态数据的技术架构图。

图3：本发明实现多通道神经功能定量评价的流程图。

图4：本发明深度摄像机采集得到的深度图示例。

具体实施方式

多通道神经功能定量评价***如图1所示，主要包括：

1)深度摄像机：采集自然状态下人体在行走时的步态及身体姿态的实时彩色图、深度图数据流，其可与数据采集分站相连，通过数据采集分站将采集到的数据存储于数据采集分站或与数据采集分站连接的本地存储器中。通过数据转发器与移动工作站进行时间同步，传输采集过程中的状态信息，并受移动工作站的监控。当布设在检测区域的深度摄像机为两个时，其采集数据的技术架构图如图2所示，两个深度摄像机分别在不同角度采集自然状态下人体在行走时的步态及身体姿态的实时彩色图、深度图数据流、红外图像流、声音数据流，其中，红外图像流用于极端条件下的目标骨骼数据追踪，具体实施时：通过让目标病人带3M逆反射条带标志物，在红外图像中获取高亮像素用以在视频场景及复杂的极端情况下完成目标病人的追踪，声音数据流则用于医护人员的远程语音控制。同时，这两个深度摄像机分别与两个数据采集分站相连，通过数据采集分站将采集到的数据存储于数据采集分站或与数据采集分站连接的本地存储器中。通过数据转发器与移动工作站进行时间同步，传输采集过程中的状态信息，并受移动工作站的监控。

2)手持终端：包含两种功能，一种是用作采集设备，由被采集者使用，进行触控交互，采集任务状态下用户上肢手部运动数据，包括双指交替按键、拨号以及画线动作的时间、接触压力、接触面积、轨迹、设备的空间姿态等。采集数据时，被采集者被要求通过手指进行包括双指交替按键、拨号、绘制特定模式的线条等特定模式的数据采集步骤，采集的数据在本地进行保存；另一种是用作***无线控制终端，并由***管理员使用，通过无线与移动工作站进行通信并控制移动工作站，可对整个数据采集***进行远程操控，包括被采集者信息的扫描录入(主要为被采集者ID号)、量表评分录入(利手、构音不良等)、检查项目的计时(启动时间，停止时间、时长)、服务器端数据采集的进程的远程操控(数据采集的启动、暂停、停止，被采集者信息、采集***的运行状态记录)等功能。

3)手写终端：采集手写输入时的手部运动特征数据。包括压力、轨迹、姿态倾角等，并存储于与之相连的数据采集分站。

4)麦克风：采集日常对话过程中及医学检测过程中的语音数据，包括持续元音发音(例如“ah….”)或连续语句发音(一句话或是一段话)，获取与神经***疾病相关的语音特征(例如：声襞震动周期、夹杂噪声、发音器官震动状态等)，进行神经***疾病评价。

5)数据转发器：通过有线或无线构建各个采集设备与移动工作站的通信网络，进行时间同步命令、采集启停命令、工作状态等命令及信息的转发。由于采集的图像数据流数据量较大，所以把深度摄像机采集到的数据和手持终端采集的数据传输、存储到本地存储设备中。

6)移动工作站：整个数据采集***的核心控制设备，与数据转发器有线或无线连接。对整个数据采集***进行时间同步，关键信息同步。监控及记录整个数据采集***的运行状态。可发送指令至特定的数据采集分站，从而控制数据采集过程进行控制。接收有数据采集分站上传的采集数据流，并转储至本地存储器中。

7)数据采集分站：可以与深度摄像机或手写终端相连接，进行数据采集，并将采集到的数据存储于自身或连接的本地存储器中。通过与数据转发器进行有线或无线连接，构建与移动工作站的通信网络，进行时间同步、关键信息上传，并受移动工作站的监控。

本发明实现多通道神经功能定量评价的流程如图3所示，主要包括：

根据医学领域中神经***运动功能检查流程，进行非干扰多模态运动数据采集，包括被采集者在自然行走、触控操作、书写状态下与神经***疾病相关的医学数据的采集。

其中，自然行走状态下与神经***疾病相关的医学数据的采集包括，快速轮替、座椅起立、3米步行等，利用深度摄像机采集检查过程中人体的步态及身体姿态的彩色图像、深度图像(如图4所示)数据。分析采集到的数据中的实时彩色图、深度图数据流，从而构建出行走时的人体三维点云数据；在此构建人体三维点云数据基础之上，提取人体运动的骨骼关节运动数据流，从而计算出相应的包括速度、周期、步高、步速步距等姿态参数数据。对于部分需要进行人工监督分析的特征，如手指捏合参数、快速轮替参数等，需要通过使用***的回放标注功能，由医学相关专业人员进行人工标注。

触控操作状态下与神经***疾病相关的医学数据的采集是利用手持终端，如手机开发针对神经***疾病的功能检测应用，如线条绘制解锁、拨号，通过监测日常手机使用中的交互动作，使用手机本身的传感器，采集声音(通话语音或医学语音检测应用)、触控压力、触控面积、手部震颤的神经***疾病相关的手部运动功能特征数据。

书写状态下与神经***疾病相关的医学数据的采集则是利用手写终端进行认知检查(包括MMSE、MOCA等)，采集书写过程中的手部运动特征数据，包括压力、轨迹、姿态倾角等基本数据，分析提取包括完成时间、错误次数、平均弯曲程度等特征数据。

通过应用该多通道神经功能定量评价***，进行正常未患病人群及神经***疾病患者的笔势、步态、语音、上肢功能检查，采集相应的医学检查数据，并计算其运动行为的特征参数值，在此基础之上，将上述特征参数值与特定的神经***疾病进行病理数据关联分析，通过对正常未患病人群的长期跟踪监测，基于正常未患病人群的特征参数值的分布区间界定出神经功能正常值范围，与相应的患病者的特征参数进行对比分析，并结合医生诊断结论进行数据标定及验证后，便可获得与疾病相关联的定量神经功能评价的模型参数，从而可用于特定神经***疾病的预测、筛查与辅助诊断功能应用。

之后对任一被检测者进行检测时，只需要通过本***进行这些特征参数的检查项目，定量化地采集相关参数数值，输入模型进行比，便可获得神经功能的定量评价结果，从而给出患病的可能性建议。

Claims (10)

1.一种多通道神经功能定量评价***，包括：人体步态及姿态数据采集分析模块，手部运动功能特征采集模块，语音特征采集模块以及多通道数据融合分析模块；

所述人体步态及姿态数据采集分析模块用于采集自然状态下人体行走时的步态及身体姿态数据并分析获得对应的特征数据；

所述手部运动功能特征采集模块用于采集触控及书写时与神经***疾病相关的手部运动功能特征数据；

所述语音特征采集模块用于采集日常对话及医学检测过程中与神经***疾病相关的语音特征数据；

所述多通道数据融合分析模块用于将所述人体步态及姿态数据采集分析模块、手部运动功能特征采集模块和语音特征采集模块获得的特征数据进行融合，并与特定神经***疾病相关联，获得神经***疾病定量评价模型参数，以用于神经功能定量评价。

2.如权利要求1所述的一种多通道神经功能定量评价***，其特征在于，所述人体步态及姿态数据采集分析模块包括布设于数据采集空间内的单个或多个深度摄像机。

3.如权利要求2所述的一种多通道神经功能定量评价***，其特征在于，所述深度摄像机采集到的步态及身体姿态数据包括彩色图像流、深度图像流、红外图像流、声音数据流和骨骼关节点姿态数据流。

4.如权利要求2所述的一种多通道神经功能定量评价***，其特征在于，所述人体步态及姿态数据采集分析模块分析得到的特征数据包括速度、加速度、轨迹、角度、时长、周期、步高、步速和步距。

5.如权利要求1所述的一种多通道神经功能定量评价***，其特征在于，所述人体步态及姿态数据采集分析模块还包括数据回放标注子模块，用于通过医学相关人员对需要进行人工监督分析的特征进行人工标注。

6.如权利要求1所述的一种多通道神经功能定量评价***，其特征在于，所述手部运动功能特征采集模块包括手持终端和手写终端，所述手持终端用于通过监测使用手持终端过程中的交互动作，通过手持终端本身的传感器采集与神经***疾病相关的手部运动功能特征数据，所述手写终端用于采集手写输入时与神经***疾病相关的手部运动功能特征数据。

7.如权利要求6所述的一种多通道神经功能定量评价***，其特征在于，所述手持终端还包括无线控制终端模块，用于对整个***进行远程操控。

8.如权利要求7所述的一种多通道神经功能定量评价***，其特征在于，所述无线控制终端模块又包括：信息录入子模块，用于对被采集者的信息进行扫描录入；量表评分录入子模块，用于录入被采集者的量表评分；检查项目的计时子模块，用于记录检查项目的时间；远程操控子模块，用于对数据采集的进程进行远程操控。

9.如权利要求1所述的一种多通道神经功能定量评价***，其特征在于，所述语音特征采集模块用于通过麦克风采集日常对话过程中及医学检测过程中的语音特征数据。

10.如权利要求1所述的一种多通道神经功能定量评价***，其特征在于，所述语音特征数据包括持续元音发音或连续语句发音。