CN109712710B - 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 - Google Patents

Abstract

本发明公开了一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，该方法主要包括建立眼球光轴、双目视轴以及头眼间相对空间关系的双球体模型、三维眼动特征提取和婴幼儿发育障碍智能识别三个部分。双球体模型是从三维眼球数据推测光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；三维眼动特征提取是指三维建模后得到新的眼动参数；婴幼儿发育障碍智能识别是指应用算法对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示,得到典型参数与特定发育功能障碍存在的关联,从而判断障碍类型。本发明克服了眼动特征获取的局限性,应用数据挖掘和人工智能技术，为更加客观、全面地评价婴幼儿认知能力的发展提供了新的技术手段。

Description

一种基于三维眼动特征的婴幼儿发育障碍智能评估方法

技术领域

本发明涉及婴幼儿发育评估领域，特别是一种基于三维眼动特征的婴幼儿发育障碍智能评估方法。

背景技术

视觉发育可塑性机制、眼球运动控制机制的研究一直是小儿眼科研究的热点。然而随着视觉发育科学的进展，其临床应用已经从眼科(眼部疾病、斜视和弱视)越来越多地延伸和交叉到发育儿科学领域。视觉是人类获取信息的主要渠道，在统合其它感知觉工作中有着重要的作用。由于婴幼儿的语言和动作尚未完全成熟，因此在能够完整进行口语表达前，视觉成为了解婴幼儿脑发育和认知发育水平的重要途径之一。

21世纪是脑科学时代，研究者尤其对儿童发育行为呈现浓厚的兴趣，目前孤独症谱系障碍(autism spectrum disorders，ASD)、发育迟缓、视力障碍、注意缺陷多动障碍(attention deficit hyperactivity disorder，ADHD)、学习障碍等相关发育障碍已成临床热点，而准确、便捷的评估技术是研究儿童发育障碍的核心。

在国外，关于眼动的研究非常广泛，从基础生理到认知水平以及应用水平，都有大量的文献和书籍。眼动研究不但可以完整地还原被试者在各个任务界面下的注视轨迹，还可以通过划分兴趣区分析被试者在各区域内容的关注度。近年来也有相关研究表明对眼动的研究已经从对眼动表象的描述转入到内部加工机制特别是高级加工机制的揭示上，探索眼动指标在视觉加工中是怎样体现的，以及视觉认知与眼动模式的关系等；因此通过三维眼动特征窥视儿童早期甚至婴幼儿期发育和认知状态，并探究二者的深层联系和对应关系，进而转化为临床上婴幼儿相关发育障碍的早期发现、早期诊断和早期干预的新技术方法。

眼动已广泛应用于学龄儿童、青少年及成人的行为和认知发育评估，但是关于婴幼儿这个群体的眼动研究及其在发育障碍中的认识尚缺乏。对婴幼儿的评估和成年人有很大不同,目前市面上的眼动研究很多只采用二维眼动数据来进行研究,而且在三维修正双目视轴的方法的测量误差较本发明更大。成年人拥有较强的自我表达能力，可以在很大程度上准确描述自己的感受，在接受仪器检测时也能够很好地进行主动配合。而接受视功能障碍评估与康复的患儿往往仍处于婴幼儿时期，尚无法通过语言等形式进行准确的表达，且容易受恐惧、害羞等情绪的影响不配合评估，即使采用仪器进行检测也效果不佳。由于这些问题的存在,则需要建立专门针对婴幼儿的三维眼动特征模型。而且传统上医师可以展示特定的图形或动画，对患儿进行视觉刺激，肉眼观察眼动，虽然简单易行，但只能对眼动进行比较粗略的了解，无法准确客观地反映眼动情况,容易导致对发育障碍的诊断发生偏差。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于三维眼动特征的婴幼儿发育障碍智能评估方法,利用该方法可以建立眼球光轴、双目视轴以及头眼间相对空间关系建立三维眼动模型,并利用非约束捕获实现对婴幼儿的三维眼动特征参数进行提取,同时对眼动数据进行清洗和大数据挖掘,对发育障碍进行识别。

为了实现上述技术目的，本发明的技术方案为：

一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，具体包含如下步骤：

步骤1，通过三维眼球数据推测眼球光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；

步骤2，提取包括双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化关系；

步骤3，对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示，进而得到典型参数与特定发育功能障碍存在的关联，从而判断障碍类型。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，所述步骤1具体包含如下步骤:

步骤1.1，通过对巩膜与角膜的三维形貌测量，可分别拟合出2个部分重叠的球体，其中，巩膜、角膜各自所在球体的球心连线即为眼球的光轴；

步骤1.2，通过RGB-D相机获得部分巩膜和角膜的上百个深度信息数据点,进而获得光轴与双目视轴；

步骤1.3，选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象头部姿态进行估计，由于额头易受头发遮挡，特征点均选取自眉弓以下的区域，其中，鼻梁点、鼻尖点、下巴凸起、颧骨点基本处于头部的正面，为核心特征点；耳屏点、下巴角处于面部的2侧，为辅助特征点，当核心特征点处于RGB-D相机观测视场内时，以核心特征点实现头部姿态重构，当被观测对象头部偏转角度较大，遮挡部分核心特征点时，辅助特征点往往处于较好的观测角度，此时可借由核心特征点与辅助特征点间的空间关系，实现对头部姿态的推测，连接鼻梁点和下巴凸起点做三维空间中的一条直线，连接左右颧骨点做三维空间中的另一条直线，过鼻尖点生成一条垂直于上述2条直线的向量，作为对头部正面法向量的估计，则根据该法向量，可修正眼球模型得到的光轴，获得对双目双目视轴的准确估计，进而通过双目视轴与头部正面法向量间的空间联动关系，对斜视、视场狭小等视功能障碍进行评估；

步骤1.4、将步骤1.1、步骤1.2、步骤1.4结合起来，实现眼球光轴到双目视轴的精确修正，进而建立一个精确的眼球光轴、双目视轴以及头眼间相对空间关系的模型。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，在步骤2中，

根据面部的深度以及步骤1获取的眼球光轴、双目双目视轴以及头眼间相对空间关系的模型,得到双目双目视轴交点与目标物体三维空间关系、双目双目视轴与面部法向量三维空间关系和双目双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维眼动参数。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，眼动数据包含总注视次数、兴趣区内注视次数、注视持续时间、首次注视时间、凝视时间、注视的空间密度、目标注视率、注视顺序、眼跳次数、眼跳幅度、回视型眼跳、方向改变型眼跳、扫描持续时间、扫描路径长度、瞳孔直径变化、双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量在大范围目标物追踪过程中夹角变化、反向眼跳错误率、眼震、凝视点数、反应探索评分。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，所述步骤3具体包含如下步骤：

步骤4.1，采集和记录临床诊断明确的婴幼儿发育障碍，提取其三维眼动特征；

步骤4.2，采用聚类分析，将属性约简后的婴幼儿眼动数据加上专家的诊断结果标签，形成可供后续分类器训练的标准样本；

步骤4.3，将标准样本送入支持向量机方法中进行训练，获取SVM模型,从而智能化地给出对被观测对象是否存在发育障碍的判断；

步骤4.4，若出现对面部微表情等难以进行建模表述的信息的提取时,采用卷积神经网络,训练后不仅能够学习到图像中的特征，并且完成对图像特征的提取和分类。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，在步骤1.1中，双目双目视轴与眼球光轴存在一定的夹角,称为kappa角,该kappa角在水平方向上的夹角为5°,垂直方向上的夹角为2～3°。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，在步骤4.1中，婴幼儿发育障碍包含孤独症谱系障碍、发育迟缓、视力障碍、注意缺陷多动障碍、学习障碍组。

作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案，在步骤4.2中，诊断结果标签为是否患病，若患病，其疾病类型及患病阶段。

本发明采用上述技术方案带来的有益效果：

1、本发明通过分析三维眼动特征窥视婴幼儿期的发育和认知状态,丰富了对发育本质的理解；

2、本发明采用了非约束式捕捉眼动特征的方法,解决婴幼儿眼动数据获取的难题，降低眼动研究的技术成本；

3、本发明建立了眼球光轴、双目视轴以及头眼间相对空间关系的模型,更加精准地获知双目球体视觉关注点与目标物体之间的空间对应关系,从而提取出了不同于二维的三维眼动特征；

4、本发明应用数据挖掘和人工智能技术，实现了对海量眼动数据进行典型参数与特定发育障碍关联的识别,可以用于构建一个婴幼儿智能化地三维眼动评估平台，并应用在婴幼儿相关发育障碍早期筛查、评估中，作为临床的辅助诊断方法，为个体化、精准训练与康复指导提供依据，并推广运用到基层，以达到发育障碍的早期筛查和早期干预，实现功能康复的最大化。

附图说明

图1是本发明的***组成示意图；

图2(a)是简化的双球体眼球模型；

图2(b)是非约束式三维眼动特征捕获平台；

图2(c)是被观测对象面部三维特征点的选取；

图2(d)是基于三维特征点的头部姿势估计模型；

图2(e)是关于双目视轴交点与目标物体空间关系的评估模型；

图3是三维眼动数据的SVM分类器结构。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示是本发明的***组成示意图，包括建立眼球光轴、双目视轴以及头眼间相对空间关系的模型、三维眼动特征提取和对眼动特征参数进行识别三个部分。

双球体模型可以从三维眼球数据推测光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；三维眼动特征提取是指在三维建模后,发现了三个新的眼动参数；婴幼儿发育障碍智能识别是指应用算法对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示,得到典型参数与特定发育功能障碍存在的关联,从而判断障碍类型。

所述在国内实现对婴幼儿三维眼动特征的捕获,其非约束特性特别适合0-3岁低龄儿童,解决了婴幼儿眼动数据获取的难题。所述非约束式捕获的平台搭建需采用RGB-D相机、显示屏和主控计算机。其中显示屏正对被观测对象面部，可在计算机控制下显示静态图片或动态画面，实现受控的视觉刺激。RGB-D相机与显示器大致处于同侧，观察被观测对象的面部，同时获得深度与纹理信息。显示屏与RGB-D相机的空间关系可通过标定获得，且在设备安装后保持固定。

其中建模的具体操作和依据如图3所示:

图2(a)展示了对人眼解剖模型简化后的双球体眼球模型。由于黄斑、中央凹深藏在眼球内部，因此通常无法从外部对其进行观测从而直接获取双目视轴。但是从眼球的外部形貌是可以推算其光轴的。这里我们近似认为巩膜所包含的眼球部分为一个圆球，而角膜则是另一个较小圆球暴露在巩膜之外的部分。因此通过对巩膜与角膜的三维形貌测量，就可以分别拟合出2个部分重叠的球体。而巩膜、角膜各自所在球体的球心连线即为眼球的光轴。由于中央凹并不在人眼光轴轴线上，所以双目视轴与光轴方向存在一定的夹角,也称为kappa角。Kappa角的取值因人而异，通常认为眼睛双目视轴与光轴在水平方向上的夹角大约为5°，垂直方向上的夹角大约为2～3°。根据这一经验取值，只要获得了被观测对象眼球的光轴和头部姿态，就可以很好地估计出其真正的双目视轴参数。

图2(b)展示了非约束式三维眼动特征捕获平台,其核心部件为RGB-D相机、显示屏以及主控计算机。其中显示屏正对被观测对象面部，可在计算机控制下显示静态图片或动态画面，实现受控的视觉刺激。RGB-D相机与显示器大致处于同侧，观察被观测对象的面部，同时获得深度与纹理信息。其中纹理信息可借鉴传统的影像分析方法，提取二维眼动特征。显示屏与RGB-D相机的空间关系可通过标定获得，且在设备安装后保持固定。基于非约束式捕获,RGB-D相机就可以获得了部分巩膜和角膜的上百个深度信息数据点,由于任意4个点足以确定球体的方程,从而可以拟合出巩膜和角膜各自所在的球体方程,可以获得光轴与双目视轴。

根据上述模型,得到双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维眼动参数,且进行医学论证后确实与婴幼儿发育功能障碍有关系。

图2(c)展示了被观测对象面部三维特征点的选取。由于Kappa角在垂直和水平2个方向上并不一致，因此只有获得被观测对象的头部姿态，才能够实现光轴到双目视轴的精确修正。选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象头部姿态进行估计。由于额头易受头发遮挡，特征点均选取自眉弓以下的区域。其中鼻梁点、鼻尖点、下巴凸起、颧骨点基本处于头部的正面，为核心特征点。耳屏点、下巴角处于面部的2侧，为辅助特征点。当核心特征点处于RGB-D相机观测视场内时，以核心特征点实现头部姿态重构。当被观测对象头部偏转角度较大，遮挡部分核心特征点时。辅助特征点往往处于较好的观测角度。此时可借由核心特征点与辅助特征点间的空间关系，实现对头部姿态的推测。

图2(d)展示了基于三维特征点的头部姿势估计模型。连接鼻梁点和下巴凸起点做三维空间中的一条直线，连接左右颧骨点做三维空间中的另一条直线。过鼻尖点生成一条垂直于上述2条直线的向量，作为对头部正面法向量的估计。则根据该法向量，可以修正眼球模型得到的光轴，获得对双目视轴的准确估计。且可以进而通过双目视轴与头部正面法向量间的空间联动关系，对斜视、视场狭小等视功能障碍进行评估。

图2(e)展示了由上述图2中的(a)(b)(c)(d)中的原理整合而成的关于双目视轴交点与目标物体空间关系的评估模型。

图3展示了三维眼动数据的SVM分类器结构。如图1所示,眼动参数与特定视功能障碍存在关联,但是这并不意味着一定能够准确地基于眼动参数实现对视功能障碍的准确识别。参与决策的参数越多，原理上类型识别的准确性就可以越高，但是确定各个参数间关系与权重的工作量也就同步地呈几何量地增长。为了解决这一问题，我们需要采用一种适合三维眼动数据的属性约简算法。我们可以采用类似聚类的这种方法进行约简。通过聚类完分析实现对三维眼动数据的预分析后，就要进一步进行构建智能化的分类器。在这里，可以采用SVM的这样方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而在样本量较少的情况下，也可以获得良好的训练效果。因此也设计了一种针对三维眼动数据的SVM分类器,其结构如图3所示。在训练阶段，来自三维眼动数据库的标准训练样本经过预处理与特征提取，配合专业医师的评估结论，作为眼动分类器模型的训练输入参数。分类器的训练一旦完成，则可以接收经过新采集得到且经过预处理的三维眼动数据，在没有人工参与的情况下，智能化地给出对被观测对象是否存在视功能障碍的判断，对于存在视功能障碍的患儿，还将进一步给出对疾病类型和发展阶段的评估结果。

在采集三维眼动特征的过程中,不仅能够获得被测对象面部的深度信息，还能够同步获得其在可见光波段的成像结果。对成像数据进行分析，可以获得诸如微表情等额外的信息，从而对三维深度信息形成很好的补充。这就涉及到二维图像特征的提取与分类。在这里，我们可以采用卷积神经网络(Convolutional Neural Network，CNN)的这样方法，提供了一种端到端的学习模型，模型中的参数可以通过传统的梯度下降方法进行训练，经过训练的卷积神经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类。作为神经网络领域的一个重要研究分支，卷积神经网络的特点在于其每一层的特征都由上一层的局部区域通过共享权值的卷积核激励得到。这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达。因而该方案特别适合对面部微表情等难以进行建模表述的信息的提取。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于:具体包含如下步骤：

步骤1，通过三维眼球数据推测眼球光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；

步骤2，提取包括双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化关系；

步骤3，对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示，进而得到典型参数与特定发育功能障碍存在的关联，从而判断障碍类型；

所述步骤1具体包含如下步骤:

步骤1.1，通过对巩膜与角膜的三维形貌测量，分别拟合出2个部分重叠的球体，其中，巩膜、角膜各自所在球体的球心连线即为眼球的光轴；

步骤1.2，通过RGB-D相机获得部分巩膜和角膜的上百个深度信息数据点,进而获得光轴与双目视轴；

步骤1.3，选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象头部姿态进行估计，由于额头易受头发遮挡，特征点均选取自眉弓以下的区域，其中，鼻梁点、鼻尖点、下巴凸起、颧骨点为核心特征点；耳屏点、下巴角处于面部的2侧，为辅助特征点，当核心特征点处于RGB-D相机观测视场内时，以核心特征点实现头部姿态重构，当部分核心特征点被遮挡时，借由核心特征点与辅助特征点间的空间关系，实现对头部姿态的推测，连接鼻梁点和下巴凸起点做三维空间中的一条直线，连接左右颧骨点做三维空间中的另一条直线，过鼻尖点生成一条垂直于上述2条直线的向量，作为对头部正面法向量的估计，则根据该法向量，修正眼球模型得到的光轴，获得对双目视轴的准确估计，进而通过双目视轴与头部正面法向量间的空间联动关系，对包括斜视、视场狭小在内的视功能障碍进行评估；

步骤1.4、将步骤1.1、步骤1.2、步骤1.4结合起来，实现眼球光轴到双目视轴的精确修正，进而建立一个精确的眼球光轴、双目视轴以及头眼间相对空间关系的模型；

所述步骤3具体包含如下步骤：

步骤3.1，采集和记录临床诊断明确的婴幼儿发育障碍，提取其三维眼动特征；

步骤3.2，采用聚类分析，将属性约简后的婴幼儿眼动数据加上专家的诊断结果标签，形成可供后续分类器训练的标准样本；

步骤3.3，将标准样本送入支持向量机方法中进行训练，获取SVM模型,从而智能化地给出对被观测对象是否存在发育障碍的判断；

步骤3.4，若出现对面部微表情等难以进行建模表述的信息的提取时,采用卷积神经网络,训练后不仅能够学习到图像中的特征，并且完成对图像特征的提取和分类。

2.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于：在步骤2中，根据面部的深度以及步骤1获取的眼球光轴、双目视轴以及头眼间相对空间关系的模型,得到双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维眼动参数。

3.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，眼动数据包含总注视次数、兴趣区内注视次数、注视持续时间、首次注视时间、凝视时间、注视的空间密度、目标注视率、注视顺序、眼跳次数、眼跳幅度、回视型眼跳、方向改变型眼跳、扫描持续时间、扫描路径长度、瞳孔直径变化、双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量在大范围目标物追踪过程中夹角变化、反向眼跳错误率、眼震、凝视点数、反应探索评分。

4.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤1.1中，双目视轴与眼球光轴存在一定的夹角,称为kappa角,该kappa角在水平方向上的夹角为5°,垂直方向上的夹角为2～3°。

5.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤3.1中，婴幼儿发育障碍包含孤独症谱系障碍、发育迟缓、视力障碍、注意缺陷多动障碍、学习障碍组。

6.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤3.2中，诊断结果标签为是否患病，若患病，其疾病类型及患病阶段。

Images