CN113065398B - 一种眼球震颤监测方法及*** - Google Patents

一种眼球震颤监测方法及*** Download PDF

Info

Publication number
CN113065398B
CN113065398B CN202110240318.7A CN202110240318A CN113065398B CN 113065398 B CN113065398 B CN 113065398B CN 202110240318 A CN202110240318 A CN 202110240318A CN 113065398 B CN113065398 B CN 113065398B
Authority
CN
China
Prior art keywords
eyeball
nystagmus
camera
monitoring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110240318.7A
Other languages
English (en)
Other versions
CN113065398A (zh
Inventor
雷诚
梅礼晔
刘胜
翁跃云
赵一霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110240318.7A priority Critical patent/CN113065398B/zh
Publication of CN113065398A publication Critical patent/CN113065398A/zh
Application granted granted Critical
Publication of CN113065398B publication Critical patent/CN113065398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明属于眼科监测技术领域，公开了一种眼球震颤监测方法及***，受试者坐在转动座椅上并佩戴头戴式相机，头戴式相机包括十字结构光，采集得到眼球采集图像；通过图像处理算法模块进行眨眼检测；若判断受试者处于眨眼状态，则不进入眼球震颤监测阶段，并在眨眼后自动恢复眨眼检测；若判断受试者处于非眨眼状态，则进入眼球震颤监测阶段；进入眼球震颤监测阶段后，通过图像处理算法模块对十字结构光进行检测得到眼球参考中心，通过图像处理算法模块对眼球的水平位移、垂直位移进行测量获得眼球的三维信息，计算眼球的旋动角度得到眼球震颤监测结果；通过上位机对眼球震颤监测结果进行显示。本发明能够提高眼球震颤监测精度。

Description

一种眼球震颤监测方法及***
技术领域
本发明属于眼科监测技术领域，更具体地，涉及一种眼球震颤监测方法及***。
背景技术
眼震是一种不自主、快速、规律性、震荡性眼球运动，一般眼球运动分为两部分：快相运动与慢相运动：眼球朝一个方向运动速度较快，称为快相；而朝一个方向速度较慢，称为慢相。根据快慢相的不同可以区分为不同眼震类型，其中正常人生理性眼震可以在自然或实验刺激条件下诱发出。对眼球震颤进行准确监测具有重要研究意义。
现有技术通常基于红外视频眼震视图或眼震电图进行研究，以分析眼球运动的水平成份和旋转成份为主，而旋转成份往往被忽略掉。当缺失眼震的旋转成份时，智能诊断率严重低于人工诊断率。眼球运动旋转成份的分析技术也是一个非常难以攻克的技术难关，严重影响相关医疗设备的开发。此外，在人眼出现眨眼的情况，现有技术采用的机器往往不能继续监测；而对于正常的眼震监测时，往往需要长达10分钟，在这期间，人体保持不动是非常困难的，难免会出现视觉疲劳，出现头部运动、瞳孔出现缩放等行为，难以得到准确的监测结果。而实际应用中对眼球震颤的监测指标要求非常高，通常要求检测精度大于100Hz，位移变化精度达到1微米级别，转动成分角度变化精度达到0.1°，现有技术难以满足上述精度要求。
发明内容
本发明通过提供一种眼球震颤监测方法及***，解决现有技术中眼球震颤监测的精度较低的问题。
本发明提供一种眼球震颤监测方法，包括以下步骤：
步骤1、受试者坐在转动座椅上，所述转动座椅位于暗室环境中，所述转动座椅上设置有头部固定装置；
步骤2、受试者佩戴头戴式相机，所述头戴式相机包括十字结构光；通过以不同速度转动所述转动座椅给予受试者的头部以运动刺激，通过所述头戴式相机对受试者的眼球数据进行采集，得到眼球采集图像；
步骤3、基于所述眼球采集图像，通过图像处理算法模块进行眨眼检测；若判断受试者处于眨眼状态，则不进入眼球震颤监测阶段，并在眨眼后自动恢复眨眼检测；若判断受试者处于非眨眼状态，则进入眼球震颤监测阶段；
步骤4、进入眼球震颤监测阶段后，通过图像处理算法模块对所述十字结构光进行检测得到眼球参考中心；结合所述眼球参考中心，通过图像处理算法模块对眼球的水平位移、垂直位移进行测量，获得眼球的三维信息，计算眼球的旋动角度，得到眼球震颤监测结果；
步骤5、通过上位机对所述眼球震颤监测结果进行显示。
优选的，所述步骤2中，受试者还佩戴有定制隐形眼镜，所述定制隐形眼镜的形状与眼球相同，所述定制隐形眼镜包含瞳孔图像及统一背景。
优选的，所述步骤2中，所述头戴式相机包括第一双目相机、第二双目相机、模组；所述第一双目相机、所述第二双目相机分别对应左眼、右眼；所述第一双目相机、所述第二双目相机的结构相同，均包含一个双目红外摄像头和一个红外光源，所述双目红外摄像头上外加有红外滤光片，所述双目红外摄像头采用光学防抖镜头，所述红外光源为红外十字结构光；所述模组用于对所述第一双目相机、所述第二双目相机中的所述双目红外摄像头进行控制。
优选的，所述步骤3中，所述对眨眼进行检测包括以下子步骤：
对所述眼球采集图像进行高斯模糊、图像阈值二值化处理，利用形态学操作移除小面积像素；
进行图像轮廓查找得到轮廓信息，根据所述轮廓信息拟合圆、进行霍夫圆检测；
基于预设条件判断受试者处于眨眼状态或非眨眼状态；
其中，所述预设条件为若满足以下四个条件，则判定为非眨眼状态：
拟合圆的面积大于受试者瞳孔像素面积的80％；
霍夫检测圆的个数为1；
上下帧结构相似度指标SSIM大于0.9；
上下眼皮特征点平均距离大于受试者眼球直径的80％。
优选的，构建深度神经网络模型，利用所述深度神经网络模型对上下眼皮特征点进行检测。
优选的，所述步骤4中，对十字结构光进行检测包括以下子步骤：
获取单帧的眼球采集图像，对所述单帧的眼球采集图像进行高斯模糊、阈值二值化处理，得到一个只包含十字结构光的二值图像；
对所述二值图像进行霍夫直线检测得到十字交点，将所述十字交点作为所述眼球参考中心；
结合所述眼球参考中心截取眼眶，得到校正定位后的眼球图像。
优选的，所述步骤4中，对所述校正定位后的眼球图像进行高斯模糊、阈值二值化处理，利用形态学操作移除小面积像素；
进行图像轮廓查找，根据轮廓拟合圆，计算圆的面积，将最大面积的圆作为瞳孔；
标记瞳孔轮廓，计算瞳孔中心位置；
计算非眨眼状态时前后帧的水平位移、垂直位移；
计算位移变化的加速度；加速度上升则为快相，加速度降低则为慢相。
优选的，针对所述第一双目相机，在所述第一双目相机坐标系中，十字结构光的中心点P的空间位置坐标为(XC,YC,ZC)，PL、PR分别为左摄像头、右摄像头中所述中心点P的坐标，分别用(uL,vL)、(uR,vR)表示所述中心点P在左摄像头图像坐标系、右摄像头图像坐标系中的坐标，所述中心点P和其左摄像头图像中投影点的位置关系如下：
Figure BDA0002961969120000031
式中，(u0,v0)是十字结构光的中心点在像素坐标系中的坐标，也为眼球的固定中心坐标；f为双目相机的焦距，T为双目相机的标定参数，定义d＝uL-uR作为视差，对于所述第一双目相机的相机坐标系，所述中心点P的三维坐标为：
Figure BDA0002961969120000032
所述中心点P的三维坐标作为左眼瞳孔中心的三维坐标；
针对所述第二双目相机，采用和所述第一双目相机相同的方法得到右眼瞳孔中心的三维坐标；
根据所述左眼瞳孔中心的三维信息、所述右眼瞳孔中心的三维坐标，计算出X、Y方向的反正切角度作为眼球的旋动角度。
优选的，所述眼球震颤监测结果包括：眨眼次数、位移变化曲线、角度变化曲线、眨眼位置曲线；
若判断为眨眼状态，则不进行眼球震颤相关位移变量计算，当前帧的位移量为眨眼前一帧数值，所述眨眼位置曲线的当前数值也为眨眼前一帧位移变量数值；若判断为非眨眼状态时，所述眨眼位置曲线的当前数值记为0。
本发明提供一种眼球震颤监测***，包括：转动座椅、头戴式相机、图像处理算法模块、上位机；所述眼球震颤监测***用于实现上述的眼球震颤监测方法中的步骤。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在发明中，受试者坐在转动座椅上，转动座椅位于暗室环境中且设置有头部固定装置；受试者佩戴头戴式相机，头戴式相机包括十字结构光；通过以不同速度转动转动座椅给予受试者的头部以运动刺激，通过头戴式相机对受试者的眼球数据进行采集，得到眼球采集图像；基于眼球采集图像，通过图像处理算法模块进行眨眼检测；若判断受试者处于眨眼状态，则不进入眼球震颤监测阶段，并在眨眼后自动恢复眨眼检测；若判断受试者处于非眨眼状态，则进入眼球震颤监测阶段；进入眼球震颤监测阶段后，通过图像处理算法模块对所述十字结构光进行检测得到眼球参考中心；结合眼球参考中心，通过图像处理算法模块对眼球的水平位移、垂直位移进行测量，获得眼球的三维信息，计算眼球的旋动角度，得到眼球震颤监测结果；通过上位机对所述眼球震颤监测结果进行显示。本发明可以稳定、实时地监测眼球震颤，能够克服头部运动、瞳孔缩放、镜头抖动等因素的干扰，实现精确的监测。
附图说明
图1为本发明实施例提供的一种眼球震颤监测***的框架示意图；
图2为本发明实施例提供的一种眼球震颤监测方法中进行图像采集的流程图；
图3为本发明实施例提供的一种眼球震颤监测方法中进行图像分析的流程图；
图4为本发明实施例提供的一种眼球震颤监测方法中进行上位机显示的流程图；
图5为本发明实施例提供的一种眼球震颤监测方法中采用的人眼特征点检测模型与示例；其中，图5(a)为人眼特征点检测模型，图5(b)为人眼特征点检测示例；
图6为本发明实施例提供的一种眼球震颤监测方法进行眼球眨眼检测的流程图；
图7为本发明实施例提供的一种眼球震颤监测方法定位眼球位置的流程图；
图8为本发明实施例提供的一种眼球震颤监测方法进行眼球水平、垂直方向位移测量的流程图；
图9为本发明实施例提供的一种眼球震颤监测***中的双目结构光相机的示意图；
图10为本发明实施例提供的一种眼球震颤监测***中的双目结构光相机对应的双目立体视觉模型。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
实施例1提供一种眼球震颤监测方法，参见图1至图10，主要包括以下步骤：
步骤1、受试者坐在转动座椅上，所述转动座椅位于暗室环境中，所述转动座椅上设置有头部固定装置。
步骤2、受试者佩戴头戴式相机，所述头戴式相机包括十字结构光；通过以不同速度转动所述转动座椅给予受试者的头部以运动刺激，通过所述头戴式相机对受试者的眼球数据进行采集，得到眼球采集图像。
其中，所述头戴式相机包括第一双目相机、第二双目相机、模组；所述第一双目相机、所述第二双目相机分别对应左眼、右眼；所述第一双目相机、所述第二双目相机的结构相同，均包含一个双目红外摄像头和一个红外光源，所述双目红外摄像头上外加有红外滤光片，所述双目红外摄像头采用光学防抖镜头，所述红外光源为红外十字结构光；所述模组用于对所述第一双目相机、所述第二双目相机中的所述双目红外摄像头进行控制。
优选的方案中，受试者还佩戴有定制隐形眼镜，所述定制隐形眼镜的形状与眼球相同，所述定制隐形眼镜包含瞳孔图像及统一背景。
步骤3、基于所述眼球采集图像，通过图像处理算法模块进行眨眼检测；若判断受试者处于眨眼状态，则不进入眼球震颤监测阶段，并在眨眼后自动恢复眨眼检测；若判断受试者处于非眨眼状态，则进入眼球震颤监测阶段。
具体的，所述对眨眼进行检测包括以下子步骤：
对所述眼球采集图像进行高斯模糊、图像阈值二值化处理，利用形态学操作移除小面积像素；
进行图像轮廓查找得到轮廓信息，根据所述轮廓信息拟合圆、进行霍夫圆检测；
基于预设条件判断受试者处于眨眼状态或非眨眼状态。
步骤4、进入眼球震颤监测阶段后，通过图像处理算法模块对所述十字结构光进行检测得到眼球参考中心；结合所述眼球参考中心，通过图像处理算法模块对眼球的水平位移、垂直位移进行测量，获得眼球的三维信息，计算眼球的旋动角度，得到眼球震颤监测结果。
具体的，对十字结构光进行检测包括以下子步骤：
获取单帧的眼球采集图像，对所述单帧的眼球采集图像进行高斯模糊、阈值二值化处理，得到一个只包含十字结构光的二值图像；
对所述二值图像进行霍夫直线检测得到十字交点，将所述十字交点作为所述眼球参考中心；
结合所述眼球参考中心截取眼眶，得到校正定位后的眼球图像。
步骤5、通过上位机对所述眼球震颤监测结果进行显示。
实施例2：
实施例2提供一种眼球震颤监测***，参见图1，包括：转动座椅、头戴式相机、图像处理算法模块、上位机；所述眼球震颤监测***用于实现如实施例1所述的眼球震颤监测方法中的步骤。
下面对本发明做进一步的说明。
一种眼球震颤监测方法，涉及以下内容：
(1)受试者需要坐在转动座椅，用于给予头部运动刺激。
受试者需要坐在转动座椅和可控光线暗室中用于给予头部运动刺激，转动座椅需要可以调控转动速度以及方向，可以随意的设置转动加速等，转动座椅上需要有固定头部装置，防止头部随意摇动，造成检测精度下降。暗室灯光可控，在受试者进行眼球震颤测试时，需要适当调整灯光亮度。
(2)受试者佩戴头戴式相机(具体可为头戴式光学防抖双目红外结构光相机)，以获取受试者的眼球采集图像。
(2.1)受试者佩戴头戴式光学防抖双目红外结构光相机，每个眼球需要一个双目相机拍摄，即总共需要有4个摄像头，相机的像素尺寸需要达到1微米，其成像速度需要达到100帧/s；其红外相机包含镜头上会外加一个红外滤光片，可以滤除眼球其他部分成像干扰，只对瞳孔进行清晰成像，可以更好了辅助进行定位；头戴式相机需要可以固定相机，保持双目相机物理位置不变。相机模型结构示意如图9所示，分为左眼与右眼，左眼部分包含一个双目摄像头和一个红外光源，右眼部分亦是；中间为模组，是对摄像头控制芯片部分，其内置陀螺仪等触感器以及激光保护装置等。
(2.2)相机为光学防抖镜头，可以对镜头的抖动方向及位移量加以补偿，从而克服因相机的振动产生的影像模糊，具体做法时将电荷耦合器件(CCD)先固定在一个能上下左右移动的支架上，通过陀螺仪感应相机抖动的方向及幅度，然后传感器将这些数据传送至处理器进行筛选、放大，计算出可以抵消抖动的CCD移动量。
(2.3)定制结构光技术，其光源为红外十字结构光，便于定位中心点，从而可以固定一个眼球参考中心，以滤除头部运动干扰。
(3)受试者可佩戴定制隐形眼睛，用于防止因瞳孔受光线刺激，导致瞳孔有缩放变换，以致于瞳孔检测检测精度下降，而影响眼球变化位置测量。
具体的，所述定制隐形眼镜为采用激光加工方式定制，基本形状与眼球相同，但是只包含瞳孔图像，其他均为统一背景，可以防止因瞳孔收缩而导致瞳孔检测定位精度下降。
(4)构建眼球震颤监测算法，对眼球的水平、垂直方向快慢相位移、眼球旋转动角度变化进行监测，以及设计算法进行眨眼检测，对***进行调控，使其眨眼后能自动恢复眨眼检测，提高监测的稳定性。
(4.1)构建眼球眨眼状态检测算法模型。
眨眼检测是实现眼球震颤正常检测的第一步，是保证***正常运行的第一步，在本发明中，采用多种方式结合的办法进行眼球眨眼检测判断，具体的算法流程如图6所示，满足非眨眼状态需要满足四个条件：拟合圆的面积大于受试者瞳孔像素面积80％、霍夫检测圆个数为1、上下帧结构相似度指标SSIM大于0.9、上下眼皮特征点平均距离大于受试者眼球直径的80％。
其中，对于上下眼皮特征点检测需要构建一个深度神经网络模型，如图5所示，图5(a)为人眼检测模型，首先构建一个大规模人眼数据集，然后通过深度神经网络模型训练，即可得到一个人眼检测模型。其中，人眼检测模型训练数据为干净的人眼图像，其对应标签为上下眼皮特征点坐标以及眼眶坐标。这里深度神经网络模型为任意常规的检测模型即可，其损失函数为均方差，对预测的特征的坐标及以及眼眶坐标与对应人工标定的坐标进行计算均方差误差，然后进行回归预测，最后经过大量的训练，即可以得到一个良好的人眼检测模型，如图5所示，给的一张人眼，即可输出一张包含人眼眼眶以及包含人眼特征点的图像，图5(b)为不同眼睛状态下的人眼检测结构示例。经过上述的人眼特征点检测，本发明即可以计算上下眼皮的最近相邻的特征点之间的距离，进而得到上下眼皮特征点平均距离。
最后，当判断为眨眼状态时，则不进行眼球震颤相关位移变量计算，当前帧的位移量为眨眼前一帧数值，其眨眼位置曲线的当前数值也为眨眼前一帧位移变量数值，当非眨眼状态时，则眨眼位置曲线的当前数值为0。此外，眨眼位置曲线与位移变化曲线绘制在一起，能够更好的进行监测分析。
(4.2)构建图像处理算法对十字结构光进行检测，获取中心点，从而可以固定一个眼球参考中心，以滤除头部运动干扰
当人眼判断为非眨眼状态后，则需要进行人眼震颤监测，由于在受试者进行测量的过程中，存在头部微小运动，会影响眼球位移测量，因此，有必须要对预先设定的十字结构光进行检测，获取中心点，从而可以固定一个眼球参考中心，以滤除头部运动干扰。具体为：如图7所示，为检测十字结构光，定位眼球位置的算法流程。经过红外相机成像后，其光源在图像显现白色，因此，先将图像进行高斯模糊，然后进行阈值二值化处理，此时可以初步获得一个只包含十字光源的二值图像，然后利用霍夫变化直线检测技术，可以检测到两条十字交叉的直线，最后求出两条实现的交点即可作为固定位置，每帧以此作为中心点，来截取眼眶，对于截取后眼眶则作为新的眼球图像(即校正定位后的眼球图像)，此时眼球图像的物理位置相对于中心点则是固定的，从而滤除头部运动干扰。
(4.3)构建图像处理算法对眼球的水平、垂直变化位移进行测量，并根据转动座椅的转动方向和速度确定快相与慢相。
如图8所示为眼球水平、垂直方向位移测量流程。首先，经过对十字结构光进行检测，获取中心点，从而可以固定一个眼球参考中心，以滤除头部运动干扰，得到新的眼球图像，即校正后的眼球图像，在经过眨眼状态监测后，在非眨眼状态时，对校正后的眼球图像进行高斯模糊，滤除杂质像素干扰，然后对高斯滤波后图像进行图像阈值二值化，阈值为：(图像最大像素值-图像最小像素值)/2，由于一些睫毛以及光照不均匀的影响，此时二值化图像存在杂质像素，因此采用形态学操作，移除一些小面积像素，使其二值图像尽可能准确分割瞳孔；对分割后的二值图像进行轮廓查找，然后对轮廓进行拟合圆，并计算圆的面积，将最大圆作为瞳孔；最后，计算瞳孔中心横、纵坐标，并根据此计算非眨眼状态时的水平、垂直方向位移。为了标记出快相与慢向，本发明计算了加速度，具体计算方式为1秒内帧变化量/帧速。当加速度上升时则为快相，下降时则为慢相。
(4.4)构建立体视觉算法，获取眼球的三维信息，计算眼球转动变化量。
图9为双目结构光相机，其分为左眼与右眼部分，每一部分包含一个双目相机，分别记为第一双目相机、第二双目相机。图10为双目立体视觉模型。***成像共面的2个摄像头(C1、C2)具有一致的焦距且光轴平行，在左双目摄像头相机(即所述第一双目相机)坐标系中，十字结构光的中心点P的空间位置坐标为(XC,YC,ZC)，PL、PR为左摄像头、右摄像头中中心点P的坐标，分别用(uL,vL)、(uR,vR)表示中心点P在左摄像头图像坐标系、右摄像头图像坐标系中的坐标，根据几何知识能够推导中心点P和其左摄像头图像中投影点的位置关系：
Figure BDA0002961969120000091
其中，(u0,v0)是真实坐标原点(十字结构光的中心点)在像素坐标系中的坐标，也为眼球的固定中心坐标。f为相机焦距，T为相机标定参数，定义d＝uL-uR作为视差，对于所述第一双目相机的相机坐标系，中心点P的三维坐标为：
Figure BDA0002961969120000092
上述得到的中心点P的三维坐标即为左眼瞳孔中心的三维坐标。
同理，采用相同的方法步骤，得到右眼瞳孔中心的三维坐标。最后，根据所述左眼瞳孔中心的三维信息、所述右眼瞳孔中心的三维坐标，即可以计算出X、Y方向的反正切角度作为眼球的旋动角度。
(5)采用高性能CUDA编程技术以及多线程技术优化算法检测速度，并开发可视化的眼球震颤监测***，其检测速度可达100Hz，界面可以显示眨眼次数、位移变化曲线、角度变化曲线、眨眼位置曲线，不同曲线用不同颜色表示，参见图4。
本发明实施例提供的一种眼球震颤监测方法及***至少包括如下技术效果：
有别于眼球震颤监测方法，本发明提出的方法硬件成本低，采用光学成像和图像处理技术、材料学相结合方法，可以稳定、高精度的眼球震颤实时监测，本发明采用的佩戴隐形眼镜方法、定制结构光、眨眼检测方法均是首次提出。本发明利用红外双目结构光相机，以获取包含三维信息的眼球视频成像，并利用光学防抖技术，进行稳定拍摄，利用结构光技术，使其能在眼球固定区域提供稳定的十字光源，帮助算法进行更好的辅助眼球定位，此作为中心点来截图眼眶，从而滤除头部运动干扰；通过训练一个眼部特征点检测神经网络模型，可以计算上下眼皮的间距，并结合检测到瞳孔面积大小，以判断是否眨眼，对***进行调控，使其眨眼后能自动恢复检测。利用双目立体视觉技术，获取眼球三维信息，计算其旋动信息以及水平、垂直位移变化，并建立了有效的眼球震颤监测***，提高了眼球震颤监测精度。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种眼球震颤监测方法，其特征在于，包括以下步骤：
步骤1、受试者坐在转动座椅上，所述转动座椅位于暗室环境中，所述转动座椅上设置有头部固定装置；
步骤2、受试者佩戴头戴式相机，所述头戴式相机包括十字结构光；通过以不同速度转动所述转动座椅给予受试者的头部以运动刺激，通过所述头戴式相机对受试者的眼球数据进行采集，得到眼球采集图像；
步骤3、基于所述眼球采集图像，通过图像处理算法模块进行眨眼检测；若判断受试者处于眨眼状态，则不进入眼球震颤监测阶段，并在眨眼后自动恢复眨眼检测；若判断受试者处于非眨眼状态，则进入眼球震颤监测阶段；
步骤4、进入眼球震颤监测阶段后，通过图像处理算法模块对所述十字结构光进行检测得到眼球参考中心；结合所述眼球参考中心，通过图像处理算法模块对眼球的水平位移、垂直位移进行测量，获得眼球的三维信息，计算眼球的旋动角度，得到眼球震颤监测结果；
步骤5、通过上位机对所述眼球震颤监测结果进行显示；
其中，所述头戴式相机包括第一双目相机、第二双目相机、模组；所述第一双目相机、所述第二双目相机分别对应左眼、右眼；所述第一双目相机、所述第二双目相机的结构相同，均包含一个双目红外摄像头和一个红外光源，所述双目红外摄像头上外加有红外滤光片，所述双目红外摄像头采用光学防抖镜头，所述红外光源为红外十字结构光；所述模组用于对所述第一双目相机、所述第二双目相机中的所述双目红外摄像头进行控制；
针对所述第一双目相机，在所述第一双目相机坐标系中，十字结构光的中心点P的空间位置坐标为(XC,YC,ZC)，PL、PR分别为左摄像头、右摄像头中所述中心点P的坐标，分别用(uL,vL)、(uR,vR)表示所述中心点P在左摄像头图像坐标系、右摄像头图像坐标系中的坐标，所述中心点P和其左摄像头图像中投影点的位置关系如下：
Figure FDA0003774635940000011
式中，(u0,v0)是十字结构光的中心点在像素坐标系中的坐标，也为眼球的固定中心坐标；f为双目相机的焦距，T为双目相机的标定参数，定义d＝uL-uR作为视差，对于所述第一双目相机的相机坐标系，所述中心点P的三维坐标为：
Figure FDA0003774635940000021
所述中心点P的三维坐标作为左眼瞳孔中心的三维坐标；
针对所述第二双目相机，采用和所述第一双目相机相同的方法得到右眼瞳孔中心的三维坐标；
根据所述左眼瞳孔中心的三维信息、所述右眼瞳孔中心的三维坐标，计算出X、Y方向的反正切角度作为眼球的旋动角度。
2.根据权利要求1所述的眼球震颤监测方法，其特征在于，所述步骤2中，受试者还佩戴有定制隐形眼镜，所述定制隐形眼镜的形状与眼球相同，所述定制隐形眼镜包含瞳孔图像及统一背景。
3.根据权利要求1所述的眼球震颤监测方法，其特征在于，所述步骤3中，所述眨眼检测包括以下子步骤：
对所述眼球采集图像进行高斯模糊、图像阈值二值化处理，利用形态学操作移除小面积像素；
进行图像轮廓查找得到轮廓信息，根据所述轮廓信息拟合圆、进行霍夫圆检测；
基于预设条件判断受试者处于眨眼状态或非眨眼状态；
其中，所述预设条件为若满足以下四个条件，则判定为非眨眼状态：
拟合圆的面积大于受试者瞳孔像素面积的80％；
霍夫检测圆的个数为1；
上下帧结构相似度指标SSIM大于0.9；
上下眼皮特征点平均距离大于受试者眼球直径的80％。
4.根据权利要求3所述的眼球震颤监测方法，其特征在于，构建深度神经网络模型，利用所述深度神经网络模型对上下眼皮特征点进行检测。
5.根据权利要求1所述的眼球震颤监测方法，其特征在于，所述步骤4中，对十字结构光进行检测包括以下子步骤：
获取单帧的眼球采集图像，对所述单帧的眼球采集图像进行高斯模糊、阈值二值化处理，得到一个只包含十字结构光的二值图像；
对所述二值图像进行霍夫直线检测得到十字交点，将所述十字交点作为所述眼球参考中心；
结合所述眼球参考中心截取眼眶，得到校正定位后的眼球图像。
6.根据权利要求5所述的眼球震颤监测方法，其特征在于，所述步骤4中，对所述校正定位后的眼球图像进行高斯模糊、阈值二值化处理，利用形态学操作移除小面积像素；
进行图像轮廓查找，根据轮廓拟合圆，计算圆的面积，将最大面积的圆作为瞳孔；
标记瞳孔轮廓，计算瞳孔中心位置；
计算非眨眼状态时前后帧的水平位移、垂直位移；
计算位移变化的加速度；加速度上升则为快相，加速度降低则为慢相。
7.根据权利要求1所述的眼球震颤监测方法，其特征在于，所述眼球震颤监测结果包括：眨眼次数、位移变化曲线、角度变化曲线、眨眼位置曲线；
若判断为眨眼状态，则不进行眼球震颤相关位移变量计算，当前帧的位移量为眨眼前一帧数值，所述眨眼位置曲线的当前数值也为眨眼前一帧位移变量数值；若判断为非眨眼状态时，所述眨眼位置曲线的当前数值记为0。
8.一种眼球震颤监测***，其特征在于，包括：转动座椅、头戴式相机、图像处理算法模块、上位机；
所述眼球震颤监测***用于实现如权利要求1-7中任一项所述的眼球震颤监测方法中的步骤。
CN202110240318.7A 2021-03-04 2021-03-04 一种眼球震颤监测方法及*** Active CN113065398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110240318.7A CN113065398B (zh) 2021-03-04 2021-03-04 一种眼球震颤监测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240318.7A CN113065398B (zh) 2021-03-04 2021-03-04 一种眼球震颤监测方法及***

Publications (2)

Publication Number Publication Date
CN113065398A CN113065398A (zh) 2021-07-02
CN113065398B true CN113065398B (zh) 2022-10-11

Family

ID=76559703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240318.7A Active CN113065398B (zh) 2021-03-04 2021-03-04 一种眼球震颤监测方法及***

Country Status (1)

Country Link
CN (1) CN113065398B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546884B (zh) * 2022-12-01 2023-03-14 广州视景医疗软件有限公司 一种眼球震颤识别方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104814717A (zh) * 2015-04-14 2015-08-05 赵桂萍 一种补偿式消除变***误差的眼震全图的检测方法和装置
CN107249433A (zh) * 2015-03-01 2017-10-13 诺瓦赛特有限公司 用于测量眼能动性的***和方法
WO2019010257A1 (en) * 2017-07-07 2019-01-10 Wiley William J APPLICATION TO DETERMINE READ / WORK DISTANCE
CN110325104A (zh) * 2017-03-06 2019-10-11 顺天乡大学校产学协力团 利用红外摄像机的影像眼震颤检查装置及方法
KR20210004637A (ko) * 2019-07-05 2021-01-13 순천향대학교 산학협력단 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107249433A (zh) * 2015-03-01 2017-10-13 诺瓦赛特有限公司 用于测量眼能动性的***和方法
CN104814717A (zh) * 2015-04-14 2015-08-05 赵桂萍 一种补偿式消除变***误差的眼震全图的检测方法和装置
CN110325104A (zh) * 2017-03-06 2019-10-11 顺天乡大学校产学协力团 利用红外摄像机的影像眼震颤检查装置及方法
WO2019010257A1 (en) * 2017-07-07 2019-01-10 Wiley William J APPLICATION TO DETERMINE READ / WORK DISTANCE
KR20210004637A (ko) * 2019-07-05 2021-01-13 순천향대학교 산학협력단 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A New Method to Detect Nystagmus for Vertigo Diagnosis System by Eye Movement Velocity》;Theekapun Charoenpong 等;《IAPR International Conference on Machine Vision Applications》;20150522;第174-177页； *
《视频式眼震电图在眩晕诊断中的应用》;陈东兰 等;《医疗卫生装备》;20110630;第98-117页； *

Also Published As

Publication number Publication date
CN113065398A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
Garbin et al. Openeds: Open eye dataset
US10908683B2 (en) Eye-tracking calibration
EP3355104B2 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
CN108427503A (zh) 人眼追踪方法及人眼追踪装置
CN106774863A (zh) 一种基于瞳孔特征实现视线追踪的方法
Hildreth et al. The perceptual buildup of three-dimensional structure from motion
CN109684915A (zh) 瞳孔跟踪图像处理方法
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估***
Hennessey et al. Fixation precision in high-speed noncontact eye-gaze tracking
JP2022538669A (ja) 眼追跡待ち時間向上
CN114025659A (zh) 眼睛的屈光不正确定
CN113065398B (zh) 一种眼球震颤监测方法及***
CN105996986B (zh) 一种基于多光谱检测人眼睑板腺模型的装置及其方法
CN109964230A (zh) 用于眼睛度量采集的方法和设备
CN110537895A (zh) 一种基于虚拟现实技术的视网膜检测***
Muller et al. Retinal motion statistics during natural locomotion
CN110472546A (zh) 一种婴幼儿非接触式眼动特征提取装置及方法
CN112183160A (zh) 视线估计方法及装置
CN113963416A (zh) 一种基于激光视觉反馈的眼动交互方法及***
CN110115796B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒***
CN115670370B (zh) 一种去除眼底图像玻璃体混浊斑的视网膜成像方法和装置
Xia et al. IR image based eye gaze estimation
US10188291B2 (en) Device for screening convergence insufficiency and related methods
KR102548807B1 (ko) 대상자의 참조 머리 자세를 결정하기 위한 방법 및 장치
CN107928623A (zh) 视觉恢复验光仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant