CN112587083B

CN112587083B - 视觉处理方法、装置及计算机存储介质

Info

Publication number: CN112587083B
Application number: CN202011430898.8A
Authority: CN
Inventors: 唐春月
Original assignee: Dongguan Dongquan Intelligent Technology Co ltd
Current assignee: Dongguan Dongquan Intelligent Technology Co ltd
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2023-08-15
Anticipated expiration: 2040-12-07
Also published as: CN112587083A

Abstract

本发明涉及视觉分析技术领域，公开一种视觉处理方法、装置及计算机存储介质，以提高用户用眼习惯评测及视力变化分析的便捷性。本发明方法包括：以便携式移动装置获取视场内当前被测用户观看至少两个以上已知目标点的系列眼睛图像；由所述便携式移动装置根据当前所获取的系列眼睛图像计算该被测用户的Kappa角和Hirschberg比值，并将该被测用户当前所测的Kappa角和Hirschberg比值与在先保存的历史数据进行比较分析，输出用于评测用户用眼习惯及视力的变化的分析结果。

Description

视觉处理方法、装置及计算机存储介质

技术领域

本发明涉及视觉分析技术领域，尤其涉及一种视觉处理方法、装置及计算机存储介质。

背景技术

眼睛是人观察外界物体的视觉器官。物体发出或者反射的光线通过眼球的角膜、房水、晶状体和玻璃体等透明的屈光介质，将物体成像于视网膜上，视网膜上视细胞感光后产生光化学反应，将光能转换为生物电能，引起神经兴奋并传导至大脑中枢神经，于是人就感觉看到了物体。视网膜上黄斑中央凹处视觉最为敏锐和精确，称为中心视觉。

如果只讨论眼的屈光***及其屈光作用，可以将眼视为由角膜、房水、晶状体和玻璃体等屈光介质单元组成的一组正球面透镜组合，其中房水与玻璃体折射率几乎相等，可以合并为一个介质单元。

视轴，是人的眼睛真实地观察物体的时候形成的一条光路，它从目标点G出发，通过角膜球体中心C，最后落在视网膜上，实现人眼的视觉成像。

光轴，是理想状态下，人眼的眼球中心E和角膜球体中心C的连线，从瞳孔中心P穿出来的一条光路。

其中视轴和光轴之间的夹角为kappa角。视网膜上黄斑中央凹的位置在出生之后不会改变，因此后天Kappa角的变化反映的通常是屈光介质的改变。

在现有的医疗或体检***中，借助专有检测设备可以对就诊用户的眼部参数(如kappa角等)进行单次的测评，如用于眼位偏斜测量等，但这类专有检测设备通常体型大且至少一部分需固定安装，受使用环境的制约性明显，也不便于对就诊用户的长期跟踪。

发明内容

本发明的主要目的在于公开一种视觉处理方法、装置及计算机存储介质，以提高用户用眼习惯评测及视力变化分析的便捷性。

为达上述目的，本发明公开一种视觉处理方法，包括：

以便携式移动装置获取视场内当前被测用户观看至少两个以上已知目标点的系列眼睛图像；

由所述便携式移动装置根据当前所获取的系列眼睛图像计算该被测用户的Kappa角和Hirschberg比值，并将该被测用户当前所测的Kappa角和Hirschberg(赫斯博格)比值与在先保存的历史数据进行比较分析，输出用于评测用户用眼习惯及视力的变化的分析结果。

为达上述目的，本发明还公开一种便携式移动装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。

相对应的，本发明还公开一种计算机存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述方法中的步骤。

本发明具有以下有益效果：

依托便携式移动装置用光学成像的手段非接触式捕捉用户观看已知目标点的行为，通过行为计算人体眼球形状相关参数的变化，从而实现了便捷高效地跟踪及评测用户用眼习惯及视力的变化。

同时，不同个体的注视运动特征、Kappa角和Hirschberg比值对动态行为的形成者是独特的。鉴于注视运动是人体面部不可分割的一部分，它保证了面部特征和眼睛特征属于同一人体主体，而正是这些人体主体在进行眼动行为。同时，能够进行注视的眼球运动也保证了人类主体的活跃状态和简洁性。另外，常规的成像单元可以捕捉到眼睛的运动特征和观看习惯，从而获得人脸和眼睛的特征，使得本发明应用的成本低，易于应用。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例公开的视觉处理方法的流程示意图。

图2是本发明优选实施例公开的角膜反射的相关参考点的位置的示意图。

图3是本发明优选实施例公开的计算Kappa角和Hirschberg比值的坐标系及拟合曲线示意图。其中，存在交点的两条拟合曲线所对应的采样点中白色方块对应的为角膜内沿到角膜反射点的距离，黑色方块为角膜外沿到角膜反射点的距离；最下方白色菱形代表从瞳孔中心到角膜反射点的距离，称为瞳孔角膜距离；其所拟合直线的斜率倒数为Hirschberg比值。

图4为本发明优选实施例公开的用于捕捉被测用户眼部动作的视觉目标九宫格示意图。

图5是本发明实施例一种基于红外光源计算Kappa角的模型示意图。

图6是本发明实施例又一种相机、红外光源与眼部模型的相对位置示意图。

图7为本发明实施例计算Kappa角的眼部模型示意图。

图8为本发明实施例基于4个目标点数据拟合CP半径长度的示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

本实施例公开一种视觉处理方法，如图1所示，包括：

步骤S1、以便携式移动装置获取视场内当前被测用户观看至少两个以上已知目标点的系列眼睛图像。其中，视场代表着摄像头能够观察到的最大范围，通常以角度来表示，视场越大，观测范围越大。

可选的，该便携式移动装置可以集成于手机或平板电脑上，也可以是小型的非医疗的专有设备(包括但不限于带摄像头的台式电脑等)。且优选地，在该步骤中，以非接触式地采集视场内当前被测用户观看至少两个以上已知目标点的系列眼睛图像。

步骤S2、由所述便携式移动装置根据当前所获取的系列眼睛图像计算该被测用户的Kappa角和Hirschberg比值，并将该被测用户当前所测的Kappa角和Hirschberg比值与在先保存的历史数据进行比较分析，输出用于评测用户用眼习惯及视力的变化的分析结果。

在该步骤中，Kappa角和Hirschberg比值是一种个性化的、独特的眼睛行为标记，主要与眼睛的注视行为有关。目前尚无模型拟合出Kappa角或Hirschberg比值与屈光不正的具体关系，但是对每个个体而言，Kappa角和Hirschberg比值的改变毋庸置疑代表着当前个体的屈光状态的改变。藉此，本实施例可评测的用眼习惯及视力的变化的内容包括但不限于：近视、远视、斜视、散光等。

在本实施例中，优选地，本实施例便携式移动装置携带至少一个红外光源，所述方法还包括：

在采集系列眼睛图像的过程中，由所述便携式移动装置将红外光从固定位置照射到使用者角膜表面而产生角膜反射，使得系列眼镜图像中各图像针携带该被测用户的角膜反射位置信息，所述角膜反射位置信息包括该被测用户对应各目标点的角膜内沿到角膜反射点的距离、角膜外沿到角膜反射点的距离、以及从瞳孔中心到角膜反射点的距离。

如图2所示，在多红外光源等某些情况下，可以观察到不止一种角膜反射，图3所示即当采用两个红外光源(LED灯)时可以观察到两个角膜反射点。

与上述角膜反射相对应的，如图3及图5所示，一种优选地计算Kappa角和Hirschberg比值的步骤包括：

以角膜反射位置作为视觉目标角度的函数，并以视觉目标角度为横坐标、角膜反射的位置为纵坐标，根据各目标点的视觉目标角度与对应的角膜反射位置以最小二乘法或其他线性拟合求解Kappa角和Hirschberg比值。其中，Hirschberg比值为该被测用户从瞳孔中心到角膜反射点的距离与视觉目标角度之间所拟合直线的斜率的倒数；Kappa角为角膜内沿到角膜反射点的距离曲线与角膜外沿到角膜反射点的距离曲线的交点所对应的视觉目标角度与零值之差。

与图2相对应的，本实施例可以选择第一个角膜反射作为角膜反射的计算或使用两个角膜反射点各自进行独立计算。且计算时可以选择成对的角膜第一反射点作为角膜反射点；或者选择成对的角膜第二反射点作为角膜反射点。

可选的，所述Kappa角为水平方向的Kappa角和垂直方向的Kappa角中的至少一种。同理，所述Hirschberg比值为水平方向的Hirschberg比值和垂直方向的Hirschberg比值中的至少一种。

可选的，为便于观看至少两个以上已知目标点，本实施例可以在便携式移动装置的显示界面设置如图4所示的九宫格用于捕捉被测用户的系列眼睛图像的动态变化。在本案申请人试验过程中优选的一种操作方式为：视觉目标距离被测用户约85厘米，每个数字之间的视角为5.95度，用户注视每个数字约1.5秒；从1到9的顺序；在此过程中，用户头部运动无限制。此外，在后续的数据计算过程中，还可同时计算左右眼的双目数据，并可以实现在线计算及实时反馈。

通常，光轴近似地与瞳孔轴重合，视轴近似地与视线重合。作为一种变形，如图6所示，在有红外光的场景下，对于角膜球体中心C的位置计算还可以有以下不同的设定方式：

通常通过计算机视觉的方法捕捉人脸及人眼，可以准确测得到瞳孔的中心P和角膜反射点X。相机中心O点与角膜反射点X的连线为OX，红外光源中心S点与角膜反射点X的连线为SX。OX与SX的角平分线延O点穿过角膜中心C点。CX距离与CP距离(L^CP)相同，作为一个未知参数。

藉此，通过额外方式计算出瞳孔与相机之间的距离，获取携带同一红外光源反射点的至少两个目标点的系列眼睛图像，并结合相对应的几何关系可计算出L^CP；进而计算Kappa角和Hirschberg比值。进一步的，当存在多红外光源时，获取携带各红外光源反射点的至少两个目标点的系列眼睛图像，通过反射点之间的距离与实际光源之间的距离的比例关系计算出瞳孔与相机之间的距离。

上述图5和图6的两种方式需红外光源配套。为摆脱红外光源依赖，本实施例还可以采用下述方式配合计算该被测用户的Kappa角和Hirschberg比值。详述如下：

本实施例中，参照图7，视轴是人的眼睛真实地观察物体的时候形成的一条光路，它从目标点G出发，通过角膜球体中心C，最后落在视网膜上，实现人眼的视觉成像。光轴，是理想状态下，人眼的眼球中心E和角膜球体中心C的连线，从瞳孔中心P穿出来的一条光路。因为视网膜的位置和眼球晶状体的形状具有个体差异，往往视轴和光轴并不会重合，它们的夹角就是我们所讨论的Kappa角。通过计算机视觉的方法捕捉人脸及人眼，可以准确测得瞳孔中心P的位置，关键在于求出眼球中心E的位置，这样通过E和P的连线可以获得光轴。对于视轴的计算，目标点位置G已知，关键在于求出角膜球体中心C的位置。从而通过角膜球体中心C和目标点G的连线获得视轴。

对于角膜球体中心C的位置计算可以有不同的设定方式。藉此，作为摆脱红外光源依赖的一种变形，本实施例计算被测用户的Kappa角的步骤具体也可以是：

1、通过计算机视觉的方法捕捉人脸及人眼，准确测得瞳孔中心P的位置，以及根据面部内外眼角的位置点获得内外眼角中间点M。

2、把M点到眼球中心E的相对位置设为V^ME；V^ME对应的三维向量分别为V^MEx、V^MEy、V^MEz；将眼球中心E到角膜球体中心C的距离长度记为L^EC，角膜球体中心C到瞳孔中心P的距离长度记为L^CP。

3、联立被测用户面向相应数量目标点的位置关系建立方程组求解所述V^MEx、V^MEy、V^MEz、L^EC、L^CP及Kappa角的两个参数。

当上述2和3中的参数都作为未知数时，一共有7个未知参数，因此至少需要7个目标点的位置来形成方程组解出未知参数。

作为一种简化，参考眼球模型，可以将眼球中心E到角膜球体中心C的距离长度L^EC、以及角膜球体中心C到瞳孔中心P的距离长度L^CP作为已知参数；藉此，需要至少五个目标点来组成方程组解出剩余未知参数。

更进一步的，参考眼球模型，还可以将眼球中心E到角膜球体中心C的距离长度L^EC、角膜球体中心C到瞳孔中心P的距离长度L^CP、以及M点到眼球中心E的相对位置设为V^ME一同作为已知参数。藉此，需要至少三个目标点来组成方程组解出剩余未知参数。

可选的，在联立被测用户面向相应数量目标点的位置关系建立方程组求解所述V^MEx、V^MEy、V^MEz、L^EC、L^CP及Kappa角的两个参数时还包括：通过至少三个目标点的位置拟合得到角膜球体的半径L^CP。例如，如图8所示，其是在四个目标点的情况下，使用CP半径4.5到6.1的一个优化过程，发现当CP半径为5.1的时候视轴对准四个目标点的整体误差最低。因此CP的半径长度被定为5.1。获得角膜球体的半径CP之后，可以在ECP的连线上算得角膜球体中心C的位置。从而通过角膜球体中心C和目标点G的连线获得视轴。

进一步的，本实施例方法还包括：所述便携式移动装置辅助共享硬件平台的人脸识别装置进行人脸识别。藉此，可以提高人脸识别的精密性、多元性和严谨性，进而强化安全性。

实施例2

与上述实施例相对应的，本实施例公开一种便携式移动装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。

实施例3

与上述实施例相对应的，本实施例公开一种计算机存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述方法中的步骤。

综上，本发明上述各实施例所分别公开的视觉处理方法、装置及计算机存储介质，具有以下有益效果：

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视觉数据处理方法，其特征在于，包括：

以便携式移动装置采集至少两个目标点的系列眼睛图像；

由所述便携式移动装置根据当前所获取的系列眼睛图像计算Kappa角和Hirschberg比值，并将当前所测的Kappa角和Hirschberg比值与在先保存的历史数据进行比较分析，输出系列眼睛图像所属的用眼习惯的分析结果。

2.根据权利要求1所述的视觉数据处理方法，其特征在于，所述便携式移动装置携带至少一个红外光源，所述方法还包括：

通过计算机视觉的方法捕捉人脸及人眼，测得到瞳孔的中心P和角膜反射点X；

建立几何关系，包括：以相机中心O点与角膜反射点X的连线为OX，红外光源中心S点与角膜反射点X的连线为SX，OX与SX的角平分线延X点穿过角膜中心C点，角膜中心C点与角膜反射点X的连线为CX，角膜中心C点与瞳孔的中心P点的连线为CP，CX距离与CP距离L^CP相同；

计算出瞳孔与相机之间的距离，获取携带同一红外光源反射点的至少两个目标点的系列眼睛图像，并结合所述几何关系计算出L^CP；进而计算Kappa角和Hirschberg比值。

3.根据权利要求2所述的视觉数据处理方法，其特征在于，计算瞳孔与相机之间的距离的方式包括：

当所述便携式移动装置设有至少两个红外光源时，获取携带各红外光源反射点的至少两个目标点的系列眼睛图像，通过反射点之间的距离与实际光源之间的距离的比例关系计算出瞳孔与相机之间的距离。

4.根据权利要求1所述的视觉数据处理方法，其特征在于，所述便携式移动装置携带至少一个红外光源，所述方法还包括：

在采集系列眼睛图像的过程中，由所述便携式移动装置将红外光从固定位置照射到被测用户的角膜表面而产生角膜反射，使得系列眼镜图像中各图像针携带该被测用户的角膜反射位置信息，所述角膜反射位置信息包括该被测用户对应各目标点的角膜内沿到角膜反射点的距离、角膜外沿到角膜反射点的距离、以及从瞳孔中心到角膜反射点的距离。

5.根据权利要求4所述的视觉数据处理方法，其特征在于，计算Kappa角和Hirschberg比值的步骤包括：

以角膜反射位置作为视觉目标角度的函数，并以视觉目标角度为横坐标、角膜反射的位置为纵坐标，根据各目标点的视觉目标角度与对应的角膜反射位置以最小二乘法或其他线性拟合求解Kappa角和Hirschberg比值；

其中，Hirschberg比值为该被测用户从瞳孔中心到角膜反射点的距离与视觉目标角度之间所拟合直线的斜率的倒数；Kappa角为角膜内沿到角膜反射点的距离曲线与角膜外沿到角膜反射点的距离曲线的交点所对应的视觉目标角度与零值之差。

6.根据权利要求1所述的视觉数据处理方法，其特征在于，计算被测用户的Kappa角的步骤具体包括：

通过计算机视觉的方法捕捉人脸及人眼，准确测得瞳孔中心P的位置，以及根据面部内外眼角的位置点获得内外眼角中间点M；

把M点到眼球中心E的相对位置设为V^ME；V^ME对应的三维向量分别为V^MEx、V^MEy、V^MEz；将眼球中心E到角膜球体中心C的距离长度记为L^EC，角膜球体中心C到瞳孔中心P的距离长度记为L^CP；

联立被测用户面向相应数量目标点的位置关系建立方程组求解所述V^MEx、V^MEy、V^MEz、L^EC、L^CP及Kappa角的两个参数。

7.根据权利要求6所述的视觉数据处理方法，其特征在于，在联立被测用户面向相应数量目标点的位置关系建立方程组求解所述V^MEx、V^MEy、V^MEz、L^EC、L^CP及Kappa角的两个参数时还包括：

参考眼球模型，将眼球中心E到角膜球体中心C的距离长度L^EC、以及角膜球体中心C到瞳孔中心P的距离长度L^CP作为已知参数；

或者参考眼球模型，将眼球中心E到角膜球体中心C的距离长度L^EC、角膜球体中心C到瞳孔中心P的距离长度L^CP、以及M点到眼球中心E的相对位置设为V^ME一同作为已知参数；

通过至少三个目标点的位置拟合得到角膜球体的半径L^CP。

8.根据权利要求1至7任一所述的视觉数据处理方法，其特征在于，还包括：

所述便携式移动装置辅助共享硬件平台的人脸识别装置进行人脸识别。

9.一种便携式移动装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一所述方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至8任一所述方法中的步骤。