CN105306920B - 用于提取眼睛中心点的方法 - Google Patents

Abstract

本发明涉及一种用于提取眼睛中心点的方法，包括：使用左摄像机拍摄左眼从而产生左眼图像；使用第一照明装置从左眼图像中提取光反射点；使用第二照明装置提取作为光反射点的水平线上的最亮点的第一反射点；使用右摄像机拍摄左眼；通过使用第一照明装置和第二照明装置计算对应于光反射点的图像的极线，从该极线中提取第二反射点和第三反射点；以及使用光反射点、第一反射点、第二反射点和第三反射点提取眼睛中心点。

Description

用于提取眼睛中心点的方法

技术领域

本发明涉及一种用于提取眼睛中心点的方法，且更具体地，涉及一种通过使用极线有效地提取眼睛中心点的技术。

背景技术

视力，作为用于获得关于周围环境的信息的五官之一，可以通过观察者的双眼感知对象的位置和视角。也就是说，由两只眼睛获得的视觉信息被合成为单一的距离信息以使人们自由移动。

通过在一台机器中实施上述视觉结构，已开发出能够代替人类的机器人。在这方面，这种机器人的视觉***包括立体摄像机(即，左摄像机和右摄像机)，并且从两个摄像机读取图像以将所读取的图像重建为三维图像信息。

在此情况下，可通过将三维空间投影到二维空间上而获得图像。在此过程中，由于三维距离信息(例如，深度)丢失，因此难以直接从二维空间恢复三维空间。然而，如果存在从不同位置获得的两幅或更多图像，则可恢复三维空间。也就是说，在真实空间中的一个点聚焦于两幅图像的情况下，通过找出位于两幅图像中的对应点并且利用几何结构，可以找到该一个点在真实空间中的位置。

尽管在两幅图像中找出对应点(以下称为“立体匹配”)会是困难的工作，然而其也会是用于估算和还原三维空间的重要技术。立体匹配可产生许多形式的结果，因此会难以在所有结果中找到代表真实空间的唯一的结果。

立体匹配技术通常基于马尔可夫随机场(MRF)模型。二维场模型将复杂对象的建模转换成简单的区域相关的概率模型，但MRF模型执行复杂的计算并且导致不确定的边界。

同时，由于立体匹配技术基于高速处理，动态编程技术具有网格结构，并可执行显著更快速和准确的立体匹配。然而，因为动态编程技术通过仅在单一扫描线中的搜索执行匹配，所以其不考虑上下列的结果，从而导致显著的条纹噪声。此外，所有列的立体匹配可独立地执行，使得上下行的结果与当前行的结果不同。

为了减少上述噪声，在图像处理中使用中值滤波器、均值滤波器等。但是因为其被用于每个帧，所以与先前帧的关联未被考虑。因此，由于对于每个帧而改变的噪声，所以难以提取稳定深度的图像。

发明内容

已做出本发明解决现有技术中存在的上述问题，同时保持现有技术所实现的优点不受影响。

本发明的一个方面提供了一种用于提取眼睛中心点的方法，能够使用通过使用包括立体摄像机的凝视***从眼睛中反射照明装置的反射点来计算眼睛中心点，并且能够通过减少计算眼睛中心点的计算时间提高凝视***的性能。

根据本发明的实施例，一种用于提取眼睛中心点的方法包括：使用左摄像机拍摄左眼图像；使用第一照明装置从通过拍摄左眼而获得的图像中提取光反射点；使用第二照明装置提取作为光反射点的水平线上的最亮点的第一反射点；使用右摄像机拍摄左眼图像；通过使用第一照明装置和第二照明装置计算对应于光反射点的图像的极线，从该极线中提取第二反射点和第三反射点；以及使用光反射点、第一反射点、第二反射点和第三反射点提取眼睛中心点。

该方法还可包括在通过使用左、右摄像机拍摄左眼图像而提取左眼中心点之后，通过拍摄右眼图像而提取右眼中心点。可通过使用第一照明装置计算对应于光反射点的图像的极线，从该极线中提取第二反射点。可通过使用第二照明装置计算对应于光反射点的图像的极线，从该极线中提取第三反射点。可通过基于具有等于或大于用户设定的阈值的值的亮度，对第一照明装置和第二照明装置产生的图像中的像素值进行二进制编码，提取第一反射点、第二反射点和第三反射点。

附图说明

根据以下结合附图说明的具体实施方式，本发明的上述和其他目的、特征和优点将更加明显。

图1是示出根据本发明的实施例的用于提取眼睛中心点的摄像机和照明装置的图。

图2是示出根据本发明的实施例的用于估算三维信息的极线的图。

图3是说明根据本发明的实施例的用于提取眼睛中心点的方法的图。

附图中的各元件的附图标记

100：左摄像机(第一摄像机)

200：右摄像机(第二摄像机)

110、210：左眼图像

120：提取照明反射点(基准)

130：提取水平线上的最亮点

220：计算极线

230、240：提取极线上的多个亮点

300：第一照明装置

400：第二照明装置

具体实施方式

根据以下参照附图详细说明的具体实施方式，上述目的、特征和优点将变得显而易见。因此，本发明所属领域的技术人员可容易地实践本发明的技术思想。在下文中，将参照附图详细说明本发明的实施例。

本文所使用的专业术语仅为说明特定实施例的目的，而非意在限制本发明。如本文所使用的，单数形式“一个”、“一种”和“该”意在同样包括复数形式，除非上下文另外明确地指明。还将理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其集合的存在或添加。如本文所使用的，词语“和/或”包括一个或更多相关列出项目的任何和所有组合。

图1是示出根据本发明的实施例的用于提取眼睛中心点的摄像机和照明装置的图。

参照图1，根据本发明的实施例的立体装置包括第一摄像机100和第二摄像机200，其中第一摄像机100和第二摄像机200可分别设置有第一照明装置300和第二照明装置400。这里，第一摄像机100和第二摄像机200被替代地称为左摄像机和右摄像机，使用模块等拍摄对象。也就是说，作为左摄像机的第一摄像机100连同第一照明装置300和第二照明装置400一起拍摄第一图像(例如，左眼图像)，同时作为右摄像机的第二摄像机200连同第一照明装置300和第二照明装置400一起拍摄第二图像(例如，左眼图像)。然后，可通过使用从第一图像中提取的照明反射点的极线(epipolar line)执行对于第二图像的投影来计算反射点。

接着，作为左摄像机的第一摄像机100连同第一照明装置300和第二照明装置400一起拍摄第三图像(例如，右眼图像)，同时作为右摄像机的第二摄像机200连同第一照明装置300和第二照明装置400一起拍摄第四图像(例如，右眼图像)。然后，与上述类似，可通过使用从第三图像中提取的照明反射点的极线执行对于第四图像的投影来计算反射点。

图2是示出根据本发明的实施例的用于估算三维信息的极线的图。

参照图2，从二维左图像和右图像，即立体图像重构三维空间的立体匹配过程，从两幅二维图像中找出对应点并利用对应点之间的几何关系估算三维信息。例如，如图2中所示，为了从两幅二维图像中找出对应点并利用对应点之间的几何关系估算三维信息，与立体图像中的一幅图像(例如，“图像1”)中的一个点P对应的点需要从另一幅图像(例如，“图像2”)中找出。值得注意的是，点(例如，P'、P1'、P2')在对于基准图像(图像1)中的点P的对应图像(图像2)的极线上，并且如果对于极线执行校正，则可通过仅检查水平伸展的两个单一的扫描线来执行立体匹配。

图3是说明根据本发明的实施例的用于提取眼睛中心点的方法的图。

参照图3，根据本发明的实施例的立体装置包括第一摄像机和第二摄像机，其中第一摄像机和第二摄像机可分别设置有第一照明装置和第二照明装置。为了图3的目的，第一摄像机被定义为左摄像机100并且第二摄像机被定义为右摄像机200。

作为第一示例，可从通过使用立体摄像机和照明装置拍摄左眼而获得的图像中提取四个反射点。通过使用左摄像机100拍摄左眼图像110。在这种情况下，可使用第一照明装置从通过拍摄左眼而获得的图像中提取照明反射点120(例如，基准点)。因为用于提取照明反射点120的方法可以是使用照明装置并且从通过拍摄眼睛所获得的图像中提取照明反射点120的一般方法，所以将省略其详细说明。

接着，在提取照明反射点120之后，使用第二照明装置提取照明反射点120的水平线上的最亮点。最亮点可以是第一反射点130。接着，使用右摄像机200拍摄左眼图像210。在这种情况下，通过使用第一照明装置和第二照明装置从拍摄左眼所获得的图像中计算照明反射点120的对应图像的极线220，从极线220中提取多个亮点。多个亮点可以是具有类似于照明反射点120的亮度的点。多个亮点可以是第二反射点230和第三反射点240。

这里，如果基于一定量(例如，由用户设定的阈值量)或更大的亮度对照明装置产生的图像中的像素值进行二进制编码，则可提取照明反射点120、第一反射点130、第二反射点230和第三反射点240。例如，阈值量或更大的值可具有255的值，并且小于阈值量的值可具有0值。可从使用立体摄像机和照明装置拍摄左眼所获得的图像中，使用四个反射点计算左眼中心点。

具体地，眼睛中心点的3D坐标A可通过使用由第一照明装置产生的照明反射点120和第二反射点230来计算。而且，其3D坐标B可使用由第二照明装置产生的第一反射点130和第三反射点240来计算。可提取穿过3D坐标A的直线与穿过3D坐标B的直线彼此相交的点。这两条直线彼此相交的点被定义为眼睛中心点。

作为第二示例，可从使用立体摄像机和照明装置拍摄右眼所获得的图像中提取四个反射点。通过使用左摄像机拍摄右眼图像。在这种情况下，可使用第一照明装置从通过拍摄右眼所获得的图像中提取照明反射点(例如，基准点)。接着，在提取照明反射点之后，使用第二照明装置提取照明反射点的水平线上的最亮点。最亮点可以是第一反射点。

接着，使用右摄像机拍摄右眼图像。在这种情况下，通过使用第一照明装置和第二照明装置从拍摄右眼所获得的图像中计算照明反射点的对应图像的极线，而从极线中提取多个亮点。多个亮点可以是具有类似于照明反射点的亮度的点。多个亮点可以是第二反射点和第三反射点。

这里，如果基于一定量(例如，由用户设定的阈值量)或更大的亮度对照明装置产生的图像中的像素值进行二进制编码，则可提取照明反射点、第一反射点、第二反射点和第三反射点。例如，阈值量或更大的值可具有255的值，并且小于阈值量的值可具有0值。可从使用立体摄像机和照明装置拍摄右眼所获得的图像中，使用四个反射点计算右眼中心点。

具体地，眼睛中心点的3D坐标A可使用由第一照明装置产生的照明反射点和第二反射点来计算，并且其3D坐标B可使用由第二照明装置产生的第一反射点和第三反射点来计算。可提取穿过3D坐标A的直线与穿过3D坐标B的直线彼此相交的点，并且这两条直线彼此相交的点被定义为眼睛中心点。

本发明涉及能够使用根据立体摄像机(包括左摄像机和右摄像机)和多个照明装置之间的几何关系所产生的极线提取照明反射点并使用提取的照明反射点计算眼睛中心点的技术。根据如上所述的本发明的技术，可使用通过使用包括立体摄像机和适合的照明装置的凝视***从眼睛中反射照明装置的反射点来计算眼睛中心点，并可通过减少计算眼睛中心点的计算时间提高凝视***的性能。

虽然已参照实施例和附图说明了本发明，但是本领域技术人员应当理解，本发明的范围并不局限于此，而是在不脱离权利要求书及其等效形式所限定的范围的情况下可做出各种改型和变型。

Claims (5)

1.一种用于提取眼睛中心点的方法，该方法包括：

使用左摄像机拍摄左眼从而产生左眼图像；

使用第一照明装置从所述左眼图像中提取光反射点；

使用第二照明装置提取作为所述光反射点的水平线上的最亮点的第一反射点；

使用右摄像机拍摄左眼；

通过使用所述第一照明装置和第二照明装置计算对应于所述光反射点的图像的极线，从该极线中提取第二反射点和第三反射点；以及使用所述光反射点、第一反射点、第二反射点和第三反射点提取左眼中心点，

其中通过基于具有等于或大于用户设定的阈值的值的亮度量，对所述第一照明装置和第二照明装置产生的图像中的像素值进行二进制编码，提取所述第一反射点、第二反射点和第三反射点。

2.根据权利要求1所述的方法，还包括在提取所述左眼中心点之后，通过拍摄右眼产生右眼图像而提取右眼中心点。

3.根据权利要求1所述的方法，其中通过使用所述第一照明装置计算对应于所述光反射点的图像的极线，从该极线中提取所述第二反射点。

4.根据权利要求1所述的方法，其中通过使用所述第二照明装置计算对应于所述光反射点的图像的极线，从该极线中提取所述第三反射点。

5.一种用于提取眼睛中心点的***，该***包括：

拍摄左眼从而产生左眼图像的左摄像机；

拍摄左眼的右摄像机；

从所述左眼图像中提取光反射点的第一照明装置；以及

提取作为所述光反射点的水平线上的最亮点的第一反射点的第二照明装置，其中

通过使用所述第一照明装置和第二照明装置计算对应于所述光反射点的图像的极线，从该极线中提取第二反射点和第三反射点，并且

使用所述光反射点、第一反射点、第二反射点和第三反射点提取左眼中心点，

其中通过基于具有等于或大于用户设定的阈值的值的亮度量，对所述第一照明装置和第二照明装置产生的图像中的像素值进行二进制编码，提取所述第一反射点、第二反射点和第三反射点。