CN111208904A - 一种视线估计设备性能评估方法、***和设备 - Google Patents
一种视线估计设备性能评估方法、***和设备 Download PDFInfo
- Publication number
- CN111208904A CN111208904A CN202010016069.9A CN202010016069A CN111208904A CN 111208904 A CN111208904 A CN 111208904A CN 202010016069 A CN202010016069 A CN 202010016069A CN 111208904 A CN111208904 A CN 111208904A
- Authority
- CN
- China
- Prior art keywords
- user
- sight
- sight line
- module
- line information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 83
- 210000001508 eye Anatomy 0.000 claims description 87
- 210000001747 pupil Anatomy 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000003760 hair shine Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明属于人工智能技术领域，具体公开了一种视线估计设备性能评估方法、***和设备，其中，该***通过多个模组同时采集用户图像，以此来提供足够大的视线检测范围，并对应计算每个模组的用户视线信息，然后从中选择一个作为用户真实视线信息，由于该用户真实视线信息是在足够大的视线检测范围下来计算获得的，因此可以作为高精度的用户视线信息，将其与对视线估计设备计算得到的用户视线信息进行比对，以达到定量评估的效果。
Description
技术领域
本发明的实施方式涉及人工智能技术领域，更具体地，本发明的实施方式涉及一种视线估计设备性能评估方法、***和设备。
背景技术
视线估计技术的应用已经越来越广泛，不管是为残疾人或者渐冻人用的眼控仪，以及心理分析的视线追踪仪器，还是DMS(Driver Monitoring System，驾驶员监测***)上的视线估计仪器，都运用了视线估计技术。
视线估计产品一般是通过采集人眼图像来确定人眼特征，进而根据人眼特征来估计人眼的注视点、注视方向等。具体来说，可以分为外观法和角膜反射法两种。基于外观法的视线估计产品，一般依赖人脸和/或人眼图像的特征(例如眼睑位置、瞳孔位置、虹膜位置、内/外眼角、人脸朝向等)来估计人眼的注视点和注视方向。基于角膜反射法的视线估计产品，除了用到外观法所用到的部分特征外，还依赖光斑(人眼角膜区域因反射光线而在相机的成像中出现的光反射点)。一般来说，由于光斑很好地反映了人眼的注视方向，因此角膜反射法比外观法有更高的精度，因此几乎所有用于视线估计的成熟商业产品都基于角膜反射法。
目前市面上的视线估计产品种类繁多，质量也良莠不齐。因此，能定量评估一个视线估计产品的方案显得尤为重要。
发明内容
出于现有技术无法对一些视线估计产品性能进行定量评估的原因，本申请提供了一种视线估计设备性能评估方法、***和设备。
在本发明实施方式的第一方面中，提供了一种视线估计设备性能评估***，其包括：待测数据采集单元，用于采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；至少两个模组；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息；比对单元，用于比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
在本发明实施方式的第二方面中，提供了一种视线估计设备性能评估方法，其包括：采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息；比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
在本发明实施方式的第三方面中，提供了一种视线估计设备性能评估设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在运行所述计算机程序时，执行第一方面所述的视线估计设备性能评估方法。
在本发明实施方式的第四方面中，提供了一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现第一方面所述的视线估计设备性能评估方法。
根据本发明提供的上述视线估计设备性能评估方法、***和设备，其中，第一方面中的视线估计设备性能评估***通过多个模组同时采集用户图像，从而提供足够大的视线检测范围，将据此所得到的用户真实视线信息作为高精度的用户视线信息，与对视线估计设备计算得到的用户视线信息进行比对，实现了定量评估的效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了视线估计设备性能评估的一示例性应用场景；
图2示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图一；
图3示出了本申请视线估计设备性能评估***的应用场景的一个示意图；
图4示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图二；
图5示出了图4所示实施例中初始视线确定单元的一实施例的示意图；
图6示出了上述图5所示实施例中初始视线确定单元的一实施例的示意图一；
图7示出了上述图5所示实施例中初始视线确定单元的一实施例的示意图二；
图8示出了上述图5所示实施例中初始视线确定单元的一实施例的示意图三；
图9示出了上述图5所示实施例中初始视线确定单元的一实施例的示意图四；
图10示出了上述图5所示实施例中初始视线确定单元的一实施例的示意图五；
图11示出了图2所示实施例中模组的一实施例的结构示意图一；
图12示出了图2所示实施例中模组202的一实施例的结构示意图二；
图13示出了视线估计设备性能评估***的应用场景的一示意图；
图14示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图三；
图15示出了图14所示实施例中模组控制单元对模组进行分时控制的应用场景的一示意图；
图16示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图四；
图17示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图五；
图18示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图六；
图19示出了图18所示实施例的应用场景的一示意图；
图20示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图七；
图21示出了图20所示实施例的应用场景的一示意图；
图22示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图一；
图23示出了上述图22所示实施例中步骤S223的一实施例的实现流程图；
图24示出了上述图22所示实施例中步骤S231的一实施例的实现流程图；
图25示出了上述图24所示实施例中步骤S241的一实施例的实现流程图二；
图26示出了上述图24所示实施例中步骤S241的一实施例的实现流程图三；
图27示出了上述图24所示实施例中步骤S241的一实施例的实现流程图四；
图28示出了上述图24所示实施例中步骤S241的一实施例的实现流程图五；
图29示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图二；
图30示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图三；
图31示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图四；
图32示出了本申请在图30所示实施例基础上的一实施例的实现流程图；
图33示出了本申请在图31所示实施例基础上的一实施例的实现流程图；
图34示出了适于用来实现本申请视线估计设备性能评估方法的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
另外，本领域技术技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
本申请的发明人经研究发现：
目前评估一个视线估计产品的方式主要是根据用户实际体验，根据用户实际注视点和***给出的结果，用户给出准确或者不准确这种简单的估计。在DMS 应用中，很多视线估计产品并没有给出具体注视点，而是给出大致的注视方向，这样用户只能直观地看大方向准不准确，具体精度无法定量分析，这给用户选择产品以及开发者提升精度造成一定的困难。
发明人进一步研究发现：评估视线估计产品的前提是能够提供用户真实的视线信息，以此来与视线估计产品进行比对。因此，必须提供高精度的用户视线信息，只有拥有高精度的结果才能评估其他视线估计产品的精度。经过大量实验，发明人发现：能否提供足够大的视线检测范围会直接影响到能否提供高精度的用户视线信息。
通过这一技术问题的发现，发明人围绕如何提供足够大的视线检测范围进行技术研发，最后提出了一种利用多个模组从不同的角度发出红外光照射用户并采集用户图像，综合每个模组采集的图像可以计算得到高精度的用户视线信息，将该高精度的用户视线信息作为真值，即可对目前市面上现有的视线估计产品进行性能评估，定量分析这些视线估计产品的计算结果。
下面将通过以下具体实施例的方式来对发明人的发明创造内容进行清楚、完整的说明。
应用实施例
见图1，示出了视线估计设备性能评估的一示例性应用场景100。
如图1所示，在该应用场景100中，包括视线估计设备101、显示屏幕102和电脑主机103，显示屏幕102与电脑主机103电性连接，该电性连接包括有线数据连接或无线数据连接，电脑主机103控制显示屏幕102上显示注视点S(也称标定点)，在显示屏幕102上或者附近固定有视线估计设备101，用于对显示屏幕前的用户104进行用户图像采集，并对采集的该用户图像进行计算得到用户视线信息，将得到的该用户视线信息与用户104注视显示屏幕102上的注视点的真实视线信息进行对比，即可评估该视线估计设备进行视线估计的优劣。
具体的，上述电脑主机103可以具体包括：处理器、存储器、内存、接口和总线，该存储器、内存、接口通过总线分别连接于处理器，通过该接口还可以连接外部设备，例如键盘、显示器、鼠标等设备。该电脑主机可以用于运行各种计算机程序和应用，例如可以运行操作***、视线估计计算机程序、图像处理计算机程序等。
上述应用场景中，示出对视线估计设备进行性能评估的参考是用户注视给定标定点的真实视线信息。但当对于一些无法提供准确标定点的视线估计设备，替代标注点的将是一个大致注视方向，此时无法对该视线估计设备的性能进行定量评估。
***实施例
请参见图2，示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图，本实施例能够对无法提供具体标定点的视线估计设备进行定量性能评估，相应的，本申请提供的该视线估计设备性能评估***一般可以应用于图1所示的电脑主机103中。
如图2所示，该视线估计设备性能评估***200，包括待测数据采集单元、至少两个模组、初始视线确定单元、真实视线确定单元和比对单元，其中，待测数据采集单元用于采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；初始视线确定单元用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；真实视线确定单元用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息；比对单元用于比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
为便于清楚而完整的理解本实施例的技术原理，下面将通过本实施例的应用场景的示例来予以说明。
请参见图3，示出了本申请视线估计设备性能评估***的应用场景的一个示意图，在图3的应用场景中，至少两个模组202的数量为三个，视线估计设备101 和各个模组的位置相对固定，并分别连接于电脑主机103，视线估计设备101连接电脑主机103用于对用户采集用户图像并进行计算得到用户视线信息，同样，三个模组202也用于对用户采集用户图像，测数据采集单元、初始视线确定单元、真实视线确定单元和比对单元分别设置于电脑主机103中，用于对模组202采集的用户图像进行计算得到多组用户视线信息，然后从多组用户视线信息中选择一组用户视线信息作为用户真实视线信息，并用于该用户真实视线信息与视线估计设备101计算得到的用户视线信息进行比对，以此来评估该视线估计设备 101的性能。
通过上述应用场景可知，本申请提供的上述实施例通过多个模组同时采集用户图像，这样提供足够大的视线检测范围，并对应计算每个模组的用户视线信息，然后从中选择一个作为用户真实视线信息，由于该用户真实视线信息是在足够大的视线检测范围下来计算获得的，因此可以作为高精度的用户视线信息，将其与对视线估计设备计算得到的用户视线信息进行比对，以达到定量评估的效果。
此外，考虑到上述图3所示示例中通过多个模组来提供足够大的视线检测范围的同时，可能存在两个或两个以上的模组采集的用户图像都能计算出用户视线信息，此时在确定用户真实视线信息时则面临如何从多组用户视线信息进行选择，才能保证所选择的用户视线信息才是该多组用户视线信息中最真实的问题。因此，为了进一步提升用户真实视线信息的精度，本申请还提供了以下实施例。
在一示例性实施例中，见图4，示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图二，如图4所示，与上述图3所示实施例的不同之处在于：在本实施例中，上述视线估计设备性能评估***200，包括初始视线确定单元401和真实视线确定单元402，其中，初始视线确定单元401还用于确定每组用户视线信息的置信度；此外，真实视线确定单元402还用于接收每组用户视线信息的置信度，并从多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。
在本实施例中，通过对采集的用户图像计算得到用户视线信息时，还对确定了该计算得到的用户视线信息的置信度，在从根据多个模组采集的用户图像计算得到的多组用户视线信息中选择其中一组用户视线信息作为真实用户视线信息时，依据该置信度来选择用户真实视线信息，从而进一步提高了用户真实视线信息的精度。
具体的，由于用户视线信息的置信度是基于采集的用户图像来确定的，因此，请参见图5，示出了图4所示实施例中初始视线确定单元401的一实施例的示意图，如图5所示，与上述图4所示实施例的不同之处在于：在本实施例中，上述初始视线确定单元401具体为初始视线确定单元501，其具体包括：初始视线确定单元401通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。
进一步的，请参见图6，示出了上述图5所示实施例中初始视线确定单元501 的一实施例的示意图一。
如图6所示，在本申请的视线估计设备性能评估***200中，该初始视线确定单元501，具体包括：初始视线确定单元601从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。
具体的，由于当用户视线正对某一模组，或正对某一相机时，从眼部区域图像中的瞳孔对应的形状越圆，反之，则瞳孔对应的形状越椭，为此可以在初始视线确定单元601中计算瞳孔对应的椭圆的扁率来作为确定该用户图像对应用户视线信息的置信度或置信度的参考依据。
应当理解，椭圆的扁率即椭圆的长轴与短轴的比值，由于通过本技术领域常用技术手段，可以根据眼部区域图像来识别出瞳孔对应形状的参数，进而实现扁率计算，故这里不作详述。
进一步的，请参见图7，示出了上述图5所示实施例中初始视线确定单元501 的一实施例的示意图二。
如图7所示，在本申请的视线估计设备性能评估***200中，该初始视线确定单元501，具体包括：初始视线确定单元701从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征，根据光斑的形状特征确定相应组用户视线信息的置信度。
具体的，上述光斑即“普尔钦斑”，也就是红外光源照射眼球时在角膜上形成的一个高亮发射光斑。根据眼球光学知识可知，当用户视线正对某一红外光光源时，在所成像眼球图像中光标的面积越小，边缘越清晰。因此根据光斑的形状特征确定相应组用户视线信息的置信度，可以是根据计算光斑面积的大小或识别光斑边缘像素的分别率，如果面积越小或边缘像素分别率越高则确定对应用户视线信息的置信度越高；反之，则确定对应用户视线信息的置信度越低。
应当理解，关于光斑面积的计算或光斑边缘像素分别率的识别都可以通过本技术领域的常用技术手段来实现，本实施例对如何具体计算光斑面积或边缘清晰度的方法不做限制，故这里不作详述。
进一步的，请参见图8，示出了上述图5所示实施例中初始视线确定单元501 的一实施例的示意图三。
如图8所示，在本申请的视线估计设备性能评估***200中，该初始视线确定单元501，具体包括：初始视线确定单元801从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑，分别确定用户两个眼睛中瞳孔和光斑的相对位置，并比对用户两个眼睛中瞳孔和光斑的相对位置的一致程度，根据该一致程度确定相应组用户视线信息的置信度。
具体的，根据眼球光学知识可知，人眼瞳孔与视线方向一致，如果人眼视线方向正对光源(例如红外光)，那么对该人眼采集的人眼图像中，光斑的位置应该越接近瞳孔的位置。因此，根据该一致程度确定相应组用户视线信息的置信度，可以是计算用户每只眼睛中瞳孔和光斑之间的向量长度，如果向量长度越小，则说明光斑与瞳孔的位置一致程度越高，也就是可以确定相应用户视线信息的置信度越高；反之，则确定相应用户视线信息的置信度越低。
应当理解，根据提取眼部区域图像识别光斑和瞳孔的位置信息，并做两点向量长度计算可以通过本技术领域的常用技术手段来实现，本实施例对计算眼部区域图像中光斑和瞳孔的向量或距离的具体方法不做限制，故这里不作详述。
进一步的，请参见图9，示出了上述图5所示实施例中初始视线确定单元501 的一实施例的示意图四。
如图9所示，在本申请的视线估计设备性能评估***200中，该初始视线确定单元501，具体包括：初始视线确定单元901从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中分别确定用户两个眼睛的视轴，并计算用户两个眼睛的视轴的偏差，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度。
具体的，由于人眼的视轴与视线方向相关，如果用户越接近摄像头，那么在人眼图像中两只眼睛的视轴的夹角越小。因此，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度，可以是根据提取的眼部区域图像获取用户两只眼睛的视轴，然后计算两个视轴的夹角大小，如果夹角越小则确定对应用户视线信息的置信度越高，反之，则确定对应用户视线信息的置信度越低。
应当理解，根据提取眼部区域图像确定用户眼睛的视轴，并计算两只眼睛视轴的夹角可以通过本技术领域的常用技术手段来实现，本实施例对确定用户眼睛的视轴和计算两视轴的夹角大小的方法不做限制，故这里不作详述。
进一步的，请参见图10，示出了上述图5所示实施例中初始视线确定单元501 的一实施例的示意图五。
如图10所示，在本申请的视线估计设备性能评估***200中，该初始视线确定单元501，具体包括：初始视线确定单元1001根据每个模组采集的用户图像确定用户头部朝向，并确定用户头部朝向与每个模组采集用户图像的角度之间的偏差，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。
具体的，根据人脸图像处理的相关技术可知，模组相对于用户的角度可以通过相机坐标系来确定，而用户头部朝向可以通过人别识别来实现，为此如果用户人脸越偏向相机，那么在对应的人脸图像中，用户头部朝向与模组采集用户图像的角度方向越接近，即二者方向的夹角越小。因此，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度，可以是根据计算用户头部朝向与模组采集用户图像的角度方向之间的夹角，如果夹角越小，则确定相应组用户视线信息的置信度越高，反之，则确定相应组用户视线信息的置信度越低。
应当理解，根据采集的用户图像确定用户头部的朝向与模组采集用户图像的角度都可以通过本技术领域的常用技术手段来实现，故这里不作详述。
另外，考虑到在采用多个模组来提供足够大的视线检测范围时，在一些情况下可能存在不同模组的光源相互影响，导致采集的用户图像的眼部图像区域存在多个光斑的情况，从而不利于上述可能采用光斑来确定置信度的技术实现。为此，本申请还提供了以下实施例。
请参见图11，示出了图2所示实施例中模组202的一实施例的结构示意图一，如图11所示，在单个模组202中，可以包括相机111和光源113，其中，光源用于产生红外光，并使所述红外光照射用户；相机用于采集用户图像。
具体的，上述模组202中的相机的数量为一个，不过本申请并限制每个模组中相机的数量。例如，相机的数量还可以为两个或两个以上。
请参见图12，示出了图2所示实施例中模组202的一实施例的结构示意图二，如图12所示，在本实施例中，该模组202中包括相机121、122和光源123，该模组中还包括控制器124，控制器124分别连接于相机121、122和光源123。控制器 124负责相机121、122和光源123控制，包括触发，曝光，增益灯，还负责将数据传给初始视线确定单元(或电脑主机)。该数据可以是相机采集的用户图像，也可以是经过控制器404处理的用户图像，也可以是控制器404上的图像处理器输出的计算数据。
应当理解，上述图12所示的模组202中，也可以不包括控制器124，由与模组202连接的设备中的控制器来代替上述控制器124的负责功能。例如，当模组连接于计算机(如图1所示电脑主机103)时，可由计算机来替代控制器124实现对相机121、122和光源123的控制。
基于上述图12的启示，在一示例性实施例中，还可以将视线估计设备性能评估***与模组202集成于一体。例如，请参见图13，示出了视线估计设备性能评估***的应用场景的一示意图，在图13应用场景中可将待测数据采集单元 201、初始视线确定单元203、真实视线确定单元204和比对单元205设置于控制器124中，模组202包括相机121、122和光源124，当然模组202的数量可以为一个，或者也可以为两个或两个以上，本申对此不作限制。
本实施例在控制器满足计算要求的情况是能够予以实现的，当然该控制器可以为微型计算机，例如单片机等集成式计算机***。
进一步的，在本申请采用图11或12所示实施例的模组结构的基础上，可以通过对模组中的相机和光源进行控制，以此来避免不同光源相互干扰，造成多光斑的情况。
在一示例性实施例中，例如，见图14，示出了本申请提供的视线估计设备性能评估***的又一实施例的结构示意图一，如图14所示，与上述图2所示实施例的不同之处在于：当各个模组202中的光源产生具有相同波长的红外光时，该视线估计设备性能评估系200，还包括：模组控制单元141，用于控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。
示例性的，在一应用场景中，见图15，示出了图14所示实施例中模组控制单元141对模组进行分时控制的应用场景的一示意图，如图15所示，假设包括三个模组151、152、153，模组控制单元141控制各个模组中相机和光源的触发，当采集一帧用户图像时，由模组151和153的光源点亮以及相机曝光拍摄，同时模组152的光源和相机不触发；在采集下一帧用户图像时，模组152的光源点亮以及相机曝光拍摄，同时模组151和153的光源和相机不触发。这样，在模组151、 152，以及模组152、153之间在一段时间只会有一个模组在工作，从而有效避免了光源的互相影响。
当然，对模组151、152、153的控制并不仅限于上述时分控制方式。例如，还可以这样进行时分控制：当采集一帧用户图像时，由模组151的光源点亮以及相机曝光拍摄，同时模组152和153的光源和相机不触发；在采集下一帧用户图像时，模组152的光源点亮以及相机曝光拍摄，同时模组151和153的光源和相机不触发；再采集下一帧用户图像时，模组153的光源点亮以及相机曝光拍摄，同时模组151和152的光源和相机不触发，以此循环。这样，在模组151、152、153 之间在一段用户图像集成时间内只会有一个模组在工作，各个模组151、152、 153的工作时间相互错开，从而有效避免了光源的互相影响。
在一示例性实施例中，例如，见图16，示出了本申请提供的视线估计设备性能评估***的又一实施例的结构示意图二，如图16所示，与上述图2所示实施例的不同之处在于：当具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光时，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片161、162、163，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。
示例性的，在一应用场景中，结合图16来说，与上述图15所示应用场景不同的是：模组151、152、153的相机分别对应设有滤光片161、162、163，其中，模组151、153可以产生一种波长(例如940mm)的红外光，而模组152产生另一种波长(例如)的红外光，此时滤光片161、163仅允许模组151、153所产生波长的红外光透过，而滤除模组152所产生波长的红外光，同理，滤光片162仅允许模组152所产生波长的红外光透过，而滤除模组151、153所产生波长的红外光。本实施例对模组151、152、153的光源进行频分控制，这样在每个模组采集的用户图像中就只有自身光源所形成的光斑，从而有效避免了光源的互相影响。
当然，对模组151、152、153的光源进行频分控制并不仅限于上述方式。例如，还可以这样来实现对模组151、152、153的光源的频分控制：模组151、152、 153各自分别产生不同波长的红外光，同时滤光片161、162、163仅允许自身所在模组的光源所产生的波长的红外光透过，而滤除其他模组产生的不同波长的红外光。这样在每个模组采集的用户图像中同样只有自身光源所形成的光斑，从而有效避免了光源的互相影响。
另外，还考虑到视线估计设备性能评估***进行评估时的便利性，本申请还提供了以下实施例。
在一示例性实施例中，请参见图17，示出了本申请提供的视线估计设备性能评估***的一实施例的示意图，应当理解，为便于说明，图中仅示出了与上述图2所示实施例的不同之处，而省略了相同的结构。如图17所示，与图2所示实施例的不同之处在于：在本实施例中，该视线估计设备性能评估***200还包括至少一个屏幕171，用于提供用户注视的区域，据此情况下，待测数据采集单元则具有用于采集视线估计设备通过采集当用户注视屏幕时的用户图像并对其进行计算所得到的用户视线信息；各个模组用于从不同的角度发出红外光照射用户并采集用户图像则具体包括：各个模组用于采集当用户注视屏幕时的用户图像。
本实施例通过增加屏幕来为用户104提供具体的注视区域，使得视线估计设备101和本申请计算的用户视线信息是基于相同的注视区域，进而对比两者的偏差来实现对视线估计设备的性能定量评价。
考虑到图1所示实施例的情况，在图17所示实施例中，提供用户注视的区域可以包括一个确定的标定点和任一不确定的标定点(例如一个大致方向或区域)。为此下面将通过不同的实施例来对前述两种情况做清楚而完整的说明。
在一示例性实施例中，在图17所示实施例的基础上，当提供用户注视的区域为一个确定的标定点时，请参见图18，示出了本申请提供的视线估计设备性能评估***的一实施例的结构示意图，应当理解，为便于说明，图中仅示出了与上述图2所示实施例的不同之处，而省略了相同的结构。如图18所示，与图2 所示实施例的不同之处在于：本实施例中，该视线估计设备性能评估***18具体包括：待测数据采集单元181，用于采集视线估计设备通过采集当用户注视屏幕中已知位置的标定点时的用户图像并对其进行计算所得到的用户视线方向；至少两个模组182，各个模组采集当用户注视屏幕中上述已知位置的标定点时的用户图像；初始视线确定单元183，用于根据每个模组采集的用户图像确定用户视线起点，并在相应模组中的相机坐标系中将用户视线起点与用户注视的标定点的连线确定为用户注视方向，并将该用户视线方向确定为相应模组对应的用户视线方向，其中，每个模组对应一组用户视线信息；真实视线确定单元184，用于从每个模组对应的用户视线方向中选择一个用户视线方向确定为用户真实视线方向；比对单元185，用于将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
为便于理解本本实施例的方案，请参见图19，示出了图18所示实施例的应用场景的一示意图，如图19所示，在屏幕171中，向用户提供了一个确定的标定点S，当然这个标定点S可以为随机出现在任一屏幕中，然后模组182和视线估计设备101相对于屏幕171的位置固定，因此可以将模组182和视线估计设备101获取图像的坐标系转换至同一屏幕坐标系中；或者，也可以转换至模组182和视线估计设备101其中一方所在坐标***，以此来评估视线估计设备的性能。
在另一示例性实施例中，在图17所示实施例的基础上，当提供用户注视的区域为一个不确定的标定点或一个大致区域时，请参见图20，示出了本申请提供的视线估计设备性能评估***的另一实施例的结构示意图，应当理解，为便于说明，图中仅示出了与上述图2所示实施例的不同之处，而省略了相同的结构。如图20所示，与图2所示实施例的不同之处在于：本实施例中，该视线估计设备性能评估***20，包括：待测数据采集单元2001，用于采集视线估计设备通过采集当用户注视任意点时的用户图像并对其进行计算所得到的用户视线方向；至少两个模组2002，各个模组采集当用户注视上述任意点时的用户图像；初始视线确定单元2003，用于根据每个模组采集的用户图像预测用户视线方向；真实视线确定单元2004，用于从每个模组预测的用户视线方向中选择一个视线方向确定为用户真实视线方向；比对单元2005，用于将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
为便于理解本本实施例的方案，请参见图21，示出了图20所示实施例的应用场景的一示意图，如图21所示，在屏幕171中，向用户提供了一个大致方向区域Q，当然，这个大致方向区域Q可以为随机出现在任一屏幕171中，然后模组2002和视线估计设备101相对于屏幕171的位置固定，因此可以将模组2002和视线估计设备101获取图像的坐标系转换至同一屏幕坐标系中；或者，也可以转换至模组2002和视线估计设备101其中一方所在坐标***，以此来评估视线估计设备的性能。
具体的，在上述图18和图20所示示例中，基于本申请计算所得到的用户真实视线信息来评估视线估计设备计算得到的用户视线信息的性能，可以具体根据用户真实视线方向和视线估计设备计算得到的用户视线方向放在同一坐标系下计算二者之间的夹角，或者计算该夹角的余弦值，如果夹角越大、余弦值越大，则确定视线估计设备的准确度越差；反之，则确定视线估计设备的准确度越好。
方法实施例
基于与上述产品实施例相同的发明构思，相应的，本申请还提供各类一种视线估计设备性能评估方法。
请参见图22，示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图，本申请提供的视线估计设备性能评估方法的执行主体可以为图1 所示的电脑主机103。
如图22所示，该视线估计设备性能评估方法包括以下步骤：
步骤S221，采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；
步骤S222，利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；
步骤S223，根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；
步骤S224，从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息；
步骤S225，比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
在一示例性实施例中，请参见图23，示出了上述图22所示实施例中步骤S223 的一实施例的实现流程图。
如图23所示，在本实施例中，上述步骤S223中，具体包括：
步骤S231，根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息，并确定每组用户视线信息的置信度；
据此，上述步骤S224，具体包括：
步骤S232，从各个模组对应的多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。
在一示例性实施例中，请参见图24，示出了上述图22所示实施例中步骤S231 的一实施例的实现流程图。
如图24所示，在上述步骤S231中，该确定每组用户视线信息的置信度，具体包括：
步骤S241，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。
在一示例性实施例中，在上述步骤S241中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：
步骤S251，从每个模组采集的用户图像中提取眼部区域图像；
步骤S252，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征；
步骤S253，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。
在一示例性实施例中，请参见图25，示出了上述图24所示实施例中步骤S241 的一实施例的实现流程图二。
如图25所示，在上述步骤S241中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：
步骤S261，从每个模组采集的用户图像中提取眼部区域图像；
步骤S262，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征；
步骤S263，根据光斑的形状特征确定相应组用户视线信息的置信度。
在一示例性实施例中，请参见图26，示出了上述图24所示实施例中步骤S241 的一实施例的实现流程图三。
如图26所示，在上述步骤S241中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：
步骤S271，从每个模组采集的用户图像中提取眼部区域图像；
步骤S272，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑；
步骤S273，分别确定用户两个眼睛中瞳孔和光斑的相对位置，并比对用户两个眼睛中瞳孔和光斑的相对位置的一致程度；
步骤S274，根据该一致程度确定相应组用户视线信息的置信度。
在一示例性实施例中，请参见图27，示出了上述图24所示实施例中步骤S241 的一实施例的实现流程图四。
如图27所示，在上述步骤S241中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：
步骤S281，从每个模组采集的用户图像中提取眼部区域图像；
步骤S282，从眼部区域图像中分别确定用户两个眼睛的视轴，并计算用户两个眼睛的视轴的偏差；
步骤S283，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度。
在一示例性实施例中，请参见图28，示出了上述图24所示实施例中步骤S241 的一实施例的实现流程图五。
如图28所示，在上述步骤S241中，通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，具体包括：
步骤S291，初始视线确定单元根据每个模组采集的用户图像确定用户头部朝向；
步骤S292，确定用户头部朝向与每个模组采集用户图像的角度之间的偏差；
步骤S293，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。
在一示例性实施例中，请结合提11和图21所示实施例，每个模组具体可以包括：光源，用于产生红外光，并使所述红外光照射用户；相机，用于采集用户图像。
在结合上述图11和图21所示实施例的基础上，再参见图29，示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图二。
如图29所示，当各个模组中的光源产生具有相同波长的红外光时；该视线估计设备性能评估方法还包括：
步骤S302，控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；
其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。
再结合上述图11和图21所示实施例的基础上，再参见图30，示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图三。
如图30所示，当具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光时；该视线估计设备性能评估方法还包括：
步骤S311，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；
其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。
在一示例性实施例中，请参见图31，示出了本申请提供的视线估计设备性能评估方法的一实施例的实现流程图五。
如图31所示，请再结合图22所示实施例，在本实施例中，该视线估计设备性能评估方法，还包括：
步骤S321，利用至少一个屏幕提供用户注视的区域；
上述步骤S221，可以具体包括步骤S322：
用于采集视线估计设备通过采集当用户注视屏幕时的用户图像并对其进行计算所得到的用户视线信息；
上述步骤S222，可以具体包括步骤S323：利用至少两个模组采集当用户注视屏幕时的用户图像。
在一示例性实施例中，请参见图32，示出了本申请在图29所示实施例基础上的一实施例的实现流程图。
如图32所示，请再结合图22所示实施例，在本实施例中，该视线估计设备性能评估方法，还包括：
步骤S331，采集视线估计设备通过采集当用户注视屏幕中已知位置的标定点时的用户图像并对其进行计算所得到的用户视线方向；
步骤S332，利用至少两个模组采集当用户注视屏幕中上述已知位置的标定点时的用户图像；
步骤S333，根据每个模组采集的用户图像确定用户视线起点，并在相应模组中的相机坐标系中将用户视线起点与用户注视的标定点的连线确定为用户注视方向，并将该用户视线方向确定为相应模组对应的用户视线方向；
步骤S334，从每个模组对应的用户视线方向中选择一个用户视线方向确定为用户真实视线方向；
步骤S335，将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
在一示例性实施例中，请参见图33，示出了本申请在图30所示实施例基础上的一实施例的实现流程图。
如图33所示，请再结合图22所示实施例，在本实施例中，该视线估计设备性能评估方法，还包括：
步骤S341，采集视线估计设备通过采集当用户注视任意点时的用户图像并对其进行计算所得到的用户视线方向；
步骤S342，利用各个模组采集当用户注视上述任意点时的用户图像；
步骤S343，根据每个模组采集的用户图像预测用户视线方向；
步骤S344，从每个模组预测的用户视线方向中选择一个视线方向确定为用户真实视线方向；
步骤S345，将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
设备实施例
请参见图34，示出了适于用来实现本申请视线估计设备性能评估方法的一些实施例的电子设备35的结构示意图，图34示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。例如，本实施例所示电子设备35可以为一视线估计设备性能评估设备，或也可以为图1所示的电脑主机。
如图34所示，电子设备35可以包括处理器351、存储器352以及存储在所述存储器352中并可在所述处理器351上运行的计算机程序353。所述处理器351执行所述计算机程序353时实现上述各个视线估计设备性能评估方法实施例中的步骤，例如图22所示的步骤221至225。
所述电子设备35可包括，但不仅限于，处理器351、存储器352。本领域技术人员可以理解，图34仅仅是电子设备35的示例，并不构成对电子设备35的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备35还可以包括输入输出设备、网络接入设备、总线等。
示例性的，所述计算机程序353可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器352中，并由所述处理器351执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序353在电子设备35中的执行过程。
所称处理器351可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器352可以是电子设备35的内部存储单元，例如电子设备35的硬盘或内存。所述存储器352也可以是所述电子设备35的外部存储设备，例如所述电子设备35上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器 352还可以既包括所述电子设备35的内部存储单元也包括外部存储设备。所述存储器352用于存储所述计算机程序以及所述电子设备35所需的其它程序和数据。所述存储器352还可以用于暂时地存储已经输出或者将要输出的数据。
在一示例性实施中，本申请还提供了一种算机可读的存储介质，其上存储有计算机程序353，所述计算机程序353被处理器运行时实现方法实施例中任一实施例中所述的视线估计设备性能评估方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种视线估计设备性能评估***，其特征在于，包括：
待测数据采集单元，用于采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；
至少两个模组；各个模组用于从不同的角度发出红外光照射用户并采集用户图像；
初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；
真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息；
比对单元，用于比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
2.根据权利要求1所述的视线估计设备性能评估***，其特征在于，初始视线确定单元还用于确定每组用户视线信息的置信度；则，
真实视线确定单元还用于接收每组用户视线信息的置信度，并从多组用户视线信息中选择置信度最高的用户视线信息确定为用户真实视线信息。
3.根据权利要求2所述的视线估计设备性能评估***，其特征在于，初始视线确定单元确定每组用户视线信息的置信度，包括：
初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度。
4.根据权利要求3所述的视线估计设备性能评估***，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔对应的椭圆，并分析瞳孔对应的椭圆的形状特征，根据瞳孔对应的椭圆的形状特征确定相应组用户视线信息的置信度。
5.根据权利要求3所述的视线估计设备性能评估***，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定因用户眼睛反射红外光而出现的光斑，并分析光斑的形状特征，根据光斑的形状特征确定相应组用户视线信息的置信度。
6.根据权利要求3所述的视线估计设备性能评估***，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中确定瞳孔和因用户眼睛反射红外光而出现的光斑，分别确定用户两个眼睛中瞳孔和光斑的相对位置，并比对用户两个眼睛中瞳孔和光斑的相对位置的一致程度，根据该一致程度确定相应组用户视线信息的置信度。
7.根据权利要求3所述的视线估计设备性能评估***，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：
初始视线确定单元从每个模组采集的用户图像中提取眼部区域图像，从眼部区域图像中分别确定用户两个眼睛的视轴，并计算用户两个眼睛的视轴的偏差，根据用户两个眼睛的视轴的偏差确定相应组用户视线信息的置信度。
8.根据权利要求3所述的视线估计设备性能评估***，其特征在于，初始视线确定单元通过分析每个模组采集的用户图像，确定相应组用户视线信息的置信度，包括：
初始视线确定单元根据每个模组采集的用户图像确定用户头部朝向，并确定用户头部朝向与每个模组采集用户图像的角度之间的偏差，根据用户头部朝向与每个模组采集用户图像的角度之间的偏差确定相应组用户视线信息的置信度。
9.根据权利要求1所述的视线估计设备性能评估***，其特征在于，每个模组包括：
光源，用于产生红外光，并使所述红外光照射用户；
相机，用于采集用户图像。
10.根据权利要求9所述的视线估计设备性能评估***，其特征在于，各个模组中的光源产生具有相同波长的红外光，且，所示视线估计设备性能评估***还包括：模组控制单元，用于控制具有光斑干扰关系的各个模组分时工作，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现因用户眼睛反射其他模组产生的红外光而出现的光斑。
11.根据权利要求9所述的视线估计设备性能评估***，其特征在于，具有光斑干扰关系的各个模组中的光源产生具有不同波长的红外光，且，具有光斑干扰关系的各个模组中的相机采用可透过本模组产生的红外光、滤除其他模组产生的不同波长的红外光的滤光片，以使每个模组采集的用户图像中最多只有因用户眼睛反射本模组产生的红外光而出现的光斑；其中，具有光斑干扰关系的模组为如下类型的模组：当采用相同波长的红外光同时照射用户时，会导致至少一个模组采集的用户图像中出现其他模组产生的因用户眼睛反射红外光而出现的光斑。
12.根据权利要求1所述的视线估计设备性能评估***，其特征在于，还包括：至少一个屏幕，用于提供用户注视的区域；则，
待测数据采集单元，用于采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息，包括：待测数据采集单元采集视线估计设备通过采集当用户注视屏幕时的用户图像并对其进行计算所得到的用户视线信息；
各个模组用于从不同的角度发出红外光照射用户并采集用户图像，包括：各个模组用于采集当用户注视屏幕时的用户图像。
13.根据权利要求12所述的视线估计设备性能评估***，其特征在于，
待测数据采集单元采集视线估计设备通过采集当用户注视屏幕时的用户图像并对其进行计算所得到的用户视线信息，包括：待测数据采集单元采集视线估计设备通过采集当用户注视屏幕中已知位置的标定点时的用户图像并对其进行计算所得到的用户视线方向；
各个模组用于采集当用户注视屏幕时的用户图像，包括：各个模组采集当用户注视屏幕中上述已知位置的标定点时的用户图像；
初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，包括：初始视线确定单元根据每个模组采集的用户图像确定用户视线起点，并在相应模组中的相机坐标系中将用户视线起点与用户注视的标定点的连线确定为用户注视方向，并将该用户视线方向确定为相应模组对应的用户视线方向；
真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息，包括：真实视线确定单元从每个模组对应的用户视线方向中选择一个用户视线方向确定为用户真实视线方向；
比对单元，用于比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能，包括：比对单元将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
14.根据权利要求1所述的视线估计设备性能评估***，其特征在于，
待测数据采集单元，用于采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息，包括：待测数据采集单元采集视线估计设备通过采集当用户注视任意点时的用户图像并对其进行计算所得到的用户视线方向；
各个模组用于从不同的角度发出红外光照射用户并采集用户图像，包括：各个模组采集当用户注视上述任意点时的用户图像；
初始视线确定单元，用于根据每个模组采集的用户图像计算用户视线信息，包括：初始视线确定单元根据每个模组采集的用户图像预测用户视线方向；
真实视线确定单元，用于接收各个模组对应的多组用户视线信息，并从中选择一组用户视线信息确定为用户真实视线信息，包括：真实视线确定单元从每个模组预测的用户视线方向中选择一个视线方向确定为用户真实视线方向；
比对单元，用于比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能，包括：比对单元将用户真实视线方向和视线估计设备计算得到的用户视线方向转换至同一坐标系中，在该同一坐标系中计算用户真实视线方向和视线估计设备计算得到的用户视线方向之间的偏差，并根据该偏差评估视线估计设备的性能。
15.一种视线估计设备性能评估方法，其特征在于，包括：
采集视线估计设备通过采集用户图像并对其进行计算所得到的用户视线信息；
利用至少两个模组从不同的角度发出红外光照射用户并采集用户图像；
根据每个模组采集的用户图像计算用户视线信息，其中，每个模组对应一组用户视线信息；
从各个模组对应的多组用户视线信息中选择一组用户视线信息确定为用户真实视线信息；
比对视线估计设备计算得到的用户视线信息和用户真实视线信息，并根据比对结果评估视线估计设备的性能。
16.一种视线估计设备性能评估设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器在运行所述计算机程序时，执行权利要求15所述的视线估计设备性能评估方法。
17.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现权利要求15所述的视线估计设备性能评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016069.9A CN111208904A (zh) | 2020-01-08 | 2020-01-08 | 一种视线估计设备性能评估方法、***和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016069.9A CN111208904A (zh) | 2020-01-08 | 2020-01-08 | 一种视线估计设备性能评估方法、***和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111208904A true CN111208904A (zh) | 2020-05-29 |
Family
ID=70787161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010016069.9A Pending CN111208904A (zh) | 2020-01-08 | 2020-01-08 | 一种视线估计设备性能评估方法、***和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111208904A (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004129684A (ja) * | 2002-10-08 | 2004-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定精度評価装置及びその方法と、視線測定精度評価プログラム及びそのプログラムを記録した記録媒体 |
| JP2012037934A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 視線検出装置、視線検出方法及びプログラム |
| US20130154918A1 (en) * | 2011-12-20 | 2013-06-20 | Benjamin Isaac Vaught | Enhanced user eye gaze estimation |
| CN104113680A (zh) * | 2013-04-19 | 2014-10-22 | 北京三星通信技术研究有限公司 | 视线跟踪***及方法 |
| JP2015088828A (ja) * | 2013-10-29 | 2015-05-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US20150227789A1 (en) * | 2014-02-10 | 2015-08-13 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US20160063304A1 (en) * | 2014-08-29 | 2016-03-03 | Alps Electric Co., Ltd. | Line-of-sight detection apparatus |
| US20160063303A1 (en) * | 2014-09-02 | 2016-03-03 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
| DE102016013806A1 (de) * | 2016-11-18 | 2017-05-24 | Daimler Ag | System und Verfahren zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug |
| CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
| WO2018000020A1 (en) * | 2016-06-29 | 2018-01-04 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
| WO2018030515A1 (ja) * | 2016-08-12 | 2018-02-15 | 国立大学法人静岡大学 | 視線検出装置 |
| US20180089508A1 (en) * | 2016-04-13 | 2018-03-29 | Panasonic Intellectual Property Management Co., Ltd. | Visual line measuring device and visual line measuring method |
| US9940518B1 (en) * | 2017-09-11 | 2018-04-10 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
| WO2019050543A1 (en) * | 2017-09-11 | 2019-03-14 | Tobii Ab | RELIABILITY OF FOLLOW-UP DATA FOR THE LEFT EYE AND THE RIGHT EYE |
| WO2019187808A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2019171022A (ja) * | 2018-03-26 | 2019-10-10 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
| CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
-
2020
- 2020-01-08 CN CN202010016069.9A patent/CN111208904A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004129684A (ja) * | 2002-10-08 | 2004-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定精度評価装置及びその方法と、視線測定精度評価プログラム及びそのプログラムを記録した記録媒体 |
| JP2012037934A (ja) * | 2010-08-03 | 2012-02-23 | Canon Inc | 視線検出装置、視線検出方法及びプログラム |
| US20130154918A1 (en) * | 2011-12-20 | 2013-06-20 | Benjamin Isaac Vaught | Enhanced user eye gaze estimation |
| CN104113680A (zh) * | 2013-04-19 | 2014-10-22 | 北京三星通信技术研究有限公司 | 视线跟踪***及方法 |
| JP2015088828A (ja) * | 2013-10-29 | 2015-05-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US20150227789A1 (en) * | 2014-02-10 | 2015-08-13 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US20160063304A1 (en) * | 2014-08-29 | 2016-03-03 | Alps Electric Co., Ltd. | Line-of-sight detection apparatus |
| US20160063303A1 (en) * | 2014-09-02 | 2016-03-03 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
| US20180089508A1 (en) * | 2016-04-13 | 2018-03-29 | Panasonic Intellectual Property Management Co., Ltd. | Visual line measuring device and visual line measuring method |
| WO2018000020A1 (en) * | 2016-06-29 | 2018-01-04 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
| WO2018030515A1 (ja) * | 2016-08-12 | 2018-02-15 | 国立大学法人静岡大学 | 視線検出装置 |
| US20190172222A1 (en) * | 2016-08-12 | 2019-06-06 | National University Corporation Shizuoka University | Line-of-sight detection device |
| DE102016013806A1 (de) * | 2016-11-18 | 2017-05-24 | Daimler Ag | System und Verfahren zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug |
| CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
| US9940518B1 (en) * | 2017-09-11 | 2018-04-10 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
| WO2019050543A1 (en) * | 2017-09-11 | 2019-03-14 | Tobii Ab | RELIABILITY OF FOLLOW-UP DATA FOR THE LEFT EYE AND THE RIGHT EYE |
| JP2019171022A (ja) * | 2018-03-26 | 2019-10-10 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
| WO2019187808A1 (ja) * | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 李东平等: "基于普尔钦斑点的人眼视线方向检测", pages 498 - 500 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190540B (zh) | 活检区域预测方法、图像识别方法、装置和存储介质 | |
| JP2021536057A (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及*** | |
| Hosp et al. | RemoteEye: An open-source high-speed remote eye tracker: Implementation insights of a pupil-and glint-detection algorithm for high-speed remote eye tracking | |
| WO2010003410A1 (en) | Eye gaze tracking | |
| Toennies et al. | Feasibility of hough-transform-based iris localisation for real-time-application | |
| JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| WO2016145367A1 (en) | Systems and methods for combined structure and function evaluation of retina | |
| CN115482574B (zh) | 基于深度学习的屏幕注视点估计方法、装置、介质及设备 | |
| CN110036407B (zh) | 用于基于人类巩膜和瞳孔校正数字图像颜色的***和方法 | |
| CN109661668A (zh) | 用于虹膜识别的图像处理方法和*** | |
| CN113260299A (zh) | 用于眼睛追踪的***和方法 | |
| CN112987910B (zh) | 眼球追踪设备的测试方法、装置、设备及存储介质 | |
| CA3177238A1 (en) | A method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases | |
| CN114360039A (zh) | 一种智能眼睑检测方法及*** | |
| Melesse et al. | Appearance-based gaze tracking through supervised machine learning | |
| CN111208904A (zh) | 一种视线估计设备性能评估方法、***和设备 | |
| CN116382473A (zh) | 一种基于自适应时序分析预测的视线校准、运动追踪及精度测试方法 | |
| Remeseiro et al. | Automatic eye blink detection using consumer web cameras | |
| KR100686517B1 (ko) | 동공 모양 모델링 방법 | |
| CN114740966A (zh) | 多模态图像显示控制方法、***及计算机设备 | |
| Criss et al. | Video assessment of finger tapping for Parkinson's disease and other movement disorders | |
| Ji et al. | Bayesian eye tracking | |
| Ferhat et al. | Eye-tracking with webcam-based setups: Implementation of a real-time system and an analysis of factors affecting performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240614 |