CN109389082B - 视线采集方法、装置、***、计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种视线采集方法、装置、***、计算机存储介质，通过控制器获取到更换图片指令时，基于预先保存的目标图片生成数据确定出一个包括一个视线点的当前的目标图片，同时控制所述显示设备显示所述当前的目标图片，以及控制图像采集设备采集测试者的人脸图片；然后将该图像采集设备采集的人脸图片与当前的目标图片对应的视线点在显示设备内的坐标一一对应缓存形成备选图片信息，后续在控制器获取到感应设备发送的视线点采集信号时，从与图像采集设备对应的备选图片信息中确定出一个目标图片信息，将与该图像采集设备对应的目标图片信息以及与该图像采集设备对应的设备坐标保存形成视线采集数据，提高了视线数据样本的正确率。

Description

视线采集方法、装置、***、计算机可读存储介质

技术领域

本发明涉及图像采集领域，具体而言，涉及一种视线采集方法、装置、***、计算机可读存储介质。

背景技术

视线检测模型需要大量的视线数据样本作为训练基础，一般而言，视线数据样本通过视线数据采集技术来获取。

现有的视线数据采集技术，是通过采集者指挥被采集者来观察所需要采集的视线点，然后使用采集工具拍摄被采集者所观察的视线点的图像，同时记录下采集的视线点的标签，标签一般较为简单，例如注视A区域以及未注视A区域。

然而，针对现有的视线数据采集技术，需要被采集者高度配合指挥者的指挥来注视视线点，一旦当采集者不进行监督，被采集者不配合采集者的指挥时，采集者也较难发现，导致得到的视线数据样本错误率较高。

发明内容

有鉴于此，本发明实施例的目的在于提供一种视线采集方法、装置、***、计算机可读存储介质，以提高视线数据样本的正确率。

第一方面，本发明实施例提供了一种视线采集方法，应用于视线采集***中的控制器，所述视线采集***还包括与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述方法包括：所述控制器获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示一个包括一个视线点的当前目标图片，以及控制所述图像采集设备采集测试者的人脸图片；所述控制器将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；所述控制器在获取到所述感应设备发送的视线点采集信号时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，其中，所述视线点采集信号为所述感应设备在检测到所述测试者点击所述视线点时生成的信号；所述控制器将与所述图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

第二方面，本发明实施例提供了一种视线采集装置，应用于视线采集***中的控制器，所述视线采集***还包括与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述装置包括：选择显示模块、缓存模块、确定模块以及保存模块。选择显示模块，用于获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片；缓存模块，用于将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；确定模块，用于在获取到所述感应设备发送的视线点采集信号时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，其中，所述视线点采集信号为所述感应设备在检测到所述测试者点击所述视线点时生成的信号；保存模块，用于将与所述图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

第三方面，本发明实施例提供了一种视线采集***，包括：控制器、与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述存储器内还存储有计算机程序，当所述计算机程序被所述控制器执行时，使得所述视线采集***执行第一方面中任意一项实施方式所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面中任意一项实施方式所述的方法。

与现有技术相比，本发明各实施例提出的视线采集方法、装置、***、计算机可读存储介质，通过控制器获取到更换图片指令时，基于预先保存的目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片；然后针对每个图像采集设备，所述控制器将该图像采集设备采集的人脸图片与当前的目标图片对应的视线点在显示设备内的坐标一一对应缓存，形成备选图片信息，后续在控制器获取到感应设备发送的视线点采集信号时，针对每个图像采集设备，从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，将与该图像采集设备对应的目标图片信息以及与该图像采集设备对应的设备坐标保存到所述存储器形成视线采集数据。由于在视线点被点击时，获取的是点击瞬间之前的人像，尽可能保证获取到的视线采集数据是正确的，所以提高了视线数据样本的正确率；另外，由于全过程只需要一个测试者就可以完成，避免出现指挥者与测试者行动不一致的情况，或者测试者不听从指挥者指挥情况，或者需要指挥者监督的情况。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的视线采集***的结构示意图；

图2为本发明实施例提供的视线采集方法的流程图；

图3为本发明实施例提供的视线采集方法的视线点的示意图；

图4为本发明实施例提供的视线采集装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

训练一个视线检测模型需要大量的视线数据样本作为训练基础。现有的视线数据采集技术，受限于采集者以及被采集者两者之间的相互配合，需要通过采集者指挥被采集者来观察所需要采集的视线点，然后使用采集工具拍摄被采集者所观察的视线点的图像，同时记录下采集的视线点的标签，标签一般较为简单，例如注视A区域以及未注视A区域。在上述方案中，一旦当采集者不进行监督，被采集者不配合采集者的指挥时，采集者也较难发现，导致得到的视线数据样本错误率较高。

为了改善上述问题，本发明实施例提供了一种视线采集方法、装置、***、计算机可读存储介质，该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本发明实施例进行详细介绍。

首先，参照图1来描述用于实现本发明实施例的视线采集方法、装置的视线采集***100。

视线采集***100可以包括控制器120、与所述控制器120耦合的存储器110、显示设备130、感应设备140、图像采集设备150以及视线采集装置，存储器110、控制器120、显示设备130、感应设备140、图像采集设备150以及视线采集装置这些组件可以通过总线***和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的视线采集***100的组件和结构只是示例性的，而非限制性的，根据需要，所述视线采集***100也可以具有其他组件和结构。其中，存储器110、显示设备130、感应设备140、图像采集设备150可以集成在一个模块内，也可以单独设置成一个模块。

所述视线采集装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中或固化在视线采集***100的操作***(operating system，OS)中的软件功能模块。所述控制器120用于执行存储器110中存储的可执行模块，例如所述视线采集装置包括的软件功能模块或计算机程序。

所述存储器110可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，控制器120可以运行所述程序指令，以实现下文所述的本发明实施例中期望实现的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。当然，在存储器110内还可以预先存储有图像采集设备150相对所述显示设备130的设备坐标以及目标图片生成数据。

控制器120可能是一种集成电路芯片，具有信号的处理能力。上述的控制器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。控制器120可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

显示设备130在视线采集***100与测试者之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给测试者参考，在本实施例中，显示设备130可以是带有显示功能的平板、移动终端等。

感应设备140是一种输入设备，可以是支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示屏能感应到来自该触控显示屏上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由控制器120进行计算和处理。当然，在一种可选的实施方式中，感应设备140也可以是鼠标，用于感应用户点击的位置。

图像采集设备150用于采集测试者的人脸图片，可以是摄像头、照相机等设备。

下面将针对在视线数据采集中为了达到优化目的而进行的视线采集方法进行介绍：

请参照图2，图2是本发明实施例提供的一种视线采集方法的流程图，所述方法从视线采集***100的控制器120的角度进行描述。其中，视线采集***100的存储器110内预先存储有目标图片生成数据以及多个图像采集设备150相对显示设备130的设备坐标。

下面将对图2所示的流程进行详细阐述，所述方法包括：

步骤S110：控制器获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片。

由于视线采集数据所需要的是测试者的人眼瞳孔图像数据，因此，所述人脸图片可以是每个与控制器120连接的图像采集设备150所采集的包括所述测试者眼部的人脸图片。

作为一种可选的实施方式，所述目标图片生成数据可以包括多个图片，每个所述图片上包括一个预设的视线点，控制器120可以在获取到更换图片指令时，从所述多个图片中确定出一个目标图片作为所述当前的目标图片。

在这种实施方式下，可选的，所述控制器120可以在获取到更换图片指令时，从所述多个图片中随机选择出一个图片确定为所述当前的目标图片。

在这种实施方式下，可选的，所述多个图片可以预先按照时间顺序保存在所述存储器110内，所述控制器120可以在获取到更换图片指令时，按照所述多个图片的保存时间的先后顺序，依次从所述多个图片中选择出一个图片确定为所述当前的目标图片。可选的，多个图片可以是保存在存储器110内的一个队列中，由于队列的读取规则是先入先出，因此，先保存在队列内的图片会先被控制器120读取出来，并确定为当前的目标图片。

控制器120在确定了当前的目标图片后，控制所述显示设备130显示所述当前的目标图片。其中，每个目标图片内可以包含一个视线点，且存储器110内存储有每个目标图片内所包含的视线点的坐标。显示设备130在显示所述当前的目标图片时，将其所包含的视线点一起进行显示。

目标图片所包含的视线点可以是显示在目标图片内的一个特定形状，例如图3所示的十字架，也可以是其他任意不规则的形状。当然，每个目标图片内的视线点的形状也可以不相同，此时，为了使得视线点突出，容易被测试者发现，可以把目标图片的背景设置为纯色，把视线点的颜色设置为与目标图片的背景颜色反差较大的其他颜色。

作为另一种可选的实施方式，所述目标图片生成数据可以包括：一个图片、一个视线点标识以及多个视线点坐标，其中，所述一个图片作为背景图片。控制器120可以在获取到更换图片指令时，从所述多个视线点坐标中确定出一个目标视线点坐标，然后在背景图片内的目标视线点坐标处显示所述视线点标识，从而得到当前的目标图片。

在这种实施方式下，可选的，所述多个视线点坐标可以是由保存在所述存储器110内的函数生成后保存在存储器110内，也可以是由保存在存储器110外部的函数生成后发送给所述存储器110进行保存。当然，在这种实施方式下，多个视线点坐标之间可以是函数生成的有规律的坐标，例如{(1，1)，(1，2)，(1，3)，(1，4)，(2，1)，(2，2)，(2，3)，(2，4)}等，此时，视线点标识在图片上呈现出从左到右，从上到下的变化顺序；多个视线点坐标之间也可以是随机函数随机生成的无规则坐标。

作为另一种可选的实施方式，所述目标图片生成数据可以包括：一个图片、一个视线点标识以及随机数生成函数，其中，所述一个图片作为背景图片。控制器120可以在获取到更换图片指令时，控制所述随机数生成函数随机生成一个目标视线点坐标，然后在背景图片内的目标视线点坐标处显示所述视线点标识，从而得到当前的目标图片。

在这种实施方式下，可选的，为了增加目标视线点坐标的多样性，所述目标图片生成数据还包括多个已有的视线点坐标，例如{(1，1)，(1，2)，(1，3)，(1，4)，(2，1)，(2，2)，(2，3)，(2，4)}等。控制器120控制所述随机数生成函数随机生成一个坐标后，将该坐标叠加到已有的多个视线点坐标中的一个坐标上，从而生成一个目标视线点坐标，并在背景图片内的目标视线点坐标处显示所述视线点标识，从而得到当前的目标图片。值得指出的是，上述多个视线点坐标中的一个坐标，可以是从上述多个视线点坐标中随机选择出的，也可以是按照上述多个视线点坐标的保存顺序，依次选择出的。

可选的，上述的更换图片指令可以是由所述控制器120每隔预设时间(例如2秒)自动生成，也可以是由所述控制器120在获取到感应设备140发送的视线点采集信号时生成。当然，更换图片指令还可以是同时结合了上述两者情况生成，例如，控制器120在超过所述预设时间内未获取到感应设备140发送的视线点采集信号时，自动生成更换图片指令。

由于本发明实施例所需要得到的视线采集数据为显示设备130显示所述当前的目标图片时测试者的眼部看向所述当前的目标图片内所包括的视线点的瞳孔数据，若当测试者看向当前的目标图片A所包含的视线点且给出反馈时控制器120才控制图像采集设备150采集测试者的人脸图片，那么该人脸图片极有可能是测试者在看向下一个时间点所呈现的当前的目标图片B所包含的视线点时的人脸图片，降低了视线采集数据的正确率。为了避免上述问题，尽量确保视线采集数据的准确性，控制器120在显示当前的目标图片的同时，还需要控制图像采集设备150采集测试者的人脸图片。

步骤S120：所述控制器将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息。

无论当前的目标图片由上述哪种方式进行确定，控制器120都可以得到当前的目标图片对应的视线点在显示设备130内的坐标。当然，值得指出的是，可以将显示设备130显示界面的一个顶点定义为坐标原点，从而确定视线点在显示设备内的坐标。

其中，图像采集设备150的数量可以为一个，图像采集设备150在采集到人脸图片后，可以将人脸图片与当前的目标图片所包括的视线点在所述显示设备130内的坐标一一对应缓存，形成一个备选图片信息。随着时间的推移，该图像采集设备150可以拍摄到多个人脸图片，每个人脸图片对应不同的当前目标图片，最后形成多个备选图片信息保存在存储器110内。

可选的，为了加快视线采集数据的获取速度，图像采集设备150的数量也可以为多个，每个图像采集设备150相对显示设备130的设备坐标不同。

在这种实施方式下，针对同一个当前的目标图片，控制器120在控制图像采集设备150采集测试者的人脸图片时，可以根据图像采集设备150的不同，从而得到多个人脸图片。同理，在后续形成备选图片信息时，针对同一个视线点在所述显示设备130内的坐标，控制器120可以根据图像采集设备150的不同，得到与图像采集设备150一一对应的多组备选图片信息。

由于图像采集设备150所采集到的人脸图片可能不满足形成视线数据的要求，因此，可选的，在所述存储器110内还可以预先保存有人脸方位状态预设条件。其中，所述人脸方位状态预设条件可以是：在与该图像采集设备150对应的人脸图片中，人脸与所述显示设备130的距离在预设距离范围内；也可以是在与该图像采集设备150对应的人脸图片中，人脸的朝向在预设角度范围内；也可以是在与该图像采集设备150对应的人脸图片中，人眼不被遮挡；还可以是同时满足上述三个条件中的任意两个条件或者全部三个条件。

当控制器120在将某一个图像采集设备150采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息之前，所述控制器120可以判断与该图像采集设备150对应的人脸图片是否满足所述人脸方位状态预设条件；在满足时，控制器120才将该图像采集设备150采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备130内的坐标一一对应缓存，形成备选图片信息。在不满足时，控制器120可以重新确定下一个当前的目标图片，并重新通过图像采集设备150采集测试者的人脸图片。

当然，可选的，控制器120在重新确定下一个当前的目标图片之前，还可以控制所述显示设备130发出采集错误提示，以便测试者对自己的姿态进行调整。该采集错误提示可以是根据不满足人脸方位状态预设条件的具体情况而显示用于矫正测试者姿态的提示性内容，例如：“距离太远，请靠近显示设备”。

下面将针对控制器120重新确定下一个当前的目标图片进行介绍。

作为一种可选的实施方式，在控制器120重新确定下一个当前的目标图片时，所述下一个当前的目标图片可以与上一个当前的目标图片相同，即控制器120可以直接重新显示上一个当前的目标图片相同。

作为另一种可选的实施方式，在控制器120重新确定下一个当前的目标图片时，所述下一个当前的目标图片可以与上一个当前的目标图片不同。

在这种实施方式下，若目标图片生成数据包括多个图片，控制器120从所述多个图片中排除当前的目标图片后，确定出一个图片作为所述下一个当前的目标图片。

在这种实施方式下，若目标图片生成数据包括一个图片、一个视线点标识以及随机数生成函数，控制器120可以获取随机数生成函数生成的下一个目标视线点坐标，从而确定出一个目标图片作为所述下一个当前的目标图片。

在这种实施方式下，若目标图片生成数据包括一个图片、一个视线点标识以及多个视线点坐标，控制器120从所述多个视线点坐标中排除当前的目标图片所对应的目标视线点坐标后，确定出一个新的目标视线点坐标，从而确定出一个目标图片作为所述下一个当前的目标图片。

在这种实施方式下，若目标图片生成数据包括一个图片、一个视线点标识、随机数生成函数以及多个视线点坐标，控制器120可以在随机数生成函数生成一个随机坐标后，将随机坐标叠加到当前的目标图片所对应的目标视线点坐标，形成一个新的目标视线点坐标，从而确定出一个目标图片作为所述下一个当前的目标图片。

步骤S130：所述控制器在获取到所述感应设备发送的视线点采集信号时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息。

其中，所述视线点采集信号可以为所述感应设备140在检测到所述测试者用手指或者触控笔触摸视线点时所产生的信号，也可以为测试者通过鼠标点击视线点时所产生的信号。

控制器120获取到视线点采集信号时，从与所述图像采集设备150采集的至少一个备选图片信息中确定出一个目标图片信息，可以包括：

控制器120可以获取视线点采集信号的生成时间，然后将生成时间减去预设值后得到比对时间。该预设值表征测试者看到视线点后触发视线点采集信号的时间间隔，一般可以设置为300毫秒。然后，控制器120从该图像采集设备150采集的至少一个备选图片信息中选择出一个备选图片信息作为所述目标图片信息，其中，所述目标图片信息的保存时间与所述比对时间最接近。

可选的，所述控制器120在检测到所述鼠标在所述显示设备130内移动或者检测到所述手指或者所述触控笔在所述感应设备140上滑动时，所述控制器120还可以采集所述鼠标、所述手指或者所述触控笔在所述显示设备130内的操作位置坐标，并将该坐标作为参考坐标保存在所述存储器110内。

当然，值得指出的是，若控制器120检测到手指或者所述触控笔在感应设备140上滑动，此时，控制器还可以检测手指或者所述触控笔在感应设备140的同一个位置的停留时间，若停留时间未超过预设停留时间，则保存此时的操作位置坐标作为参考坐标，若停留时间超过预设停留时间，则手指或者所述触控笔是长按感应设备140，此时触发的是视线点采集信号。

在这种实施方式下，控制器120在将该图像采集设备150采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备130内的坐标一一对应缓存，形成备选图片信息时，控制器120还可以将该图像采集设备150采集的人脸图片、采集所述人脸图片时对应的参考坐标以及所述当前的目标图片对应的视线点在所述显示设备130内的坐标一一对应缓存，形成备选图片信息。

值得指出的是，可能会由于触控笔或者鼠标或者被采集者的手指没有处于滑动状态而导致在采集某个人脸图片时，不存在与该时间点对应的参考坐标。此时，控制器120可以在已经保存的参考坐标中，将保存参考坐标的时间最接近采集该人脸图片的时间点所对应的参考坐标作为该人脸图片的参考坐标。相应的，控制器120从与该图像采集设备150对应的至少一个备选图片信息中确定出一个目标图片信息时，控制器120可以从该图像采集设备150采集的至少一个备选图片信息中选择出一个备选图片信息作为所述目标图片信息。其中，与所述目标图片信息对应的参考坐标与所述目标图片信息所包括的视线点在所述显示设备150内的坐标之间的距离大于预设值(即参考坐标在视线点坐标范围之外)，且所述目标图片信息的保存时间与所述比对时间最接近，这样可以找到被测试者还没有移动但即将移动到视线点的图片，这样的人眼状态最集中于视线点。

由于测试者在用手指或者触控笔或者鼠标点击视线点触发产生视线点采集信号时，与感应设备140所接触的点的坐标与当前的目标图片对应的视线点的坐标有偏差，因此，可选的，在从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息之前，所述控制器120判断触发所述视线点采集信号的坐标与所述当前的目标图片对应的视线点在所述显示设备内的坐标之间的误差是否超过预设的误差阈值；在为否时，所述控制器120从与该图像采集设备150对应的至少一个备选图片信息中确定出一个目标图片信息；在为是时，所述控制器120重新确定下一个当前的目标图片。

此处的控制器120重新确定下一个当前的目标图片的情况与上文步骤S120中描述的控制器120重新确定下一个当前的目标图片的情况相同，为了避免重复，此处不再赘述。

步骤S140：所述控制器将与所述图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

由于存储器110内预先存储有图像采集设备150相对于显示设备130的设备坐标，在确定了目标图片信息后，控制器120将目标图片信息与之对应的图像采集设备150的设备坐标保存到存储器110内，形成视线采集数据。

其中，一个视线采集数据由设备坐标、人脸图片以及视线点在显示设备130内的坐标唯一确定。

本发明实施例提供的一种应用于的视线采集方法，通过控制器获取到更换图片指令，基于预先保存的目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制图像采集设备采集测试者的人脸图片；然后将该图像采集设备采集的人脸图片与当前的目标图片对应的视线点在显示设备内的坐标一一对应缓存，形成备选图片信息，后续在控制器获取到感应设备发送的视线点采集信号时，从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，将与该图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。由于在视线点被点击时，获取的是点击瞬间之前的人像，尽可能保证获取到的视线采集数据是正确的，所以提高了视线数据样本的正确率；另外，由于全过程只需要一个测试者就可以完成，避免出现指挥者与测试者行动不一致的情况，或者测试者不听从指挥者指挥情况，或者需要指挥者监督的情况。

对应于图2提供的视线采集方法，请参看图4，本发明实施例还提供了一种视线采集装置400，应用于视线采集***100中的控制器120，该视线采集装置400可以包括：选择显示模块410、缓存模块420、确定模块430以及保存模块440。

选择显示模块410，用于获取到更换图片指令时，基于目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人像图片；

缓存模块420，用于将该图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；

确定模块430，用于在获取到所述感应设备发送的视线点采集信号时，从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，其中，所述视线点采集信号为所述感应设备在检测到所述测试者点击所述视线点时生成的信号；

保存模块440，用于将与该图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

可选的，所述目标图片生成数据包括一个图片、一个视线点标识以及多个视线点坐标，所述选择显示模块410，用于获取到所述更换图片指令时，从所述多个视线点坐标中确定出一个目标视线点坐标；在所述图片上所述目标视线点坐标的位置显示所述视线点标识，得到所述当前的目标图片。

可选的，所述多个视线点坐标由保存在所述存储器内的函数生成，或者由保存在所述存储器外部的函数生成后发送给所述存储器。

可选的，所述目标图片生成数据包括一个图片、一个视线点标识以及随机数生成函数，所述选择显示模块410，用于获取到所述更换图片指令时，控制所述随机数生成函数随机生成一个目标视线点坐标；在所述图片上所述目标视线点坐标的位置显示所述视线点标识，得到所述当前的目标图片。

可选的，所述目标图片生成数据还包括多个视线点坐标，所述选择显示模块410，用于控制所述随机数生成函数随机生成一个坐标；将所述坐标叠加到所述多个视线点坐标中的一个坐标上，生成一个目标视线点坐标。

可选的，所述目标图片生成数据包括多个图片，每个所述图片上包括一个预设的视线点，所述选择显示模块410，用于获取到所述更换图片指令时，从所述多个图片中确定出一个目标图片作为所述当前的目标图片。

可选的，所述选择显示模块410，用于获取到所述更换图片指令时，从所述多个目标图片中随机选择出一个图片确定为所述当前的目标图片。

可选的，所述多个目标图片预先按照时间顺序保存在所述存储器内，所述选择显示模块410，用于获取到所述更换图片指令时，按照所述多个目标图片的保存时间的先后顺序，依次从所述多个目标图片中选择出一个图片确定为所述当前的目标图片。

可选的，所述更换图片指令每隔预设时间自动生成或者由所述装置在获取到所述视线点采集信号时生成。

可选的，所述存储器内预先保存有人脸方位状态预设条件，所述装置还包括判断模块以及重新确定模块。所述判断模块，用于判断与该图像采集设备对应的人脸图片是否满足所述人脸方位状态预设条件。在判断结果为是时，所述缓存模块420才将该图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息，否则，所述重新确定模块，用于重新确定下一个当前的目标图片。

可选的，所述重新确定模块，可以用于在所述显示设备发出采集错误提示之后再重新确定下一个当前的目标图片。

可选的，所述人脸方位状态预设条件可以为：在与该图像采集设备对应的人脸图片中，人脸与所述显示设备的距离在预设距离范围内，和/或在与该图像采集设备对应的人脸图片中，人脸的朝向在预设角度范围内，和/或人眼处不被遮挡。

所述判断模块，还用于判断触发所述视线点采集信号的坐标与所述当前的目标图片对应的视线点在所述显示设备内的坐标之间的误差是否超过预设的误差阈值。在判断结果为否时，所述确定模块430从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息；在判断结果为是时，所述重新确定模块，用于重新确定下一个当前的目标图片。

可选的，所述下一个当前的目标图片与上一个当前的目标图片可以相同或者不同。

可选的，所述确定模块430，用于所述控制器获取所述视线点采集信号的生成时间；所述控制器将所述生成时间减去预设值后得到比对时间；所述控制器从该图像采集设备采集的至少一个备选图片信息中选择出一个备选图片信息作为所述目标图片信息，其中，所述目标图片信息的保存时间与所述比对时间最接近。

可选的，所述视线点采集信号为手指或者触控笔触摸所述视线点所产生的信号或者为鼠标点击所述视线点所产生的信号。

可选的，所述控制器120在检测到所述鼠标在所述显示设备130内移动或者检测到所述手指或者所述触控笔在所述感应设备140上滑动时，所述控制器120还可以采集所述鼠标、所述手指或者所述触控笔在所述显示设备130内的操作位置坐标，并将该坐标作为参考坐标保存在所述存储器110内。

当然，值得指出的是，若控制器120检测到手指或者所述触控笔在感应设备140上滑动，此时，控制器120还可以检测手指或者所述触控笔在感应设备140的同一个位置的停留时间，若停留时间未超过预设停留时间，则保存此时的坐标作为参考坐标，若停留时间超过预设停留时间，则手指或者所述触控笔是长按感应设备140，此时触发的是视线点采集信号。

在这种实施方式下，控制器120在将该图像采集设备150采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备130内的坐标一一对应缓存，形成备选图片信息时，控制器120还可以将该图像采集设备150采集的人脸图片、采集所述人脸图片时对应的参考坐标以及所述当前的目标图片对应的视线点在所述显示设备130内的坐标一一对应缓存，形成备选图片信息。

相应的，所述确定模块430，用于从与该图像采集设备150对应的至少一个备选图片信息中确定出一个目标图片信息时，控制器120可以从该图像采集设备150采集的至少一个备选图片信息中选择出一个备选图片信息作为所述目标图片信息。其中，与所述目标图片信息对应的参考坐标与所述目标图片信息所包括的视线点在所述显示设备150内的坐标之间的距离大于预设值(即参考坐标在视线点坐标范围之外)，且所述目标图片信息的保存时间与所述比对时间最接近，这样可以找到被测试者还没有移动但即将移动到视线点的图片，这样的人眼状态最集中于视线点。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中图1-图3相应内容。

此外，本发明实施例还提供了一种视线采集***，包括：控制器、与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述存储器内还存储有计算机程序，当所述计算机程序被所述控制器执行时，使得所述视线采集***执行第一实施例中任意一项实施方式所述的方法。其中，视线采集***的结构可以如图1所示。

关于视线采集***的具体实施过程请参考前述实施例，此处不再过多赘述。

此外，本发明实施例还提供了一种计算机可读存储介质，在该计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本发明任一项实施方式所提供的视线采集方法。

此外，本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或者本地的存储介质上，当所述计算机程序在计算机上运行时，使得所述计算机执行本发明任一项实施方式所提供的视线采集方法。

综上所述，本发明实施例提出的视线采集方法、装置、***、计算机可读存储介质，通过控制器获取到更换图片指令时，基于预先保存的目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片；然后所述控制器将该图像采集设备采集的人脸图片与当前的目标图片对应的视线点在显示设备内的坐标一一对应缓存，形成备选图片信息，后续在控制器获取到感应设备发送的视线点采集信号时，从与该图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，将与该图像采集设备对应的目标图片信息以及与该图像采集设备对应的设备坐标保存到所述存储器形成视线采集数据。由于在视线点被点击时，获取点击瞬间之前的人像，尽可能保证获取到的视线采集数据是正确的，所以提高了视线数据样本的正确率；另外，由于全过程只需要一个测试者就可以完成，避免出现指挥者与测试者行动不一致的情况，或者测试者不听从指挥者指挥情况，或者需要指挥者监督的情况。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种视线采集方法，其特征在于，应用于视线采集***中的控制器，所述视线采集***还包括与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述方法包括：

获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片；

将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；

在获取到所述感应设备发送的视线点采集信号时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，其中，所述视线点采集信号为所述感应设备在检测到所述测试者点击所述视线点时生成的信号；

将与所述图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

2.根据权利要求1所述的方法，其特征在于，所述目标图片生成数据包括一个图片、一个视线点标识以及多个视线点坐标，获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，包括：

获取到所述更换图片指令时，从所述多个视线点坐标中确定出一个目标视线点坐标；

在所述图片上所述目标视线点坐标的位置显示所述视线点标识，得到所述当前的目标图片。

3.根据权利要求2所述的方法，其特征在于，所述多个视线点坐标由保存在所述存储器内的函数生成，或者由保存在所述存储器外部的函数生成后发送给所述存储器。

4.根据权利要求1所述的方法，其特征在于，所述目标图片生成数据包括一个图片、一个视线点标识以及随机数生成函数，获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，包括：

获取到所述更换图片指令时，控制所述随机数生成函数随机生成一个目标视线点坐标；

在所述图片上所述目标视线点坐标的位置显示所述视线点标识，得到所述当前的目标图片。

5.根据权利要求4所述的方法，其特征在于，所述目标图片生成数据还包括多个视线点坐标，控制所述随机数生成函数随机生成一个目标视线点坐标，包括：

控制所述随机数生成函数随机生成一个坐标；

将随机生成的坐标叠加到所述多个视线点坐标中的一个坐标上，生成一个目标视线点坐标。

6.根据权利要求1所述的方法，其特征在于，所述目标图片生成数据包括多个图片，每个所述图片上包括一个预设的视线点，获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，包括：

获取到所述更换图片指令时，从所述多个图片中随机选择出一个图片作为所述当前的目标图片；或者

获取到所述更换图片指令时，按照所述多个图片的保存时间的先后顺序，依次从所述多个图片中选择出一个图片作为所述当前的目标图片，其中，所述多个图片预先按照时间顺序保存在所述存储器内。

7.根据权利要求1-6任一所述的方法，其特征在于，所述更换图片指令由所述控制器每隔预设时间自动生成或者由所述控制器在获取到所述视线点采集信号时生成。

8.根据权利要求1-6任一所述的方法，其特征在于，所述存储器内预先保存有人脸方位状态预设条件，在将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息之前，所述方法还包括：

判断与所述图像采集设备对应的人脸图片是否满足所述人脸方位状态预设条件；

在为是时，将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；

在为否时，重新确定下一个当前的目标图片。

9.根据权利要求1-6任一所述的方法，其特征在于，在从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息之前，所述方法还包括：

判断触发所述视线点采集信号的坐标与所述当前的目标图片对应的视线点在所述显示设备内的坐标之间的误差是否超过预设的误差阈值；

在为否时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息；

在为是时，重新确定下一个当前的目标图片。

10.根据权利要求1-6任一项所述的方法，其特征在于，所述从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，包括：

获取所述视线点采集信号的生成时间；

将所述生成时间减去预设值后得到比对时间；

从所述图像采集设备采集的至少一个备选图片信息中选择出一个备选图片信息作为所述目标图片信息，其中，所述目标图片信息的保存时间与所述比对时间最接近。

11.根据权利要求10所述的方法，其特征在于，所述视线点采集信号为手指或者触控笔触摸所述视线点所产生的信号或者为鼠标点击所述视线点所产生的信号。

12.根据权利要求11所述的方法，其特征在于，所述控制器在检测到所述鼠标在所述显示设备内移动或者检测到所述手指或者所述触控笔在所述感应设备上滑动时，所述控制器采集所述鼠标、所述手指或者所述触控笔在所述显示设备内的操作位置坐标并作为参考坐标保存在所述存储器内；所述备选图片信息还包括采集所述人脸图片时对应的参考坐标；所述目标图片信息对应的参考坐标与所述目标图片信息所包括的视线点在所述显示设备内的坐标之间的距离大于预设值。

13.一种视线采集装置，其特征在于，应用于视线采集***中的控制器，所述视线采集***还包括与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述装置包括：

选择显示模块，用于获取到更换图片指令时，基于所述目标图片生成数据确定出一个包括一个视线点的当前的目标图片，并同时控制所述显示设备显示所述当前的目标图片，以及控制所述图像采集设备采集测试者的人脸图片；

缓存模块，用于将所述图像采集设备采集的人脸图片与所述当前的目标图片对应的视线点在所述显示设备内的坐标一一对应缓存，形成备选图片信息；

确定模块，用于在获取到所述感应设备发送的视线点采集信号时，从与所述图像采集设备对应的至少一个备选图片信息中确定出一个目标图片信息，其中，所述视线点采集信号为所述感应设备在检测到所述测试者点击所述视线点时生成的信号；

保存模块，用于将与所述图像采集设备对应的目标图片信息以及设备坐标保存到所述存储器形成视线采集数据。

14.一种视线采集***，其特征在于，所述视线采集***包括：控制器、与所述控制器耦合的显示设备、感应设备、存储器以及图像采集设备，所述存储器内预先存储有所述图像采集设备相对所述显示设备的设备坐标以及目标图片生成数据，所述存储器内还存储有计算机程序，当所述计算机程序被所述控制器执行时，使得所述视线采集***执行权利要求1-12中任意一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-12中任意一项所述的方法。

Images