CN109901716B - 视线点预测模型建立方法、装置及视线点预测方法 - Google Patents

Abstract

本发明提供的视线点预测模型建立方法、装置及视线点预测方法，涉及人眼视线点预测技术领域，方法包括：获得摄像头拍摄到的多张包括人脸的初始图像，以及获得每张初始图像中的人眼视线点对应在显示器上的位置坐标，对每张初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据，基于每张初始图像处理得到的样本数据和每张初始图像中的人眼视线点对应在显示器上的位置坐标进行深度网络学习以建立视线点预测模型。通过上述方法，能够对人眼视线点进行快速、可靠的预测。

Description

视线点预测模型建立方法、装置及视线点预测方法

技术领域

本发明涉及人眼视线点预测技术领域，具体而言，涉及一种视线点预测模型建立方法、装置及视线点预测方法。

背景技术

目前，人眼视线点预测主要是应用在具有红外线发射器和深度摄像头等多种附加硬件的终端设备上，以通过深度摄像头获取人脸图像以估测视线方向以及基于红外线发射器计算距离，从而获得视线落在终端设备上的区域。

发明人经研究发现，现有的视线点预测方法实现过程较为复杂，即需要红外线发射器、深度摄像头等多种附加硬件支持且预测结果通常不够准确。因此，提供一种能够准确且快速地进行人眼视线点预测的方法是亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种视线点预测模型建立方法、装置及视线点预测方法，以提升人眼视线点预测的效率和准确性。

为实现上述目的，本发明实施例采用如下技术方案：

一种视线点预测模型建立方法，应用于终端设备的处理器，所述终端设备还包括摄像头和显示器，所述方法包括：

获得所述摄像头拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标；

对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据；

基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型。

可选的，在上述视线点预测模型建立方法中，对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据的步骤包括：

对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图；

获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数；

获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数，并将所述眼部图、人脸参数以及眼部参数作为样本数据。

可选的，在上述视线点预测模型建立方法中，所述双眼坐标数据包括左眼坐标数据和右眼坐标数据，所述获得所述眼部图中的双眼在该初始图像中的双眼坐标数据的步骤包括：

获取所述眼部图中的左眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到左眼坐标数据，获取所述眼部图中的右眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到右眼坐标数据。

可选的，在上述视线点预测模型建立方法中，获得所述人脸图像中的人脸的转正角度和转正尺度的步骤包括：

根据所述左眼坐标数据和右眼坐标数据得到左右眼的横坐标差值和纵坐标差值；

根据所述横坐标差值和纵坐标差值得到所述转正角度和转正尺度。

可选的，在上述视线点预测模型建立方法中，基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型的步骤包括：

基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

本申请还提供一种视线点预测方法，应用于终端设备的处理器，所述终端设备还包括摄像头和显示器，所述处理器中存储有根据上述视线点预测模型建立方法所建立的视线点预测模型，所述视线点预测方法包括：

获得所述摄像头拍摄到的包括人脸的待检测图像；

将该待检测图像进行处理得到包括眼部图像、眼部参数以及人脸参数的待测数据；

采用所述视线点预测模型对所述待测数据进行预测得到所述待检测图像中的人眼视线点对应在所述显示器上的目标位置坐标。

可选的，在上述视线点预测方法中，在执行采用所述视线点预测模型对所述待测数据进行预测得到所述待检测图像中的人眼视线点对应在所述显示器上的目标位置坐标的步骤之后，所述方法还包括：

根据所述显示器的分辨率在所述显示器的显示界面上形成以所述目标位置坐标对应的像素点作为中心的聚焦框，以基于所述聚焦框进行处理。

本申请还提供一种视线点预测模型建立装置，应用于终端设备中的处理器，所述终端设备还包括摄像头和显示器，所述装置包括：

图像获得模块，用于获得所述摄像头拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标；

样本获得模块，用于对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据；

预测模型获得模块，用于基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型。

可选的，在上述视线点预测模型建立装置中，样本获得模块包括：

检测定位子模块，用于对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图；

人脸参数获得子模块，用于获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数；

样本数据获得子模块，用于获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数，并将所述眼部图、人脸参数以及眼部参数作为样本数据。

可选的，在上述视线点预测模型建立装置中，所述预测模型获得模块，还用于基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

本发明提供的视线点预测模型建立方法、装置及视线点预测方法，通过获得摄像头拍摄到的多张包括人脸的初始图像，以及获得每张初始图像中的人眼视线点对应在显示器上的位置坐标，对每张初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据，基于每张初始图像处理得到的样本数据和每张初始图像中的人眼视线点对应在显示器上的位置坐标进行深度网络学习以建立视线点预测模型，以在采用上述的预测模型进行视线点预测时，能够对人眼视线点进行快速、可靠的预测。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的终端设备的连接框图。

图2为本发明实施例提供的视线点预测模型建立方法的流程示意图。

图3为图2中步骤S120的流程示意图。

图4为本发明实施例提供的视线点预测方法的流程示意图。

图5为本发明实施例提供的视线点预测模型建立装置的连接框图。

图6为本发明实施例提供的样本获得模块的连接框图。

图标：10-终端设备；12-存储器；14-处理器；16-摄像头；18-显示器；100-视线点预测模型建立装置；110-图像获得模块；120-样本获得模块；122-检测定位子模块；124-眼部数据获得子模块；126-人脸参数获得子模块；128-样本获得子模块；130-预测模型获得模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，本发明提供的一种终端设备10，该终端设备10可以是手机、电脑、平板电脑等具有图像采集、图像显示以及数据处理功能的设备，在此不作具体限定。所述终端设备10包括存储器12、处理器14、摄像头16以及显示器18。

所述存储器12、处理器14、摄像头16以及显示器18两两之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器12中存储有以软件或固件(Firmware)的形式存储于所述存储器12中的软件功能模块，所述处理器14通过运行存储在存储器12内的软件程序以及模块，如本发明实施例中的视线点预测模型建立装置100，从而执行各种功能应用以及数据处理，即实现本发明实施例中的视线点预测模型建立方法以及视线点预测方法。

所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器14(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参图2，本发明提供一种视线点预测模型建立方法，可应用于上述的终端设备10中的处理器14，所述方法包括步骤S110-S130三个步骤。

步骤S110：获得所述摄像头16拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标。

其中，人眼视线点对应在所述显示器18上的位置坐标可以是人眼视线点对应在所述显示器18的像素点坐标，也可以是基于所述显示器18的显示界面建立的坐标系中的坐标，在此不作具体限定。可以理解，当所述人眼视线点对应在所述显示器18上的位置坐标为基于所述显示器18的显示界面建立的坐标系中的坐标时，该坐标系可以是基于显示器18上一固定点，如以左下角的顶点、中心位置点、右下角顶点、右下角顶点或左下角顶点等为原点，并以显示器18的长度方向和宽度方向为横纵坐标轴建立的。

可以理解，所述多张初始图像可以是由所述摄像头16采集到的不同用户注视所述显示器18的不同位置时的脸部图像，且脸部图像中包括双眼部分。

步骤S120：对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据。

其中，对所述初始图像进行处理得到眼部图像、眼部参数以及人脸参数的方式可以是，对所述图像采用人脸检测或人脸识别定位获得人脸图像，并基于人脸图像获得人脸参数。所述人脸参数可以是但不限于人脸转正参数、人脸转正尺度、人脸面积在初始图像面积中的占比和/或人脸五官图像在初始图像中的占比，所述眼部参数可以包括，但不限于双眼在所述初始图像中的位置坐标和/或五官图中的眼部图在初始图像或在人脸图像中的占比。

在本实施例中，所述步骤S120包括：

步骤S122：对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图。

在本实施例中，为便于进行后续处理，获得的各眼部图的尺寸大小相同。即上述步骤S122中，基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图具体为：基于所述人脸五官框中的眼部框从所述人脸图像中获得尺寸为一设定值的眼部图。

步骤S124：获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数。

其中，上述步骤具体可以是，获得眼部图中的双眼的眼角坐标数据作为眼部参数，也可以是获取眼部图中的双眼的中心位置坐标作为眼部参数，在此不作具体限定，根据实际需求进行设置即可。

在本实施例中，双眼的坐标数据包括左眼坐标数据和右眼坐标数据，上述步骤S124具体为：

获取所述眼部图中的左眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到左眼坐标数据，获取所述眼部图中的右眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到右眼坐标数据。

步骤S126：获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数。

其中，所述转正角度和转正尺度可以基于人脸图像中的脸颊的坐标、双眼的坐标和/或眉毛坐标获得。

在本实施例中，所述步骤S126包括：

根据所述左眼坐标数据和右眼坐标数据得到左右眼的横坐标差值和纵坐标差值。

根据所述横坐标差值和纵坐标差值得到所述转正角度和转正尺度。

其中，根据所述横坐标差值和纵坐标差值得到所述转正角度的具体方式可以是：利用atan2函数、横坐标差值和纵坐标差值得到转正角度。根据所述横坐标差值和纵坐标差值得到所述转正尺度的具体方式可以是：获得所述横坐标差值的平方与纵坐标差值的平方之和后进行开平方得到一开方值，并采用一常数(如：100)除以该开方值得到所述转正尺度。

步骤S128：将所述眼部图、人脸参数以及眼部参数作为样本数据。

步骤S130：基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标进行深度网络学习以建立视线点预测模型。

其中，上述步骤S130具体可以是将多张初始图像对应的样本数据和位置坐标分为多组，以批量将每组样本数据和对应的位置坐标依次进行深度网络学习。

在本实施例中，上述步骤S130包括：基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

通过上述设置，以实现建立视线点预测模型，且在采用获得的视线点预测模型进行人眼视线点预测时得到的预测结果更加准确，且避免了现有技术中，在进行人眼视线点预测时，需要红外发射器和深度摄像头进行人眼视线点检测时存在的硬件成本过高，耗时过长的问题。

请结合图4，在上述基础上，本申请还出一种视线点预测方法，所述视线点预测方法应用于上述的终端设备10，所述终端设备10中的处理器14中存储有根据上述视线点预测模型建立方法所建立的视线点预测模型，所述视线点预测方法包括：

步骤S210：获得所述摄像头16拍摄到的包括人脸的待检测图像。

步骤S220：将该待检测图像进行处理得到包括眼部图像、眼部参数以及人脸参数的待测数据。

其中，上述对待检测图像进行处理的方式与对初始图像进行处理得到样本数据的方式相近，因此，关于上述步骤S220的具体描述可以参照前文对步骤S120的具体描述，在此不作一一赘述。

步骤S230：采用所述视线点预测模型对所述待测数据进行预测得到所述待检测图像中的人眼视线点对应在所述显示器18上的目标位置坐标。

通常情况下，当需要对所述终端设备10进行眼控操作时，为实现进行眼控操作的精准性，在本实施例中，在执行步骤S130之后，所述方法还包括：

根据所述显示器18的分辨率在所述显示器18的显示界面上形成以所述目标位置坐标对应的像素点作为中心的聚焦框，以基于所述聚焦框进行处理。

其中，基于所述聚焦框进行处理可以是，所述处理器14中预存有不同设定位置处对应的不同操作方式，且操作方式可以包括，但不限于进行翻页、选取等操作，基于所述聚焦框进行处理可以是基于聚焦框坐在区域否包括所述设定位置，并在包括设定位置时，根据该设定位置对应的操作方式进行处理以实现翻页和选取等效果。

请结合图5，在上述基础上，本发明还提供一种可应用于上述终端设备10中的处理器14的视线点预测模型建立装置100，所述视线点预测模型建立装置100包括图像获得模块110、样本获得模块120以及预测模型获得模块130。

所述图像获得模块110，用于获得所述摄像头16拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标。在本实施例中，所述图像获得模块110可用于执行图2所示的步骤S110，关于所述图像获得模块110的具体描述可以参照前文对步骤S110的描述。

所述样本获得模块120，用于对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据。在本实施例中，所述样本获得模块120可用于执行图2所示的步骤S120，关于所述样本获得模块120的具体描述可以参照前文对步骤S120的描述。

请结合图6，在本实施例中，所述样本获得模块120包括检测定位子模块122、眼部数据获得子模块124、人脸参数获得子模块126以及样本获得子模块128。

所述检测定位子模块122，用于对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图。在本实施例中，所述检测定位子模块122可用于执行图3所示的步骤S122，关于所述检测定位子模块122的具体描述可以参照前文对步骤S122的描述。

所述眼部数据获得子模块124，用于获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数。在本实施例中，所述眼部数据获得子模块124可用于执行图3所示的步骤S124，关于所述眼部数据获得子模块124的具体描述可以参照前文对步骤S124的描述。

所述人脸参数获得子模块126，用于获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数。在本实施例中，所述人脸参数获得子模块126可用于执行图3所示的步骤S126，关于所述人脸参数获得子模块126的具体描述可以参照前文对步骤S126的描述。

所述样本获得子模块128，用于将所述眼部图、人脸参数以及眼部参数作为样本数据。在本实施例中，所述样本获得子模块128可用于执行图3所示的步骤S128，关于所述样本获得子模块128的具体描述可以参照前文对步骤S128的描述。

所述预测模型获得模块130，用于基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标进行深度网络学习以建立视线点预测模型。在本实施例中，所述预测模型获得模块130可用于执行图2所示的步骤S130，关于所述预测模型获得模块130的具体描述可以参照前文对步骤S130的描述。

在本实施例中，所述预测模型获得模块130，还用于基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器18上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

综上，本发明提供的视线点预测模型建立方法、装置及视线点预测方法，方法通过获得摄像头16拍摄到的多张包括人脸的初始图像，以及获得每张初始图像中的人眼视线点对应在显示器18上的位置坐标，对每张初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据，基于每张初始图像处理得到的样本数据和每张初始图像中的人眼视线点对应在显示器18上的位置坐标进行深度网络学习以建立视线点预测模型，以在采用获得的视线点预测模型进行人眼视线点预测时得到的预测结果更加准确，且避免了现有技术中，在进行人眼视线点预测时，需要红外发射器和深度摄像头等硬件设备进行人眼视线点检测时存在的硬件成本过高，耗时过长的问题。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端设备10，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器12(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视线点预测模型建立方法，应用于终端设备的处理器，所述终端设备还包括摄像头和显示器，其特征在于，所述方法包括：

获得所述摄像头拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标；

对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据；

基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型；

所述眼部参数包括双眼坐标数据，所述双眼坐标数据包括左眼坐标数据和右眼坐标数据，所述人脸参数包括眼部图在初始图像中的第一占比系数、人脸图像在初始图像中的第二占比系数以及人脸图像中人脸的转正角度和转正尺度，所述转正角度和转正尺度通过以下方式获得：

根据所述左眼坐标数据和右眼坐标数据得到左右眼的横坐标差值和纵坐标差值，根据所述横坐标差值和纵坐标差值得到所述转正角度和转正尺度。

2.根据权利要求1所述的视线点预测模型建立方法，其特征在于，对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据的步骤包括：

对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图；

获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数；

获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数；

将所述眼部图、人脸参数以及眼部参数作为样本数据。

3.根据权利要求2所述的视线点预测模型建立方法，其特征在于，所述双眼坐标数据包括左眼坐标数据和右眼坐标数据，所述获得所述眼部图中的双眼在该初始图像中的双眼坐标数据的步骤包括：

获取所述眼部图中的左眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到左眼坐标数据，获取所述眼部图中的右眼的上眼睑、下眼睑、左眼角以及右眼角在该初始图像中的位置坐标并求取均值得到右眼坐标数据。

4.根据权利要求1所述的视线点预测模型建立方法，其特征在于，基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型的步骤包括：

基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

5.一种视线点预测方法，应用于终端设备的处理器，所述终端设备还包括摄像头和显示器，其特征在于，所述处理器中存储有根据权利要求1-4任意一项所述的 视线点预测模型建立方法所建立的视线点预测模型，所述视线点预测方法包括：

获得所述摄像头拍摄到的包括人脸的待检测图像；

将该待检测图像进行处理得到包括眼部图像、眼部参数以及人脸参数的待测数据；

采用所述视线点预测模型对所述待测数据进行预测得到所述待检测图像中的人眼视线点对应在所述显示器上的目标位置坐标。

6.根据权利要求5所述的视线点预测方法，其特征在于，在执行采用所述视线点预测模型对所述待测数据进行预测得到所述待检测图像中的人眼视线点对应在所述显示器上的目标位置坐标的步骤之后，所述方法还包括：

根据所述显示器的分辨率在所述显示器的显示界面上形成以所述目标位置坐标对应的像素点作为中心的聚焦框，以基于所述聚焦框进行处理。

7.一种视线点预测模型建立装置，应用于终端设备中的处理器，其特征在于，所述终端设备还包括摄像头和显示器，所述装置包括：

图像获得模块，用于获得所述摄像头拍摄到的多张包括人脸的初始图像，以及获得每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标；

样本获得模块，用于对每张所述初始图像分别进行处理得到包括眼部图像、眼部参数以及人脸参数的样本数据；

预测模型获得模块，用于基于每张所述初始图像处理得到的样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标进行深度网络学习以建立视线点预测模型；

所述眼部参数包括双眼坐标数据，所述双眼坐标数据包括左眼坐标数据和右眼坐标数据，所述人脸参数包括眼部图在初始图像中的第一占比系数、人脸图像在初始图像中的第二占比系数以及人脸图像中人脸的转正角度和转正尺度，所述样本获得模块用于通过以下方式获得转正角度和转正尺度：

根据所述左眼坐标数据和右眼坐标数据得到左右眼的横坐标差值和纵坐标差值，根据所述横坐标差值和纵坐标差值得到所述转正角度和转正尺度。

8.根据权利要求7所述的视线点预测模型建立装置，其特征在于，样本获得模块包括：

检测定位子模块，用于对每张所述初始图像进行人脸检测得到人脸图像，对所述人脸图像中的五官进行定位得到人脸五官框，并基于所述人脸五官框中的眼部框从所述人脸图像中获得眼部图；

眼部数据获得子模块，用于获得所述眼部图中的双眼在该初始图像中的双眼坐标数据，将该双眼坐标数据作为眼部参数；

人脸参数获得子模块，用于获得所述眼部图在该初始图像中的第一占比系数、所述人脸图像在该初始图像中的第二占比系数以及所述人脸图像中人脸的转正角度和转正尺度，将所述第一占比系数、第二占比系数、转正角度以及转正尺度作为人脸参数；

样本获得子模块，用于将所述眼部图、人脸参数以及眼部参数作为样本数据。

9.根据权利要求7所述的视线点预测模型建立装置，其特征在于，所述预测模型获得模块，还用于基于每张所述初始图像处理得到的所述样本数据和每张所述初始图像中的人眼视线点对应在所述显示器上的位置坐标采用pytorch框架进行训练以建立视线点预测模型。

Images