CN113395438B - 眼球追踪技术的图像校正方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种基于眼球追踪技术的图像校正方法及相关装置，方法包括：通过所述摄像头模组获取第一参考图像；通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。本申请实施例通过眼球追踪来校正拍摄图像中眼睛注视方向，保证了拍摄质量。

Description

眼球追踪技术的图像校正方法及相关装置

技术领域

本申请涉及电子设备技术领域，具体涉及一种基于眼球追踪技术的图像校正方法及相关装置。

背景技术

目前，眼球追踪是一种机器视觉技术，用户在首次使用眼球追踪相关设备时，需要对注视点进行校正。而在校准过程中，需要认真注视注视点，以及头部没有明显移动，才能确保采集到的校准数据的有效性。现有技术中，相机拍摄视频或照片，通常拍摄者通过给定一个手势或指令后，让被拍摄者注视一定的区域，这样能形成一个较好效果的照片。但在单人拍摄时若被拍摄者忽略或不听指示导致很难拍摄出注视相机的照片，影像拍摄成片率。

发明内容

本申请实施例提供了一种基于眼球追踪技术的图像校正方法及相关装置，以期本申请实施例通过眼球追踪来校正拍摄图像中眼睛注视方向，保证了拍摄质量。

第一方面，本申请实施例提供一种基于眼球追踪技术的图像校正方法，应用于电子设备，所述电子设备包括摄像模组，所述方法包括：

通过所述摄像头模组获取第一参考图像；

通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；

若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。

第二方面，本申请实施例提供一种基于眼球追踪技术的图像校正装置，应用于电子设备，所述电子设备包括摄像模组，眼球追踪技术的图像校正装置眼球追踪技术的图像校正装置包括处理单元和通信单元，其中：

所述处理单元，用于通过所述摄像头模组获取第一参考图像；以及用于通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；以及用于若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备硬件的结构示意图；

图1B是本申请实施例提供的一种基于眼球追踪技术的图像校正方法的软件架构图；

图2A是本申请实施例提供的一种基于眼球追踪技术的图像校正方法的流程示意图；

图2B是本申请实施例提供的一种人眼校正的示意图；

图3是本申请实施例提供的另一种基于眼球追踪技术的图像校正方法的流程示意图；

图4是本申请实施例提供的又一种基于眼球追踪技术的图像校正方法的流程示意图；

图5是本申请实施例提供的一种电子设备的结构示意图；

图6是本申请实施例提供的一种基于眼球追踪技术的图像校正装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备包括电子设备和第二设备，该电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

如图1A所示，图1A是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像模组和传感器等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、传感器、IR与处理器连接，收发器与信号处理器连接。

其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。

其中，该摄像模组可以包括普通摄像头、也可以包括红外摄像头，在此不作限定。该摄像头可以是前置摄像头、后置摄像头或是双摄像头，在此不作限定。

其中，除传感器外，电子设备中的传感器还包括以下至少一种：光感传感器、陀螺仪、红外光(Infrared light source，IR)传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。

其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

其中，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

如图1B所示，图1B是本申请实施例提供的一种基于眼球追踪技术的图像校正方法的软件架构图。该软件架构图包括四层，其中，第一层包括电子书、浏览器、启动器、***、解锁、移动支付、兴趣点跟踪等应用。第二层为眼球追踪服务(OEyeTrackerService)，包括眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪算法(OEyeTrackerAlgo)和眼球追踪参数(OEyeTrackerParams)、眼球校准模块(OEyeCali)等，第二层的OEyeTrackerService通过眼球追踪SDK(OEyeTrackerSDK)接口与第一层的应用连接起来；第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService)，CameraNDKInterface与OEyeTrackerService连接，CameraService与CameraNDKInterface相互连接。第三层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HAL Interface)、Cam X、Chi-cdk等，Google HAL Interface与第二层的CameraService连接，Qualcomm HAL Interface与Google HAL Interface连接，Cam X分别与Qualcomm HAL Interface和Chi-cdk连接，第四层包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)和发光二极管(LED)等，IRsensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。

其中，OEyeTrackerSDK负责为普通应用提供获取注视点以及输入的api，形式为jar/aar包。OEyeTrackerService负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。OEyeTrackerStrategy与算法后处理相关，如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication回调各模块，负责鉴权请求者是否被允许。OEyeTrackerParam负责解析配置和热更新配置。EyeTrackerAlgo是眼球追踪的核心算法，核心算法包含两部分：一是标定算法；二是估计注视点算法。OEyeCali主要依据眼球追踪服务提供的视线信息来判断当前拍摄的图像数据中是否有需要校正的视线，对于有需要校正的目标用户进行视线校正，达到更好的效果。

请参阅图2A，图2A是本申请实施例提供了一种基于眼球追踪技术的图像校正方法的流程示意图，该眼球追踪技术的图像校正方法可以应用于如图1A所示的电子设备，所述电子设备为电子设备，所述电子设备包括摄像模组。

如图所示，本眼球追踪技术的图像校正方法包括以下操作。

S201，电子设备通过所述摄像头模组获取第一参考图像。

可选的，所述摄像头模组包括第一摄像头和第二摄像头，其中，所述第一摄像头采集所述拍摄的第一参考图像，所述第二摄像头追踪所述第一参考图像对应的人眼。

其中，所述第一摄像头可以为主摄像头或副摄像头，所述第二摄像头可以为主摄像头或副摄像头，此处不做唯一限定，但采集第一参考画面的始终未主摄像头，进行人眼追踪的为副摄像头。

可选的，所述通过所述摄像头模组获取第一参考图像，包括：在通过所述摄像头模组拍摄图像时，根据所述第二摄像头追踪目标视线；确定所述目标视线不在预设轨迹上的第一时刻；获取所述第一时刻对应的所述第一参考图像。

可选的，根据所述第一时刻的图像替换为所示第一参考图像。

举例来说，当电子设备在进行拍摄时，主摄像头在进行拍照、副摄像头检测人眼的方向，当副摄像头检测到人眼在一分五十秒时，视线出现偏差，则调取主摄像头在一分五十秒拍摄的照片，将时间为一分五十秒的照片作为第一参考图像。

可见，本示例中，电子设备通过利用双摄像头的特点，一个摄像头进行拍照，一个摄像头进行眼球追踪，保证了用户视线在摄像头上，提升拍摄的成片率。

S202，所述电子设备通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点。

其中，所述注视焦点可以根据预设注视点算法得到。

S203，所述电子设备若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。

其中，预设范围可以为摄像头模组的位置范围。

可选的，所述对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，包括：计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离；获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置；按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置；根据所述第二瞳孔位置得到校正后的目标图像。

其中，由于眼球的对称性，即根据第一距离移动第一瞳孔位置可以包括左眼瞳孔和右眼瞳孔。

举例来说，如图2B所示，图2B为人眼校正的示意图，校正前，用户的注视焦点为A1，根据所述A1的注视焦点下的参考图像中，眼睛区域的位置为A2；对上述参考图像中所述被拍摄者的人眼进行校正，得到校准后的图像，在校正后的图像中，已将眼睛区域的位置为A2校正为B1。

可见，本示例中，电子设备根据追踪人眼，确定出了偏差视线到摄像头模组的距离，进一步的根据距离对人眼的瞳孔进行调整，进而校正出正确的人眼，保证了用户视线在摄像头上，提高了眼球追踪技术的图像校正方法的准确性和智能性。

在一个可能的示例中，所述根据所述第二瞳孔位置得到校正后的目标图像，包括：获取所述第一瞳孔位置占所述被拍摄者的人眼的边缘区域面积，得到面积占比；按照所述面积占比及所述第二瞳孔位置，调整所述被拍摄者的人眼中的瞳孔显示面积。

可选的，按照所述面积占比及所述第二瞳孔位置，可确定所述被拍摄者的人眼大小，获取第一瞳孔位置至所述第二瞳孔位置的第一方向；根据所述第一方向调整所述人眼大小。

可见，本示例中，电子设备通过瞳孔位置进一步的对人眼进行调整，保证了视线校准后的美观性，提高了提升拍摄的成片率。

可选的，在对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像之后，所述方法还包括：检测所述第二注视焦点是否在所述预设范围内，若是，则显示所述校正后的目标图像；或者，若否，则进行二次校正。

其中，所述二次校准过程为：对所述第二注视焦点对应的第二参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像。

可见，本示例中，经过检测校正后的视线，避免了视线误校准或者视线漏校准的问题出现，提升拍摄的成片率。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

请参阅图3，图3是本申请实施例提供的另一种基于眼球追踪技术的图像校正方法的流程示意图，该眼球追踪技术的图像校正方法可以应用于如图1A所示的电子设备，所述电子设备为电子设备，所述电子设备包括摄像模组。

如图所示，本眼球追踪技术的图像校正方法包括以下操作：

S301，电子设备通过所述摄像头模组获取第一参考图像。

S302，所述电子设备通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点。

S303，所述电子设备若检测到所述第一注视焦点不在预设范围内，则计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离。

S304，所述电子设备获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置。

S305，所述电子设备按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置。

S306，所述电子设备根据所述第二瞳孔位置得到校正后的目标图像。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

此外，电子设备根据追踪人眼，确定出了偏差视线到摄像头模组的距离，进一步的根据距离对人眼的瞳孔进行调整，进而校正出正确的人眼，保证了用户视线在摄像头上，提高了眼球追踪技术的图像校正方法的准确性和智能性

请参阅图4，图4是本申请实施例提供的另一种基于眼球追踪技术的图像校正方法的流程示意图，该眼球追踪技术的图像校正方法可以应用于如图1A所示的电子设备，所述电子设备为电子设备，所述电子设备包括摄像头模组。

如图所示，本眼球追踪技术的图像校正方法包括以下操作：

S401，电子设备通过所述摄像头模组获取第一参考图像。

S402，所述电子设备通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点。

S403，所述电子设备若检测到所述第一注视焦点不在预设范围内，则计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离。

S404，所述电子设备获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置。

S405，所述电子设备按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置。

S406，所述电子设备获取所述第一瞳孔位置占所述被拍摄者的人眼的边缘区域面积，得到面积占比。

S407，所述电子设备按照所述面积占比及所述第二瞳孔位置，调整所述被拍摄者的人眼中的瞳孔显示面积。

S408，所述电子设备检测所述第二注视焦点是否在所述预设范围内，若是，则显示所述校正后的目标图像。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

此外，电子设备根据追踪人眼，确定出了偏差视线到摄像头模组的距离，进一步的根据距离对人眼的瞳孔进行调整，进而校正出正确的人眼，保证了用户视线在摄像头上，提高了眼球追踪技术的图像校正方法的准确性和智能性。

此外，经过检测校正后的视线，避免了视线误校准或者视线漏校准的问题出现，提升拍摄的成片率。

与上述图2A、图3、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备500的结构示意图，所述电子设备500包括摄像头、摄像模组和重力传感器，所述电子设备500还包括应用处理器510、存储器520、通信接口530以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，所述一个或多个程序521包括用于执行以下步骤的指令：

通过所述摄像头模组获取第一参考图像；

通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；

若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

在一个可能的示例中，在所述对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像方面，所述程序521中的指令具体用于执行以下操作：计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离；获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置；按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置；根据所述第二瞳孔位置得到校正后的目标图像。

在一个可能的示例中，在所述根据所述第二瞳孔位置得到校正后的目标图像方向，所述程序521中的指令具体用于执行以下操作：获取所述第一瞳孔位置占所述被拍摄者的人眼的边缘区域面积，得到面积占比；按照所述面积占比及所述第二瞳孔位置，调整所述被拍摄者的人眼中的瞳孔显示面积。

在一个可能的示例中，在对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像之后，所述程序521还包括用于执行以下操作的指令：检测所述第二注视焦点是否在所述预设范围内，若是，则显示所述校正后的目标图像；或者，若否，则进行二次校正。

在一个可能的示例中，所述摄像头模组包括第一摄像头和第二摄像头，其中，所述第一摄像头采集所述拍摄的第一参考图像，所述第二摄像头追踪所述第一参考图像对应的人眼。

在一个可能的示例中，在所述通过所述摄像头模组获取第一参考图像方向，所述程序521包括用于执行以下操作的指令：在通过所述摄像头模组拍摄图像时，根据所述第二摄像头追踪目标视线；确定所述目标视线不在预设轨迹上的第一时刻；获取所述第一时刻对应的所述第一参考图像。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图6是本申请实施例中所涉及的眼球追踪技术的图像校正装置600的功能单元组成框图。该眼球追踪技术的图像校正装置600应用于电子设备，所述电子设备包括显示屏、摄像模组和重力传感器，眼球追踪技术的图像校正装置眼球追踪技术的图像校正装置包括处理单元601和通信单元602，其中，所述处理单元601，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元602来完成相应操作。下面进行详细说明。

所述处理单元601，用于通过所述摄像头模组获取第一参考图像；以及用于通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；以及用于若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。

可以看出，本申请实施例中，电子设备首先通过所述摄像头模组获取第一参考图像，其次，通过所述摄像模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点，最后，若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内。可见，电子设备通摄像头追踪被拍摄者的人眼，进一步确定人眼是否注视摄像头，进而校正出正确的人眼，保证了用户视线在摄像头上，提升拍摄的成片率，提高了眼球追踪技术的图像校正方法的准确性和智能性。

在一个可能的示例中，在所述对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像方面，所述处理单元601具体用于：计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离；获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置；按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置；根据所述第二瞳孔位置得到校正后的目标图像。

在一个可能的示例中，在所述根据所述第二瞳孔位置得到校正后的目标图像方面，所述处理单元601还具体用于：获取所述第一瞳孔位置占所述被拍摄者的人眼的边缘区域面积，得到面积占比；按照所述面积占比及所述第二瞳孔位置，调整所述被拍摄者的人眼中的瞳孔显示面积。

在一个可能的示例中，在对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像之后，所述处理单元601还用于：检测所述第二注视焦点是否在所述预设范围内，若是，则显示所述校正后的目标图像；或者，若否，则进行二次校正。

在一个可能的示例中，所述摄像头模组包括第一摄像头和第二摄像头，其中，所述第一摄像头采集所述拍摄的第一参考图像，所述第二摄像头追踪所述第一参考图像对应的人眼。

在一个可能的示例中，在所述通过所述摄像头模组获取第一参考图像方面，所述处理单元601用于：在通过所述摄像头模组拍摄图像时，根据所述第二摄像头追踪目标视线；确定所述目标视线不在预设轨迹上的第一时刻；获取所述第一时刻对应的所述第一参考图像。

其中，眼球追踪技术的图像校正装置眼球追踪技术的图像校正装置600还可以包括存储单元603，用于存储电子设备的程序代码和数据。所述处理单元601可以是处理器，所述通信单元602可以是触控显示屏或者收发器，存储单元603可以是存储器。

可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。

本申请实施例还提供了一种芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于眼球追踪技术的图像校正方法，其特征在于，应用于电子设备，所述电子设备包括摄像头模组，所述方法包括：

通过所述摄像头模组获取第一参考图像；

通过所述摄像头模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；

若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内，所述预设范围为所述摄像头模组的位置范围。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，包括：

计算所述第一注视焦点坐标到所述预设范围内中心点的距离，得到第一距离；

获取所述第一参考图像中被拍摄者的人眼中的第一瞳孔位置；

按照所述第一距离移动所述第一瞳孔位置，得到移动后的第二瞳孔位置；

根据所述第二瞳孔位置得到校正后的目标图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二瞳孔位置得到校正后的目标图像，包括：

获取所述第一瞳孔占所述被拍摄者的人眼的区域的面积占比；

按照所述面积占比及所述第二瞳孔位置，调整所述被拍摄者的人眼中的瞳孔显示面积。

4.根据权利要求1-3任一项所述的方法，其特征在于，在对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像之后，所述方法还包括：

检测所述第二注视焦点是否在所述预设范围内，若是，则显示所述校正后的目标图像；

或者，若否，则进行二次校正。

5.根据权利要求1所述的方法，其特征在于，所述摄像头模组包括第一摄像头和第二摄像头，其中，所述第一摄像头采集所述拍摄的第一参考图像，所述第二摄像头追踪所述第一参考图像对应的人眼。

6.根据权利要求5所述的方法，其特征在于，所述通过所述摄像头模组获取第一参考图像，包括：

在通过所述摄像头模组拍摄图像时，根据所述第二摄像头追踪目标视线；

确定所述目标视线不在预设轨迹上的第一时刻；

获取所述第一时刻对应的所述第一参考图像。

7.一种基于眼球追踪技术的图像校正装置，其特征在于，应用于电子设备，所述电子设备包括摄像头模组，基于眼球追踪技术的图像校正装置包括处理单元和通信单元，其中：

所述处理单元，用于通过所述摄像头模组获取第一参考图像；以及用于通过所述摄像头模组追踪被拍摄者的人眼，以确定所述被拍摄者的人眼注视所述摄像头模组的第一注视焦点；以及用于若检测到所述第一注视焦点不在预设范围内，则对所述第一参考图像中所述被拍摄者的人眼进行校正，得到校正后的目标图像，所述目标图像中所述被拍摄者的人眼的第二注视焦点位于所述预设范围内，所述预设范围为所述摄像头模组的位置范围。

8.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images