CN117271029A - 控制方法和装置 - Google Patents

Abstract

本申请提供了一种控制方法和装置，该方法包括：获得电子设备使用者的瞳孔图像；确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

Description

控制方法和装置

技术领域

本申请涉及控制技术领域，尤其涉及一种控制方法和装置。

背景技术

在用户使用电子设备的过程中，经常需要对电子设备显示单元中输出的控件等进行操作。如，在视频应用播放视频过程中，可能需要点击暂停或者播放等按键。

目前，电子设备显示单元中输出的各种控件的布局都是固定的，而不同用户或用户在不同时刻操作电子设备的方式却可能会存在差别，很容易出现控件布局不合理，而导致用户操作不便的情况。

发明内容

一方面，本申请提供了一种控制方法，包括：

获得电子设备使用者的瞳孔图像；

确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；

基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

在一种可能的实现方式中，所述基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征，包括：

基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式；

按照所述显示区域和/或对象排布模式，在电子设备显示单元中显示所述至少一个可交互对象。

在又一种可能的实现方式中，所述基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式，包括：

基于所述相对位置，确定电子设备显示单元中适配所述操作物的目标操作区；

在所述目标操作区内显示所述至少一个可交互对象。

在又一种可能的实现方式中，所述基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式，还包括：

确定设定的对象排布模式；

或者，基于所述相对位置，确定显示可交互对象适配的对象排布模式；

所述在所述目标操作区内显示所述至少一个可交互对象，包括：

按照所述对象排布模式，在所述目标操作区内显示所述至少一个可交互对象。

在又一种可能的实现方式中，所述基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征，包括：

基于所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系；

基于所述实际位置关系，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

在又一种可能的实现方式中，所述基于所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系，包括：

确定所述瞳孔图像中电子设备显示单元与物理世界中所述电子设备显示单元之间的映射关系；

按照所述映射关系，结合所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系。

在又一种可能的实现方式中，所述确定所述瞳孔图像中电子设备显示单元以及操作电子设备显示单元的操作物的相对位置，包括如下至少一种：

确定所述瞳孔图像中操作电子设备显示单元的操作物相对所述电子设备显示单元中至少一条目标参考边的相对距离；

确定所述瞳孔图像中所述操作物相对第一目标参考边的目标相对距离，将所述目标相对距离与所述瞳孔图像中第二目标参考边的长度的比值，确定为所述瞳孔图像中所述操作物相对电子设备显示单元的相对位置，其中，所述第一目标参考边和第二目标参考边为所述瞳孔图像中电子设备显示单元的两条相互垂直的边；

确定所述瞳孔图像中所述操作物在所述电子设备显示单元中的相对坐标范围区域。

在又一种可能的实现方式中，该控制方法还包括：确定电子设备的使用场景信息，所述使用场景信息用于表征电子设备显示单元显示的内容特征；

所述获得电子设备使用者的瞳孔图像，包括：

在所述使用场景信息表征电子设备显示单元存在显示可交互对象的需求的情况下，获得电子设备使用者的瞳孔图像。

在又一种可能的实现方式中，所述获得电子设备使用者的瞳孔图像，包括如下任意一种：

获得电子设备的目标图像采集单元采集到的电子设备使用者的瞳孔图像，所述目标图像采集单元与电子设备显示单元位于电子设备的同侧；

获得电子设备连接的图像采集设备采集到的电子设备使用者的瞳孔图像。

又一方面，本申请还提供了一种控制装置，包括：

图像获得单元，用于获得电子设备使用者的瞳孔图像；

位置关系确定单元，用于确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；

显示控制单元，用于基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请实施例提供的控制方法的一种流程示意图；

图2示出了本申请实施例中确定瞳孔图像中电子设备显示单元与操作物之间的相对位置的一种实现流程示意图；

图3示出了确定瞳孔图像中电子设备显示单元以及瞳孔图像中操作物对应的图像区的一种示例图；

图4示出了本申请实施例中基于瞳孔图像控制电子设备显示单元中可交互对象显示的一种示意图；

图5示出了本申请实施例提供的控制方法的又一种流程示意图；

图6示出了电子设备显示单元中显示可交互对象的又一种显示布局示意图；

图7示出了本申请实施例提供的控制方法的又一种流程示意图；

图8示出了本申请实施例提供的控制装置的一种组成结构示意图；

图9示出了本申请实施例提供的电子设备的一种组成架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1，示出了本申请实施例提供的控制方法的一种流程示意图，本实施应用于电子设备，如，电子设备可以为任意具有显示单元的电子设备，如，电子设备可以为手机、平板电脑或者笔记本电脑，还可以是具有显示单元的虚拟现实设备等，对此不加限制。

本实施例的方法可以包括：

S101，获得电子设备使用者的瞳孔图像。

其中，瞳孔图像是采集到的电子设备使用者的瞳孔的成像。可以理解的是，瞳孔是指眼睛虹膜中央的圆孔，是光线进入眼睛的通道，因此，瞳孔图像中可以包括用户眼睛当前看到的物体以及人物等内容信息的成像。

在本申请中，获得电子设备使用者的瞳孔图像的实现方式可以有多种，对此不加限制。

下面以几种可能实现方式为例说明：

在一种可能的实现方式中，可以获得电子设备的目标图像采集单元采集到的电子设备使用者的瞳孔图像。该目标图像采集单元与电子设备显示单元位于电子设备的同侧。

如，以电子设备为手机为例，在使用者使用手机的过程中，使用者的眼睛会看向手机的屏幕，此时，就可以采用手机的前置摄像头采集使用者的眼部图像，从该眼部图像中提取出瞳孔图像。

在又一种可能的实现方式中，可以获得电子设备连接的图像采集设备采集到的电子设备使用者的瞳孔图像。该图像采集设备可以为电子设备之外，且与电子设备相连的图像采集设备。其中，该图像采集设备可以是通过有线或者无线方式与该电子设备相连，对此不加限制。

如，图像采集设备朝向电子设备使用者的面部或者是眼部，能够至少采集到包含该电子设备使用者的瞳孔部位的图像，并将采集到的图像传输给该电子设备，使得电子设备能够从图像采集设备发送的图像中提取出该电子设备使用者的瞳孔图像。

在实际应用中，还可以结合以上两种方式来获得电子设备使用者的瞳孔图像。

当然，在实际应用中还可以有其他获得电子设备使用者的瞳孔图像的方式，本申请对此不加限制。

在本申请中，电子设备可以在存在电子设备使用者使用电子设备的情况下，便获得该电子设备使用者的瞳孔图像。如，在电子设备检测到电子设备未处于关机或者休眠状态的情况下，便可以获得电子设备使用者的瞳孔图像；或者是，在电子设备感应到存在电子设备使用者的操作行为时，获得电子设备使用者的瞳孔图像。

可以理解的是，在电子设备显示单元中显示有可交互对象的情况下，用户可能才需要与电子设备显示单元中的可交互对象进行交互，此时，控件等可交互对象在电子设备显示单元中的布局才会对电子设备使用者的操作便利性产生影响。基于此，本申请还可以获得电子设备的使用场景信息，该使用场景信息用于表征电子设备显示单元显示的内容特征。

如，使用场景信息可以为电子设备当前运行且处于前端的应用的应用名称或者应用类别等应用信息，通过应用的应用名称或者应用类型等信息，可以反映出电子设备显示单元中当前是否存在显示可交互对象的需求。例如，假设电子设备当前运行且处于前端的应用为游戏时，那么显示单元中必然显示有游戏界面，而游戏界面中会存在需要用户操控的游戏对象，游戏控件等。

又如，使用场景信息还可以为电子设备所处的使用环境，如电子设备当前所处的地理位置、天气以及场所等，结合使用环境可以确定或者推测电子设备显示单元当前需要输出或者待输出的内容。如，结合用户历史使用电子设备的使用信息，确定出在电子设备所处的位置为用户所在公司时，用户会启动特定的工作应用，而工作应用的显示界面涉及到多种可交互对象。

在以上基础上，本申请可以在使用场景信息表征电子设备显示单元存在显示可交互对象的需求的情况下，获得电子设备使用者的瞳孔图像。

S102，确定该瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置。

其中，电子设备显示单元用于呈现电子设备输出显示内容。

操作物可以是使用者用户操作电子设备显示单元的物体或者身体部位。如，操作物可以为使用者操作电子设备显示单元的手指或者手部；该操作物还可以为使用者操作电子设备显示单元所使用的触控笔或者类似物等，对此不加限制。

可以理解的是，电子设备使用者在使用电子设备的过程中，电子设备使用者的眼睛会看向电子设备的显示单元，因此，在电子设备使用者的瞳孔中至少会有电子设备显示单元以及操作物在瞳孔中的成像。相应的，获得的电子设备使用者的瞳孔图像中也必然会包括电子设备显示单元的成像以及操作物的成像。

基于此，通过对瞳孔图像中包含的电子设备显示单元与瞳孔图像中包含的操作物之间的位置关系进行分析，可以确定出瞳孔图像中电子设备显示单元相对操作物的相对位置。

可见，该相对位置是指在瞳孔图像中呈现的电子设备显示单元与该瞳孔图像呈现的操作物之间的相对位置，而并非真实物理世界中电子设备显示单元与操作物的相对位置，但是由于瞳孔图像中电子设备显示单元和操作物都是物理世界中电子设备显示单元与操作物的光成像，因此，该相对位置可以反映出真实的物理世界中电子设备显示单元与操作物的实际位置关系。

在本申请中，确定该相对位置的具体实现也可以有多种，本申请对此不加限制。

S103，基于相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

其中，显示布局特征为至少一个可交互对象呈现在电子设备显示单元的特征，如各可交互对象的显示位置、各可交互对象之间相对位置关系以及排布方式等等，对此不加限制。

可以理解的是，瞳孔图像中电子设备显示单元与操作物的相对位置可以反映出真实的物理世界中电子设备显示单元与操作物的位置关系，而在电子设备显示单元与操作物的位置关系不同时，操作物适合操作电子设备显示单元的位置点、范围区域以及操作交互方式均可能会有所不同。

基于此，相对于按照固定的显示布局方式来显示可交互对象，基于该相对位置控制可交互对象的显示布局特征，结合操作物当前操作电子设备的具体操作特征来控制可交互对象在电子设备显示单元上的显示布局特征。

需要说明的是，在本申请中控制可交互对象的显示布局特征包括两种情况：一种情况为，电子设备显示单元中已显示有至少一个可交互对象，且电子设备显示单元的显示内容不存在更新，那么此时，控制显示布局特征就是调整该电子设备显示单元中该至少一个可交互对象的显示布局特征。又一种情况为，在电子设备显示单元需要显示至少一个可交互对象，那么控制显示布局特征就是确定至少一个可交互对象的显示布局特征，并按照该显示布局特征在电子设备显示单元中显示该至少一个可交互对象。

由以上可知，本申请可以在电子设备使用者使用电子设备的过程中，获得电子设备使用者的瞳孔图像，并确定瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置。由于该相对位置能够反映出物理世界中操作物与电子设备显示单元的位置关系，因此，结合相对位置关系控制显示单元中可交互对象的显示布局特征，能够充分考虑当前电子设备使用者操作电子设备的操作情况，自然也就能够更为合理地控制显示单元中可交互对象的显示布局，从而可以减少由于显示单元中可交互对象布局不合理而导致的操作不便的情况。

可以理解的是，在本申请中确定瞳孔图像中电子设备显示单元与操作物的相对位置的方式可以多种。

为了便于理解，下面以一种确定相对位置的方式为例进行说明，如图2所示，其示出了本申请实施例中确定瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物之间的相对位置的一种实现流程示意图，本流程可以包括：

S201，从瞳孔图像中分离出电子设备显示单元对应的目标映射影像区。

其中，该目标映射影像区为电子设备显示单元映射到瞳孔中的影像在瞳孔图像中区域。

如，通过对瞳孔图像进行边缘检测等处理，可以识别出电子设备显示单元所在的图像区，得到该目标映射影像区。

当然，本申请对从瞳孔图像中确定出电子设备显示单元的目标映射影像区的具体实现方式不加限制。

S202，在目标映射影像区确定出非电子设备显示单元的子映射图像区，将子映射图像区确定为操作电子设备显示单元的操作物对应的子映射影像区。

其中，非电子设备显示单元的子映射图像区是指电子设备显示单元之外的对象在电子设备显示单元的目标映射影像区内的影像区。

可以理解的是，在使用者使用手指或者触摸笔等操作物操作电子设备显示单元的过程中，从使用者眼睛看向电子设备显示单元时，可以看到操作物会遮挡电子设备显示单元的一部分区域，相应的使用者的瞳孔中也会存在操作物遮挡电子设备显示单元的成像。

基于此可知，电子设备显示单元的目标映射影像区中阴影或者遮挡区等就属于该电子设备显示单元之外的其他对象的成像区域。

如，本申请可以利用预先训练出的图像识别模型从目标映射影像区中识别出非电子设备显示单元的子映射图像区；或者是，通过对目标影像区进行边缘检测，确定出目标影像区内包含的非电子设备显示单元的图像区，得到该子映射图像区。当然，还可以有其他方式确定该子映射图像区，对此不加限制。

S203，基于子影像映射区相对目标映射影像区的相对位置，确定瞳孔图像中操作物相对电子设备显示单元的相对位置。

可以理解的是，子影像映射区为操作物在电子设备显示单元对应的目标映射影像区内的图像区域，因此，子影像映射区相对目标映射影像区的相对位置实际上就是瞳孔图像中操作物相对电子设备显示单元的相对位置。

为了便于理解，可以参见图3，其示出了本申请实施例中确定瞳孔图像中电子设备显示单元以及瞳孔图像中操作物对应的影像区的一种示例图。

由图3可以看出，在获得至少包含电子设备使用者眼部的使用者图像后，可以从使用者图像中提取出瞳孔图像300。

然后，可以利用边缘检测等技术，从瞳孔图像中识别出电子设备显示单元对应的目标映射影像区301，进一步的，还可以识别出目标影像区中诸如用户手部等操作物对应的子影像映射区302。

由图3可以看出，子影像映射区302位于瞳孔图像中电子设备显示单元对应的目标映射影像区301的右下方的区域内。

可以理解的是，图2仅仅是确定瞳孔图像中电子设备显示单元与操作物的相对位置的一种实现流程，对于通过其他方式确定相对位置也同样适用于本实施例。

可以理解的是，在本申请实施例中，瞳孔图像中电子设备显示单元和操作物的相对位置可以通过多种形式表现，具体可以根据需要设定。

下面结合相对位置的几种可能情况进行说明：

在一种可能的情况中，该相对位置可以为瞳孔图像中操作物相对电子设备显示单元中至少一条目标参考边的相对距离。通过该相对距离可以确定操作物在电子设备显示单元中的位置范围区域。

其中，该目标参考边可以为电子设备显示单元的任意一条边，具体可以根据需要设定。

如，目标参考边可以为电子设备显示单元的底部横边，则可以确定操作物相对底部横边的相对距离。

以图3为例说明，底部横边可以为电子设备显示单元中的下底边，那么相对位置可以为瞳孔图像中操作物的顶部水平切线、底部水平切线或者中心点距离下底边的垂直距离。

假设操作物为触摸笔，那么根据触摸笔距离下底边的垂直距离(即相对距离)，可以明确触摸笔的位置点处于与下底边距离该垂直距离的水平线上。

假设操作物为用户手部，且以确定用户手部的顶部水平切线与下底边的相对距离为例，那么该相对距离可以反映出用户手部触按或者握持电子设备的位置与下底边的距离。

又如，目标参考边可以为电子设备显示单元的任意一条竖边，以图3为例，目标参考边可以为电子设备显示单元左侧边或者右侧边，不再赘述。

又如，目标参考边可以包括电子设备显示单元中任意两条相邻的边，仍以图3为例，目标参考边可以包括瞳孔图像中电子设备显示单元中的下底边和右侧边。相应的，结合操作物相对这两条目标参考边的相对距离，也可以确定出操作物在电子设备显示单元中的位置点或者位置区域。

当然，目标参考边还可以有其他可能，对此不再赘述。

在又一种可能的情况中，可以先确定瞳孔图像中操作物相对第一目标参考边的目标相对距离，然后将目标相对距离相对瞳孔图像中电子设备显示单元中的第二目标参考边的长度的比值，确定瞳孔图像中操作物相对电子设备显示单元的相对位置。

其中，第一目标参考边和第二目标参考边为瞳孔图像中电子设备显示单元的两条相互垂直的边。如，第一目标参考边为瞳孔图像中电子设备显示单元中的一条横边，那么第二目标参考边为瞳孔图像中电子设备显示单元中的一条竖边。

在瞳孔图像中操作物距离电子设备显示单元的第一目标参考边的相对距离，与该第二目标参考边的长度的比值同样可以反映出操作物相对第二目标参考边所处的位置点。而且，比值实际上就是在真实物理世界中，该操作物与电子设备显示单元的第一目标参考边的相对距离，与电子设备显示单元的第二目标参考边的长度的比值。

如图4所示，基于瞳孔图像300中水平线303为瞳孔图像中操作物302顶部的水平切线。在此基础上，确定出该水平线303与瞳孔图像中电子设备显示单元302的右侧竖边(对于左侧竖边也类似)的交点之后，那么确定该交点到该右侧竖边任一端的距离与该右侧竖边长度的比值。如图3所示，该交点距离右侧竖边下端的距离与该右侧竖边长度的比值大概是1/4。基于此，可以判断出操作物相对两条竖边的相对位置点处于该水平切线上。

而且，在真实物理世界中，操作物顶部的水平切线在电子设备显示单元中的水平切线304与电子设备显示单元305的下底边的距离，与该右侧竖边的长度的比值基本为1/4。

在又一种可能的实现方式中，该相对位置可以为瞳孔图像中操作物在电子设备显示单元中的相对坐标范围。

其中，该相对坐标范围也就是操作物的子映射图像区相对电子设备显示单元的目标映射图像区的相对坐标范围。

如，以瞳孔图像中电子设备显示单元的四个顶点中的任意一个或者电子设备显示单元的中心点为坐标系原点，确定瞳孔图像中操作物的坐标区域，从而可以得到相对坐标范围。

在本申请以上实施例中，控制显示单元中可交互对象的显示布局特征的具体实现可以有多种可能。

在一种可能的实现方式中，本申请可以基于相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式。然后，按照该显示区域和/或对象排布模式，在电子设备显示单元中显示所述至少一个可交互对象。

其中，对象排布模式可以是至少一个可交互对象之间排布的方式，如，对象排布模式可以为从上到下的顺序排布，水平依次排布，呈环形排布，按照设定的排布模板排布等。当然，对象排布模式还可以是对象排布的参考起点，如，以相对位置匹配的参考起点从左到右排布，从上到下排布，或者环绕参考起点的环形排布等，对此不加限制。

如，可以根据实际需要确定至少一个可交互对象的对象排布模式后，按照对象排布模式，显示该至少一个可交互对象。

又如，考虑到可交互对象的显示区域对于操作便捷性的影响更大，还可以基于相对位置，确定电子设备显示单元中适配该操作物的目标操作区。相应的，可以在目标操作区内显示至少一个可交互对象。

下面结合显示可交互对象的一种可能的实现方式为例，对本申请实施例的控制方法进行介绍。

如图5所示，其示出了本申请实施例提供的控制方法的又一种流程示意图，本实施例可以包括：

S501，获得电子设备使用者的瞳孔图像。

S502，确定瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置。

以上两个步骤可以参见前面实施例的相关介绍，在此不再赘述。

S503，基于该相对位置，确定电子设备显示单元中适配该操作物的目标操作区。

其中，适配该操作物的目标操作区可以是操作物当前可操作到的电子设备显示单元的部分显示区域，或者是，电子设备显示单元中，与操作物的距离范围小于设定阈值的部分显示区域。

需要说明的是，目标操作区可以是一个点，一条线或者一个面(规则或者不规则的区域)，对此不加限制。

可以理解的是，瞳孔图像中操作物相对电子设备显示单元的相对位置可以反映出物理世界中操作物与电子设备显示单元的位置关系，因此，基于该相对位置可以确定出适配操作物的目标操作区。

在本申请中，确定该目标操作区的具体实现可以有多种可能，基于可以根据需要设定。而且，还可以结合相对位置的不同表现形式，确定出的目标操作区也可以有所不同，对此不加限制。

为了便于理解，以几种可能情况为例进行说明：

在一种可能情况中，可以基于相对位置，确定电子设备显示单元中适配操作物的目标基准线。

如图4为例，在确定出相对位置为：瞳孔图像中操作物顶部的水平切线与瞳孔图像中电子设备显示单元中下底边的距离，与电子设备显示单元的竖边长度的比值。那么可以基于该比值，在电子设备显示单元的右侧竖边(对于左侧竖边也类似)中确定出分割点，如比值为1/4，则可以确定出从右侧竖边中确定出1/4分割点，然后将该分割点所在的水平线确定为目标基准线，在图4中目标基准线为水平线304。

在又一种可能的实现方式中，可以基于相对位置，确定出电子设备显示单元操作物可操作的范围区域。

如，相对位置表明操作物处于电子设备显示单元的右下部分区域，那么可以将电子设备显示单元划分为四个显示区，将处于右下部分的显示区确定为操作物适配的目标操作区。

S504，基于该相对位置，确定显示可交互对象适配的对象排布模式。

其中，在相对位置不同或者相对位置的表现形式不同时，本申请确定对象排布模式的具体实现以及确定出的对象排布模式均可能会有所不同。

在一种可能实现方式中，可以设定相对位置的不同形式对应的不同对象排布模式。如，相对位置为操作物相对电子设备显示对象的相对范围区域，可以确定对象排布模式为环形排布模式，或者矩形排布模式等；如果相对位置为前面提到的比值，那么对象排布模式可以为以目标基准线的水平排布模式等。

在又一种可能的实现方式中，本申请还可以结合相对位置的具体信息，采用设定的匹配算法，从配置的多种对象排布模式中确定适合的对象排布模式。

当然，还可以有其他确定对象排布模式的方式，对此不加限制。

可以理解的是，该步骤S504和S505的先后顺序可以互换，也可以同步执行，对此不加限制。

S505，按照该对象排布模式，在该目标操作区内显示该至少一个可交互对象。

如，假设目标操作区为确定出的目标基准线，而对象排布模式为沿着目标基准线水平排布各可交互对象，那么可以将至少一个可交互对象依次显示到目标基准线上。

结合图4说明，在图4中电子设备显示单元305中存在目标基准线304，假设需要显示的可交互对象306有三个，那么可以沿着该目标基准线依次显示出这三个可交互对象。

由图4可以看出，在操作物处于目标基准线附近的情况下，将可交互对象依次排布到目标基准线上，那么利用操作物就可以较为方便的操作为目标基准线上的可交互对象，而无需用户移动操作物到电子设备显示单元中其他较远的区域。

可以理解的是，在显示可交互对象时，无需在电子设备显示单元中呈现出该目标基准线，在图4中仅仅是为了便于理解，示出了目标基准线304。

又如，假设目标操作区为电子设备显示单元中目标范围区域，而对象排布模式为矩阵排布方式或者环形排布方式等。以对象排布模式为矩阵排布方式为例，可以参见图6所示。在图6的电子设备显示单元601中，目标操作区602位于电子设备显示单元的右下方区域，在此基础上，可以在该目标操作区内按照矩阵排布方式逐行排列各个可交互对象603。

由图6可以看出，在用户手部等操作物处于电子设备显示单元的右下方区域时，将可交互显示对象显示到该右下方区域，那么用户利用手部等操作物便可以很方便的操作到该右下方区域内的可交互显示对象。

当然，目标操作区以及对象排布模式还可以有其他可能，在此不再赘述。

可以理解的是，与前面实施例相似，在本实施例中按照对象排布模式，在目标操作区内显示该至少一个可交互对象可以是：按照对象排布模式，将待显示的至少一个可交互对象显示到该目标操作区；也可以是，将显示界面当前显示的至少一个可交互对象移动到该目标操作区内，并按照对对象排布模式在该目标操作区内显示该至少一个可交互对象。

可以理解的是，在瞳孔图像中操作物相对电子设备显示单元的相对位置为相对位置坐标或者相对位置坐标区域等情况下，通过相对位置无法较为直观的体现出物理世界中操作物与电子设备显示单元的位置关系。

基于此，本申请还可以先基于该相对位置，确定出该操作物与电子设备显示单元的实际位置关系。然后，再基于该实际位置关系，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

其中，基于相对位置关系确定实际位置关系的方式可以有多种可能，对此不加限制。

如，可以确定瞳孔图像中电子设备显示单元与物理世界中该电子设备显示单元之间的映射关系，然后，按照该映射关系，结合该相对位置，确定操作物与电子设备显示单元的实际位置关系。

下面以一种具体实现为例进行说明。

如图7所示，其示出了本申请实施例提供的控制方法的又一种流程示意图，本实施例的方法可以包括：

S701，获得电子设备使用者的瞳孔图像。

S702，确定瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置。

以上两个步骤可以参见前面实施例的相关介绍，在此不再赘述。

S703，确定瞳孔图像中电子设备显示单元与物理世界中电子设备显示单元之间的映射关系。

在一种实现方式中，该映射关系可以为瞳孔图像中电子设备显示单元的图像区与物理世界中电子设备显示单元之间的坐标映射关系。如，瞳孔图像中电子设备显示单元的坐标系与物理世界中电子设备显示单元之间的坐标系之间的映射关系；或者是，瞳孔图像中电子设备显示单元与电子设备显示单元之间的坐标点转换关系等。

在又一种实现方式中，该映射关系还可以为瞳孔图像中电子设备显示单元与物理世界中电子设备显示单元之间的长度比例映射关系。比如，瞳孔图像中电子设备显示单元的图像区中单位长度与物理世界中电子设备显示单元的单位长度的映射关系。

当然，该映射关系还可以有其他可能，在此不再赘述。

S704，按照映射关系，结合相对位置，确定操作物与电子设备显示单元的实际位置关系。

如，假设相对位置为瞳孔图像中操作物相对瞳孔图像中电子设备显示单元中至少一条目标参考边的相对距离，那么可以根据长度比例映射关系或者是坐标映射关系等，确定出物理世界中操作物相对电子设备显示单元的至少一条目标参考边的实际距离。

又如，相对位置为瞳孔图像中操作物相对第一目标参考边的目标相对距离，将所述目标相对距离与所述瞳孔图像中第二目标参考边的长度的比值，那么此时无论映射关系如何，该比值可以直接作为操作物相对第一目标参考边的目标相对距离与第二目标参考边的长度的比值。

又如，假设相对位置为瞳孔图像中操作物在电子设备显示单元中的相对坐标范围区域，那么可以结合坐标映射关系，确定出物理世界中操作物在电子设备显示单元中的实际坐标范围区域。

当然，对于相对位置为其他可能情况，基于映射关系确定实际位置关系的过程也类似，在此不再赘述。

S705，基于实际位置关系，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式。

S706，按照显示区域和/或对象排布模式，在电子设备显示单元中显示至少一个可交互对象。

在本实施例中显示区域以及对象排布模式可以参见前面相关介绍。

结合实际位置关系确定显示区域以及对象排布模式的具体实现与前面基于相对位置确定显示区域或对象排布模式的过程也相似。

如，实际位置关系为操作物相对电子设备显示单元的至少一条目标参考边的实际距离，那么可以针对基于操作物与各目标参考边的实际距离，确定操作物所在的目标基准点或者目标基准线。

对于目标基准点，可以确定电子设备显示单元中距离该目标基准点设定距离阈值内的显示区域。而对象排布方式可以是矩阵排布方式，或者是环绕目标基准点的环形分布排布方式，对此不加限制。

对于目标基准线可以如前面图4相关介绍，或者是在目标基准线上一行以及下一行依次显示各可交互对象，对此不加限制。

又如，实际位置关系为操作物相对电子设备显示单元的实际坐标范围区域，可以将该实际坐标范围区域确定为显示区域，或者是基于该实际坐标范围区域，确定包含该实际坐标范围区域且大于该实际坐标范围的显示区域。然后采用矩阵排布方式，随机排布方式或者环形排布方式等，在该显示区域内显示各可交互对象。

为了便于理解，以一应用场景为例说明。

以用户握持手机为例说明，在用户握持手机并操作手机的过程中，通过获得用户的瞳孔图像，可以分析出用户手部握持手机的部位或者操作区域。在此基础上，可以根据用户当前手部握持手机的方式，调整手机界面中图标等可交互对象的显示位置以及排序方式，以使得各可交互对象处于靠近用户手部所在的手机侧边的区域内；或者是，将各可交互对象重新排布到用户手部操控手机屏幕的范围区域内，以方便用户操作手机屏幕中的可交互对象。

对应本申请实施例提供的控制方法，本申请实施例还提供了一种控制装置。如图

如图8，其示出了本申请实施例提供的一种控制装置的一种组成结构示意图，本实施例的装置可以包括：

图像获得单元801，用于获得电子设备使用者的瞳孔图像；

位置关系确定单元802，用于确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；

显示控制单元803，用于基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

在一种可能的实现方式中，显示控制单元，包括：

布局确定子单元，用于基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式；

显示控制子单元，用于按照所述显示区域和/或对象排布模式，在电子设备显示单元中显示所述至少一个可交互对象。

在又一种可能的实现方式中，该布局确定子单元，包括：操作区确定子单元，基于所述相对位置，确定电子设备显示单元中适配所述操作物的目标操作区；

该显示控制子单元，具体为，用于在所述目标操作区内显示所述至少一个可交互对象。

在又一种可能的实现方式中，该布局确定子单元，还包括：

第一模式确定子单元，用于确定设定的对象排布模式；

或者，第二模式确定子单元，用于基于所述相对位置，确定显示可交互对象适配的对象排布模式；

该显示控制子单元，包括：

排布显示子单元，用于按照所述对象排布模式，在所述目标操作区内显示所述至少一个可交互对象。

在又一种可能的实现方式中能够，该显示控制单元，包括：

实际关系确定单元，用于基于所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系；

显示特征控制单元，用于基于所述实际位置关系，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

在又一种可能的实现方式中，该实际关系确定单元，包括：

映射确定子单元，用于确定所述瞳孔图像中电子设备显示单元与物理世界中所述电子设备显示单元之间的映射关系；

关系确定子单元，用于按照所述映射关系，结合所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系。

在又一种可能的实现方式中，该位置关系确定单元，包括如下至少一种：

距离确定单元，用于确定所述瞳孔图像中操作电子设备显示单元的操作物相对所述电子设备显示单元中至少一条目标参考边的相对距离；

比值确定单元，用于确定所述瞳孔图像中所述操作物相对第一目标参考边的目标相对距离，将所述目标相对距离与所述瞳孔图像中第二目标参考边的长度的比值，确定为所述瞳孔图像中所述操作物相对电子设备显示单元的相对位置，其中，所述第一目标参考边和第二目标参考边为所述瞳孔图像中电子设备显示单元的两条相互垂直的边；

坐标区域确定单元，用于确定所述瞳孔图像中所述操作物在所述电子设备显示单元中的相对坐标范围区域。

在又一种可能的实现方式中，还包括：场景确定单元，用于确定电子设备的使用场景信息，所述使用场景信息用于表征电子设备显示单元显示的内容特征；

该图像获得单元，具体为，用于在所述使用场景信息表征电子设备显示单元存在显示可交互对象的需求的情况下，获得电子设备使用者的瞳孔图像。

在又一种可能的实现方式中，该图像获得单元包括如下任意一种：

第一图像获得单元，用于获得电子设备的目标图像采集单元采集到的电子设备使用者的瞳孔图像，所述目标图像采集单元与电子设备显示单元位于电子设备的同侧；

第二图像获得单元，用于获得电子设备连接的图像采集设备采集到的电子设备使用者的瞳孔图像。

又一方面，本申请还提供了一种电子设备，如图9所示，其示出了该电子设备的一种组成结构示意图，该电子设备可以为任意类型的电子设备，该电子设备至少包括处理器901和存储器902；

其中，处理器901用于执行如上任意一个实施例中的控制方法。

该存储器902用于存储处理器执行操作所需的程序。

可以理解的是，该电子设备还可以包括显示单元903以及输入单元904。

当然，该电子设备还可以具有比图9更多或者更少的部件，对此不加限制。

另一方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任意一个实施例所述的控制方法。

本申请还提出了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机程序在电子设备上运行时，用于执行如上任意一个实施例中的控制方法。

可以理解的是，在本申请中，说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种控制方法，包括：

获得电子设备使用者的瞳孔图像；

确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；

基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

2.根据权利要求1所述的控制方法，所述基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征，包括：

基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式；

按照所述显示区域和/或对象排布模式，在电子设备显示单元中显示所述至少一个可交互对象。

3.根据权利要求2所述的控制方法，所述基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式，包括：

基于所述相对位置，确定电子设备显示单元中适配所述操作物的目标操作区；

所述按照所述显示区域和/或对象排布模式，在电子设备显示单元中显示所述至少一个可交互对象，包括：

在所述目标操作区内显示所述至少一个可交互对象。

4.根据权利要求3所述的控制方法，所述基于所述相对位置，确定电子设备显示单元中当前呈现或者待显示的至少一个可交互对象的显示区域和/或对象排布模式，还包括：

确定设定的对象排布模式；

或者，基于所述相对位置，确定显示可交互对象适配的对象排布模式；

所述在所述目标操作区内显示所述至少一个可交互对象，包括：

按照所述对象排布模式，在所述目标操作区内显示所述至少一个可交互对象。

5.根据权利要求1所述的控制方法，所述基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征，包括：

基于所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系；

基于所述实际位置关系，控制电子设备显示单元中至少一个可交互对象的显示布局特征。

6.根据权利要求5所述的控制方法，所述基于所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系，包括：

确定所述瞳孔图像中电子设备显示单元与物理世界中所述电子设备显示单元之间的映射关系；

按照所述映射关系，结合所述相对位置，确定所述操作物与电子设备显示单元的实际位置关系。

7.根据权利要求1所述的控制方法，所述确定所述瞳孔图像中电子设备显示单元以及操作电子设备显示单元的操作物的相对位置，包括如下至少一种：

确定所述瞳孔图像中操作电子设备显示单元的操作物相对所述电子设备显示单元中至少一条目标参考边的相对距离；

确定所述瞳孔图像中所述操作物相对第一目标参考边的目标相对距离，将所述目标相对距离与所述瞳孔图像中第二目标参考边的长度的比值，确定为所述瞳孔图像中所述操作物相对电子设备显示单元的相对位置，其中，所述第一目标参考边和第二目标参考边为所述瞳孔图像中电子设备显示单元的两条相互垂直的边；

确定所述瞳孔图像中所述操作物在所述电子设备显示单元中的相对坐标范围区域。

8.根据权利要求1所述的控制方法，还包括：确定电子设备的使用场景信息，所述使用场景信息用于表征电子设备显示单元显示的内容特征；

所述获得电子设备使用者的瞳孔图像，包括：

在所述使用场景信息表征电子设备显示单元存在显示可交互对象的需求的情况下，获得电子设备使用者的瞳孔图像。

9.根据权利要求1所述的控制方法，所述获得电子设备使用者的瞳孔图像，包括如下任意一种：

获得电子设备的目标图像采集单元采集到的电子设备使用者的瞳孔图像，所述目标图像采集单元与电子设备显示单元位于电子设备的同侧；

获得电子设备连接的图像采集设备采集到的电子设备使用者的瞳孔图像。

10.一种控制装置，包括：

图像获得单元，用于获得电子设备使用者的瞳孔图像；

位置关系确定单元，用于确定所述瞳孔图像中电子设备显示单元与操作电子设备显示单元的操作物的相对位置；

显示控制单元，用于基于所述相对位置，控制电子设备显示单元中至少一个可交互对象的显示布局特征。