CN111625210A - 一种大屏控制方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种大屏控制方法、装置及设备，方法包括：接收针对待处理图像的第一操作指令；获取待处理图像中像素点与待控制大屏中像素点的映射关系；根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令；基于第二操作指令对待控制大屏进行控制；可见，本方案中，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

Description

一种大屏控制方法、装置及设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种大屏控制方法、装置及设备。

背景技术

大屏，是指显示器拼接屏，由多个显示器组成，也称为电视墙。在大屏中可以显示多个信号源采集的画面。一些场景中，需要对大屏显示的内容进行控制，比如，对各信号源采集的画面在大屏中的显示位置进行调整，或者，增加、减少信号源后，对各信号源采集的画面在大屏中的显示位置重新布局等等。

而现有方案中，各信号源采集的画面在大屏中的显示位置一般是固定的，只能通过重新配置的方式实现对大屏的控制，便利性较差。

发明内容

本发明实施例的目的在于提供一种大屏控制方法、装置及设备，以提高控制便利性。

为达到上述目的，本发明实施例提供了一种大屏控制方法，包括：

接收针对待处理图像的第一操作指令，所述待处理图像为针对待控制大屏进行图像采集得到的；

获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系；

根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令；

基于所述第二操作指令对所述待控制大屏进行控制。

可选的，所述获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系，包括：

确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离；

计算所述第一距离与所述第二距离的比值，所述第二距离为：成像平面与所述相机的镜头的距离；

根据所述比值，确定所述待处理图像中像素点与所述待控制大屏中像素点的映射关系。

可选的，所述映射关系为：

A1＝(u1-u2)*z/f；B1＝(v1-v2)*z/f；

其中，(A1，B1)表示所述待控制大屏中像素点的坐标，(u1，v1)表示所述待处理图像中像素点的坐标，(u2，v2)表示所述待处理图像中包含的大屏的角点坐标，z表示所述第一距离，f表示所述第二距离。

可选的，所述方法还包括：

通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离，包括：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离。

可选的，所述根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离，包括：

利用如下算式，计算所述第一距离：

z＝f*b/d；其中，z表示所述第一距离，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d表示所述双目相机的成像点间距。

可选的，所述方法还包括：

通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述映射关系包括：第一部分映射关系和第二部分映射关系；所述获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系，包括：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系；其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上；

确定所述待处理图像中像素点映射至所述三维空间坐标系中的点与所述待控制大屏中像素点的映射关系，作为所述第二部分映射关系。

可选的，所述根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系，包括：

确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

可选的，所述确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值，包括：

利用如下算式，计算所述待处理图像中像素点的偏移坐标值：

P＝u-L/2，Q＝-v+W/2；其中，(u，v)表示所述待处理图像中像素点在图像坐标系中的坐标值，(P，Q)表示所述待处理图像中像素点的偏移坐标值，L表示所述待处理图像的长度，W表示所述待处理图像的宽度；

所述第一部分映射关系为：

Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；其中，(X，Y，Z)表示所述三维空间坐标系中的坐标值，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d’表示在以所述第一相机为原点的坐标系中所述双目相机的成像点间距；

所述方法还包括：

根据所述第一部分映射关系，将所述待处理图像中的像素点映射至所述三维空间坐标系中；

确定所述三维空间坐标系中待控制大屏的第一边向量和第二边向量，所述第一边向量与所述第二边向量的交点为所述待控制大屏的角点；

所述第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标值，

表示所述三维空间坐标系中待控制大屏中像素点与所述角点组成的向量，α表示

与所述第二边向量的夹角，β表示所述目标向量与所述第一边向量的夹角。

可选的，所述第一操作指令为调整画面位置指令，其中包括第一调整前位置和第一调整后位置，所述第一调整前位置和所述第一调整后位置均为所述待处理图像中的位置；

所述根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令，包括：

根据所述映射关系，将所述第一调整前位置转换为第二调整前位置；

根据所述映射关系，将所述第一调整后位置转换为第二调整后位置，得到包括所述第二调整前位置和所述第二调整后位置的第二操作指令，所述第二调整前位置和所述第二调整后位置均为所述待控制大屏中的位置；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

根据所述第二前调整位置，在所述待控制大屏中确定待调整画面；

将所述待调整画面调整至所述第二调整后位置。

可选的，所述将所述待调整画面调整至所述第二调整后位置，包括：

将所述第二调整后位置处显示的画面与所述待调整画面进行互换；

或者，通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置。

可选的，所述通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置，包括：

根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数；

根据所述画面缩放系数，对所述待调整画面进行缩放，得到缩放后的画面，所述缩放后的画面位于所述第二调整后位置。

可选的，所述根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数，包括：

根据所述第二调整前位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整前尺寸；

根据所述第二调整后位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整后尺寸；

计算所述调整后尺寸相对于所述调整前尺寸的画面缩放系数。

可选的，所述第一操作指令为显示新画面指令，其中包括新画面标识和新画面的第一显示位置；所述根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令，包括：

根据所述映射关系，将所述第一显示位置转换为第二显示位置，得到包括所述新画面标识和所述第二显示位置的第二操作指令；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

将所述新画面标识对应的画面显示在所述待控制大屏的所述第二显示位置。

可选的，所述方法还包括：

识别所述待处理图像中每个画面的边缘，作为第一边缘；

根据所述映射关系，将每个第一边缘转换为所述待控制大屏中画面的边缘，作为第二边缘；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

根据每个第二边缘，确定所述第二操作指令对应的待调整画面；

根据所述第二操作指令，对所述待调整画面进行调整。

可选的，所述识别所述待处理图像中每个画面的边缘，作为第一边缘，包括：

将所述待处理图像中的非矩形画面校正为矩形画面，得到校正后图像；

识别所述校正后图像中每个画面的边缘，作为第一边缘。

可选的，所述识别所述校正后图像中每个画面的边缘，作为第一边缘，包括：

在所述校正后图像中识别水平线及垂直线；

针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；

选择像素点数量满足预设条件的线，作为第一边缘。

为达到上述目的，本发明实施例还提供了一种大屏控制装置，包括：

接收模块，用于接收针对待处理图像的第一操作指令，所述待处理图像为针对待控制大屏进行图像采集得到的；

获取模块，用于获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系；

第一转换模块，用于根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令；

控制模块，用于基于所述第二操作指令对所述待控制大屏进行控制。

可选的，所述获取模块，包括：

第一确定子模块，用于确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离；

计算子模块，用于计算所述第一距离与所述第二距离的比值，所述第二距离为：成像平面与所述相机的镜头的距离；

第二确定子模块，用于根据所述比值，确定所述待处理图像中像素点与所述待控制大屏中像素点的映射关系。

可选的，所述映射关系为：

A1＝(u1-u2)*z/f；B1＝(v1-v2)*z/f；

其中，(A1，B1)表示所述待控制大屏中像素点的坐标，(u1，v1)表示所述待处理图像中像素点的坐标，(u2，v2)表示所述待处理图像中包含的大屏的角点坐标，z表示所述第一距离，f表示所述第二距离。

可选的，所述装置还包括：

第一获得模块，用于通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述第一确定子模块，具体用于：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离。

可选的，所述第一确定子模块，具体用于：

利用如下算式，计算所述第一距离：

z＝f*b/d；其中，z表示所述第一距离，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d表示所述双目相机的成像点间距。

可选的，所述装置还包括：

第二获得模块，用于通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述映射关系包括：第一部分映射关系和第二部分映射关系；所述获取模块，包括：

第三确定子模块，用于根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系；其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上；

第四确定子模块，用于确定所述待处理图像中像素点映射至所述三维空间坐标系中的点与所述待控制大屏中像素点的映射关系，作为所述第二部分映射关系。

可选的，所述第三确定子模块，具体用于：

确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

可选的，所述第三确定子模块，还用于：

利用如下算式，计算所述待处理图像中像素点的偏移坐标值：

P＝u-L/2，Q＝-v+W/2；其中，(u，v)表示所述待处理图像中像素点在图像坐标系中的坐标值，(P，Q)表示所述待处理图像中像素点的偏移坐标值，L表示所述待处理图像的长度，W表示所述待处理图像的宽度；

确定所述第一部分映射关系为：

Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；其中，(X，Y，Z)表示所述三维空间坐标系中的坐标值，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d’表示在以所述第一相机为原点的坐标系中所述双目相机的成像点间距；

根据所述第一部分映射关系，将所述待处理图像中的像素点映射至所述三维空间坐标系中；

确定所述三维空间坐标系中待控制大屏的第一边向量和第二边向量，所述第一边向量与所述第二边向量的交点为所述待控制大屏的角点；

所述第四确定子模块，还用于：

确定所述第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标值，

表示所述三维空间坐标系中待控制大屏中像素点与所述角点组成的向量，α表示

与所述第二边向量的夹角，β表示所述目标向量与所述第一边向量的夹角。

可选的，所述第一操作指令为调整画面位置指令，其中包括第一调整前位置和第一调整后位置，所述第一调整前位置和所述第一调整后位置均为所述待处理图像中的位置；

所述第一转换模块，具体用于：

根据所述映射关系，将所述第一调整前位置转换为第二调整前位置；根据所述映射关系，将所述第一调整后位置转换为第二调整后位置，得到包括所述第二调整前位置和所述第二调整后位置的第二操作指令，所述第二调整前位置和所述第二调整后位置均为所述待控制大屏中的位置；

所述控制模块，具体用于：

根据所述第二前调整位置，在所述待控制大屏中确定待调整画面；将所述待调整画面调整至所述第二调整后位置。

可选的，所述控制模块，还用于将所述第二调整后位置处显示的画面与所述待调整画面进行互换；

或者，通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置。

可选的，所述控制模块，还用于根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数；根据所述画面缩放系数，对所述待调整画面进行缩放，得到缩放后的画面，所述缩放后的画面位于所述第二调整后位置。

可选的，所述控制模块，还用于根据所述第二调整前位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整前尺寸；根据所述第二调整后位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整后尺寸；计算所述调整后尺寸相对于所述调整前尺寸的画面缩放系数。

可选的，所述第一操作指令为显示新画面指令，其中包括新画面标识和新画面的第一显示位置；

所述第一转换模块，具体用于：根据所述映射关系，将所述第一显示位置转换为第二显示位置，得到包括所述新画面标识和所述第二显示位置的第二操作指令；

所述控制模块，具体用于：将所述新画面标识对应的画面显示在所述待控制大屏的所述第二显示位置。

可选的，所述装置还包括：

识别模块，用于识别所述待处理图像中每个画面的边缘，作为第一边缘；

第二转换模块，用于根据所述映射关系，将每个第一边缘转换为所述待控制大屏中画面的边缘，作为第二边缘；

所述控制模块，具体用于：

根据每个第二边缘，确定所述第二操作指令对应的待调整画面；根据所述第二操作指令，对所述待调整画面进行调整。

可选的，所述识别模块，包括：

校正子模块，用于将所述待处理图像中的非矩形画面校正为矩形画面，得到校正后图像；

识别子模块，用于识别所述校正后图像中每个画面的边缘，作为第一边缘。

可选的，所述识别子模块，具体用于：

在所述校正后图像中识别水平线及垂直线；

针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；

选择像素点数量满足预设条件的线，作为第一边缘。

为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一种大屏控制方法。

可选的，该设备还可以包括：

双目相机，用于通过所述双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像，并所述待处理图像发送至所述处理器；其中，所述第一相机为左相机或右相机。

可选的，该设备还可以包括：

触摸屏，用于展示所述待处理图像，并接收用户针对所述待处理图像的第一操作指令。

为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种大屏控制方法。

应用本发明实施例进行大屏控制时，接收针对待处理图像的第一操作指令；获取待处理图像中像素点与待控制大屏中像素点的映射关系；根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令；基于第二操作指令对待控制大屏进行控制；可见，本方案中，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的大屏控制方法的第一种流程示意图；

图1b为本发明实施例提供的电子设备中的第一种显示画面示意图；

图2为本发明实施例提供的三角测量原理示意图；

图3为本发明实施例提供的一种相机未正对大屏进行图像采集的示意图；

图4a为本发明实施例提供的大屏中的第一种显示画面示意图；

图4b为本发明实施例提供的大屏中的第二种显示画面示意图；

图4c为本发明实施例提供的大屏中的第三种显示画面示意图；

图4d为本发明实施例提供的电子设备中的第二种显示画面示意图；

图5为本发明实施例提供的一种画面边缘示意图；

图6为本发明实施例提供的大屏控制方法的第二种流程示意图；

图7为本发明实施例提供的一种场景示意图；

图8为本发明实施例提供的大屏控制方法的第三种流程示意图；

图9为本发明实施例提供的一种大屏控制装置的结构示意图；

图10为本发明实施例提供的一种电子设备的结构示意图；

图11为本发明实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决上述技术问题，本发明实施例提供了一种大屏控制方法、装置及设备，该方法及装置可以应用于各种电子设备，比如，手机、平板电脑等手持终端，或者也可以为笔记本电脑、台式电脑等，具体不做限定。执行本方案的电子设备(执行主体，以下简称本电子设备)可以具有图像采集功能，或者，本电子设备可以与相机相连接。

下面首先对本发明实施例提供的一种大屏控制方法进行详细介绍。图1a为本发明实施例提供的大屏控制方法的第一种流程示意图，包括：

S101：接收针对待处理图像的第一操作指令。待处理图像为针对待控制大屏进行图像采集得到的。

本电子设备可以预先与待控制大屏建立连接，比如，可以通过WLAN(WirelessLocal Area Networks，无线局域网络)、蓝牙等各种通信方式建立连接，具体连接方式及通信协议不做限定。本电子设备与待控制大屏建立连接后，便可以采用本实施例对该大屏进行控制。

一种情况下，可以预先在本电子设备中安装应用程序，在该应用程序中配置大屏中各信号源对应的虚拟模块，应用本发明实施例，可以将对该虚拟模块的控制转换为对各信号源的控制。

举例来说，如果本电子设备具有图像采集功能，则本电子设备可以针对待控制大屏进行图像采集。或者，本电子设备可以与相机相连接，相机针对待控制大屏进行图像采集，并将采集到的图像发送至本电子设备。

一种情况下，本电子设备获取到的图像可以为视频图像。如果本电子设备具有录制视频的功能，则本电子设备可以针对待控制大屏进行视频录制。如果本电子设备与相机相连接，相机针对待控制大屏进行视频录制，并将录制到的每一帧视频图像发送至本电子设备。

为了方便描述，将第一操作指令针对的图像称为待处理图像。举例来说，电子设备可以将获取到的图像展示给用户，用户可以对展示的图像进行操作，该操作针对的图像即为待处理图像，该操作可以认为是针对待处理图像发送的第一操作指令。一种情况下，本电子设备可以设置有触摸屏，本电子设备在触摸屏上向用户展示图像，用户通过手指对图像进行操作。或者，本电子设备也可以为笔记本电脑或台式电脑，本电子设备通过显示屏展示图像，用户通过鼠标或者触摸板对图像进行操作。

大屏中可以显示有一个或多个画面，这些画面可以为各信号源的画面。相应的，待处理图像中包含大屏区域，该大屏区域中也可以显示有一个或多个画面。如图1b所示，图1b为待处理图像的示意图，图1b中包括画面1、画面2和画面3，这些画面可以对应于大屏中各信号源的画面。大屏中显示画面的数量不做限定，另外，这些画面可以紧紧相邻，也可以间隔一些距离，具体间隔距离不做限定。用户可以对待处理图像中的显示画面的位置进行调整，如拖动、放大、缩小等。或者，用户也可以打开新画面，并在待处理图像中确定新画面的位置，也就是说，第一操作指令可以为调整画面指令，也可以为打开新画面、并确定新画面位置的指令，第一操作指令的具体内容不做限定。

S102：获取待处理图像中像素点与待控制大屏中像素点的映射关系。

待处理图像中像素点也就是待控制大屏在图像坐标系中的坐标点，待控制大屏中像素点也就是待控制大屏在大屏坐标系中的坐标点。确定二者的映射关系，也就是将确定图像坐标系与大屏坐标系之间的映射关系。

一种实施方式中，可以在接收到针对待处理图像的第一操作指令后，确定待处理图像中像素点与待控制大屏中像素点的映射关系。这种实施方式中，确定出的映射关系实时反应当前状态下图像与大屏之间的关系，准确度较高。

另一种实施方式中，可以预先确定图像中像素点与待控制大屏中像素点的映射关系，在接收到针对待处理图像的第一操作指令后，获取预先确定的映射关系，作为待处理图像中像素点与待控制大屏中像素点的映射关系。

举例来说，假设本电子设备针对待控制大屏进行视频录制，本电子设备与大屏的位置均固定不变、或变化较小；这种情况下，本电子设备在录制得到视频图像后，便可以确定该视频图像中像素点与待控制大屏中像素点的映射关系；本电子设备在接收到第一操作指令后，直接获取该映射关系，作为待处理图像中像素点与待控制大屏中像素点的映射关系。

再举一例，假设相机针对待控制大屏进行视频录制，相机与大屏的位置均固定不变、或变化较小，相机将录制得到的视频图像发送至本电子设备；这种情况下，本电子设备在接收到相机发送的视频图像后，便可以确定该视频图像中像素点与待控制大屏中像素点的映射关系；本电子设备在接收到第一操作指令后，直接获取该映射关系，作为待处理图像中像素点与待控制大屏中像素点的映射关系。

这种实施方式中，预先确定映射关系，在接收到第一操作指令后，直接获取该映射关系，而不需要再进行复杂的运算来确定该映射关系，这样，减少了用户的等待时间，方案的灵敏性更好。

作为一种实施方式，S102可以包括：确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离；计算所述第一距离与所述第二距离的比值，所述第二距离为：成像平面与所述相机的镜头的距离；根据所述比值，确定所述待处理图像中像素点与所述待控制大屏中像素点的映射关系。

如果待处理图像为本电子设备采集的，则第一距离为本电子设备与大屏之间的距离；如果待处理图像为与本电子设备相连接的相机采集的，则第一距离为该相机与大屏之间的距离。为了方便描述，下面以相机为例进行说明。

确定第一距离的方式有多种，比如，可以在相机中设置光源，光源发射结构光照射大屏，该结构光具有一定的纹路特征，然后根据反射光与该结构光的纹路差异，确定相机与大屏的距离。或者，可以在相机中设置光源及感光器，光源发射光照射大屏，感光器接收大屏反射回来的光，通过计算发射光与接收光之间的时间差，来计算相机与大屏之间的距离。

作为一种实施方式，本电子设备中可以设置有双目相机，或者，本电子设备可以与双目相机相连接，这样，上述待处理图像可以为双目相机的任一相机(左相机或右相机)采集的，为了方便描述，将采集待处理图像的相机称为第一相机。

本实施方式中，可以通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机。确定第一距离的方式为：根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离。

具体的，可以利用如下算式，计算所述第一距离：

z＝f*b/d；其中，z表示所述第一距离，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d表示所述双目相机的成像点间距。

成像平面与镜头的距离f、双目相机的相机间距b属于双目相机的内参，可以预先获得。参考图2，根据三角测量原理可知，z/f＝x/xl＝x-b/xr，其中，x表示P点到左相机所对应直线的距离，x＝xl*z/f，xl表示左相机的成像点到左相机所对应直线的距离，xr表示右相机的成像点到右相机所对应直线的距离。由上式可以推导出z＝f*b/(xl-xr)，xl-xr即为左相机成像点与右相机成像点的间距d，也就是z＝f*b/d。

如上所述，成像平面与镜头的距离f(第二距离)可以预先获得，计算第一距离与第二距离的比值z/f；确定待处理图像中像素点与待控制大屏中像素点的映射关系为：

A1＝(u1-u2)*z/f；B1＝(v1-v2)*z/f；

其中，(A1，B1)表示所述待控制大屏中像素点的坐标，(u1，v1)表示所述待处理图像中像素点的坐标，(u2，v2)表示所述待处理图像中包含的大屏的角点坐标。

如上所述，待处理图像中像素点也就是待控制大屏在图像坐标系中的坐标点，待控制大屏中像素点也就是待控制大屏在大屏坐标系中的坐标点；(A1，B1)即为大屏坐标系中的坐标值，(u1，v1)和(u2，v2)即为图像坐标系中的坐标值；而且(u2，v2)为大屏的角点在图像坐标系中的坐标值。

以上内容中确定的映射关系可以理解为：相机正对大屏进行图像采集的情况下确定出的映射关系。如果相机针对大屏进行图像采集时，存在倾斜角，则如图3所示，相机采集到的图像中的大屏不再为矩形，这种情况下，可以利用如下方式确定映射关系。

本实施方式中，可以通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述映射关系包括：第一部分映射关系和第二部分映射关系；S102包括：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系；其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上；

确定所述待处理图像中像素点映射至所述三维空间坐标系中的点与所述待控制大屏中像素点的映射关系，作为所述第二部分映射关系。

本实施方式中，将待处理图像中的像素点映射至三维空间坐标系，再从三维空间坐标系映射到待控制大屏中。换句话说，也就是从图像坐标系映射到三维空间坐标系，再映射到大屏坐标系。

待处理图像中的像素点映射到三维空间坐标系后都位于真实空间中的大屏所在的平面上。举例来说，将待处理图像中的像素点映射至三维空间坐标系也可以分为两步：第一步，先确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；第二步，再根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

具体的，第一步中，将图像像素点偏移至以第一相机为原点的坐标系中，如图3所示，可以理解为将角点2偏移至中心点O处(第一相机对应于自身采集图像的中心点)，也就是将图像坐标系中的坐标点向右下方移动；假设待处理图像中的像素点1在图像坐标系中的坐标值为(u，v)，像素点1在以第一相机为原点的坐标系中的坐标值为(P，Q)，则P＝u-L/2，Q＝-v+W/2；L表示待处理图像的长度，W表示待处理图像的宽度。

第二步中，将以第一相机为原点的坐标系映射至三维空间坐标系，仍以像素点1为例来说，假设像素点1在三维空间坐标系中的坐标值为(X，Y，Z)，参考图2中的三角测量原理，可以得到Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；d’表示在以第一相机为原点的坐标系中所述双目相机的成像点间距。图2表达的是XZ坐标系，YZ坐标系同理，不再赘述。

这里的Z表示的是Z轴坐标值，图2中的z以及其他内容中的z表示的是镜头与大屏之间的距离。

在得到第一部分映射关系后，可以将待处理图像中大屏区域的像素点都映射至三维空间坐标系中。参考图3，待处理图像中的大屏区域为不规则四边形，为了方便描述，将该四边形的一个边记为边1，将该四边形的另一个边记为边2，边1与边2相交于角点2。假设边1上存在一个点3，假设边2上存在一个点4，点3与角点2构成向量1，点4与角点2构成向量2。

将向量1映射到三维空间坐标系中即为第一边向量，将向量2映射到三维空间坐标系中即为第二边向量，第一边向量与第二边向量的交点即为待控制大屏的角点2。

三维空间坐标系到大屏坐标系的第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标值，

表示所述三维空间坐标系中待控制大屏中像素点与待控制大屏的角点组成的向量，α表示

与所述第二边向量的夹角，β表示所述目标向量与所述第一边向量的夹角。

参考图3，

即为像素点1与角点2构成的向量映射到三维空间坐标系中的向量。

上述映射过程可以表达为：(u，v)→(P，Q)→(X，Y，Z)→(A，B)；其中，(u，v)表示图像坐标系中的坐标值，(P，Q)表示以第一相机为原点的坐标系中的坐标值，(X，Y，Z)表示三维空间坐标系中的坐标值，(A，B)表示大屏坐标系中的坐标值。这些映射关系也就是待处理图像中的像素点与待控制大屏中的像素点的映射关系。

S103：根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令。

如上所述，S102中得到了图像像素点与大屏像素点的映射关系，因此，可以将用户对图像的操作转换为对大屏的操作。

S104：基于第二操作指令对待控制大屏进行控制。

一种实施方式中，第一操作指令为调整画面位置指令，其中包括第一调整前位置和第一调整后位置，第一调整前位置和第一调整后位置均为待处理图像中的位置；这种情况下，S103可以包括：根据所述映射关系，将所述第一调整前位置转换为第二调整前位置；根据所述映射关系，将所述第一调整后位置转换为第二调整后位置，得到包括所述第二调整前位置和所述第二调整后位置的第二操作指令，所述第二调整前位置和所述第二调整后位置均为所述待控制大屏中的位置；

S104可以包括：根据所述第二调整前位置，在所述待控制大屏中确定待调整画面；将所述待调整画面调整至所述第二调整后位置。

以用户在触摸屏上对图像进行操作为例来说，用户先点击的位置可以认为是第一调整前位置，根据S102中的映射关系，将第一调整前位置映射到大屏中，得到第二调整前位置，该第二调整前位置处的画面即为待调整画面；用户手指移动后的位置可以认为是第一调整后位置，根据S102中的映射关系，将第一调整后位置映射到大屏中，得到第二调整后位置，将待调整画面调整至第二调整后位置。

一种实施方式中，可以直接将待调整画面移动至第二调整后位置。

举例来说，参考图4a，假设待调整画面为信号源1的画面，对画面进行移动时保持画面的尺寸不变，移动结束后，画面中心点、或者角点、或者画面指定像素点的位置位于第二调整后位置。

另一种实施方式中，将待调整画面调整至第二调整后位置，可以包括：将所述第二调整后位置处显示的画面与所述待调整画面进行互换。

举例来说，参考图4b，假设待调整画面为信号源1的画面，第二调整后位置为信号源5的画面，本实施方式中，可以将信号源1的画面与信号源5的画面进行互换，互换后，信号源1的画面位于第二调整后位置。可见，通过这种互换的方式，实现了将待调整画面调整至第二调整后位置。

另一种实施方式中，将待调整画面调整至第二调整后位置，可以包括：通过对待调整画面进行缩放，将待调整画面调整至第二调整后位置。

举例来说，参考图4c，假设待调整画面为信号源1的画面，本实施方式中，对信号源1的画面进行缩放，缩放后的信号源1的画面位于第二调整后位置。一种情况下，可以根据第二调整前位置与第二调整后位置之间的位置关系，计算画面缩放系数；根据画面缩放系数，对待调整画面进行缩放得到缩放后的画面，缩放后的画面位于所述第二调整后位置。也就是使得第二调整前位置对应的画面内容调整至第二调整后位置。

画面缩放系数也就是画面尺寸放大或缩小了多少倍。比如，参考图4c，可以固定待调整画面的一个角点，然后根据画面缩放系数对画面进行缩放。

一种情况下，可以根据所述第二调整前位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整前尺寸；根据所述第二调整后位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整后尺寸；计算所述调整后尺寸相对于所述调整前尺寸的画面缩放系数。

举例来说，待调整画面中预设位置可以为画面中心点、或者角点、或者画面指定像素点的位置，具体不做限定。假设待调整画面中预设位置为画面左上角点，假设第二调整前位置及第二调整后位置均为画面中心点，仍参考图4c，假设待调整画面为信号源1的画面，信号源1的画面中，第二调整前位置与画面左上角点的距离为5厘米，第二调整后位置与画面左上角点的距离为10厘米，则缩放系数可以认为是2。调整过程可以为：固定信号源1的画面左上角点，根据该缩放系数进行缩放，缩放后的画面中，画面中心点位于第二调整后的位置。

再举一例，假设待调整画面中预设位置为画面左上角点，该左上角点在大屏中的坐标为(0，0)，假设第二调整前位置及第二调整后位置均为画面中心点，第二调整前位置在大屏中的坐标为(10，10)，第二调整后位置在大屏中的坐标为(20，20)，根据第二调整前位置和第二调整后位置在大屏中的坐标，计算缩放系数为2。调整过程可以为：固定信号源1的画面左上角点，根据该缩放系数进行缩放，缩放后的画面中，画面中心点位于第二调整后的位置。

上述实施方式中，通过对电子设备的操作，实现了对大屏中显示的信号源画面位置进行调整。

另一种实施方式中，所述第一操作指令为显示新画面指令，其中包括新画面标识和新画面的第一显示位置；这种情况下，S103可以包括：根据所述映射关系，将所述第一显示位置转换为第二显示位置，得到包括所述新画面标识和所述第二显示位置的第二操作指令；

S104可以包括：将所述新画面标识对应的画面显示在所述待控制大屏的所述第二显示位置。

本实施方式中，可以预先在本电子设备及大屏中约定每个信号源的画面标识；这样，用户可以在本电子设备中输入或选择新画面标识，并在待处理图像中确定新画面的显示位置。为了区分描述，将新画面在图像中的显示位置称为第一显示位置，将新画面在真实大屏中的显示位置称为第二显示位置。

根据S102中的映射关系，将第一显示位置映射到大屏中，得到第二显示位置。将该新画面标识对应的信号源的画面显示在第二显示位置。

如上所述，一种情况下，可以预先在本电子设备中安装应用程序，在该应用程序中配置大屏中各信号源对应的虚拟模块，举例来说，该应用程序的操作界面可以如图4d所示，界面右侧展示待处理图像，界面左侧展示各信号源对应的虚拟模块。假设需要在大屏中新增加显示信号源6的画面(之前未显示信号源6的画面)，用户可以先点击界面左侧信号源6对应的虚拟模块，然后在界面右侧待处理图像中的大屏区域中选择显示位置，并点击所选择的显示位置，为了方便描述，将该显示位置称为第一显示位置。

这两次点击操作可以认为是显示新画面指令，用户点击的虚拟模块对应的信号源标识(信号源6)可以认为是新画面标识。根据S102中确定的映射关系，将用户点击的第一显示位置转换为第二显示位置，第二显示位置为大屏中的位置，将新画面标识(信号源6)对应的画面显示在该第二显示位置。这样，通过对电子设备的操作，实现了在大屏中显示新的信号源画面。

可见，通过本实施例实现了基于AR(Augmented Reality，增强现实技术)的大屏控制，用户在虚拟图像中的操作可以映射到大屏中，实现了虚拟世界与现实世界的互动。

如上所述，一种情况下，可以针对待控制大屏进行视频录制，本电子设备可以显示录制的每一帧视频图像，如果用户对显示的视频图像进行了操作，本电子设备可以实时显示该操作是否反馈到了大屏，这样可以及时向用户反馈操作是否有效，用户体验较佳。

举例来说，假设本电子设备针对待控制大屏进行视频录制，录制过程中，用户对一帧视频图像进行了操作，该操作为调整画面位置指令，本电子设备将该指令转换为针对大屏的第二操作指令，并基于第二操作指令对大屏进行控制；假设大屏根据该第二操作指令进行了画面调整，这样，本电子设备录制的视频图像中可以反应大屏进行了画面调整，用户通过该视频图像，便可以知晓用户的调整画面指令有效。

再比如，如果本电子设备将该调整画面位置指令转换为针对大屏的第二操作指令，并基于第二操作指令对大屏进行控制，但由于通信故障或者其他异常情况，导致大屏未能根据该第二操作指令进行画面调整，这样，本电子设备录制的视频图像中可以反应大屏未按照预期进行画面调整，用户通过该视频图像，便可以知晓用户的调整画面指令无效。

作为一种实施方式，可以识别所述待处理图像中每个画面的边缘，作为第一边缘；然后根据所述映射关系，将每个第一边缘转换为所述待控制大屏中画面的边缘，作为第二边缘；这样，S104可以包括：根据每个第二边缘，确定所述第二操作指令对应的待调整画面；根据所述第二操作指令，对所述待调整画面进行调整。

一些情况下，如果大屏显示的画面较多，则各画面紧紧相邻，产生了画面边缘，如图5所示。本实施方式中，识别待处理图像中每个画面的边缘，以区分不同画面，这样可以较准确地确定出用户的操作指令是针对哪个画面的。

识别待处理图像中的画面边缘可以有多种方式，比如，可以训练得到能够定位画面边缘的神经网络模型，利用该模型识别图像中的画面边缘。再比如，也可以通过人工标定的方式，识别图像中的画面边缘。

神经网络模型属于AI(Artificial Intelligence，AI)技术领域，可见，本方案中可以基于AR和AI实现大屏控制，图像与大屏的映射即为AR，利用神经网络模型识别图像中的画面边缘，即为AI。

再比如，如果相机正对大屏进行图像采集，待处理图像中的画面均为矩形画面，这种情况下，可以在待处理图像中识别水平线及垂直线；针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；选择像素点数量满足预设条件的线，作为第一边缘。

具体的，可以通过神经网络的卷积层，对画面进行处理，得到画面中的线条，并用canny算子把线条细化，然后再识别其中的水平线及垂直线。可以理解，若画面为矩形画面，则画面边缘为水平线或垂直线，但水平线或垂直线不一定都是画面边缘。画面边缘的像素点数量大于其他水平线或垂直线的像素点数量，因此可以在水平线或垂直线中识别像素点数量最多的线，作为画面边缘。

而如果相机未能正对大屏进行图像采集，待处理图像中的画面不再为矩形画面，这种情况下，可以先将所述待处理图像中的非矩形画面校正为矩形画面，得到校正后图像；然后再识别所述校正后图像中每个画面的边缘，作为第一边缘。

具体的，可以在所述校正后图像中识别水平线及垂直线；针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；选择像素点数量满足预设条件的线，作为第一边缘。

应用本发明所示实施例进行大屏控制时，接收针对待处理图像的第一操作指令；获取待处理图像中像素点与待控制大屏中像素点的映射关系；根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令；基于第二操作指令对待控制大屏进行控制；可见，本方案中，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

图6为本发明实施例提供的大屏控制方法的第二种流程示意图，图6实施例主要针对相机正对大屏进行图像采集的情况，图6实施例包括：

S601：通过双目相机中的第一相机对待控制大屏进行图像采集；其中，所述第一相机为左相机或右相机。

图6实施例中，假设执行主体为手持终端，该终端中设置有双目相机。参考图7，双目相机的左相机或者右相机针对待控制大屏进行图像采集。为了方便描述，将对待控制大屏进行图像采集的相机称为第一相机。

S602：接收针对待处理图像的第一操作指令。

为了方便描述，将第一操作指令针对的图像称为待处理图像。举例来说，该终端可以将采集到的图像展示给用户，用户可以对展示的图像进行操作，该操作针对的图像即为待处理图像，该操作可以认为是针对待处理图像发送的第一操作指令。一种情况下，该终端中可以设置有触摸屏，该终端在触摸屏上向用户展示图像，用户通过手指对图像进行操作。

大屏中可以显示有一个或多个画面，这些画面可以为各信号源的画面。相应的，待处理图像中包含大屏区域，该大屏区域中也可以显示有一个或多个画面，如图1b所示，图1b为待处理图像的示意图，图1b中包括画面1、画面2和画面3，这些画面可以对应于大屏中各信号源的画面。大屏中显示画面的数量不做限定，另外，这些画面可以紧紧相邻，也可以间隔一些距离，具体间隔距离不做限定。用户可以对待处理图像中的显示画面的位置进行调整，如拖动、放大、缩小等。或者，用户也可以打开新画面，并在待处理图像中确定新画面的位置，也就是说，第一操作指令可以为调整画面指令，也可以为打开新画面、并确定新画面位置的指令，第一操作指令的具体内容不做限定。

S603：根据双目相机的相机间距、成像平面与第一相机的镜头的距离、以及双目相机的成像点间距，计算第一相机与待控制大屏的距离，作为第一距离。

具体的，可以利用如下算式，计算所述第一距离：

z＝f*b/d；其中，z表示所述第一距离，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d表示所述双目相机的成像点间距。

成像平面与镜头的距离f、双目相机的相机间距b属于双目相机的内参，可以预先获得。参考图2，根据三角测量原理可知，z/f＝x/xl＝x-b/xr，其中，x表示P点到左相机所对应直线的距离，x＝xl*z/f，xl表示左相机的成像点到左相机所对应直线的距离，xr表示右相机的成像点到右相机所对应直线的距离。由上式可以推导出z＝f*b/(xl-xr)，xl-xr即为左相机成像点与右相机成像点的间距d，也就是z＝f*b/d。

S604：计算第一距离与第二距离的比值，所述第二距离为：成像平面与第一相机的镜头的距离。

S605：根据该比值，确定待处理图像中像素点与待控制大屏中像素点的映射关系。

如上所述，成像平面与镜头的距离f(第二距离)可以预先获得，计算第一距离与第二距离的比值z/f；确定待处理图像中像素点与待控制大屏中像素点的映射关系为：

A1＝(u1-u2)*z/f；B1＝(v1-v2)*z/f；

其中，(A1，B1)表示所述待控制大屏中像素点的坐标，(u1，v1)表示所述待处理图像中像素点的坐标，(u2，v2)表示所述待处理图像中包含的大屏的角点坐标。

如上所述，待处理图像中像素点也就是待控制大屏在图像坐标系中的坐标点，待控制大屏中像素点也就是待控制大屏在大屏坐标系中的坐标点；(A1，B1)即为大屏坐标系中的坐标值，(u1，v1)和(u2，v2)即为图像坐标系中的坐标值；而且(u2，v2)为大屏的角点在图像坐标系中的坐标值。

S606：根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令。

S607：基于第二操作指令对待控制大屏进行控制。

应用本发明图6所示实施例，针对相机正对大屏进行图像采集的情况，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

图8为本发明实施例提供的大屏控制方法的第三种流程示意图，图8实施例主要针对相机未正对大屏进行图像采集的情况，图8实施例包括：

S801：通过双目相机中的第一相机对待控制大屏进行图像采集；其中，所述第一相机为左相机或右相机。

图8实施例中，假设执行主体为手持终端，该终端中设置有双目相机。参考图7，双目相机的左相机或者右相机针对待控制大屏进行图像采集。为了方便描述，将对待控制大屏进行图像采集的相机称为第一相机。

S802：接收针对待处理图像的第一操作指令。

为了方便描述，将第一操作指令针对的图像称为待处理图像。举例来说，该终端可以将采集到的图像展示给用户，用户可以对展示的图像进行操作，该操作针对的图像即为待处理图像，该操作可以认为是针对待处理图像发送的第一操作指令。一种情况下，该终端中可以设置有触摸屏，该终端在触摸屏上向用户展示图像，用户通过手指对图像进行操作。

大屏中可以显示有一个或多个画面，这些画面可以为各信号源的画面。相应的，待处理图像中包含大屏区域，该大屏区域中也可以显示有一个或多个画面，如图1b所示，图1b为待处理图像的示意图，图1b中包括画面1、画面2和画面3，这些画面可以对应于大屏中各信号源的画面。大屏中显示画面的数量不做限定，另外，这些画面可以紧紧相邻，也可以间隔一些距离，具体间隔距离不做限定。用户可以对待处理图像中的显示画面的位置进行调整，如拖动、放大、缩小等。或者，用户也可以打开新画面，并在待处理图像中确定新画面的位置，也就是说，第一操作指令可以为调整画面指令，也可以为打开新画面、并确定新画面位置的指令，第一操作指令的具体内容不做限定。

S803：根据双目相机的相机间距、成像平面与第一相机的镜头的距离、以及双目相机的成像点间距，确定待处理图像中像素点映射至三维空间坐标系的映射关系，作为第一部分映射关系。

其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上。

本实施例中，先将待处理图像中的像素点映射至三维空间坐标系，再从三维空间坐标系映射到待控制大屏中。换句话说，也就是从图像坐标系映射到三维空间坐标系，再映射到大屏坐标系。

待处理图像中的像素点映射到三维空间坐标系后都位于真实空间中的大屏所在的平面上。举例来说，将待处理图像中的像素点映射至三维空间坐标系也可以分为两步：第一步，先确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；第二步，再根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

具体的，第一步中，将图像像素点偏移至以第一相机为原点的坐标系中，如图3所示，可以理解为将角点2偏移至中心点O处(第一相机对应于自身采集图像的中心点)，也就是将图像坐标系中的坐标点向右下方移动；假设待处理图像中的像素点1在图像坐标系中的坐标值为(u，v)，像素点1在以第一相机为原点的坐标系中的坐标值为(P，Q)，则P＝u-L/2，Q＝-v+W/2；L表示待处理图像的长度，W表示待处理图像的宽度。

第二步中，将以第一相机为原点的坐标系映射至三维空间坐标系，仍以像素点1为例来说，假设像素点1在三维空间坐标系中的坐标值为(X，Y，Z)，参考图2中的三角测量原理，可以得到Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；d’表示在以第一相机为原点的坐标系中所述双目相机的成像点间距。图2表达的是xz坐标系，yz坐标系同理，不再赘述。

这里的Z表示的是Z轴坐标值，图2中的z以及其他内容中的z表示的是镜头与大屏之间的距离。

在得到第一部分映射关系后，可以将待处理图像中大屏区域的像素点都映射至三维空间坐标系中。参考图3，待处理图像中的大屏区域为不规则该四边形为了方便描述，将该四边形的一个边记为边1，将该四边形的另一个边记为边2，边1与边2相交于角点2。假设边1上存在一个点3，假设边2上存在一个点4，点3与角点2构成向量1，点4与角点2构成向量2。

将向量1映射到三维空间坐标系中即为第一边向量，将向量2映射到三维空间坐标系中即为第二边向量。

S804：确定待处理图像中像素点映射至三维空间坐标系中的点与待控制大屏中像素点的映射关系，作为第二部分映射关系。

三维空间坐标系到大屏坐标系的第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标，

表示所述第一边向量，α表示目标向量与所述第一边向量的夹角，β表示所述目标向量与所述第二边向量的夹角，所述目标向量为所述三维空间坐标系中待控制大屏中像素点与待控制大屏的角点组成的向量。

参考图3，目标向量即为像素点1与角点2构成的向量映射到三维空间坐标系中的向量。

上述映射过程可以表达为：(u，v)→(P，Q)→(X，Y，Z)→(A，B)；其中，(u，v)表示图像坐标系中的坐标值，(P，Q)表示以第一相机为原点的坐标系中的坐标值，(X，Y，Z)表示三维空间坐标系中的坐标值，(A，B)表示大屏坐标系中的坐标值。这些映射关系也就是待处理图像中的像素点与待控制大屏中的像素点的映射关系。

S805：根据第一部分映射关系和第二部分映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令。

S806：基于第二操作指令对所述待控制大屏进行控制。

应用本发明图8所示实施例，针对相机未正对大屏进行图像采集的情况，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

与上述方法实施例相对应，本发明实施例还提供了一种大屏控制装置，如图9所示，包括：

接收模块901，用于接收针对待处理图像的第一操作指令，所述待处理图像为针对待控制大屏进行图像采集得到的；

获取模块902，用于获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系；

第一转换模块903，用于根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令；

控制模块904，用于基于所述第二操作指令对所述待控制大屏进行控制。

作为一种实施方式，获取模块902，可以包括：第一确定子模块、计算子模块和第二确定子模块(图中未示出)，其中，

第一确定子模块，用于确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离；

计算子模块，用于计算所述第一距离与所述第二距离的比值，所述第二距离为：成像平面与所述相机的镜头的距离；

第二确定子模块，用于根据所述比值，确定所述待处理图像中像素点与所述待控制大屏中像素点的映射关系。

作为一种实施方式，所述映射关系为：

A1＝(u1-u2)*z/f；B1＝(v1-v2)*z/f；

其中，(A1，B1)表示所述待控制大屏中像素点的坐标，(u1，v1)表示所述待处理图像中像素点的坐标，(u2，v2)表示所述待处理图像中包含的大屏的角点坐标，z表示所述第一距离，f表示所述第二距离。

作为一种实施方式，所述装置还包括：

第一获得模块(图中未示出)，用于通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述第一确定子模块，具体用于：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离。

作为一种实施方式，所述第一确定子模块，具体用于：

利用如下算式，计算所述第一距离：

z＝f*b/d；其中，z表示所述第一距离，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d表示所述双目相机的成像点间距。

作为一种实施方式，所述装置还包括：

第二获得模块(图中未示出)，用于通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述映射关系包括：第一部分映射关系和第二部分映射关系；获取模块902，包括：

第三确定子模块，用于根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系；其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上；

第四确定子模块，用于确定所述待处理图像中像素点映射至所述三维空间坐标系中的点与所述待控制大屏中像素点的映射关系，作为所述第二部分映射关系。

作为一种实施方式，所述第三确定子模块，具体用于：

确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

作为一种实施方式，所述第三确定子模块，还用于：

利用如下算式，计算所述待处理图像中像素点的偏移坐标值：

P＝u-L/2，Q＝-v+W/2；其中，(u，v)表示所述待处理图像中像素点在图像坐标系中的坐标值，(P，Q)表示所述待处理图像中像素点的偏移坐标值，L表示所述待处理图像的长度，W表示所述待处理图像的宽度；

确定所述第一部分映射关系为：

Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；其中，(X，Y，Z)表示所述三维空间坐标系中的坐标值，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d’表示在以所述第一相机为原点的坐标系中所述双目相机的成像点间距；

根据所述第一部分映射关系，将所述待处理图像中的像素点映射至所述三维空间坐标系中；

确定所述三维空间坐标系中待控制大屏的第一边向量和第二边向量；

所述第四确定子模块，还用于：

确定所述第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标值，

表示所述三维空间坐标系中待控制大屏中像素点与待控制大屏的角点组成的向量，α表示

与所述第二边向量的夹角，β表示所述目标向量与所述第一边向量的夹角。

作为一种实施方式，所述第一操作指令为调整画面位置指令，其中包括第一调整前位置和第一调整后位置，所述第一调整前位置和所述第一调整后位置均为所述待处理图像中的位置；

第一转换模块903，具体可以用于：

根据所述映射关系，将所述第一调整前位置转换为第二调整前位置；根据所述映射关系，将所述第一调整后位置转换为第二调整后位置，得到包括所述第二调整前位置和所述第二调整后位置的第二操作指令，所述第二调整前位置和所述第二调整后位置均为所述待控制大屏中的位置；

控制模块904，具体可以用于：

根据所述第二前调整位置，在所述待控制大屏中确定待调整画面；将所述待调整画面调整至所述第二调整后位置。

可选的，控制模块904，还用于将所述第二调整后位置处显示的画面与所述待调整画面进行互换；

或者，通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置。

可选的，控制模块904，还用于根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数；根据所述画面缩放系数，对所述待调整画面进行缩放，得到缩放后的画面，所述缩放后的画面位于所述第二调整后位置。

可选的，控制模块904，还用于根据所述第二调整前位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整前尺寸；根据所述第二调整后位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整后尺寸；计算所述调整后尺寸相对于所述调整前尺寸的画面缩放系数。

作为一种实施方式，所述第一操作指令为显示新画面指令，其中包括新画面标识和新画面的第一显示位置；

第一转换模块903，具体可以用于：根据所述映射关系，将所述第一显示位置转换为第二显示位置，得到包括所述新画面标识和所述第二显示位置的第二操作指令；

控制模块904，具体可以用于：将所述新画面标识对应的画面显示在所述待控制大屏的所述第二显示位置。

作为一种实施方式，所述装置还包括：识别模块和第二转换模块(图中未示出)，其中，

识别模块，用于识别所述待处理图像中每个画面的边缘，作为第一边缘；

第二转换模块，用于根据所述映射关系，将每个第一边缘转换为所述待控制大屏中画面的边缘，作为第二边缘；

控制模块904，具体可以用于：

根据每个第二边缘，确定所述第二操作指令对应的待调整画面；根据所述第二操作指令，对所述待调整画面进行调整。

作为一种实施方式，所述识别模块，可以包括：

校正子模块，用于将所述待处理图像中的非矩形画面校正为矩形画面，得到校正后图像；

识别子模块，用于识别所述校正后图像中每个画面的边缘，作为第一边缘。

作为一种实施方式，所述识别子模块，具体可以用于：

在所述校正后图像中识别水平线及垂直线；

针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；

选择像素点数量满足预设条件的线，作为第一边缘。

应用本发明实施例进行大屏控制时，接收针对待处理图像的第一操作指令；获取待处理图像中像素点与待控制大屏中像素点的映射关系；根据该映射关系，将第一操作指令转换为针对待控制大屏的第二操作指令；基于第二操作指令对待控制大屏进行控制；可见，本方案中，通过用户在图像中的操作，实现了对大屏的控制，提高了控制的便利性。

本发明实施例还提供一种电子设备，如图10所示，包括处理器1001和存储器1002；

存储器1002，用于存放计算机程序；

处理器1001，用于执行存储器1002上所存放的程序时，实现上述任一种大屏控制方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

作为一种实施方式，该电子设备还包括：

双目相机，用于通过所述双目相机中的第一相机对待控制大屏进行图像采集，并所采集的图像发送至所述处理器；其中，所述第一相机为左相机或右相机。

作为一种实施方式，该电子设备还包括：

触摸屏，用于对所述第一相机采集的图像进行展示，并接收用户针对待处理图像的第一操作指令。

如图11所示，该电子设备可以包括：处理器1001、存储器1002、双目相机1003和触摸屏1004，该电子设备可以为手持终端，如手机、平板电脑，等等，具体不做限定。

本发明实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种大屏控制方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (19)

1.一种大屏控制方法，其特征在于，包括：

接收针对待处理图像的第一操作指令，所述待处理图像为针对待控制大屏进行图像采集得到的；

获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系；

根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令；

基于所述第二操作指令对所述待控制大屏进行控制。

2.根据权利要求1所述的方法，其特征在于，所述获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系，包括：

确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离；

计算所述第一距离与所述第二距离的比值，所述第二距离为：成像平面与所述相机的镜头的距离；

根据所述比值，确定所述待处理图像中像素点与所述待控制大屏中像素点的映射关系。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述确定针对所述待控制大屏进行图像采集的相机与所述待控制大屏的距离，作为第一距离，包括：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，计算所述第一相机与所述待控制大屏的距离，作为第一距离。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过双目相机中的第一相机对待控制大屏进行图像采集，得到待处理图像；其中，所述第一相机为左相机或右相机；

所述映射关系包括：第一部分映射关系和第二部分映射关系；所述获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系，包括：

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系；其中，所述待处理图像中像素点映射至所述三维空间坐标系中的点位于所述待控制大屏所在的平面上；

确定所述待处理图像中像素点映射至所述三维空间坐标系中的点与所述待控制大屏中像素点的映射关系，作为所述第二部分映射关系。

5.根据权利要求4所述的方法，其特征在于，所述根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述待处理图像中像素点映射至三维空间坐标系的映射关系，作为所述第一部分映射关系，包括：

确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值；

根据所述双目相机的相机间距、成像平面与所述第一相机的镜头的距离、以及所述双目相机的成像点间距，确定所述偏移坐标值映射至三维空间坐标系的映射关系，作为所述第一部分映射关系。

6.根据权利要求5所述的方法，其特征在于，所述确定所述待处理图像中像素点在以所述第一相机为原点的坐标系中的坐标值，作为偏移坐标值，包括：

利用如下算式，计算所述待处理图像中像素点的偏移坐标值：

P＝u-L/2，Q＝-v+W/2；其中，(u，v)表示所述待处理图像中像素点在图像坐标系中的坐标值，(P，Q)表示所述待处理图像中像素点的偏移坐标值，L表示所述待处理图像的长度，W表示所述待处理图像的宽度；

所述第一部分映射关系为：

Z＝f*b/d’；X＝P*Z/f；Y＝Q*Z/f；其中，(X，Y，Z)表示所述三维空间坐标系中的坐标值，f表示成像平面与所述第一相机的镜头的距离，b表示所述双目相机的相机间距，d’表示在以所述第一相机为原点的坐标系中所述双目相机的成像点间距；

所述方法还包括：

根据所述第一部分映射关系，将所述待处理图像中的像素点映射至所述三维空间坐标系中；

确定所述三维空间坐标系中待控制大屏的第一边向量和第二边向量，所述第一边向量与所述第二边向量的交点为所述待控制大屏的角点；

所述第二部分映射关系为：

其中，(A，B)表示所述待控制大屏中像素点在所述待控制大屏坐标系中的坐标值，

表示所述三维空间坐标系中待控制大屏中像素点与所述角点组成的向量，α表示

与所述第二边向量的夹角，β表示所述目标向量与所述第一边向量的夹角。

7.根据权利要求1所述的方法，其特征在于，所述第一操作指令为调整画面位置指令，其中包括第一调整前位置和第一调整后位置，所述第一调整前位置和所述第一调整后位置均为所述待处理图像中的位置；

所述根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令，包括：

根据所述映射关系，将所述第一调整前位置转换为第二调整前位置；

根据所述映射关系，将所述第一调整后位置转换为第二调整后位置，得到包括所述第二调整前位置和所述第二调整后位置的第二操作指令，所述第二调整前位置和所述第二调整后位置均为所述待控制大屏中的位置；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

根据所述第二前调整位置，在所述待控制大屏中确定待调整画面；

将所述待调整画面调整至所述第二调整后位置。

8.根据权利要求7所述的方法，其特征在于，所述将所述待调整画面调整至所述第二调整后位置，包括：

将所述第二调整后位置处显示的画面与所述待调整画面进行互换；

或者，通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置。

9.根据权利要求8所述的方法，其特征在于，所述通过对所述待调整画面进行缩放，将所述待调整画面调整至所述第二调整后位置，包括：

根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数；

根据所述画面缩放系数，对所述待调整画面进行缩放，得到缩放后的画面，所述缩放后的画面位于所述第二调整后位置。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第二调整前位置与所述第二调整后位置之间的位置关系，计算画面缩放系数，包括：

根据所述第二调整前位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整前尺寸；

根据所述第二调整后位置与所述待调整画面中预设位置之间的位置关系，计算所述待调整画面的调整后尺寸；

计算所述调整后尺寸相对于所述调整前尺寸的画面缩放系数。

11.根据权利要求1所述的方法，其特征在于，所述第一操作指令为显示新画面指令，其中包括新画面标识和新画面的第一显示位置；所述根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令，包括：

根据所述映射关系，将所述第一显示位置转换为第二显示位置，得到包括所述新画面标识和所述第二显示位置的第二操作指令；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

将所述新画面标识对应的画面显示在所述待控制大屏的所述第二显示位置。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述待处理图像中每个画面的边缘，作为第一边缘；

根据所述映射关系，将每个第一边缘转换为所述待控制大屏中画面的边缘，作为第二边缘；

所述基于所述第二操作指令对所述待控制大屏进行控制，包括：

根据每个第二边缘，确定所述第二操作指令对应的待调整画面；

根据所述第二操作指令，对所述待调整画面进行调整。

13.根据权利要求12所述的方法，其特征在于，所述识别所述待处理图像中每个画面的边缘，作为第一边缘，包括：

将所述待处理图像中的非矩形画面校正为矩形画面，得到校正后图像；

识别所述校正后图像中每个画面的边缘，作为第一边缘。

14.根据权利要求13所述的方法，其特征在于，所述识别所述校正后图像中每个画面的边缘，作为第一边缘，包括：

在所述校正后图像中识别水平线及垂直线；

针对识别出的每条水平线及垂直线，统计该条线包括的像素点数量；

选择像素点数量满足预设条件的线，作为第一边缘。

15.一种大屏控制装置，其特征在于，包括：

接收模块，用于接收针对待处理图像的第一操作指令，所述待处理图像为针对待控制大屏进行图像采集得到的；

获取模块，用于获取所述待处理图像中像素点与所述待控制大屏中像素点的映射关系；

第一转换模块，用于根据所述映射关系，将所述第一操作指令转换为针对所述待控制大屏的第二操作指令；

控制模块，用于基于所述第二操作指令对所述待控制大屏进行控制。

16.一种电子设备，其特征在于，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-14任一所述的方法步骤。

17.根据权利要求16所述的设备，其特征在于，所述设备还包括：

双目相机，用于通过所述双目相机中的第一相机对待控制大屏进行图像采集，并将所采集的图像发送至所述处理器；其中，所述第一相机为左相机或右相机。

18.根据权利要求17所述的设备，其特征在于，所述设备还包括：

触摸屏，用于对所述第一相机采集的图像进行展示，并接收用户针对待处理图像的第一操作指令。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-14任一所述的方法步骤。

Images