CN116051647B - 一种相机标定方法和电子设备 - Google Patents

Abstract

本申请实施例公开了一种相机标定方法和电子设备，涉及电子设备技术领域，可以使得电子设备能够实现对屏幕坐标系、世界坐标系与像素坐标系下的坐标进行互相转换的标定。具体方案为：电子设备控制显示屏显示点阵图像。电子设备控制前摄像机拍摄第一像，以在前摄相机的成像面获取第二像。第一像是点阵图像的在平面镜中所成像，第二像是第一像在前摄像机的成像面所成像。根据显示屏上显示的点阵图像，以及第二像，标定第一转换矩阵。第一转换矩阵用于标示前摄像机的成像面对应的像素坐标系，以及显示屏对应的屏幕坐标系的对应关系。

Description

一种相机标定方法和电子设备

技术领域

本申请涉及电子设备技术领域，尤其涉及一种相机标定方法和电子设备。

背景技术

目前的相机标定方案，能够提供相机在世界坐标系、相机坐标系以及像素坐标系下的标定。然而，在一些场景下，电子设备还需要能够将屏幕坐标系下的坐标转换到上述三个任一个坐标系。因此就需要一种方案，能够针对电子设备中设置的相机，实现屏幕坐标系向世界坐标系、相机坐标系以及像素坐标系的转换标定。

发明内容

本申请实施例提供一种相机标定方法和电子设备，可以使得电子设备能够实现对屏幕坐标系、世界坐标系与像素坐标系下的坐标进行互相转换的标定。

为了达到上述目的，本申请实施例采用如下技术方案：

第一方面，提供一种相机标定方法，应用于电子设备，该电子设备设置有前摄相机，该电子设备的显示屏与平面镜相对设置，该方法包括：该电子设备控制显示屏显示点阵图像。该电子设备控制该前摄像机拍摄第一像，以在该前摄相机的成像面获取第二像。该第一像是该点阵图像的在该平面镜中所成像，该第二像是该第一像在该前摄像机的成像面所成像。根据该显示屏上显示的点阵图像，以及该第二像，标定第一转换矩阵。该第一转换矩阵用于标示该前摄像机的成像面对应的像素坐标系，以及该显示屏对应的屏幕坐标系的对应关系。

这样，通过自行显示作为基准的点阵图像，从而对屏幕坐标系进行标定。通过平面镜成像的方法，使得电子设备可以获取该点阵图像在成像面(即感光部件)上的成像分布，由此建立屏幕坐标系与感光部件上的像素坐标系的对应关系。进而通过矩阵运算，即可达到标定第一转换矩阵的目的。

可选的，该点阵图像中包括多个点阵单元，该第一像包括该多个点阵单元在该平面镜中的成像。该第二像包括该平面镜中该多个点阵单元的像，通过该前摄像机后所成的像。这样，明确了在第一像中的内容和第二像中的内容。可以理解的是，通过镜面成像，以及对镜面成像进行拍摄的方法，即可使得电子设备可以获取该点阵图像在成像面(即感光部件)上的成像分布。

可选的，该根据该显示屏上显示的点阵图像，以及该第二像，标定第一转换矩阵，包括：根据第一点阵单元在该屏幕坐标系下的第一坐标，以及该第一点阵单元在该像素坐标系下的第二坐标，确定该第一转换矩阵。该第一点阵单元包括在点阵图像的多个点阵单元中。由此，基于至少一个点阵单元在不同坐标系下的坐标，即可确定第一转换矩阵。

可选的，该方法还包括：根据预设的图像检测算法，确定该第二坐标。这样，提供了一种确定第二坐标的具体方式。其中，预设的图像检测算法可以为SIFT算法等。

可选的，该点阵图像的多个点阵单元中还包括第二点阵单元，该根据第一点阵单元在该屏幕坐标系下的第一坐标，以及该第一点阵单元在该像素坐标系下的第二坐标，确定该第一转换矩阵，包括：根据该第一点阵单元的第一坐标和第二坐标，以及该第二点阵单元在该屏幕坐标系下的第三坐标和该第二点阵单元在该像素坐标系下的第四坐标，确定该第一转换矩阵。这样，还可以通过更多的点阵单元在不同坐标系下的坐标对应，更加准确的确定第一转换矩阵。

可选的，根据列文伯格-马夸尔特LM算法，对该第一点阵单元的第一坐标和第二坐标，以及该第二点阵单元的第三坐标和第四坐标，进行迭代计算，从而获取该第一转换矩阵。示例性的，基于LM算法，可以选取15个或更多点阵单元进行迭代，从而获取准确的第一转换矩阵。

可选的，该电子设备根据如下公式确定该第一转换矩阵：

其中，(Rs，Ts)为第一转换矩阵，/>为点阵单元在像素坐标系下的坐标，(x,y,w,1)为点阵单元在屏幕坐标系下的坐标。

可选的，该平面镜上还设置有棋盘格，该方法还包括：该电子设备控制该前摄像机拍摄该棋盘格，以在该前摄像机的成像面上获取该棋盘格对应的第三像。根据该平面镜上设置的棋盘格，以及该第三像，标定第二转换矩阵。该第二转换矩阵包括该前摄相机的内参矩阵和外参矩阵，该第二转换矩阵用于标示该像素坐标系，以及该棋盘格对应的世界坐标系的对应关系。

可选的，该根据该平面镜上设置的棋盘格，以及该第三像，标定第二转换矩阵，包括：根据该平面镜上设置的棋盘格，以及该第三像，基于张氏标定法，标定第二转换矩阵。

可选的，该第三像包括在该第二像中。示例性的，在显示屏上显示点阵图像时，平面镜上可以由点阵图像的像。同时在平面镜上设置实体的棋盘格，就可以使得前摄相机可以通过一次拍摄，即可获取上述方案中的第一像、第二像。其中，第二像为前摄相机拍摄的所有画面对应的像，因此也可以包括棋盘格对应的第三像。

第二方面，提供一种电子设备，电子设备包括一个或多个处理器和一个或多个存储器；一个或多个存储器与一个或多个处理器耦合，一个或多个存储器存储有计算机指令；当一个或多个处理器执行计算机指令时，使得电子设备执行如上述第一方面以及各种可能的设计中任一种的相机标定方法。

第三方面，提供一种芯片***，芯片***包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，芯片***执行如上述第一方面以及各种可能的设计中任一种的相机标定方法。

第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机指令，当计算机指令运行时，执行如上述第一方面以及各种可能的设计中任一种的相机标定方法。

第五方面，提供一种计算机程序产品，计算机程序产品中包括指令，当计算机程序产品在计算机上运行时，使得计算机可以根据指令执行如上述第一方面以及各种可能的设计中任一种的相机标定方法。

应当理解的是，上述第二方面，第三方面，第四方面，以及第五方面提供的技术方案，其技术特征均可对应到第一方面及其可能的设计中提供的相机标定方法，因此能够达到的有益效果类似，此处不再赘述。

附图说明

图1为一种电子设备的使用场景示意图；

图2为一种屏幕坐标系的示意图；

图3为一种小孔成像模型的示意图；

图4为一种相机坐标系以及像素坐标系的示意图；

图5为一种相机参数的组成示意图；

图6为一种不同位姿对应的拍摄场景示意图；

图7为本申请实施例提供的一种电子设备的组成示意图；

图8为本申请实施例提供的一种场景的示意图；

图9为本申请实施例提供的一种屏幕坐标系与像素坐标系转换标定的方案示意图；

图10为本申请实施例提供的一种世界坐标系与像素坐标系转换标定的方案示意图；

图11为本申请实施例提供的一种屏幕坐标系、世界坐标系与像素坐标系互相转换标定的方案示意图；

图12为本申请实施例提供的又一种电子设备的组成示意图；

图13为本申请实施例提供的一种芯片***的组成示意图。

具体实施方式

电子设备中可以设置相机，用于向用户提供拍摄功能。其中，该相机可以包括设置在屏幕一侧的提供前摄功能的前摄相机。

示例性的，如图1所示，以电子设备为手机，相机为前摄相机为例。用户可以通过手机的前摄相机提供的拍摄功能，进行自拍等操作。对应的，前摄相机可以采集用户的面部信息，通过电子设备的处理，在电子设备的屏幕上显示自拍图像。

应当理解的是，为了准确获取不同位置的图像信息，在该自拍场景下，用户、前摄相机，以及手机的屏幕可以分别建立各自对应的坐标系，从而基于各自对应的坐标系，对不同位置获取的图像信息进行标定和转换，最终使得屏幕上显示的自拍图像可以与用户所在场景准确对应。

示例性的，如图1所示，用户所在场景的坐标系可以为世界坐标系。该世界坐标系可以用于标定用户所在场景下的各个物体(对象)的真实坐标。例如，该世界坐标系可以是以用户为中心建立的三维坐标系。这样，在该世界坐标系下，就可以通过一个三维坐标，标定当前场景下任一个点在真实环境中的位置。

作为提供拍摄功能的手机，其不同的部件可以对应不同的坐标系。例如，手机上的前摄相机(以下简称为相机)的坐标系可以为相机坐标系。手机上的屏幕对应坐标系可以为屏幕坐标系。

结合图2，为一种屏幕坐标系的示意。在该示例中，该屏幕坐标系可以用于标定手机的屏幕上各个位置显示内容的坐标。例如，该屏幕坐标系可以为横轴Xs和纵轴Ys可以分别沿手机的两个相邻的边设置而构建的二维坐标系。在如图2的示例中，该屏幕坐标系的原点可以设置在屏幕的中心点。在另一些实现中，屏幕坐标系的原点也可以设置在屏幕的任一个角落。这样，在该Xs-Ys对应二位坐标系下，就可以标定屏幕上的任一个位置的坐标。

以下对相机坐标系进行简要说明。

一般而言，电子设备中相机的拍摄远离可以简化为小孔成像模型。示例性的，结合图3，以对物体P进行拍摄为例。相机镜头的光心处可以等效为小孔成像模型中的通光小孔。来自物体P的光线可以通过光心，在相机的成像面上形成倒立的向P’。可以理解的是，相机为了能够获取物体P的清晰的像，那么通过调整镜头的焦距，可以将如图3所示的成像面调整到相机的感光部件上。该感光部件可以为CCD、CMOS等部件。该感光部件可以将不同位置接收到的光信号转换为对应的电信号。这样电子设备可以对该电信号进行处理从而实现对物体P的拍摄，即将物体P对应的图像显示在屏幕上，或者存储在存储器中。

那么，基于如图3所示的简化模型，请参考图4。在本申请中，镜头所在的垂直于光轴的平面上的点即可通过Xc-Yc坐标系(或Xc-Yc-Z坐标系)标定。其中，Xc和Yc可以是镜头所在平面上两个互相垂直的方向，Z可以为沿光轴指向相机外侧的方向。在本示例中，该Xc-Yc坐标系(或Xc-Yc-Z坐标系)即可称为相机坐标系。

对于成像面所在平面，也可以设置对应的坐标系，以便标定该成像面(或称为像素面)上的不同位置。例如，如图4所示，在成像面上可以建立Xp-Yp-Z坐标系。其中，Xp和Yp可以是成像面(或感光部件)所在平面上两个互相垂直的方向，Z可以为沿光轴指向相机外侧的方向。在本示例中，该Xp-Yp-Z坐标系即可称为像素坐标系。在一些实现中，该Xp可以与Xc平行同向，Yp可以与Yc平行同向。此外，由于成像面与镜头所在平面之间的距离可以为焦距f，那么，在该实现中，像素坐标系的xoy平面与相机坐标系的xoy平面就可以为互相平行且相距f的两个平面。

这样，结合上述示例中对于世界坐标系、相机坐标系、像素坐标系，以及屏幕坐标系的说明，电子设备在对物体P进行拍摄时，通过将物体P在世界坐标系中的坐标，向相机坐标系、像素坐标系以及屏幕坐标系转换后，就能够确定该物体P在屏幕上的坐标。由此即可实现物体P在屏幕上的对应位置进行正确显示。

可以理解的是，与上述拍摄过程相反，在已知屏幕上物体P的显示位置时，也可以根据上述坐标变换逆向推导，确定该物体P在世界坐标系下的真实位置。

上述逆向推导过程的实现，可以对电子设备的多项功能提供支持。例如，在电子设备进行人眼追踪时，电子设备可以通过前摄相机获取包括人眼图像在内的图像信息。那么，基于上述逆向推导过程，就可以根据该屏幕坐标系下的图像信息，确定人眼在世界坐标系下的方位，从而据此确定用户的关注点，实现人眼追踪。又如，基于上述类似的实现，电子设备还可以根据确定的人眼在世界坐标系下的特征，与用户身份的匹配，进而实现身份识别等功能。可以理解的是，基于上述功能，能够使得电子设备可以向用户提供更丰富的场景实现。示例性的，以通过本申请实施例提供的方案获取准确的转换矩阵，从而实现准确的人眼追踪为例。在一些实现中，电子设备可以向用户提供健康管理功能。在本示例中，电子设备可以基于上述转换矩阵，准确的判断用户在连续时间内的注视点差异，结合用户的其他用户行为，如连续时间内输入的操作之间的相关性等，确定用户当前的健康状况。比如，如果用户在连续时间内的多个注视点差异较大，向电子设备输入的多个操作之间的相关性较小的情况下，电子设备可以确定用户当前健康状态为非正常，进而提醒用户，和/或对用户当前时间段内输入的支付等重要操作进行保护性响应，如在该时间段内不向用户提供该重要操作对应功能。在另一些实现中，电子设备还可以基于上述转换矩阵确定的人眼追踪结果，向用户提供基于眼球转动的下拉通知栏、信息输入等功能。在另一些实现中，电子设备还可以根据用户在预设页面中的注视点信息，确定用户想要获取的该预设页面中的内容模块，从而实现精准的广告投放等功能。此外，根据该准确的人眼追踪效果，电子设备还可以通过对人眼注视区域进行选择性的精细化图像渲染，以便在向用户提供较好的图像观感的同时，降低功耗的开销。

那么，为了实现上述精确的人眼追踪等目的，如何实现上述各个坐标系之间的转换就成为需要解决的一个问题。

目前，可以通过标定相机的相机参数，实现坐标在世界坐标以及像素坐标之间的互相转换。参考图5，在一些实现中，该相机参数可以包括用于指示相机固有参数的内参矩阵(简称为内参)，以及用于指示相机当前拍摄位置的外参矩阵(简称为外参)。

其中，该内参矩阵与相机本身对应，不会随着相机位置或姿态的变化而变化。外参矩阵可以包括相机当前拍摄状态下的姿态信息。在不同场景下，该外参矩阵可能不同。例如，参考图6，同样对物体P进行拍摄，在相机的位姿不同时，如分别处于如图6所示的位姿0、位姿1以及位姿2的情况下，在相机成像面上获取的物体P的像分别为P’、P1’以及P2’。该三个位姿下物体P的像对应到物体P的不同投影面，因此可能不完全相同。

而对于屏幕坐标系与其他坐标系的转换则没有成熟的方案。

为了实现上述各个坐标系的快速准确的转换，本申请实施例提供一种相机标定方法，使得电子设备能够基于平面镜成像原理，建立屏幕坐标系与相机坐标系的映射关系，由此实现屏幕坐标系与相机坐标系之间的互相转换。那么，结合标定获取的相机内参和外参，即可实现世界坐标系、相机坐标系、像素坐标系，以及屏幕坐标系中任意两个坐标系的坐标转换，进而支持电子设备的上述功能。

以下将对本申请实施例提供的方案进行详细说明。

需要说明的是，本申请实施例提供的相机的标定方法，可以应用在设置有相机的电子设备中。比如，该电子设备可以是手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、媒体播放器等便携式移动设备，该电子设备也可以是智能手表等通过相机提供拍摄能力的可穿戴电子设备。本申请实施例对该设备的具体形态不作特殊限制。

作为一种示例，图7为本申请实施例提供的一种电子设备100的硬件组成示意图。

如图7所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接头130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110用过或使用频率较高的指令或数据。如果处理器110需要使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。处理器110可以通过以上至少一种接口连接触摸传感器、音频模块、无线通信模块、显示器、摄像头等模块。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100可以通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

电子设备100可以通过摄像模组193，ISP，视频编解码器，GPU，显示屏194以及应用处理器AP、神经网络处理器NPU等实现摄像功能。

摄像模组193可用于采集拍摄对象的彩色图像数据以及深度数据。ISP可用于处理摄像模组193采集的彩色图像数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光部件上，光信号转换为电信号，摄像头感光部件将该电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像模组193中。

在一些实施例中，摄像模组193可以由彩色摄像模组和3D感测模组组成。

在一些实施例中，彩色摄像模组的摄像头的感光部件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光部件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

在一些实施例中，3D感测模组可以是(time of flight，TOF)3D感测模块或结构光(structured light)3D感测模块。其中，结构光3D感测是一种主动式深度感测技术，结构光3D感测模组的基本零组件可包括红外线(Infrared)发射器、IR相机模等。结构光3D感测模组的工作原理是先对被拍摄物体发射特定图案的光斑(pattern)，再接收该物体表面上的光斑图案编码(light coding)，进而比对与原始投射光斑的异同，并利用三角原理计算出物体的三维坐标。该三维坐标中就包括电子设备100距离被拍摄物体的距离。其中，TOF 3D感测可以是主动式深度感测技术，TOF 3D感测模组的基本组件可包括红外线(Infrared)发射器、IR相机模等。TOF 3D感测模组的工作原理是通过红外线折返的时间去计算TOF 3D感测模组跟被拍摄物体之间的距离(即深度)，以得到3D景深图。

结构光3D感测模组还可应用于人脸识别、体感游戏机、工业用机器视觉检测等领域。TOF 3D感测模组还可应用于游戏机、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)等领域。

在另一些实施例中，摄像模组193还可以由两个或更多个摄像头构成。这两个或更多个摄像头可包括彩色摄像头，彩色摄像头可用于采集被拍摄物体的彩色图像数据。这两个或更多个摄像头可采用立体视觉(stereo vision)技术来采集被拍摄物体的深度数据。立体视觉技术是基于人眼视差的原理，在自然光源下，透过两个或两个以上的摄像头从不同的角度对同一物体拍摄影像，再进行三角测量法等运算来得到电子设备100与被拍摄物之间的距离信息，即深度信息。

在一些实施例中，电子设备100可以包括1个或多个摄像模组193。具体的，电子设备100可以包括1个前置摄像模组193以及1个后置摄像模组193。其中，前置摄像模组193通常可用于采集面对显示屏194的拍摄者自己的彩色图像数据以及深度数据，后置摄像模组可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的彩色图像数据以及深度数据。

作为一种示例，在本申请实施例中，电子设备可以在显示屏194(即前述的屏幕)上显示预设的点阵图像。电子设备可以通过前置摄像模组193(即前述的前摄相机)拍摄与显示屏194相对设置的平面镜中该点阵图像的虚像，由此在成像面上获取点阵图像。此外，电子设备可以根据显示屏194上任意点阵单元基于屏幕坐标系的坐标，以及成像面上对应点阵单元基于像素坐标系的坐标，建立屏幕坐标系和像素坐标系之间的转换矩阵函数。通过至少三个点阵单元在屏幕坐标系和像素坐标系之间的对应，即可计算获取屏幕坐标系和像素坐标系之间的转换矩阵。

在另一些实施例中，电子设备还可以通过其他相机标定方案，实现对相机内参矩阵和外参矩阵的标定。例如，电子设备可以通过张氏标定法，实现内参矩阵和外参矩阵的标定。

在另一些实施例中，电子设备还可以结合前述示例中提供的两种相机标定方案，通过一套流程，实现内参矩阵、外参矩阵，以及屏幕坐标系和像素坐标系之间转换矩阵的标定。

以下示例中，将对上述方案的实现进行详细的举例说明。

作为一种示例，请参考图8，为本申请实施例提供的一种标定方法的场景示意图。该场景可以用于标定屏幕坐标系和像素坐标系之间的转换矩阵。

如图8所示，在本示例中，以电子设备为手机为例。在该手机上可以设置有前摄相机以及显示屏。与手机的显示屏一侧相对的，可以设置有平面镜。例如，该手机与平面镜之间的距离可以为4m-5m。这样，在平面镜上就可以对手机以及显示屏进行成像。也即，在平面镜上成像的内容可以包括如图8所示的显示屏成像。

在本申请实施例中，手机可以通过前摄相机，对平面镜中的虚像进行拍摄，从而在相机的感光部件上获取对应的图像。

结合图9。在本申请的一些实施例中，在手机的显示屏上可以显示有点阵图像。该点阵图像可以包括M×N个点阵单元。该M×N个点阵单元可以以矩阵的形式在手机的显示屏上依次排布。例如，作为一种可能的实现，任意两个相邻的点阵单元之间的横向距离(如手机短边所在直线为横向)，以及纵向距离(如手机长边所在直线为纵向)均相同。例如，在如图9的示例中，该点阵图像可以包括4×9个点阵单元。

应当理解的是，由于该点阵图像是手机自行在显示屏上显示的。因此，各个点阵单元在显示屏对应的屏幕坐标系下的坐标，对于手机而言是可知的。在不同实现场景中，手机或其他电子设备可以根据实际需要灵活调整点阵图像中点阵单元的数量以及分布，本申请实施例对此不作限制。

结合图8，如图9所示，由于电子设备的显示屏朝向平面镜，因此在平面镜上可以对该显示屏所显示的内容进行平面镜成像。例如，在平面镜上可以显示有与显示屏上显示的点阵图像呈左右镜像关系的虚像。可以理解的是，在显示屏上显示有包括M×N个点阵单元的点阵图像时，则在平面镜上也可以显示有包括M×N个点阵单元的点阵图像的虚像。

在本申请中，手机可以通过前摄像机对平面镜进行拍摄。这样，包括M×N个点阵单元的点阵图像的虚像的平面镜的图像，就可以通过前摄相机拍摄的操作，在前摄相机的感光部件上获取相应的拍摄图像91。可以理解的是，在该拍摄图像91中可以包括与平面镜成像中对应的，M×N个点阵单元的点阵图像。

由此，电子设备就可以获取在像素坐标系下的点阵图像。在本申请实施例中，电子设备可以根据预设的图像检测算法，确定在像素坐标系下的点阵图像中各个点阵单元在像素坐标系下的坐标。示例性的，该预设的图像检测算法可以包括尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)算法。

结合前述说明，电子设备也可以确定点阵图像中的各个点阵单元在屏幕坐标系下的坐标。因此，电子设备就可以建立至少一个点阵单元在像素坐标系下以及屏幕坐标系下的映射关系。

在一些实施例中，在点阵图像中可以包括具有不同特征的至少一个点阵单元。基于该不同特征，电子设备就可以快速准确地找到该具有不同特征的点阵单元在像素坐标系下的位置。

例如，如图9所示，在显示屏上显示的点阵图像中，可以包括与其他点阵单元颜色均不相同的点阵单元92。那么，电子设备也可以在拍摄图像91上获取该点阵单元92对应的坐标。这样，电子设备可以通过查询拍摄图像91上与其他点阵单元颜色信息不同的点阵单元，确定该点阵单元92，进而获取该点阵单元92在像素坐标系下的坐标。

需要说明的是，上述示例中是以“不同特征”为不同颜色为例进行说明的。在本申请的另一些实施例中，该不同特征还可以表现为不同大小、不同形状等。

作为一种示例，将屏幕坐标系和像素坐标系之间的转换矩阵记为3×4的矩阵(Rs，Ts)。在点阵单元92在像素坐标系下的坐标为时，该点阵单元92在屏幕坐标系下的坐标可以为(x,y,w,1)。其中，w可以为调制因子，如设置为0。

那么，屏幕坐标系与像素坐标系的转换可以即为如下公式(1)。

公式(1)：

由此，即可得到如下公式(2)对应的(Rs，Ts)的计算方法。

公式(2)：

在本申请的一些实现中，可以选择多个点阵单元92，分别根据上述公式(2)计算获取(Rs，Ts)。例如，可以在点阵图像中选取15个或更多个点阵单元92，计算获取(Rs，Ts)。

作为一种可能的实现，可以根据列文伯格-马夸尔特算法(Levenberg-Marquarelt算法，LM算法)对上述选取的多个点阵单元92进行迭代计算，从而获取屏幕坐标系和像素坐标系之间的转换矩阵的最优解。

这样，通过图8以及图9的方案，即可获取屏幕坐标系与像素坐标系的映射关系。

以下以张氏标定法为例，对相机的内参矩阵和外参矩阵的标定方案进行简要说明。通过该方案，能够使得电子设备可以根据内参矩阵和外参矩阵实现世界坐标系、相机坐标系、像素坐标系之间的相互转换。

基于张氏标定法，将世界坐标系固定在棋盘格标定板上。电子设备可以对该棋盘格进行拍摄，利用拍摄获取的棋盘格的图像，结合图像检测算法，确定棋盘格上多个角点各自在世界坐标系下以及像素坐标系下的坐标。电子设备还可以根据预设的包括内参矩阵、外参矩阵的公式，结合上述两个坐标系下的坐标，最终确定相机的内参矩阵以及各个位姿对应的外参矩阵。

作为一种示例，结合图10，以将世界坐标系固定在如图10所示的4×4的棋盘格上为例。如图10所示，棋盘格可以是指，具有两种不同颜色的固定大小的方格依次相邻设置，由此获取的类似棋盘分布的状态。其中，任一个方格的定点可以称为一个角点。

基于该实际存在的棋盘格，可以建立世界坐标系。在一些实施例中，世界坐标系的原点可以设置在棋盘格的任一个顶点，对应的世界坐标系的x轴和y轴可以分别对应到通过原点的棋盘格的两个边所在直线。在另一些实施例中，世界坐标系的原点也可以设置为任一个角点。

那么，在世界坐标系确定之后，各个角点在世界坐标系下的坐标就可以是固定的。

在本示例中，电子设备可以使用前摄相机，对该棋盘格进行拍摄，由此在感光部件上获取对应的成像结果。可以理解的是，基于前述的小孔成像的简易模型，在感光部件上可以获取与世界坐标系下的棋盘格相对应的图像101。

这样，图像101上也就可以包括与世界坐标系下的棋盘格中对应的多个角点。

例如，棋盘格上的角点102可以对应到图像101上的角点105。棋盘格上的角点103可以对应到图像101上的角点106。棋盘格上的角点104可以对应到图像101上的角点107。

电子设备可以根据预设的图像检测算法，确定图像101上，各个角点在像素坐标系下的坐标。示例性的，该预设的图像检测算法可以包括尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)算法。

由此，电子设备就可以获取世界坐标系下的角点102的坐标与像素坐标系下的角点105的坐标的对应，世界坐标系下的角点103的坐标与像素坐标系下的角点106的坐标的对应，世界坐标系下的角点104的坐标与像素坐标系下的角点107的坐标的对应。依次类推，即可确定当前位姿下，所拍摄的棋盘格上多个角点，与拍摄获取的成像面上的图像上的多个角点的坐标的对应。

在本申请实施例中，电子设备中可以预先设置有如下公式(3)。该公式(3)可以用于标示世界坐标系下的坐标通过内参矩阵、外参矩阵转换成像素坐标系下的坐标的具体关系。

公式(3)：

其中，可以为世界坐标系下的坐标。/>可以为像素坐标系下的坐标。可以用于对应内参矩阵。/>可以用于标识外参矩阵。

如公式(3)所示，内参矩阵中的参数可以包括：dX，dY，θ，f。其中，dX、dY分别为x轴向和y轴向的焦距。θ为感光板的横边和纵边之间的角度。f为实际焦距。u₀和v₀分别为分别表示相机感光板中心在像素坐标系下的坐标。

如公式(3)所示，外参矩阵中的参数可以包括：R，T。其中，R用于标示当前位姿的渲染矩阵，T用于标示当前位姿的平移矢量。

这样，通过在如图10所示的方案中，获取的多个角点分别对应的世界坐标系下的坐标和像素坐标系下的坐标，结合公式(3)，即可求得内参矩阵以及外参矩阵。示例性的，在一些实现中，可以基于当前位姿下的对应关系中，选取至少4组世界坐标系和像素坐标系的对应，分别输入到公式(3)中，采用迭代的方式进行计算，从而获取内参矩阵和外参矩阵。

需要说明的是，上述示例中，是以相机成像不受畸变影响为例进行说明的。在实际操作过程中，相机成像过程中往往会出现枕形畸变或桶形畸变。那么，由于在成像面上的棋盘图的像受畸变影响，其上的坐标不能较准确的对应到世界坐标系下的角点坐标。这样就会使得内参矩阵和外参矩阵的计算不够准确。

在本申请的另一些实施例中，以如图10所示的方案为相机在位姿A状态下拍摄棋盘图为例。那么，基于类似的原理，相机还可以在其他位姿状态下(如位姿B、位姿C、位姿D等)拍摄同一个棋盘图。

由于世界坐标系下的棋盘图不做变动，那么不同位姿下所拍摄获取的棋盘图的像产生的不同畸变，也就可以与对应的位姿相对应。由此，就可以通过多个不同的拍摄棋盘图的位姿，与畸变的情况，建立畸变校正参数。基于畸变校正参数，就可以实现对内参矩阵和外参矩阵的校正，使得内参矩阵和外参矩阵的准确性得到明显提升。

示例性的，电子设备可以获取至少3个不同位姿下的棋盘格拍摄图像。由此建立对应的畸变校正参数。

那么，通过上述如图10所示的方案示例，电子设备就可以获取内参矩阵，以及各个位姿下各自对应的外参矩阵。此外，在一些实现中，电子设备还可以获取各个位姿下的畸变校正参数。

由此，通过如图8-图9所示方案，电子设备可以获取屏幕坐标系到像素坐标系的转换矩阵(如称为第一转换矩阵)。通过如图10所示的方案，电子设备可以获取世界坐标系到像素坐标系的转换矩阵(如称为第二转换矩阵)。

那么，结合第一转换矩阵以及第二转换矩阵，电子设备就可以实现坐标在世界坐标系、相机坐标系、像素坐标系以及屏幕坐标系之间的相互转换。示例性的，在电子设备获取一个未知世界坐标系下对象坐标的图像时，就可以根据上述第一矩阵和/或第二矩阵，确定该对象在世界坐标系下的坐标。例如，该对象可以包括人眼等。

应当理解的是，上述图8-图9以及图10中的示例，分别对第一转换矩阵和第二转换矩阵的获取方式进行了说明。在本申请的另一些实施例中，该第一转换矩阵和第二转换矩阵的获取过程也可以是结合在一起的。

示例性的，继续以该方案应用于如图8所示的场景为例。请参考图11。在平面镜上可以设置有棋盘格。此外，在电子设备的显示屏上可以显示有点阵图像。那么，在电子设备的显示屏朝向平面镜时，则在平面镜上可以同时包括真实的棋盘格以及显示屏上点阵图像的虚像。在一些实施例中，为了能够尽可能多地在平面镜上显示多个点阵图像中的点阵单元，棋盘格上的白色方格可以设置为透明或半透明。和/或，棋盘格上的黑色方格可以设置为半透明的灰度方格。需要说明的是，如图11的示例中，是以点阵图像在平面镜上的虚像在平面镜所在平面上与棋盘格有至少部分重合为例进行说明的。在本申请的另一些实现中，点阵图像在平面镜上的虚像在平面镜所在平面上也可以与棋盘格互不重合。点阵图像在平面镜上的虚像位置与棋盘格在平面镜上的位置的相对关系，并不会影响到后续第一转换矩阵和/或第二转换矩阵的确定。

如图11所示，在平面镜上同时包括棋盘格以及点阵图像的虚像的情况下，电子设备可以通过其前摄相机对平面镜进行拍摄。该拍摄范围可以同时包括棋盘格以及点阵图像的虚像。由此，即可在前摄相机的感光部件上获取棋盘格的图像，以及点阵图像的图像。

那么，基于图9的说明，在本示例中，电子设备可以根据点阵图像中点阵单元在屏幕坐标系下的坐标和像素坐标系下的坐标，确定第一转换矩阵。电子设备还可以根据棋盘格的角点在世界坐标系下的坐标和像素坐标系下的坐标，确定第二转换矩阵。由此，通过一次拍摄，即可确定第一转换矩阵和第二转换矩阵。

需要说明的是，在本申请的一些实施例中，如图11所示的世界坐标系下的场景示意，棋盘格在平面镜的实际大小，可以小于点阵图像在平面镜上的成像大小。例如，在点阵图像上大于棋盘格的区域，可以包括至少4个点阵单元。这样，在前摄像机对平面镜进行拍摄之后，在成像面(即感光部件)上获取的像素坐标系下的图像中，就可以清晰地获取至少4个点阵单元。该至少4个点阵单元可以不与棋盘格重叠，因此电子设备在确定该4个点阵单元的坐标时可以更加准确。由此，使得基于上述方案标定的转换矩阵也就可以更加准确。

上述主要从电子设备的角度对本申请实施例提供的方案进行了介绍。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

示例性的，图12示出了的一种电子设备1200的组成示意图。如图12所示，该电子设备1200可以包括：处理器1201和存储器1202。该存储器1202用于存储计算机执行指令。示例性的，在一些实施例中，当该处理器1201执行该存储器1202存储的指令时，可以使得该电子设备1200执行上述实施例中任一种所示的相机标定方法。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图13示出了的一种芯片***1300的组成示意图。该芯片***1300可以包括：处理器1301和通信接口1302，用于支持相关设备实现上述实施例中所涉及的功能。在一种可能的设计中，芯片***还包括存储器，用于保存电子设备必要的程序指令和数据。该芯片***，可以由芯片构成，也可以包含芯片和其他分立器件。需要说明的是，在本申请的一些实现方式中，该通信接口1302也可称为接口电路。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在上述实施例中的功能或动作或操作或步骤等，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (8)

1.一种相机标定方法，其特征在于，应用于电子设备，所述电子设备设置有前摄相机，所述电子设备的显示屏与平面镜相对设置，平面镜上设置有棋盘格；所述方法包括：

所述电子设备控制所述显示屏显示点阵图像，所述点阵图像中包括多个点阵单元；

所述电子设备控制所述前摄相机拍摄所述平面镜中的第一像以及所述平面镜上的棋盘格，以在所述前摄相机的成像面获取第二像；所述第一像是所述点阵图像的在所述平面镜中所成像，所述第一像包括所述多个点阵单元在所述平面镜中的成像；所述第二像是所述第一像在所述前摄相机的成像面所成像，所述第二像包括所述平面镜中所述多个点阵单元的像通过所述前摄相机后所成的像，所述第二像还包括所述棋盘格通过所述前摄相机后所成的像；

根据预设的尺度不变特征变换SIFT算法，确定第一点阵单元在像素坐标系下的第二坐标；

根据第一点阵单元在屏幕坐标系下的第一坐标，以及所述第一点阵单元在所述像素坐标系下的第二坐标，确定第一转换矩阵；所述第一点阵单元包括在点阵图像的多个点阵单元中；所述第一转换矩阵用于标示所述前摄相机的成像面对应的所述像素坐标系，以及所述显示屏对应的所述屏幕坐标系的对应关系；

根据所述平面镜上设置的棋盘格，以及所述第二像，标定第二转换矩阵；所述第二转换矩阵包括所述前摄相机的内参矩阵和外参矩阵，所述第二转换矩阵用于标示所述像素坐标系，以及所述棋盘格对应的世界坐标系的对应关系；

其中，获取所述第二像时，所述电子设备的位姿为第一位姿；

根据所述第二像，确定所述第一位姿对应的第一畸变校正参数；

所述方法还包括：

根据所述第一畸变校正参数，对所述第二转换矩阵进行校正；

所述电子设备通过所述前摄相机获取人眼图像，所述人眼图像对应于所述屏幕坐标系；

所述电子设备在确定获取所述人眼图像时的位姿为所述第一位姿时，根据所述第一转换矩阵和所述校正后的所述第二转换矩阵，确定世界坐标系下，所述人眼图像对应的用户在使用所述电子设备时的关注点。

2.根据权利要求1所述的方法，其特征在于，所述点阵图像的多个点阵单元中还包括第二点阵单元，所述根据第一点阵单元在所述屏幕坐标系下的第一坐标，以及所述第一点阵单元在所述像素坐标系下的第二坐标，确定所述第一转换矩阵，包括：

根据所述第一点阵单元的第一坐标和第二坐标，以及所述第二点阵单元在所述屏幕坐标系下的第三坐标和所述第二点阵单元在所述像素坐标系下的第四坐标，确定所述第一转换矩阵。

3.根据权利要求2所述的方法，其特征在于，根据列文伯格-马夸尔特LM算法，对所述第一点阵单元的第一坐标和第二坐标，以及所述第二点阵单元的第三坐标和第四坐标，进行迭代计算，从而获取所述第一转换矩阵。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述电子设备根据如下公式确定所述第一转换矩阵：

其中，(Rs，Ts)为第一转换矩阵，为点阵单元在像素坐标系下的坐标，(x,y,w,1)为点阵单元在屏幕坐标系下的坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据所述平面镜上设置的棋盘格，以及所述第二像，标定第二转换矩阵，包括：

根据所述平面镜上设置的棋盘格，以及所述第二像，基于张氏标定法，标定第二转换矩阵。

6.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器存储有计算机指令；

当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-5中任一项所述的相机标定方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令运行时，执行如权利要求1-5中任一项所述的相机标定方法。

8.一种芯片***，其特征在于，所述芯片***包括处理器和通信接口；所述处理器用于从存储介质中调用并运行所述存储介质中存储的计算机程序，执行如权利要求1-5中任一项所述的相机标定方法。