CN112655024B - 一种图像标定方法及装置 - Google Patents

Abstract

一种图像标定方法及装置，以解决现有技术中确定出的HUD虚像的虚像距误差大的问题。该方法包括获取靶标的第一图像和第二图像、HUD虚像的第三图像和第四图像，第一图像和第三图像为相机在第一位置拍摄的，第二图像和第四图像为相机在第二位置拍摄的；根据第一图像和靶标在车体坐标系中的坐标，确定相机的第一外参矩阵；根据第二图像和靶标在车体坐标系中的坐标，确定相机的第二外参矩阵；根据第一外参矩阵、第三图像、第二外参矩阵和第四图像，确定HUD虚像在车体坐标系中的坐标，以确定HUD虚像的成像参数。通过第一位置和第二位置拍摄的四幅图像，即可确定出HUD虚像在车体坐标系中的坐标，从而可准确的确定出HUD虚像的成像参数。

Description

一种图像标定方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像标定方法及装置。

背景技术

随着车辆技术的不断发展，对车辆使用的便捷性和高效性的需求越来越高。例如，抬头显示器(head up display，HUD)(或称为平行显示***)已被广泛应用于车辆。抬头显示器可以将时速、导航等重要行车信息，投影到驾驶员前面的挡风玻璃上，在玻璃前方形成影像，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的行车信息，从而可提高驾驶的安全性。

为了可以结合实际交通路况，提出了增强现实抬头显示器(augmented realityhead up display，AR HUD)，即将HUD虚像与真实路面信息融合起来，从而增强了驾驶员对于实际驾驶环境的感知。AR HUD的成像原理：通过光源发射光，经过折射，最后投影到挡风玻璃，形成HUD虚像。增强现实抬头显示器需要实现人眼-HUD虚像-路面三点一线(参阅图1a)，因此，需要根据路面和人眼的位置，精确控制HUD虚像的位置。为了精确控制HUD虚像的位置，需要精确获取HUD虚像的实际位置信息。

如图1b所示，为现有技术中测量HUD虚像的位置的方式。现有技术中采用变焦测量，通过改变相机镜头的焦距，观察在相机里所成的HUD虚像，成像最清晰的对焦位置就是HUD虚像所在的位置。在图1b中，HUD虚像在焦面3的图像最清晰，焦面3即为HUD虚像所在的位置，焦面3到相机的距离即为虚像距。但是由于相机具有一定的景深范围，在景深范围内，拍摄的HUD虚像都是清晰的，因此，根据成像清晰的焦面确定HUD虚像的位置，会造成确定出的HUD虚像的位置误差较大。

发明内容

本申请提供一种图像标定方法及装置，用于尽可能提高确定出的HUD虚像的成像参数的精确度。

第一方面，本申请提供一种图像标定方法，该方法包括获取靶标的第一图像和HUD显示的HUD虚像的第三图像，获取靶标的第二图像和HUD虚像的第四图像；其中，第一图像为处于第一位置的拍摄装置拍摄靶标得到的，第三图像为处于第一位置的拍摄装置拍摄HUD虚像得到的，第二图像为处于第二位置的拍摄装置拍摄靶标得到的，第四图像为处于第二位置的拍摄装置拍摄HUD虚像得到的；可根据第一图像和靶标在车体坐标系中的坐标，确定处于第一位置的拍摄装置的第一外参矩阵；可根据第二图像和靶标在车体坐标系中的坐标，确定处于第二位置的拍摄装置的第二外参矩阵；可根据第一外参矩阵、第三图像、第二外参矩阵以及第四图像，确定HUD虚像在车体坐标系中的坐标；进一步，可根据HUD虚像在车体坐标系中的坐标，确定HUD虚像的成像参数。

基于该方案，通过在第一位置和第二位置拍摄四幅图像，即可确定出HUD虚像在车体坐标系中的坐标，根据HUD虚像在车体坐标系中的坐标，从而可进一步确定出HUD虚像的成像参数。相比于现有技术的变焦方式，该通过该图像标定方法可以简单、快速且准确的确定出HUD虚像的成像参数。

进一步，可选地，第一位置与第二位置不同。

在一种可能的实现方式中，车体坐标系可以以车辆的前轮为原点，车的前进方向或后退方向为X轴。

在一种可能的实现方式中，可通过如下方式确定第一外参矩阵和第二外参矩阵：确定第一图像上的各靶点的第一像素坐标，根据各靶点的第一像素坐标、各靶点在车体坐标系中的坐标以及第三坐标转换关系，确定第一外参矩阵；第三坐标转换关系为各靶点的第一像素坐标与各靶点在车体坐标系中的坐标之间的关系；并确定第二图像上的各靶点的第二像素坐标；根据各靶点的第二像素坐标、各靶点在车体坐标系中的坐标以及第四坐标转换关系，确定第二外参矩阵，第四坐标转换关系为各靶点的第二像素坐标与各靶点在车体坐标系中的坐标之间的关系。

进一步，可选地，各靶点的第一像素坐标为第一图像上的各靶点在图像坐标系中的坐标。各靶点的第二像素坐标为第二图像上各靶点在图像坐标系中的坐标。

在一种可能的实现方式中，HUD虚像包括n个参考点，n为大于1的整数；可分别确定第三图像上的n个参考点的第三像素坐标、以及第四图像上的n个参考点的第四像素坐标；根据n个参考点的第三像素坐标以及第一外参矩阵，确定第一坐标转换关系；可根据n个参考点的第四像素坐标以及第二外参矩阵，确定第二坐标转换关系；其中，第一坐标转换关系为n个参考点的第三像素坐标与n个参考点在车体坐标系中的坐标之间的关系；第二坐标转换关系为n个参考点的第四像素坐标与n个参考点在车体坐标系中的坐标之间的关系；可根据第一坐标转换关系和第二坐标转换关系，确定HUD虚像上的n个参考点在车体坐标系中的坐标。

进一步，可选地，n个参考点的第三像素坐标为第三图像上的n个参考点在图像坐标系中的坐标。n个参考点的第四像素坐标为第四图像上n个参考点在图像坐标系中的坐标。

在一种可能的实现方式中，图像坐标系可以以图像的左上角或左下角为原点。

在一种可能的实现方式，HUD虚像的成像参数包括但不限于：虚像距(VID)、水平视场角、垂直视场角、中心位置、畸变率或旋转变形中任一项或任多项。

通过上述方式，可以较精确且快速的确定出n个参考点中各个参考点在车体坐标系中的坐标，基于这n个参考点在车体坐标系中的坐标，可简单快速且精确的确定出HUD虚像的成像参数，从而有助于提高HUD虚像的标定的精度和效率。

如下分别介绍确定HUD虚像的成像参数。

成像参数一，虚像距。

在一种可能的实现方式中，可确定HUD虚像上的n个参考点中至少两个参考点在车体坐标系中的x坐标的平均值，x坐标为车的前进或后退方向；确定眼盒的中心在车体坐标系中的x坐标；将平均值与眼盒中心位置在车体坐标系中的x坐标的差值的绝对值，确定为虚像距。

成像参数二，视场角。

在一种可能的实现方式中，视场角包括水平视场角和垂直视场角。

进一步，可选地，可根据n个参考点中位于同一水平方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的水平方向上的长度；根据HUD虚像的水平方向上的长度和虚像距，确定水平视场角。

示例性地，

在一种可能的实现方式中，可根据n个参考点中位于同一垂直方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的垂直方向上的长度；根据HUD虚像的垂直方向上的长度和虚像距，确定垂直视场角。

示例性地，

成像参数三，中心位置。

在一种可能的实现方式中，可将HUD虚像上的n个参考点中的中心参考点在车体坐标系中的坐标，确定为HUD虚像的中心位置。

成像参数四，畸变率。

在一种可能的实现方式中，可确定第一参考点的畸变率，第一参考点为HUD虚像上的n个参考点中的至少一个；根据第一参考点的畸变率，确定HUD虚像的畸变率。

进一步，可选地，可确定第一参考点与中心参考点的之间的实际距离；再根据中心参考点以及中心参考点的周围的至少4个参考点，确定第一参考点的预测距离；从而可根据实际距离与预测距离，确定第一参考点的畸变率。

示例性地，

成像参数五，旋转变形。

在一种可能的实现方式中，确定第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标；其中，第二参考点与第三参考点为n个参考点中同一水平方向上的两个参考点；根据第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标，确定旋转变形。

示例性地，

第二方面，本申请提供一种图像标定装置，可用于实现上述第一方面或第一方面中的任意一种方法，包括相应的功能模块，分别用于实现以上方法中的步骤。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

在一种可能的实现方式中，该图像标定装置可包括收发模块和处理模块：其中，收发模块，用于获取靶标的第一图像和抬头显示器HUD显示的HUD虚像的第三图像，第一图像为处于第一位置的拍摄装置拍摄靶标得到的，第三图像为处于第一位置的拍摄装置拍摄HUD虚像得到的；以及获取靶标的第二图像和HUD虚像的第四图像，第二图像为处于第二位置的拍摄装置拍摄靶标得到的，第四图像为处于第二位置的拍摄装置拍摄HUD虚像得到的；处理模块，用于根据第一图像和靶标在车体坐标系中的坐标，确定处于第一位置的拍摄装置的第一外参矩阵；根据第二图像和靶标在车体坐标系中的坐标，确定处于第二位置的拍摄装置的第二外参矩阵；以及根据第一外参矩阵、第三图像、第二外参矩阵以及第四图像，确定HUD虚像在车体坐标系中的坐标；以及根据HUD虚像在车体坐标系中的坐标，确定HUD虚像的成像参数。

在一种可能的实现方式中，HUD虚像包括n个参考点，n为大于1的整数；处理模块具体用于：分别确定第三图像上的n个参考点在第三像素坐标、以及n个参考点在第四图像上的第四像素坐标；根据n个参考点的第三像素坐标以及第一外参矩阵，确定第一坐标转换关系；其中，第一坐标转换关系为n个参考点的第三像素坐标与n个参考点在车体坐标系中的坐标之间的关系；根据n个参考点的第四像素坐标以及第二外参矩阵，确定第二坐标转换关系；其中，第二坐标转换关系为n个参考点的第四像素坐标与n个参考点在车体坐标系中的坐标之间的关系；根据第一坐标转换关系和第二坐标转换关系，确定HUD虚像上的n个参考点在车体坐标系中的坐标。

在一种可能的实现方式中，HUD虚像的成像参数包括但不限于虚像距(VID)、水平视场角、垂直视场角、中心位置、畸变率或旋转变形中任一项或任多项。

在一种可能的实现方式中，成像参数包括虚像距；处理模块具体用于：确定HUD虚像上的n个参考点中至少两个参考点在车体坐标系中的x坐标的平均值，x坐标为车的前进或后退方向；确定眼盒的中心在车体坐标系中的x坐标；将平均值与眼盒中心位置在车体坐标系中的x坐标的差值的绝对值，确定为虚像距。

在一种可能的实现方式中，成像参数还包括水平视场角；处理模块具体用于：根据n个参考点中位于同一水平方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的水平方向上的长度；根据HUD虚像的水平方向上的长度和虚像距，确定水平视场角。

在一种可能的实现方式中，成像参数还包括垂直视场角；处理模块具体用于：根据n个参考点中位于同一垂直方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的垂直方向上的长度；根据HUD虚像的垂直方向上的长度和虚像距，确定垂直视场角。

在一种可能的实现方式中，成像参数包括中心位置；处理模块具体用于：将HUD虚像上的n个参考点中的中心参考点在车体坐标系中的坐标，确定为HUD虚像的中心位置。

在一种可能的实现方式中，成像参数包括畸变率；处理模块具体用于：确定第一参考点的畸变率，第一参考点为HUD虚像上的n个参考点中的至少一个；根据第一参考点的畸变率，确定HUD虚像的畸变率。

在一种可能的实现方式中，n为大于5的整数；处理模块具体用于：确定第一参考点与中心参考点的之间的实际距离；根据中心参考点以及中心参考点的周围的至少4个参考点，确定第一参考点的预测距离；根据实际距离与预测距离，确定第一参考点的畸变率。

在一种可能的实现方式中，成像参数包括旋转变形；处理模块具体用于：确定第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标；其中，第二参考点与第三参考点为n个参考点中同一水平方向上的两个参考点；根据第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标，确定旋转变形。

在一种可能的实现方式中，处理模块具体用于：确定第一图像上的各靶点的第一像素坐标；根据各靶点的第一像素坐标、各靶点在车体坐标系中的坐标以及第三坐标转换关系，确定第一外参矩阵；第三坐标转换关系为各靶点的第一像素坐标与各靶点在车体坐标系中的坐标之间的关系；处理模块具体用于：确定第二图像上的各靶点的第二像素坐标；根据各靶点的第二像素坐标、各靶点在车体坐标系中的坐标以及第四坐标转换关系，确定第二外参矩阵，第四坐标转换关系为各靶点的第二像素坐标与各靶点在车体坐标系中的坐标之间的关系。

第三方面，本申请提供一种图像标定装置，该图像标定装置用于实现上述第一方面或第一方面中的任意一种方法，包括相应的功能模块，分别用于实现以上方法中的步骤。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

在一种可能的实现方式中，该图像标定装置可以包括：收发器和处理器。该处理器可被配置为支持该图像标定装置执行以上所示图像标定装置的相应功能，该收发器用于支持该图像标定装置与其它设备等之间的通信。其中，收发器可以为独立的接收器、独立的发射器、集成收发功能的收发器、或者是接口电路。可选地，该图像标定装置还可以包括存储器，该存储器可以与处理器耦合，其保存该图像标定装置必要的程序指令和数据。

其中，收发器用于：获取靶标的第一图像和抬头显示器HUD显示的HUD虚像的第三图像，第一图像为处于第一位置的拍摄装置拍摄靶标得到的，第三图像为处于第一位置的拍摄装置拍摄HUD虚像得到的；以及获取靶标的第二图像和HUD虚像的第四图像，第二图像为处于第二位置的拍摄装置拍摄靶标得到的，第四图像为处于第二位置的拍摄装置拍摄HUD虚像得到的；处理器用于：根据第一图像和靶标在车体坐标系中的坐标，确定处于第一位置的拍摄装置的第一外参矩阵；根据第二图像和靶标在车体坐标系中的坐标，确定处于第二位置的拍摄装置的第二外参矩阵；以及根据第一外参矩阵、第三图像、第二外参矩阵以及第四图像，确定HUD虚像在车体坐标系中的坐标；以及根据HUD虚像在车体坐标系中的坐标，确定HUD虚像的成像参数。

在一种可能的实现方式中，HUD虚像包括n个参考点，n为大于1的整数；处理器具体用于：分别确定第三图像上的n个参考点在第三像素坐标、以及n个参考点在第四图像上的第四像素坐标；根据n个参考点的第三像素坐标以及第一外参矩阵，确定第一坐标转换关系；其中，第一坐标转换关系为n个参考点的第三像素坐标与n个参考点在车体坐标系中的坐标之间的关系；根据n个参考点的第四像素坐标以及第二外参矩阵，确定第二坐标转换关系；其中，第二坐标转换关系为n个参考点的第四像素坐标与n个参考点在车体坐标系中的坐标之间的关系；根据第一坐标转换关系和第二坐标转换关系，确定HUD虚像上的n个参考点在车体坐标系中的坐标。

在一种可能的实现方式中，HUD虚像的成像参数包括但不限于虚像距(VID)、水平视场角、垂直视场角、中心位置、畸变率或旋转变形中任一项或任多项。

在一种可能的实现方式中，成像参数包括虚像距；处理器具体用于：确定HUD虚像上的n个参考点中至少两个参考点在车体坐标系中的x坐标的平均值，x坐标为车的前进或后退方向；确定眼盒的中心在车体坐标系中的x坐标；将平均值与眼盒中心位置在车体坐标系中的x坐标的差值的绝对值，确定为虚像距。

在一种可能的实现方式中，成像参数还包括水平视场角；处理器具体用于：根据n个参考点中位于同一水平方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的水平方向上的长度；根据HUD虚像的水平方向上的长度和虚像距，确定水平视场角。

在一种可能的实现方式中，成像参数还包括垂直视场角；处理器具体用于：根据n个参考点中位于同一垂直方向的至少两个参考点在车体坐标系中的坐标，确定HUD虚像的垂直方向上的长度；根据HUD虚像的垂直方向上的长度和虚像距，确定垂直视场角。

在一种可能的实现方式中，成像参数包括中心位置；处理器具体用于：将HUD虚像上的n个参考点中的中心参考点在车体坐标系中的坐标，确定为HUD虚像的中心位置。

在一种可能的实现方式中，成像参数包括畸变率；处理器具体用于：确定第一参考点的畸变率，第一参考点为HUD虚像上的n个参考点中的至少一个；根据第一参考点的畸变率，确定HUD虚像的畸变率。

在一种可能的实现方式中，n为大于5的整数；处理器具体用于：确定第一参考点与中心参考点的之间的实际距离；根据中心参考点以及中心参考点的周围的至少4个参考点，确定第一参考点的预测距离；根据实际距离与预测距离，确定第一参考点的畸变率。

在一种可能的实现方式中，成像参数包括旋转变形；处理器具体用于：确定第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标；其中，第二参考点与第三参考点为n个参考点中同一水平方向上的两个参考点；根据第二参考点在车体坐标系中的z坐标、第二参考点在车体坐标系中的y坐标、第三参考点在车体坐标系中的z坐标以及第三参考点在车体坐标系中的y坐标，确定旋转变形。

在一种可能的实现方式中，处理器具体用于：确定第一图像上的各靶点的第一像素坐标；根据各靶点的第一像素坐标、各靶点在车体坐标系中的坐标以及第三坐标转换关系，确定第一外参矩阵；第三坐标转换关系为各靶点的第一像素坐标与各靶点在车体坐标系中的坐标之间的关系；处理器具体用于：确定第二图像上的各靶点的第二像素坐标；根据各靶点的第二像素坐标、各靶点在车体坐标系中的坐标以及第四坐标转换关系，确定第二外参矩阵，第四坐标转换关系为各靶点的第二像素坐标与各靶点在车体坐标系中的坐标之间的关系。

第四方面，本申请提供一种图像标定***，该图像标定***包括车辆、拍摄装置和图像标定装置诊断装置。其中，图像标定装置可以用于执行上述第一方面或第一方面中的任意一种方法，拍摄装置可用于拍摄上述第一图像、第二图像、第三图像和第四图像。

第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被装置执行时，使得图像标定装置执行上述第一方面或第一方面的任意可能的实现方式中的方法。

第六方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被图像标定装置执行时，实现上述第一方面或第一方面的任意可能的实现方式中的方法。

上述第二方面至第六方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述，此处不再重复赘述。

附图说明

图1a为本申请提供的一种人眼、HUD虚像、路面三点一线的示意图；

图1b为现有技术中的一种测量HUD虚像的位置的方式的示意图；

图2为本申请提供的一种像素坐标系与图像坐标系的关系示意图；

图3a为本申请提供的一种***的架构示意图；

图3b为本申请提供的另一种***的架构示意图；

图3c为本申请提供的又一种***的架构示意图；

图3d为本申请提供的一种应用场景示意图；

图4为本申请提供的一种图像标定方法的方法流程示意图；

图5为本申请提供的一种靶标示意图；

图6为本申请提供的一种HUD虚像示意图；

图7为本申请提供的一种HUD虚像的成像参数示意图；

图8为本申请提供的一种产生重影的原理示意图；

图9为本申请提供的一种图像标定装置的结构示意图；

图10为本申请提供的一种图像标定装置的结构示意图。

具体实施方式

下面将结合附图，对本申请实施例进行详细描述。

如背景技术，目前测量HUD虚像的位置采用的是变焦测量的方法，将HUD虚像最清晰的对焦位置确定为HUD虚像所在的位置，HUD虚像最清晰的位置到相机的距离为虚像距。但是由于相机具有一定的景深范围，在景深范围内，拍摄的HUD虚像都是清晰的，因此，根据成像清晰的焦面确定HUD虚像的位置，会造成确定出的HUD虚像的位置误差较大。

鉴于此，本申请提供一种图像标定方法，本申请中的图像标定方法可以准确且快速的标定HUD虚像。下面结合附图对本申请提供的图像标定方法进行具体介绍。

以下，对本申请中的部分用语进行解释说明。需要说明的是，这些解释是为了便于本领域技术人员理解，并不是对本申请所要求的保护范围构成限定。

1、世界坐标系

世界坐标系是为了描述目标物在真实世界里的位置而被引入。是客观三维世界的绝对坐标系。因为相机安放在三维空间中，需要世界坐标系这个基准坐标系来描述相机的位置，并且用它来描述安放在此三维坐标中其它任何物体的位置，用(X_w，Y_w，Z_w)表示物体在世界坐标系中的坐标值。

2、相机坐标系

相机坐标系也称为光心坐标系，是在相机上建立的坐标系，为了从相机的角度描述物体而定义，作为沟通世界坐标系和图像坐标系(或像素坐标系)的中间一环，单位为m。以相机的镜头光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴，用(X_c，Y_c，Z_c)表示其坐标值。

3、图像坐标系

为了描述成像过程中物体从相机坐标系到图像坐标系的关系而引入的，方便进一步得到像素坐标系下的坐标。图像坐标系是图像平面上的二维直角坐标系。图像坐标系的原点为镜头光轴与像平面的交点(也称主点)，图像坐标系的x轴和y轴分别平行于相机坐标系的X轴和Y轴。用(x，y)表示坐标值。图像坐标系是用物理单位(例如毫米)表示像素在图像中的位置。

4、像素坐标系

像素坐标系是图像处理工作中常用的二维直角坐标系，反映了相机的电荷耦合元件(charge coupled device，CCD)/金属氧化物半导体元件(complementary metal oxidesemiconductor，CMOS)芯片中像素的排列情况。单位为个(像素数目)。通常是以图像平面的左上角或左下角为原点，u轴和v轴分别平行于图像坐标系的X轴和Y轴，用(u，v)表示其坐标值，横坐标u表示像素所在的列，纵坐标v表示像素所在的行。相机采集的图像首先是形成标准的电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是P×Q的数组，P行Q列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。

5、坐标系之间的关系

5.1、像素坐标系与图像坐标系的关系(内参矩阵N)。

请参阅图2，为本申请提供的一种像素坐标系与图像坐标系的关系示意图。像素坐标系与图像坐标系是平移关系。

u＝x/dx+u₀

v＝y/dy+v₀

其中，(u₀,v₀)是图像坐标系原点(主点)的坐标，dx和dy分别是每个像素在x轴和y轴上的物理尺寸。

采用矩阵形式，如下：

其中，内参矩阵N可以理解为矩阵内各值只有相机内部参数有关，不随物***置变化而变化。

5.2、图像坐标系与相机坐标系的关系。

从三维坐标到二维坐标的转换，也即投影透视过程(用中心投影法将物体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图，即人眼看到的景物近大远小的一种成像方式)。

采用矩阵形式，如下：

其中，f表示相机拍摄图像时的焦距，即像平面与相机坐标系原点的距离，Z_c表示拍照人与拍摄装置之间的距离关系，为已知数。

5.3、相机坐标系与世界坐标系的变换(外参矩阵)。

通常，世界坐标系和相机坐标系不重合，该情况下，世界坐标系中的某一点P要投影到像面上，先要将该点的坐标转换到相机坐标系下。任意两个三维坐标之间的均可以通过旋转和平移进行转换，刚体从世界坐标系转换到相机坐标系的过程，也可以通过旋转和平移来得到。

设P点在世界坐标系中的坐标为X_w，P到光心的垂直距离为s，在像面上的坐标为x，世界坐标系与相机坐标系之间的相对旋转为矩阵R(R是一个三行三列的旋转矩阵)，相对位移为向量T(三行一列)，将其变化矩阵由一个旋转矩阵和平移向量组合成的齐次坐标矩阵表示如下：

其中，(X_w，Y_w，Z_w，1)为世界坐标系的齐次坐标，(X_c，Y_c，Z_c，1)为相机坐标系的齐次坐标。应理解，由于世界坐标系与相机坐标系之间的变换矩阵与相机无关，因此，也称为外部参数矩阵。

6、相机标定

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，这些几何模型参数即为相机参数。进行相机标定的目的是为了求出相机内参数(例如内参矩阵)、外参数(例如外差距真)，求解参数的过程即可称为相机标定。

7、眼盒(eyebox)

眼盒通常是指驾驶员的眼睛能够看到全部显示图像的范围。一般眼盒尺寸大小是130mmx50mm。由于不同驾驶员的身高，需要满足眼盒在垂直方向上有约±50mm的移动范围。在本申请中，人眼在眼盒范围可以看到清晰的HUD虚像的区域。可参阅上述图1a，如果人眼与眼盒的中心对齐，则可获得完整且清晰的HUD虚像。当眼睛向左右或上下移动时，在每个方向上的某个点处，图像将变差，直到无法接受，即超出眼盒范围。在超出眼盒的区域可能会呈现图像扭曲、显色错误，甚至不显示等问题。

基于上述内容，图3a是本申请的可应用的一种***的架构示意图，如图3a所示，该***中可包括靶标、车辆、拍摄装置和固定组件，其中，车辆包括AR-HUD，AR-HUD的具体结构可参见图3b或图3c。

AR-HUD产生的HUD虚像可投射在驾驶员前方视野中。AR-HUD的主要原理是利用多个曲面反射镜或平面发射镜，将图像生成单元(picture generate unit，PGU)产生的HUD虚像进行放大，并反射到车外一定位置，即反射到驾驶员的前方视野中(眼盒范围)，从而向驾驶员呈现道路远方一定距离(例如2到20m)外的图像。HUD虚像的实际位置是由HUD的光学***决定的。理论上，AR HUD投射出的导航车道线，以及相关的警示信息，与实际道路贴合度越高越好，最好没有误差。但由于诸多技术以及现实道路情况，实际根据车辆行驶中的导航需求，AR HUD的成像距离达到7.5米以上，使得HUD虚像能够与物体或路面实景发生叠加，形成增强现实的效果，让驾驶员可以观察现实环境的同时获取到提示信息，不再有视觉盲区的存在。应理解，AR-HUD如果只显示一些车速、提示信息，则不需要过多关心HUD虚像的位置问题，而如果涉及到导航、高级驾驶辅助***(advanced driving assistant system，ADAS)信息等，则需要获取到精确的HUD虚像的位置。

拍摄装置设置于眼盒区域内，其中，眼盒范围通常为10cm左右。拍摄装置例如可以是相机等，该***中可包括一个拍摄装置或者可包括两个拍摄装置，其中，两个拍摄装置位于不同的位置，且均设置于眼盒区域内。

固定组件用于将拍摄装置固定于某一个位置。固定装置例如可以是机械臂、或滑轨。通过机械臂或滑轨，可以实现将一个拍摄装置固定于不同的位置，可参见图3b；或者，也可以包括两个固定组件，一个固定组件可将拍摄装置固定在一个位置，两个固定组件可将两个拍摄装置固定在两个位置，可参见图3c。

靶标上可包括至少6个靶点，且靶点在车体坐标系下的坐标已知，可通过靶标对HUD虚像进行标定。靶标与车辆之间的距离可以根据具体场景确定。应理解，靶标的形状可以圆形、或方形、或其它规则或不规则形状，图3a至图3c中圆形的靶标仅是为了示意。

在一种可能的实现方式中，图3a、图3b和图3c的***架构可应用于车载AR-HUD生产线上的HUD虚像标定的场景中，请参阅图3d。

图3d为本申请可应用的一种场景。在该场景中，可包括测试设备和车辆，当需要对车载AR-HUD的HUD虚像标定时，测试设备可通过车辆上的车载诊断***(on-boarddiagnostic system，OBD)端口连接到车辆上，例如，测试设备***车辆的OBD端口，从而可实现测试设备与车辆之间的通信。OBD通常安置于车辆中，可用于实时记录车辆的性能信息，其中，OBD与测试设备通信的接口可称为OBD端口。

测试设备是专门针对车辆检测的专业仪器或***，即，测试设备可用于获取车辆的信息。例如，可用于检测车辆的性能，可获得车辆的性能信息(如HUD虚像的成像参数)等。测试设备可通过开发的测试软件实现对车辆的测试。也可以理解为，安装有测试软件的设备均可理解为是测试设备。例如安装有测试软件的个人计算机(personal computer，PC)，或平板电脑，或专用设备等，其中，专用设备如诊断仪(diagnostics tester，DT)，DT也可称为测试仪或车辆诊断仪或上位仪。进一步，测试设备还可以以图形界面的方式呈现各种测试信息。

基于上述内容，图4示例性示出了本申请提供的一种图像标定方法。该方法中的测试设备可以是上述图3d中测试设备，AR-HUD可以上述图3a至图3d任一实施例中的AR-HUD该方法包括以下步骤：

步骤401，测试设备获取靶标上靶点在车体坐标系下的坐标(x^T，y^T，z^T)。

该步骤401为可选步骤。

此处，靶标上的靶点在车体坐标系下的坐标为(x^T，y^T，z^T)。其中，靶标上包括至少6个靶点，至少3个靶点是不共线的。也就是说，该靶标为已被标定的靶标。

当靶标上包括6个靶点时，T可取1至6，请参阅图5，为本申请提供的一种靶标示意图。该靶标上包括6个参考点。6个靶点在车体坐标系的坐标分别为：(x¹，y¹，z¹)、(x²，y²，z²)、(x³，y³，z³)、(x⁴，y⁴，z⁴)、(x⁵，y⁵，z⁵)、(x⁶，y⁶，z⁶)。

步骤402，测试设备向AR-HUD发送点亮指令。相应地，AR-HUD接收来自测试设备的点亮指令，根据点亮指令点亮，使AR-HUD显示HUD虚像。

该步骤402为可选步骤。

其中，HUD虚像可显示在驾驶员前方的某一位置。该HUD虚像可以称为标定图像或测试图像。

HUD虚像包括n个参考点，n为大于或等于2的整数。结合图6，以n＝11为例，这11个参考点为棋盘格上的点，11个参考点可以包括C₀、C₁、C₂、C₃、C₄、E₁、E₂、E₃、E₄、E₅、E₆。C₀为HUD虚像的中心点，C₁、C₂、C₃、C₄为C₀的上下左右四个点，且距离C₀的距离均相等。当然，距离C₀的距离也可以不相等，具体距离可根据HUD虚像的大小而定。例如，可以分别HUD虚像的长宽的1/4。E₁、E₂、E₅、E₆为HUD虚像的边缘的四个顶点，E₃、E₄为垂直边的中心点。换言之，C₀、C₁、C₂、C₃、C₄可以表示中心区域，E₁、E₂、E₃、E₄、E₅、E₆可以表示边缘区域。

结合上述图3d，测试设备可通过OBD端口向HUD发送指令，HUD根据指令进行点亮以显示HUD虚像。

需要说明的是，HUD虚像尺寸与AR-HUD的类型相关，所以，不同AR-HUD的HUD虚像上的参考点的数量也会有差别。通常，HUD虚像上的参考点的数量可以依据出厂时给出的要求设置，例如，要求参考点之间的间距小于0.5度、且均匀分布，则可确定出HUD虚像上需要的参考点的最少数量。

还需要说明的是，上述步骤401与步骤402之间没有先后顺序，可以先执行步骤401后执行步骤402，也可以先执行步骤402后执行步骤403。

步骤403，测试设备获取靶标的第一图像和HUD显示的HUD虚像的第三图像。

其中，所述第一图像为处于第一位置的拍摄装置拍摄所述靶标得到的，所述第三图像为处于第一位置的拍摄装置拍摄所述HUD虚像得到的。

结合上述图3a至图3d，拍摄装置可将拍摄得到的第一图像和第三图像传输至测试设备(例如通过网络)。

步骤404，测试设备获取所述靶标的第二图像和所述HUD虚像的第四图像。

其中，所述第二图像为处于第二位置的拍摄装置拍摄所述靶标得到的，所述第四图像为处于第二位置的拍摄装置拍摄所述HUD虚像得到的。

结合上述图3a、或图3b或图3c，若上述***中包括两个拍摄装置，即通过两个拍摄装置拍摄拍摄靶标和HUD虚像，其中，一个拍摄装置可设置于第一位置，另一个拍摄装置可设置于第二位置，第一位置的拍摄装置拍摄靶标得到第一图像，拍摄HUD虚像得到第三图像；第二位置的拍摄装置拍摄靶标得到第二图像，拍摄HUD虚像得到第四图像。应理解，第一位置的拍摄装置和第二位置拍摄装置可以同时拍摄，即第一图像和第二图像可以是同时拍摄得到的，第三图像和第四图像也可以是同时拍摄得到的。当然，这两个拍摄装置也可以不是同时拍摄，本申请对此不做限定。

若上述***中包括一个拍摄装置，即通过一个拍摄装置拍摄靶标和HUD虚像，第一图像和第三图像可以是拍摄装置在第一位置拍摄得到的，第二图像和第四图像为拍摄装置在第二位置拍摄得到的。具体可以是通过如机械臂等或滑轨移动拍摄装置处于第一位置或第二位置，可以是左右移动，也可以是前后移动，或者也可以是上下移动等。

结合上述图3a至图3d，拍摄装置可将拍摄得到的第二图像和第四图像传输至测试设备(例如通过网络)。

需要说明的是，第一位置和第二位置均在眼盒区域内。通常，驾驶员眼睛在眼盒区域内可以看到清晰的HUD虚像，若超出这个眼盒的区域，驾驶员无法看到相关的图像或者看到图像的畸变较为严重等。示例性地，第一位置和第二位置之间的距离小于10cm。

步骤405，测试设备确定第一图像上包括的各靶点的第一像素坐标

此处，各靶点的第一像素坐标为第一图像上的各靶点在图像坐标系中的坐标。

在一种可能的实现方式中，使用棋盘格方式来表示第一图像上的各靶点，利用图像处理算法，识别靶点区域的直线特征，及黑白特征，并检测平行线，以交叉点确定靶点。因为靶点间的位置关系已知(即靶点之间的距离已知的)，可以推断出各个靶点与第一图像中交叉点的关系，进而确定各第一图像上包括的各靶点的第一像素坐标。

步骤406，测试设备根据各靶点在车体坐标系下的坐标(x^T，y^T，z^T)、第一图像上的各靶点的第一像素坐标

以及第三坐标转换关系，确定处于第一位置的拍摄装置的第一外参矩阵。

此处，所述第三坐标转换关系为所述各靶点的所述第一像素坐标与所述各靶点在所述车体坐标系中的坐标之间的关系。

进一步，像素坐标(u，v)、相机的内参矩阵、以及相机坐标系中的坐标(X_c，Y_c，Z_c)之间满足第一关系，即公式1；相机坐标系中的坐标(X_c，Y_c，Z_c)、相机的外参矩阵、以及车体坐标系中的坐标(x^T，y^T，z^T)之间的满足第二关系，即公式2。

其中，(dx，dy)表示拍摄装置的像素阵列中像素尺寸，(u₀，v₀)表示拍摄装置的像素阵列的中心坐标，

表示拍摄装置的内参矩阵，f为拍摄装置拍摄图像时的焦距，Z_C表示拍照人与拍摄装置之间的距离关系，为已知数。

此处，各靶点的第一像素坐标

与各靶点在车体坐标系下的坐标(x^T，y^T，z^T)之间存在第三坐标转换关系，即将各靶点的第一像素坐标

与各靶点在车体坐标系下的坐标(x^T，y^T，z^T)代入上述公式1和公式2，得到公式3和公式4，根据公式3和公式4，可确定第一外参矩阵

其中，

表示拍摄装置拍摄第一图像时的内参矩阵，f为拍摄装置拍摄焦距。

上述公式3和公式4联立，可以写成有12个未知数(即r和t为未知数)的2个方程，即

为一组方程，

为另一组方程。

以6个靶点为例，6个靶点的第一像素坐标分别为

6个靶点在车体坐标系下的坐标分别为(x¹，y¹，z¹)、(x²，y²，z²)、(x³，y³，z³)、(x⁴，y⁴，z⁴)、(x⁵，y⁵，z⁵)、(x⁶，y⁶，z⁶)；其中，

与(x¹，y¹，z¹)对应一个靶点，

与(x²，y²，z²)对应一个靶点，

与(x³，y³，z³)对应一个靶点，

与(x⁴，y⁴，z⁴)对应一个靶点，

与(x⁵，y⁵，z⁵)对应一个靶点，

与(x⁶，y⁶，z⁶)对应一个靶点。将这个6个靶点的第一像素坐标、对应的靶点在车体坐标系下的坐标、以及拍摄装置拍摄第一图像的焦距f分别代入上述公式1和公式2，可得到12个方程，求解这个12个方程，可得到

中的12个未知数，即可确定出第一外参矩阵

步骤407，测试设备确定第二图像上包括的各个靶点的第二像素坐标

此处，各靶点的第二像素坐标为第二图像上各靶点在图像坐标系中的坐标。

该步骤407可参见上述步骤405的介绍，此处不再重复赘述。

步骤408，测试设备根据各靶点在车体坐标系下的坐标(x^T，y^T，z^T)与第二图像上各靶点的第二像素坐标

确定处于第二位置的拍摄装置的第二外参矩阵。

此处，各靶点的第二像素坐标

与各靶点在车体坐标系下的坐标(x^T，y^T，z^T)之间存在第四坐标转换关系，即将各靶点的第二像素坐标

与各靶点在车体坐标系下的坐标(x^T，y^T，z^T)代入上述公式1和公式2，得到公式5和公式6，根据公式5和公式6，可确定第二外参矩阵

其中，

表示拍摄装置拍摄第二图像时的内参矩阵，f为拍摄装置拍摄第二图像的焦距。

上述公式5和公式6联立，可以写成有12个未知数(即r和t为未知数)的2个方程，即

为一组方程，

为另一组方程。

以6个靶点为例，6个靶点的第二像素坐标分别为

对应的车体坐标分别为(x¹，y¹，z¹)、(x²，y²，z²)、(x³，y³，z³)、(x⁴，y⁴，z⁴)、(x⁵，y⁵，z⁵)、(x⁶，y⁶，z⁶)；其中，

与(x¹，y¹，z¹)对应一个靶点，

与(x²，y²，z²)对应一个靶点，

与(x³，y³，z³)对应一个靶点，

与(x⁴，y⁴，z⁴)对应一个靶点，

与(x⁵，y⁵，z⁵)对应一个靶点，

与(x⁶，y⁶，z⁶)对应一个靶点。将这个6个靶点的第二像素坐标、对应的靶点在车体坐标系下的坐标、以及拍摄装置拍摄第二图像的焦距f分别代入上述公式1和公式2，可得到12个方程，求解这个12个方程，可得到

中的12个未知数，即可确定出第二外参矩阵

基于上述步骤401至步骤408，可以获得在第一位置的拍摄装置的第一外参矩阵

以及在第二位置的拍摄装置的第二外参矩阵

也就是说，通过上述步骤401至步骤408，完成了相机的位置标定，而且根据坐标已知的靶点对相机的位置进行标定，有助于提高标定相机位置的准确性。需要说明的是，拍摄装置的外参矩阵与拍摄装置的所处的位置相关，即处于第一位置的拍摄装置拍摄第一图像和第三图像的外参矩阵是相同的，均为第一外参矩阵；处于第二位置的拍摄装置拍摄第二图像和第四图像的外参矩阵是相同的，均为第二外参矩阵。

步骤409，测试设备确定第三图像上的n个参考点的第三像素坐标，以及第四图像上的n个参考点的第四像素坐标。

此处，n个参考点的第三像素坐标为第三图像上的n个参考点在图像坐标系中的坐标。n个参考点的第四像素坐标为第四图像上n个参考点在图像坐标系中的坐标。

需要说明的是，上述确定第一像素坐标、第二像素坐标、第三像素坐标以及第四像素坐标的图像坐标系是相同的。例如，同一拍摄装置拍摄的图像均以图像(例如第一图像、第二图像、第三图像和第四图像)的左下角为原点，或者均以右下角为原点。

此处，第三像素坐标用

表示，第四像素坐标用

表示，确定第三像素坐标与第四像素坐标的方式可参见上述步骤405的介绍，此处不再重复赘述。

上述步骤405至步骤409均为可选步骤。

步骤410，测试设备根据第一外参矩阵、第三图像、第二外参矩阵以及所述第四图像，确定所述HUD虚像在所述车体坐标系中的坐标。

在一种可能的实现方式中，可根据n个参考点的第三像素坐标以及所述第一外参矩阵，确定第一坐标转换关系；其中，所述第一坐标转换关系为所述n个参考点的所述第三像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系。

进一步，可选地，测试设备可根据上述公式1、公式2、所述n个参考点的第三像素坐标和所述n个参考点的第四像素坐标，确定所述HUD虚像上的n个参考点在所述车体坐标系中的坐标。

示例性地，可将n个参考点的第三像素坐标

以及第一外参矩阵代入上述公式1和公式2，得到公式7和公式8，即可得到n个参考点的第三像素坐标

与n个参考点在车体坐标系下的坐标(x^T，y^T，z^T)之间的第一坐标转换关系。

基于相同的过程，可根据n个参考点的第四像素坐标以及所述第二外参矩阵，确定第二坐标转换关系；其中，所述第二坐标转换关系为所述n个参考点的所述第四像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系。

示例性地，可将n个参考点的第四像素坐标

以及第二外参矩阵代入上述公式1和公式2，得到公式9和公式10，即可得到n个参考点的第四像素坐标

与n个参考点在车体坐标系下的坐标(x^T，y^T，z^T)之间的第二坐标转换关系。

进一步，可根据上述确定出的第一坐标转换关系和所述第二坐标转换关系，确定所述HUD虚像上的n个参考点在所述车体坐标系中的坐标。也就是说，基于上述公式7、公式8、公式9和公式10，可确定出HUD虚像上的n个参考点中各个参考点的车体坐标(x^H，y^H，z^H)，即(x¹,y¹,z¹)、(x²,y²,z²)…(xⁿ,yⁿ,zⁿ)。

需要说明的是，HUD虚像是存在于三维空间中的一个面，若HUD虚像垂直于X轴，则该HUD虚像上的n个参考点的x值是相同的。若HUD虚像不垂直于X轴时，则该HUD虚像上的n个参考点的x值可能是不相同的。

步骤411，测试设备根据所述HUD虚像在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数。

在AR-HUD合格性判断时，需要提供一系列HUD虚像的成像参数(即检测指标)，例如虚像距(virtual image distance，VID)、水平视场角、垂直视场角、中心位置、畸变率、旋转变形度等中的一个或多个。

通过在第一位置和第二位置拍摄四幅图像，即可确定出HUD虚像在所述车体坐标系中的坐标，从而可进一步确定出HUD虚像的成像参数。相比于现有技术的变焦方式，该图像标定方法简单、快速且准确。

下面，示例性示出了HUD虚像的成像参数的确定过程。为了便于方案的说明，HUD虚像上的参考点以上述图6为例。

成像参数一，虚像距。

虚像距是指HUD虚像到人眼的距离，请参阅图7。

在一种可能的实现方式中，可确定所述HUD虚像上的n个参考点中至少两个参考点在所述车体坐标系中的x坐标的平均值，以及眼盒的中心在所述车体坐标系中的x坐标；将所述平均值与所述眼盒中心位置在所述车体坐标系中的x坐标的差值的绝对值，确定为所述虚像距。需要说明的是，眼盒中心位置在车体坐标系中的坐标(x_e,y_e,z_e)在AR-HUD设计时已确定。

也可以理解为，虚像距可通过下述公式11确定。

其中，x_e表示眼盒中心位置在车体坐标系中的x坐标，x¹、x²、…xⁿ表示所述HUD虚像上的n个参考点中每个参考点在车体坐标系中的x坐标。

成像参数二，视场角。

视场角包括水平视场角(H_FOV)和垂直视场角(V_FOV)。水平视场角是指人眼在水平方向的最大可见范围，垂直视场角是人眼在垂直方向的最大可见范围。

在一种可能的实现方式中，可根据所述n个参考点中位于同一水平方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的水平方向上的长度；根据所述HUD虚像的水平方向上的长度和所述虚像距，确定所述水平视场角。

也可以理解为，可通过下述公式12确定水平视场角。

结合图7，H_FOV＝2×Arctan[HUD虚像的水平方向上的长度的一半/虚像距]

＝2×Arctan[E₁E₂/2VID]

＝2×Arctan[E₃E₄/2VID]

＝2×Arctan[E₅E₆/2VID]

＝2×Arctan[(E₁E₂+E₃E₄)/4VID]

＝2×Arctan[(E₁E₂+E₅E₆)/4VID]

＝2×Arctan[(E₃E₄+E₅E₆)/4VID]

＝2×Arctan[(E₁E₂+E₃E₄+E₅E₆)/6VID]

在一种可能的实现方式中，可根据所述n个参考点中位于同一垂直方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的垂直方向上的长度；根据所述HUD虚像的垂直方向上的长度和所述虚像距，确定所述垂直视场角。

也可以理解为，可通过下述公式13确定垂直视场角。

结合图7，V_FOV＝2×Arctan[HUD虚像的垂直方向上的长度的一半/虚像距]

＝2×Arctan[E₁E₃/VID]

＝2×Arctan[E₃E₅/VID]

＝2×Arctan[E₂E₄/VID]

＝2×Arctan[E₄E₆/VID]

＝2×Arctan[E₁E₅/2VID]

＝2×Arctan[E₂E₆/2VID]

＝2×Arctan[(E₁E₃+E₂E₄)/2VID]

＝2×Arctan[(E₃E₅+E₄E₆)/2VID]

＝2×Arctan[(E₁E₃+E₄E₆)/2VID]

＝2×Arctan[(E₃E₅+E₂E₄)/2VID]

＝2×Arctan[(E₁E₅+E₂E₆)/4VID]

成像参数三，HUD虚像的中心位置。

在一种可能的实现方式中，可将所述HUD虚像上的n个参考点中的中心参考点在所述车体坐标系中的坐标，确定为所述HUD虚像的中心位置。参考图7，参考点C₀的车体坐标即为HUD虚像的中心坐标。

成像参数四，第一参考点的畸变率。

此处，第一参考点可为n个参考点中的任一个或任多个。

通常，HUD虚像的中部区域的参考点不容易发生畸变。结合图7，通常C₀、C₁、C₂、C₃、C₄认为未发生畸变，可基于不容易发生畸变的参考点，确定中心参考点与第一参考点之间的预测距离，再确定中心参考点与第一参考点之间的实际距离，再根据实际距离和预测距离，确定第一参考点的畸变率。

也可以理解为，确定所述第一参考点与中心参考点的之间的实际距离，根据所述中心参考点以及所述中心参考点的周围的至少4个参考点，确定所述第一参考点的预测距离；第一参考点的畸变率可通过下述公式14确定。

结合图7，以第一参考点为E₁为例，基于不容易发生畸变的参考点C₀、C₁、C₂、C₃、C₄，确定中心参考点C₀与第一参考点E₁之间的预测距离C₀E₁。

E₁的畸变率＝[(实际距离C₀E₁/预测距离C₀E₁)–1]×100％。

可通过正负号标识畸变的方向，即正号表示畸变导致放大了原始图像，负号表示畸变导致缩小了原始图像。

进一步，可选地，可根据所述第一参考点的畸变率，确定所述HUD虚像的畸变率。示例性地，可通过加权平均n个参考点的畸变率，确定HUD虚像的畸变率；或者可将n个参考点中最大畸变点的畸变率确定为HUD虚像的畸变率；或者，将n个参考点中的中间区域的参考点(例如图6中的参考点C₀、C₁、C₂、C₃、C₄中的任一个或多个的平均值)畸变率和边缘顶点(例如图6中的E₁、E₂、E₃、E₄、E₅、E₆中的任一个或多个的平均值)的畸变率区分开均作为HUD虚像的畸变率。应理解，HUD虚像的中间区域的畸变较小，边缘区域的畸变较大。

成像参数五，旋转变形度。

由于AR-HUD的装配误差等，HUD虚像可能发生旋转变形度，旋转变形度用Φ表示。通常HUD虚像主要绕X轴旋转，因此，旋转变形度Φ可通过公式15确定。

其中，所述第二参考点与所述第三参考点为所述n个参考点中同一水平方向上的两个参考点；所述第四参考点与所述第五参考点为所述n个参考点中同一垂直方向上的两个参考点。

结合图7，E₁E₂为同一水平方向上的两个参考点，E₃E₄为同一水平方向上的两个参考点，E₅E₆为同一水平方向上的两个参考点，其中，E₁E₂、E₃E₄、E₅E₆的旋转变形度是一致的，为了便于方案的说明，HUD虚像旋转变形度以E₁E₂为例进行说明。

Φ＝Arctan(|z_E1-z_E2|/|y_E1-y_E2|)

其中，z_E1表示参考点E₁在车体坐标系中的z坐标，z_E2表示参考点E₂在车体坐标系中的z坐标，y_E1表示参考点E₁在车体坐标系中的y坐标，y_E2表示参考点E₂在车体坐标系中的y坐标。

成像参数六，重影。

由于挡风玻璃内表面和外表面都会接收AR-HUD发射的光线，并从特定的角度将光线反射回驾驶员的眼睛，通过两个表面发射的光线会造成重影，请参阅图8。这种重影基本只在垂直方向(即Z轴方向)产生。结合上述图7，E₃E₄这条线的重影比较明显，E₁E₂和E₅E₆因为在HUD图像的边缘，可能有一部分光线反射到眼盒之外了。应理解，参考点E₃的重影和参考点E₄的重影之间的差异较小，可以认为这两个参考点的重影是一致的。

以下以HUD虚像上的参考点E₃为例，可通过公式17确定重影Ψ。

其中，

表示参考点E₃的主像的Z轴方向的位置，

表示参考点E₃的副像的Z轴方向的位置，VID表示虚像距。

需要说明的是，虚像距VID越大，两个参考点E₃在人眼处的夹角越小。当虚像距VID较大时，重影可以忽略。

需要说明的是，上述参数的确定方式仅是示例，还可以基于确定出n个参考点的坐标用其它方式确定参数，本申请对此不做限定。

还需要说明的是，上述实施例中，E_iE_j表示在车体坐标系下，参考点E_i与参考点E_j之间的距离，可通过

结合图7，i和j均可取1至6中任一整数，例如，E₁E₂表示i取1，j取2。C_iC_j表示在车体坐标系下，参考点C_i与参考点C_j之间的距离，可通过

结合图7，i和j均可取0至4中任一整数，例如，C₁C₂表示i取1，j取2。

本申请中，测试设备确定出HUD虚像的成像参数后，可通过OBD端口将各个参数传输至HUD，以完成HUD虚像的标定。

可以理解的是，为了实现上述实施例中功能，图像标定装置或测试设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的模块及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。

基于上述内容和相同构思，图9和图10为本申请的提供的可能的图像标定装置的结构示意图。这些图像标定装置可以用于实现上述方法实施例中测试设备的功能，因此也能实现上述方法实施例所具备的有益效果。在本申请中，该图像标定装置可以是如图3d所示的测试设备，还可以是应用于测试设备的模块(如芯片)。

如图9所示，该图像标定装置900包括处理模块901和收发模块902。图像标定装置900用于实现上述图4所示的方法实施例中测试设备的功能。

当图像标定装置900用于实现图4所示的方法实施例的测试设备的功能时：收发模块902用于获取靶标的第一图像和抬头显示器HUD显示的HUD虚像的第三图像，第一图像为处于第一位置的拍摄装置拍摄靶标得到的，第三图像为处于第一位置的拍摄装置拍摄HUD虚像得到的；以及获取靶标的第二图像和HUD虚像的第四图像，第二图像为处于第二位置的拍摄装置拍摄靶标得到的，第四图像为处于第二位置的拍摄装置拍摄HUD虚像得到的；处理模块901用于根据第一图像和靶标在车体坐标系中的坐标，确定处于第一位置的拍摄装置的第一外参矩阵；根据第二图像和靶标在车体坐标系中的坐标，确定处于第二位置的拍摄装置的第二外参矩阵；以及根据第一外参矩阵、第三图像、第二外参矩阵以及第四图像，确定HUD虚像在车体坐标系中的坐标；以及根据HUD虚像在车体坐标系中的坐标，确定HUD虚像的成像参数。

有关上述处理模块901和收发模块902更详细的描述可以参考图4所示的方法实施例中相关描述直接得到，此处不再一一赘述。

应理解，本申请实施例中的处理模块901可以由处理器或处理器相关电路组件实现，收发模块902可以由收发器或收发器相关电路组件实现。

基于上述内容和相同构思，如图10所示，本申请还提供一种图像标定装置1000。该图像标定装置1000可包括处理器1001和收发器1002。处理器1001和收发器1002之间相互耦合。可以理解的是，收发器1002可以为接口电路或输入输出接口。可选地，图像标定装置1000还可包括存储器1003，用于存储处理器1001执行的指令或存储处理器1001运行指令所需要的输入数据或存储处理器1001运行指令后产生的数据。

当图像标定装置1000用于实现图4所示的方法时，处理器1001用于执行上述处理模块901的功能，收发器1002用于执行上述收发模块902的功能。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其它通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于图像标定装置中。当然，处理器和存储介质也可以作为分立组件存在于图像标定装置中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

本申请中，“均匀”不是指绝对的均匀，“垂直”不是指绝对的垂直，“水平”不是指绝对的水平，均可以允许有一定工程上的误差。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。另外，在本申请中，“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为，使用示例的一词旨在以具体方式呈现概念，并不对本申请构成限定。

可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述，是用于分区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种图像标定方法，其特征在于，包括：

获取靶标的第一图像和抬头显示器HUD显示的HUD虚像的第三图像，所述第一图像为处于第一位置的拍摄装置拍摄所述靶标得到的，所述第三图像为处于第一位置的拍摄装置拍摄所述HUD虚像得到的；

获取所述靶标的第二图像和所述HUD虚像的第四图像，所述第二图像为处于第二位置的拍摄装置拍摄所述靶标得到的，所述第四图像为处于第二位置的拍摄装置拍摄所述HUD虚像得到的；

根据所述第一图像和所述靶标在车体坐标系中的坐标，确定处于所述第一位置的拍摄装置的第一外参矩阵；根据所述第二图像和所述靶标在车体坐标系中的坐标，确定处于所述第二位置的拍摄装置的第二外参矩阵；

根据所述第一外参矩阵、所述第三图像、所述第二外参矩阵以及所述第四图像，确定所述HUD虚像在所述车体坐标系中的坐标；

根据所述HUD虚像在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数。

2.如权利要求1所述的方法，其特征在于，所述HUD虚像包括n个参考点，所述n为大于1的整数；

根据所述第一外参矩阵、所述第三图像、所述第二外参矩阵和所述第四图像，确定所述HUD虚像的成像参数，包括：

分别确定所述第三图像上的n个参考点的第三像素坐标、以及所述第四图像上的n个参考点的第四像素坐标；

根据所述n个参考点的所述第三像素坐标以及所述第一外参矩阵，确定第一坐标转换关系；其中，所述第一坐标转换关系为所述n个参考点的所述第三像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系；

根据所述n个参考点的所述第四像素坐标以及所述第二外参矩阵，确定第二坐标转换关系；其中，所述第二坐标转换关系为所述n个参考点的所述第四像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系；

根据所述第一坐标转换关系和所述第二坐标转换关系，确定所述HUD虚像上的n个参考点在所述车体坐标系中的坐标。

3.如权利要求1或2所述的方法，其特征在于，所述HUD虚像的成像参数包括以下任一项或任多项：

虚像距(VID)、水平视场角、垂直视场角、中心位置、畸变率或旋转变形。

4.如权利要求2所述的方法，其特征在于，所述成像参数包括虚像距；

所述根据所述HUD虚像上的n个参考点在车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

确定所述HUD虚像上的n个参考点中至少两个参考点在所述车体坐标系中的x坐标的平均值，所述x坐标为车的前进或后退方向；

确定眼盒的中心在所述车体坐标系中的x坐标；

将所述平均值与所述眼盒中心位置在所述车体坐标系中的x坐标的差值的绝对值，确定为所述虚像距。

5.如权利要求4所述的方法，其特征在于，所述成像参数还包括水平视场角；

所述根据所述HUD虚像上的n个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

根据所述n个参考点中位于同一水平方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的水平方向上的长度；

根据所述HUD虚像的水平方向上的长度和所述虚像距，确定所述水平视场角。

6.如权利要求4所述的方法，其特征在于，所述成像参数还包括垂直视场角；

所述根据所述HUD虚像上的n个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

根据所述n个参考点中位于同一垂直方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的垂直方向上的长度；

根据所述HUD虚像的垂直方向上的长度和所述虚像距，确定所述垂直视场角。

7.如权利要求4至6任一项所述的方法，其特征在于，所述成像参数包括中心位置；

所述根据所述HUD虚像上的n个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

将所述HUD虚像上的n个参考点中的中心参考点在所述车体坐标系中的坐标，确定为所述HUD虚像的中心位置。

8.如权利要求4至6任一项所述的方法，其特征在于，所述成像参数包括畸变率；

所述根据所述HUD虚像上的n个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

确定第一参考点的畸变率，所述第一参考点为所述HUD虚像上的n个参考点中的至少一个；

根据所述第一参考点的畸变率，确定所述HUD虚像的畸变率。

9.如权利要求8所述的方法，其特征在于，所述HUD虚像包括n个参考点，所述n为大于5的整数；

所述确定第一参考点的畸变率，包括：

确定所述第一参考点与中心参考点的之间的实际距离；

根据所述中心参考点以及所述中心参考点的周围的至少4个参考点，确定所述第一参考点的预测距离；

根据所述实际距离与所述预测距离，确定所述第一参考点的畸变率。

10.如权利要求2所述的方法，其特征在于，所述成像参数包括旋转变形；

所述根据所述HUD虚像上的n个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数，包括：

确定第二参考点在所述车体坐标系中的z坐标、所述第二参考点在所述车体坐标系中的y坐标、第三参考点在所述车体坐标系中的z坐标以及所述第三参考点在所述车体坐标系中的y坐标；其中，所述第二参考点与所述第三参考点为所述n个参考点中同一水平方向上的两个参考点；

根据所述第二参考点在所述车体坐标系中的z坐标、所述第二参考点在所述车体坐标系中的y坐标、所述第三参考点在所述车体坐标系中的z坐标以及所述第三参考点在所述车体坐标系中的y坐标，确定所述旋转变形。

11.如权利要求2所述的方法，其特征在于，所述根据所述第一图像和所述靶标在车体坐标系中的坐标，确定处于所述第一位置的拍摄装置的第一外参矩阵，包括：

确定所述第一图像上的各靶点的第一像素坐标；

根据所述各靶点的第一像素坐标、所述各靶点在所述车体坐标系中的坐标以及第三坐标转换关系，确定所述第一外参矩阵；所述第三坐标转换关系为所述各靶点的所述第一像素坐标与所述各靶点在所述车体坐标系中的坐标之间的关系；

所述根据所述第二图像和所述靶标在车体坐标系中的坐标，确定处于所述第二位置的拍摄装置的第二外参矩阵，包括：

确定所述第二图像上的所述各靶点的第二像素坐标；

根据所述各靶点的第二像素坐标、所述各靶点在所述车体坐标系中的坐标以及第四坐标转换关系，确定所述第二外参矩阵，所述第四坐标转换关系为所述各靶点的所述第二像素坐标与所述各靶点在所述车体坐标系中的坐标之间的关系。

12.一种图像标定装置，其特征在于，包括收发模块和处理模块：

所述收发模块，用于获取靶标的第一图像和抬头显示器HUD显示的HUD虚像的第三图像，所述第一图像为处于第一位置的拍摄装置拍摄所述靶标得到的，所述第三图像为处于第一位置的拍摄装置拍摄所述HUD虚像得到的；以及获取所述靶标的第二图像和所述HUD虚像的第四图像，所述第二图像为处于第二位置的拍摄装置拍摄所述靶标得到的，所述第四图像为处于第二位置的拍摄装置拍摄所述HUD虚像得到的；

所述处理模块，用于根据所述第一图像和所述靶标在车体坐标系中的坐标，确定处于所述第一位置的拍摄装置的第一外参矩阵；根据所述第二图像和所述靶标在车体坐标系中的坐标，确定处于所述第二位置的拍摄装置的第二外参矩阵；以及根据所述第一外参矩阵、所述第三图像、所述第二外参矩阵以及所述第四图像，确定所述HUD虚像在所述车体坐标系中的坐标；以及根据所述HUD虚像在所述车体坐标系中的坐标，确定所述HUD虚像的成像参数。

13.如权利要求12所述的装置，其特征在于，所述HUD虚像包括n个参考点，所述n为大于1的整数；

所述处理模块，具体用于：

分别确定所述第三图像上的n个参考点在第三像素坐标、以及所述n个参考点在所述第四图像上的第四像素坐标；

根据所述n个参考点的所述第三像素坐标以及所述第一外参矩阵，确定第一坐标转换关系；其中，所述第一坐标转换关系为n个参考点的所述第三像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系；

根据所述n个参考点的所述第四像素坐标以及所述第二外参矩阵，确定第二坐标转换关系；其中，所述第二坐标转换关系为所述n个参考点的所述第四像素坐标与所述n个参考点在所述车体坐标系中的坐标之间的关系；

根据所述第一坐标转换关系和所述第二坐标转换关系，确定所述HUD虚像上的n个参考点在所述车体坐标系中的坐标。

14.如权利要求12或13所述的装置，其特征在于，所述HUD虚像的成像参数包括以下任一项或任多项：

虚像距(VID)、水平视场角、垂直视场角、中心位置、畸变率或旋转变形。

15.如权利要求13所述的装置，其特征在于，所述成像参数包括虚像距；

所述处理模块，具体用于：

确定所述HUD虚像上的n个参考点中至少两个参考点在所述车体坐标系中的x坐标的平均值，所述x坐标为车的前进或后退方向；

确定眼盒的中心在所述车体坐标系中的x坐标；

将所述平均值与所述眼盒中心位置在所述车体坐标系中的x坐标的差值的绝对值，确定为所述虚像距。

16.如权利要求15所述的装置，其特征在于，所述成像参数还包括水平视场角；

所述处理模块，具体用于：

根据所述n个参考点中位于同一水平方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的水平方向上的长度；

根据所述HUD虚像的水平方向上的长度和所述虚像距，确定所述水平视场角。

17.如权利要求15所述的装置，其特征在于，所述成像参数还包括垂直视场角；

所述处理模块，具体用于：

根据所述n个参考点中位于同一垂直方向的至少两个参考点在所述车体坐标系中的坐标，确定所述HUD虚像的垂直方向上的长度；

根据所述HUD虚像的垂直方向上的长度和所述虚像距，确定所述垂直视场角。

18.如权利要求15至17任一项所述的装置，其特征在于，所述成像参数包括中心位置；

所述处理模块，具体用于：

将所述HUD虚像上的n个参考点中的中心参考点在所述车体坐标系中的坐标，确定为所述HUD虚像的中心位置。

19.如权利要求15至17任一项所述的装置，其特征在于，所述成像参数包括畸变率；

处理模块，具体用于：

确定第一参考点的畸变率，所述第一参考点为所述HUD虚像上的n个参考点中的至少一个；

根据所述第一参考点的畸变率，确定所述HUD虚像的畸变率。

20.如权利要求19所述的装置，其特征在于，所述HUD虚像包括n个参考点，所述n为大于5的整数；

所述处理模块，具体用于：

确定所述第一参考点与中心参考点的之间的实际距离；

根据所述中心参考点以及所述中心参考点的周围的至少4个参考点，确定所述第一参考点的预测距离；

根据所述实际距离与所述预测距离，确定所述第一参考点的畸变率。

21.如权利要求13所述的装置，其特征在于，所述成像参数包括旋转变形；

处理模块，具体用于：

确定第二参考点在所述车体坐标系中的z坐标、所述第二参考点在所述车体坐标系中的y坐标、第三参考点在所述车体坐标系中的z坐标以及所述第三参考点在所述车体坐标系中的y坐标；其中，所述第二参考点与所述第三参考点为所述n个参考点中同一水平方向上的两个参考点；

根据所述第二参考点在所述车体坐标系中的z坐标、所述第二参考点在所述车体坐标系中的y坐标、所述第三参考点在所述车体坐标系中的z坐标以及所述第三参考点在所述车体坐标系中的y坐标，确定所述旋转变形。

22.如权利要求13所述的装置，其特征在于，所述处理模块，具体用于：

确定所述第一图像上的各靶点的第一像素坐标；

根据所述各靶点的第一像素坐标、所述各靶点在所述车体坐标系中的坐标以及第三坐标转换关系，确定所述第一外参矩阵；所述第三坐标转换关系为所述各靶点的所述第一像素坐标与所述各靶点在所述车体坐标系中的坐标之间的关系；

所述处理模块，具体用于：

确定所述第二图像上的所述各靶点的第二像素坐标；

根据所述各靶点的第二像素坐标、所述各靶点在所述车体坐标系中的坐标以及第四坐标转换关系，确定所述第二外参矩阵，所述第四坐标转换关系为所述各靶点的所述第二像素坐标与所述各靶点在所述车体坐标系中的坐标之间的关系。

Images