CN114998157B - 图像处理方法、装置、抬头显示器及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、抬头显示器及存储介质，涉及车辆技术领域，可以实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正。该方法可以应用于抬头显示器，抬头显示器中的光学元件可以形成N组光路，用于将待显示图像投射在风挡玻璃的N个区域，该方法包括：获取N组目标畸变矫正数据；获取输出图像，并确定输出图像的N个输出分区；基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像；将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

Description

图像处理方法、装置、抬头显示器及存储介质

技术领域

本申请涉及车辆技术领域，尤其涉及一种图像处理方法、装置、抬头显示器及存储介质。

背景技术

随着增强现实（Augmented Reality，AR）技术与抬头显示（Head Up Display，HUD）技术的融合，抬头显示器在车辆中的应用越来越广泛。目前，基于AR技术的抬头显示器可以以车辆风挡玻璃作为显示屏，通过内部光学元件组成的不同光路，将车辆行驶过程中的各种行驶信息（比如，实时车速信息以及前方车辆的信息等）形成不同距离的虚像进行呈现。

然而，由于风挡玻璃曲率不均衡等因素的存在，会导致投影在风挡玻璃上的不同距离的虚像存在不同畸变，影响用户的视觉体验。所以，如何对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，成为亟待解决的技术问题。

发明内容

本申请提供一种图像处理方法、装置、抬头显示器及存储介质，该方案可以实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，从而可以改善用户的视觉体验。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种图像处理方法，该图像处理方法可以应用于抬头显示器，抬头显示器中的光学元件可以形成N组光路，该N组光路用于将待显示图像投射在风挡玻璃的N个区域，该图像处理方法可以包括：获取N组目标畸变矫正数据；一组目标畸变矫正数据用于表征一组光路在投射待显示图像时产生的畸变程度；N为大于1的正整数；获取输出图像，并确定输出图像的N个输出分区；一个输出分区对应一组光路；基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像；将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

本申请提供的技术方案中，可以先获取到N组目标畸变矫正数据，并得到输出图像的N个输出分区。然后，可以基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理得到N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像。之后，可以将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。由于一组目标畸变矫正数据可以用于表征一组光路在投射待显示图像时产生的畸变程度，一个输出分区对应一组光路，所以采用N组目标畸变矫正数据对N个输出分区分别进行畸变矫正处理得到N个预畸变分区，再将对N个预畸变分区进行合并处理得到的预畸变图像作为当前的待显示图像进行投射，也即是先将输出图像调整为反向畸变图像再对反向畸变图像进行投射，则可以实现对畸变的对冲，从而可以削弱投射过程中产生的畸变。可以看出，本申请提供的技术方案中，采用不同的目标畸变矫正数据对不同光路在投射待显示图像时产生的畸变进行矫正，可以实现对待显示图像的分区矫正。因此，本申请可以实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，从而可以改善用户的视觉体验。

可选的，在一种可能的实施方式中，N组目标畸变矫正数据可以为N个目标畸变矫正矩阵，上述“基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区”可以包括：

以第一输出分区的畸变矫正基准点为坐标原点，确定第一输出分区的像素矩阵；第一输出分区为N个输出分区中的任一个输出分区；

基于第一目标畸变矫正矩阵对第一输出分区的像素矩阵进行畸变矫正处理，确定出第一输出分区对应的第一预畸变分区；第一目标畸变矫正矩阵为N个目标畸变矫正矩阵中，与第一光路对应的目标畸变矫正矩阵；第一光路为N组光路中，与第一输出分区对应的光路。

可选的，在另一种可能的实施方式中，第一输出分区的畸变矫正基准点位于第一输出分区的几何中心。

可选的，在另一种可能的实施方式中，上述“获取N组目标畸变矫正数据”可以包括：

基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据；畸变矫正数据库中包括至少一个畸变矫正数据集合，一个畸变矫正数据集合对应一个预设眼点位置，一个畸变矫正数据集合中包括N组畸变矫正数据；

基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中，上述“基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据”之前，还可以包括：

获取模板图像的N个投影图像，并确定模板图像的N个模板分区；N个投影图像为，在通过N组光路将模板图像投射在风挡玻璃的N个区域时，基于目标眼点位置获取的模板图像的投影图像；一个模板分区对应一组光路；

基于N个模板分区的N个像素矩阵和N个投影图像的N个像素矩阵，确定目标眼点位置对应的N组畸变矫正数据；

将目标眼点位置对应的N组畸变矫正数据确定为第一畸变矫正数据集合，并将目标眼点位置和第一畸变矫正数据集合的对应关系存入畸变矫正数据库。

可选的，在另一种可能的实施方式中，上述“基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据”可以包括：

将目标眼点位置对应的N组畸变矫正数据确定为N组目标畸变矫正数据；

或者，基于目标眼点位置与当前眼点位置的距离差，以及目标眼点位置对应的N组畸变矫正数据，采用插值算法确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中， N组光路包括第一光路和第二光路；抬头显示器中的光学元件包括第一反射镜、第二反射镜和第三反射镜，第一反射镜和第三反射镜形成第一光路，第一反射镜、第二反射镜和第三反射镜形成第二光路。

第二方面，本申请提供一种图像处理装置，应用于抬头显示器，抬头显示器中的光学元件形成N组光路，N组光路用于将待显示图像投射在风挡玻璃的N个区域，该图像处理装置可以包括：获取模块和处理模块；

获取模块，用于获取N组目标畸变矫正数据；一组目标畸变矫正数据用于表征一组光路在投射待显示图像时产生的畸变程度；N为大于1的正整数；

获取模块，还用于获取输出图像，并确定输出图像的N个输出分区；一个输出分区对应一组光路；

处理模块，用于基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像；

处理模块，还用于将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

可选的，在一种可能的实施方式中，N组目标畸变矫正数据可以为N个目标畸变矫正矩阵，处理模块具体用于：

以第一输出分区的畸变矫正基准点为坐标原点，确定第一输出分区的像素矩阵；第一输出分区为N个输出分区中的任一个输出分区；

基于第一目标畸变矫正矩阵对第一输出分区的像素矩阵进行畸变矫正处理，确定出第一输出分区对应的第一预畸变分区；第一目标畸变矫正矩阵为N个目标畸变矫正矩阵中，与第一光路对应的目标畸变矫正矩阵；第一光路为N组光路中，与第一输出分区对应的光路。

可选的，在另一种可能的实施方式中，第一输出分区的畸变矫正基准点位于第一输出分区的几何中心。

可选的，在另一种可能的实施方式中，获取模块具体用于：

基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据；畸变矫正数据库中包括至少一个畸变矫正数据集合，一个畸变矫正数据集合对应一个预设眼点位置，一个畸变矫正数据集合中包括N组畸变矫正数据；

基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中，图像处理装置还可以包括存储模块；

获取模块还用于：在基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据之前，获取模板图像的N个投影图像，并确定模板图像的N个模板分区；N个投影图像为，在通过N组光路将模板图像投射在风挡玻璃的N个区域时，基于目标眼点位置获取的模板图像的投影图像；一个模板分区对应一组光路；

处理模块，还用于基于N个模板分区的N个像素矩阵和N个投影图像的N个像素矩阵，确定目标眼点位置对应的N组畸变矫正数据；

存储模块，用于将目标眼点位置对应的N组畸变矫正数据确定为第一畸变矫正数据集合，并将目标眼点位置和第一畸变矫正数据集合的对应关系存入畸变矫正数据库。

可选的，在另一种可能的实施方式中，获取模块具体还用于：

将目标眼点位置对应的N组畸变矫正数据确定为N组目标畸变矫正数据；

或者，基于目标眼点位置与当前眼点位置的距离差，以及目标眼点位置对应的N组畸变矫正数据，采用插值算法确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中，N组光路包括第一光路和第二光路；抬头显示器中的光学元件包括第一反射镜、第二反射镜和第三反射镜，第一反射镜和第三反射镜形成第一光路，第一反射镜、第二反射镜和第三反射镜形成第二光路。

第三方面，本申请提供一种抬头显示器，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当抬头显示器运行时，处理器执行存储器存储的计算机执行指令，以使抬头显示器执行如上述第一方面提供的图像处理方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的图像处理方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的图像处理方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与抬头显示器的处理器封装在一起的，也可以与抬头显示器的处理器单独封装，本申请对此不做限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，对于上述涉及到的设备或功能模块的名称不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，均属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种图像处理方法的流程示意图；

图2为本申请实施例提供的一种车辆的部分结构示意图；

图3为本申请实施例提供的一种抬头显示器的结构示意图；

图4为本申请实施例提供的一种输出图像的示意图；

图5为本申请实施例提供的一种预畸变图像的示意图；

图6为本申请实施例提供的另一种图像处理方法的流程示意图；

图7为本申请实施例提供的一种图像处理装置的结构示意图；

图8为本申请实施例提供的一种抬头显示器的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的图像处理方法、装置、设备及存储介质进行详细地描述。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

另外，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

现有的，由于风挡玻璃曲率不均衡等因素的存在，会导致投影在风挡玻璃上的不同距离的虚像存在不同畸变，影响用户的视觉体验。所以，如何对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，成为亟待解决的技术问题。

针对上述现有技术中存在的问题，本申请实施例提供了一种图像处理方法，该方法可以采用N组目标畸变矫正数据对N个输出分区分别进行畸变矫正处理，得到N个预畸变分区，再将对N个预畸变分区进行合并处理得到的预畸变图像作为当前的待显示图像进行投射，也即是先将输出图像调整为反向畸变图像再对反向畸变图像进行投射，则可以实现对畸变的对冲，从而可以削弱投射过程中产生的畸变。因此，本申请实施例可以实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，从而可以改善用户的视觉体验。

本申请实施例提供的图像处理方法可以由本申请实施例提供的图像处理装置执行，该图像处理装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的抬头显示器中。

下面结合附图对本申请实施例提供的图像处理方法进行说明。

参照图1，本申请实施例提供的图像处理方法包括S101-S104：

S101、获取N组目标畸变矫正数据。

其中，一组目标畸变矫正数据可以用于表征一组光路在投射待显示图像时产生的畸变程度；N为大于1的正整数。

本申请实施例提供的图像处理方法可以应用于抬头显示器中，抬头显示器中可以包括多个光学元件，多个光学元件可以形成N组光路，这N组光路可以用于将待显示图像投射在风挡玻璃的N个区域。

可选的，本申请实施例中N可以为2，N组光路可以包括第一光路和第二光路；抬头显示器中的光学元件包括第一反射镜、第二反射镜和第三反射镜，第一反射镜和第三反射镜形成第一光路，第一反射镜、第二反射镜和第三反射镜形成第二光路。

示例性的，参照图2，提供了一种车辆的部分结构示意图。如图2所示，车辆中可以设有抬头显示器，抬头显示器可以包括图像生成单元（Picture Generation Unit，PGU）、第一反射镜、第二反射镜和第三反射镜。为了更为清晰的描述抬头显示器内部的光路设计原理，本申请实施例在图3中提供了图2中的抬头显示器的放大示意图。结合图2和图3所示，PGU可以将待显示图像的一部分图像（比如，可以是待显示图像的左半区图像）转化为第一光信号，经第一光路后投射在风挡玻璃上形成虚像一。同时，PGU可以将待显示图像的另一部分图像（比如，可以是待显示图像的右半区图像）转化为第二光信号，经第二光路后投射在风挡玻璃上形成虚像二。具体的，第一反射镜具有分光作用，在第一光路中，第一光信号从PGU发射至第一反射镜，先经过第一反射镜反射至第三反射镜上，再经过第三反射镜反射至风挡玻璃上。在第二光路中，第二光信号从PGU发射至第一反射镜，先经过第一反射镜透射至第二反射镜上，再经过第二反射镜反射至第一反射镜上，然后经过第一反射镜透射至第三反射镜上，之后经过第三反射镜反射至风挡玻璃上。当驾驶员的眼点位置如图2所示时，可以同时观测到虚像一和虚像二。虚像一为近景图像，一般用于显示车速等信息。虚像二为远景图像，一般用于显示车道线及导航指示箭头等信息。

可以看出，虚像一和虚像二对应的光路不同，成像距离不同，所以虚像一和虚像二的畸变不同。为此，本申请实施例中，可以分别获取到虚像一对应的第一光路和虚像二对应的第二光路的两组目标畸变矫正数据，基于这两组目标畸变矫正数据分别对第一光路和第二光路产生的畸变进行矫正。

可选的，本申请实施例可以通过如下方式获取N组目标畸变矫正数据：基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据；之后，基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据。

其中，畸变矫正数据库中包括至少一个畸变矫正数据集合，一个畸变矫正数据集合对应一个预设眼点位置，一个畸变矫正数据集合中包括N组畸变矫正数据。至少一个预设眼点位置可以是事先确定的多个眼点位置，当前眼点位置为车辆行驶过程中驾驶员的实际眼点位置。

不同身高的驾驶员的眼点位置的水平高度可能不同，所以不同的驾驶员观测到的图像的畸变程度也不同。若采用同一个预设眼点位置对应的N组畸变矫正数据进行畸变矫正，会影响畸变矫正效果。所以，本申请实施例中，可以事先得到多个预设眼点位置对应的多个畸变矫正数据集合，在实际应用中，根据驾驶员的当前眼点位置从多个预设眼点位置中确定出与当前眼点位置对应的目标眼点位置，然后根据目标眼点位置对应的畸变矫正数据集合进行畸变矫正。这样，可以减少眼点位置变化对畸变矫正效果的影响。

进一步可选的，本申请实施例中，可以将眼盒区域划分为多个眼盒分区，在每个眼盒分区中确定一个预设眼点位置，比如，可以将每个眼盒分区的中心位置确定为该眼盒分区的预设眼点位置。

其中，眼盒区域是抬头显示器的一个显示参数，该显示参数规定了一个眼点的有效区域，这个有效区域就是眼盒区域。当驾驶员的眼点位置在这个有效区域内移动时，驾驶员才可以看到风挡玻璃上的虚像。

示例性的，可以将眼盒区域划分为上眼盒、下眼盒和中心眼盒三个眼盒分区，对应的可以确定出三个预设眼点位置。或者，还可以将眼盒区域划分为三行两列的六个眼盒分区，对应的可以确定出六个预设眼点位置。需要说明的是，当按照纵向划分眼盒分区（比如按照纵向将眼盒区域划分为上眼盒、下眼盒和中心眼盒三个眼盒分区）时，当前眼点位置与抬头显示器的第三反射镜的旋转角度可以是一一对应的。而按照横向划分眼盒分区时，需要结合追踪模块来追踪当前眼点位置，比如，在将眼盒区域划分为三行两列的六个眼盒分区时，需要结合追踪模块来追踪当前眼点位置。

在一种可能的实现方式中，可以在风挡玻璃与车顶的交界位置处设置一个采集设备，用于追踪驾驶员的当前眼点位置，从而可以根据追踪到的当前眼点位置确定当前眼点位置在眼盒区域中所属的眼盒分区，并将该眼盒分区对应的预设眼点位置确定为目标眼点位置。

在另一种可能的实现方式中，抬头显示器可以支持驾驶员对光学元件的角度参数进行调整。驾驶员可以通过对光学元件的参数进行调整，将在风挡玻璃上投射的多个虚像的中心位置与当前眼点位置大概调整至同一水平高度。所以，本申请实施例中还可以通过对光学元件的参数进行计算确定出当前眼点位置，并根据当前眼点位置与各个预设眼点位置的距离确定出目标眼点位置。示例性的，在图2或图3所示的抬头显示器中，可以支持驾驶员对第三反射镜进行旋转调节，以调整投射在风挡玻璃上的虚像一和虚像二的高度。

可选的，基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据可以包括：将目标眼点位置对应的N组畸变矫正数据确定为N组目标畸变矫正数据；或者，基于目标眼点位置与当前眼点位置的距离差，以及目标眼点位置对应的N组畸变矫正数据，采用插值算法确定N组目标畸变矫正数据。

本申请实施例中，可以直接将目标眼点位置对应的N组畸变矫正数据确定为N组目标畸变矫正数据。为了进一步提高畸变矫正的准确度，改善畸变矫正效果，本申请实施例还可以采用插值算法确定N组目标畸变矫正数据。

示例性的，对于N组目标畸变矫正数据中的每个畸变矫正数据，可以根据目标眼点位置与当前眼点位置的距离差，采用插值算法计算出该畸变矫正数据插值计算后的对应数据，最终可以得到N组目标畸变矫正数据。

可选的，本申请实施例中，可以事先通过在不同预设眼点位置进行光学仿真实验，通过追踪光信号在N组光路中的走向得到不同预设眼点位置对应的畸变矫正数据集合，从而得到畸变矫正数据库。

为了进一步提高得到的畸变矫正数据库中数据的准确性，从而进一步改善畸变矫正效果。可选的，在基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据之前，本申请实施例提供的图像处理方法还可以包括：获取模板图像的N个投影图像，并确定模板图像的N个模板分区；基于N个模板分区的N个像素矩阵和N个投影图像的N个像素矩阵，确定目标眼点位置对应的N组畸变矫正数据；将目标眼点位置对应的N组畸变矫正数据确定为第一畸变矫正数据集合，并将目标眼点位置和第一畸变矫正数据集合的对应关系存入畸变矫正数据库。

其中，N个投影图像为，在通过N组光路将模板图像投射在风挡玻璃的N个区域时，基于目标眼点位置获取的模板图像的投影图像；一个模板分区对应一组光路。模板图像可以是事先确定的样本图像，比如，可以采用点阵图像作为模板图像。

示例性的，以图2或图3中的抬头显示器为例，本申请实施例可以基于第一光路和第二光路的光路走向，确定模板图像的两个模板分区，包括第一模板分区和第二模板分区。将第一模板分区和第二模板分区输入PGU，PGU对第一模板分区和第二模板分区进行光学处理后，第一模板分区会经第一光路投射在风挡玻璃上形成虚像一，第二模板分区会经第二光路投射在风挡玻璃上形成虚像二。然后，可以通过固定在目标眼点位置的采集设备采集虚像一和虚像二，采集到的虚像一和虚像二即为模板图像的两个投影图像。之后，可以根据第一模板分区的像素矩阵和虚像一的像素矩阵，确定出第一光路对应的一组畸变矫正数据；并且可以根据第二模板分区的像素矩阵和虚像二的像素矩阵，确定出第二光路对应的一组畸变矫正数据。比如，若第一模板分区的像素矩阵为矩阵A，虚像一的像素矩阵为矩阵B，则矩阵A和矩阵B之间存在如下转换关系：A=C×B，通过矩阵运算可以得到矩阵C中的各个元素，矩阵C中的各个元素即可以作为第一光路对应的一组畸变矫正数据。

类似的，本申请实施例可以事先在每个预设眼点位置对模板图像进行投射，并通过采集设备采集对应的投影图像，从而可以得到多个预设眼点位置对应的多个畸变矫正数据集合。

S102、获取输出图像，并确定输出图像的N个输出分区。

其中，输出图像可以是PGU根据车辆的当前车速以及周围环境等信息实时输出的图像。本申请实施例可以基于N组光路的光路走向，确定输出图像的N个输出分区，一个输出分区对应一组光路。

S103、基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像。

本申请实施例可以通过较为简便的矩阵运算实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正。可选的，N组目标畸变矫正数据可以为N个目标畸变矫正矩阵。本申请实施例中，可以以第一输出分区的畸变矫正基准点为坐标原点，确定第一输出分区的像素矩阵；基于第一目标畸变矫正矩阵对第一输出分区的像素矩阵进行畸变矫正处理，确定出第一输出分区对应的第一预畸变分区。

其中，第一输出分区为N个输出分区中的任一个输出分区，第一目标畸变矫正矩阵为N个目标畸变矫正矩阵中，与第一光路对应的目标畸变矫正矩阵；第一光路为N组光路中，与第一输出分区对应的光路。

示例性的，若第一输出分区中包括有m行n列个像素点，则第一输出分区的像素矩阵可以表示为表达式（1）中的矩阵I：

（1）

若第一目标畸变矫正矩阵为矩阵C，则可以根据D=C×I对第一输出分区的像素矩阵I进行矫正处理，得到第一预畸变分区。其中，矩阵D表示第一预畸变分区的像素矩阵。

可选的，第一输出分区的畸变矫正基准点位于第一输出分区的几何中心。

由于风挡玻璃曲率不均衡等因素的存在，同一成像区的不同位置处的畸变程度可能不同。为了尽可能的降低成像区位置的不同对畸变矫正效果的影响，本申请实施例中，在选择畸变矫正基准点时，可以将各个输出分区的几何中心确定为该输出分区的畸变矫正基准点。

示例性的，如图4所示，畸变矫正基准点A为输出分区A的几何中心，则可以将畸变矫正基准点A确定为输出分区A的畸变矫正基准点。畸变矫正基准点B为输出分区B的几何中心，则可以将畸变矫正基准点B确定为输出分区B的畸变矫正基准点。

S104、将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

示例性的，如图4所示，提供了一种输出图像的示意图。以图2或图3所示的抬头显示器为例，可以将输出图像划分为如图4所示的输出分区A和输出分区B，然后可以以输出分区A的畸变矫正基准点A为坐标原点，确定输出分区A的像素矩阵，以输出分区B的畸变矫正基准点B为坐标原点，确定输出分区B的像素矩阵。之后，可以以输出分区A对应的目标畸变矫正矩阵对输出分区A的像素矩阵进行畸变矫正处理，确定出输出分区A对应的预畸变分区。并且，可以以输出分区B对应的目标畸变矫正矩阵对输出分区B的像素矩阵进行畸变矫正处理，确定出输出分区B对应的预畸变分区。之后，可以对输出分区A对应的预畸变分区和输出分区B对应的预畸变分区进行合并处理，得到图5所示的预畸变图像。从图5中可以看出，预畸变图像中各点的位置相对于图4发生了变化。若通过N组光路对预畸变图像进行投射，由于又产生了一次畸变，所以可以实现对畸变的对冲，那么驾驶员观测到的图像就是图4所示的输出图像。

综合以上描述，本申请实施例提供的图像处理方法中，可以先获取到N组目标畸变矫正数据，并得到输出图像的N个输出分区。然后，可以基于N组目标畸变矫正数据对N个输出分区分别进行畸变矫正处理得到N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像。之后，可以将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。由于一组目标畸变矫正数据可以用于表征一组光路在投射待显示图像时产生的畸变程度，一个输出分区对应一组光路，所以采用N组目标畸变矫正数据对N个输出分区进行畸变矫正处理得到N个预畸变分区，再将对N个预畸变分区进行合并处理得到的预畸变图像作为当前的待显示图像进行投射，也即是先将输出图像调整为反向畸变图像，再对反向畸变图像进行投射，则可以实现对畸变的对冲，从而可以削弱投射过程中产生的畸变。可以看出，本申请实施例采用不同的目标畸变矫正数据对不同光路在投射待显示图像时产生的畸变进行矫正，可以实现对待显示图像的分区矫正。因此，本申请实施例可以实现对投影在风挡玻璃上的不同距离的虚像的不同畸变进行矫正，从而可以改善用户的视觉体验。

可选的，如图6所示，本申请实施例还提供了一种图像处理方法，该方法可以包括S601-S606：

S601、基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据。

S602、基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据。

S603、获取输出图像，并确定输出图像的N个输出分区。

S604、以N个输出分区的畸变矫正基准点为坐标原点，确定N个输出分区的像素矩阵。

S605、基于N个目标畸变矫正矩阵对N个输出分区的像素矩阵进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像。

S606、将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

如图7所示，本申请实施例还提供了一种图像处理装置，该装置可以包括：获取模块11和处理模块12。

其中，获取模块11执行上述方法实施例中的S101和S102，处理模块12执行上述方法实施例中的S103和S104。

获取模块11，用于获取N组目标畸变矫正数据；一组目标畸变矫正数据用于表征一组光路在投射待显示图像时产生的畸变程度；N为大于1的正整数；

获取模块11，还用于获取输出图像，并确定输出图像的N个输出分区；一个输出分区对应一组光路；

处理模块12，用于基于N组目标畸变矫正数据对N个输出分区进行畸变矫正处理，确定出N个输出分区对应的N个预畸变分区，并对N个预畸变分区进行合并处理，得到输出图像的预畸变图像；

处理模块12，还用于将预畸变图像确定为当前的待显示图像，并通过N组光路对当前的待显示图像进行投射。

可选的，在一种可能的实施方式中，N组目标畸变矫正数据可以为N个目标畸变矫正矩阵，处理模块12具体用于：

以第一输出分区的畸变矫正基准点为坐标原点，确定第一输出分区的像素矩阵；第一输出分区为N个输出分区中的任一个输出分区；

基于第一目标畸变矫正矩阵对第一输出分区的像素矩阵进行畸变矫正处理，确定出第一输出分区对应的第一预畸变分区；第一目标畸变矫正矩阵为N个目标畸变矫正矩阵中，与第一光路对应的目标畸变矫正矩阵；第一光路为N组光路中，与第一输出分区对应的光路。

可选的，在另一种可能的实施方式中，第一输出分区的畸变矫正基准点位于第一输出分区的几何中心。

可选的，在另一种可能的实施方式中，获取模块11具体用于：

基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据；畸变矫正数据库中包括至少一个畸变矫正数据集合，一个畸变矫正数据集合对应一个预设眼点位置，一个畸变矫正数据集合中包括N组畸变矫正数据；

基于目标眼点位置对应的N组畸变矫正数据，确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中，图像处理装置还可以包括存储模块；

获取模块11还用于：在基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取目标眼点位置对应的N组畸变矫正数据之前，获取模板图像的N个投影图像，并确定模板图像的N个模板分区；N个投影图像为，在通过N组光路将模板图像投射在风挡玻璃的N个区域时，基于目标眼点位置获取的模板图像的投影图像；一个模板分区对应一组光路；

处理模块12，还用于基于N个模板分区的N个像素矩阵和N个投影图像的N个像素矩阵，确定目标眼点位置对应的N组畸变矫正数据；

存储模块，用于将目标眼点位置对应的N组畸变矫正数据确定为第一畸变矫正数据集合，并将目标眼点位置和第一畸变矫正数据集合的对应关系存入畸变矫正数据库。

可选的，在另一种可能的实施方式中，获取模块11具体还用于：

将目标眼点位置对应的N组畸变矫正数据确定为N组目标畸变矫正数据；

或者，基于目标眼点位置与当前眼点位置的距离差，以及目标眼点位置对应的N组畸变矫正数据，采用插值算法确定N组目标畸变矫正数据。

可选的，在另一种可能的实施方式中，N组光路包括第一光路和第二光路；抬头显示器中的光学元件包括第一反射镜、第二反射镜和第三反射镜，第一反射镜和第三反射镜形成第一光路，第一反射镜、第二反射镜和第三反射镜形成第二光路。

可选的，存储模块还可以用于存储该图像处理装置的程序代码等。

如图8所示，本申请实施例还提供一种抬头显示器，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当抬头显示器运行时，处理器42执行存储器41存储的计算机执行指令，以使抬头显示器执行如上述实施例提供的图像处理方法。

在具体的实现中，作为一种实施例，处理器42可以包括一个或多个中央处理器（central processing unit，CPU），例如图8中所示的CPU0和CPU1。且作为一种实施例，抬头显示器可以包括多个处理器42，例如图8中所示的两个处理器42。这些处理器42中的每一个CPU可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

存储器41可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，抬头显示器的各种功能。

通信接口44，使用任何收发器一类的设备，用于与其他设备或通信网络通信，如控制***、无线接入网（radio access network，RAN），无线局域网（wireless local areanetworks，WLAN）等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构（industry standard architecture，ISA）总线、外部设备互连（peripheral component interconnect，PCI）总线或扩展工业标准体系结构（extended industry standard architecture，EISA）总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图7，图像处理装置中的处理模块实现的功能与图8中的处理器实现的功能相同，图像处理装置中的获取模块实现的功能与图8中接收单元实现的功能相同。当图像处理装置包括有存储模块时，存储模块实现的功能与图8中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的图像处理方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路（application specificintegrated circuit，ASIC）中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于抬头显示器，所述抬头显示器中的光学元件形成N组光路，所述N组光路用于将待显示图像投射在风挡玻璃的N个区域，所述风挡玻璃的曲率分布不均衡，所述图像处理方法包括：

获取N组目标畸变矫正数据；一组目标畸变矫正数据用于表征一组光路在投射所述待显示图像时产生的畸变程度；N为大于1的正整数；不同光路将所述待显示图像投射在所述风挡玻璃时，会形成不同距离的虚像，且不同距离的虚像的畸变程度不同；

获取输出图像，并确定所述输出图像的N个输出分区；一个输出分区对应一组光路；

基于所述N组目标畸变矫正数据对所述N个输出分区进行畸变矫正处理，确定出所述N个输出分区对应的N个预畸变分区，并对所述N个预畸变分区进行合并处理，得到所述输出图像的预畸变图像；

将所述预畸变图像确定为当前的所述待显示图像，并通过所述N组光路对当前的所述待显示图像进行投射。

2.根据权利要求1所述的图像处理方法，其特征在于，所述N组目标畸变矫正数据为N个目标畸变矫正矩阵，所述基于所述N组目标畸变矫正数据对所述N个输出分区进行畸变矫正处理，确定出所述N个输出分区对应的N个预畸变分区，包括：

以第一输出分区的畸变矫正基准点为坐标原点，确定所述第一输出分区的像素矩阵；所述第一输出分区为所述N个输出分区中的任一个输出分区；

基于第一目标畸变矫正矩阵对所述第一输出分区的像素矩阵进行畸变矫正处理，确定出所述第一输出分区对应的第一预畸变分区；所述第一目标畸变矫正矩阵为所述N个目标畸变矫正矩阵中，与第一光路对应的目标畸变矫正矩阵；所述第一光路为所述N组光路中，与所述第一输出分区对应的光路。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第一输出分区的畸变矫正基准点位于所述第一输出分区的几何中心。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取N组目标畸变矫正数据，包括：

基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取所述目标眼点位置对应的N组畸变矫正数据；所述畸变矫正数据库中包括至少一个畸变矫正数据集合，一个畸变矫正数据集合对应一个预设眼点位置，一个畸变矫正数据集合中包括N组畸变矫正数据；

基于所述目标眼点位置对应的N组畸变矫正数据，确定所述N组目标畸变矫正数据。

5.根据权利要求4所述的图像处理方法，其特征在于，所述基于当前眼点位置，从至少一个预设眼点位置中确定出目标眼点位置，并从畸变矫正数据库中获取所述目标眼点位置对应的N组畸变矫正数据之前，所述方法还包括：

获取模板图像的N个投影图像，并确定所述模板图像的N个模板分区；所述N个投影图像为，在通过所述N组光路将所述模板图像投射在所述风挡玻璃的N个区域时，基于所述目标眼点位置获取的所述模板图像的投影图像；一个模板分区对应一组光路；

基于所述N个模板分区的N个像素矩阵和所述N个投影图像的N个像素矩阵，确定所述目标眼点位置对应的N组畸变矫正数据；

将所述目标眼点位置对应的N组畸变矫正数据确定为第一畸变矫正数据集合，并将所述目标眼点位置和所述第一畸变矫正数据集合的对应关系存入所述畸变矫正数据库。

6.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述目标眼点位置对应的N组畸变矫正数据，确定所述N组目标畸变矫正数据，包括：

将所述目标眼点位置对应的N组畸变矫正数据确定为所述N组目标畸变矫正数据；

或者，基于所述目标眼点位置与所述当前眼点位置的距离差，以及所述目标眼点位置对应的N组畸变矫正数据，采用插值算法确定所述N组目标畸变矫正数据。

7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述N组光路包括第一光路和第二光路；所述抬头显示器中的光学元件包括第一反射镜、第二反射镜和第三反射镜，所述第一反射镜和所述第三反射镜形成所述第一光路，所述第一反射镜、所述第二反射镜和所述第三反射镜形成所述第二光路。

8.一种图像处理装置，其特征在于，应用于抬头显示器，所述抬头显示器中的光学元件形成N组光路，所述N组光路用于将待显示图像投射在风挡玻璃的N个区域，所述风挡玻璃的曲率分布不均衡，所述图像处理装置包括：

获取模块，用于获取N组目标畸变矫正数据；一组目标畸变矫正数据用于表征一组光路在投射所述待显示图像时产生的畸变程度；N为大于1的正整数；不同光路将所述待显示图像投射在所述风挡玻璃时，会形成不同距离的虚像，且不同距离的虚像的畸变程度不同；

所述获取模块，还用于获取输出图像，并确定所述输出图像的N个输出分区；一个输出分区对应一组光路；

处理模块，用于基于所述N组目标畸变矫正数据对所述N个输出分区进行畸变矫正处理，确定出所述N个输出分区对应的N个预畸变分区，并对所述N个预畸变分区进行合并处理，得到所述输出图像的预畸变图像；

所述处理模块，还用于将所述预畸变图像确定为当前的所述待显示图像，并通过所述N组光路对当前的所述待显示图像进行投射。

9.一种抬头显示器，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述抬头显示器运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述抬头显示器执行如权利要求1-7任意一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-7任意一项所述的图像处理方法。

Images