CN115866218B - 一种场景图像融合的车载ar-hud亮度自适应调节方法 - Google Patents

Abstract

本发明涉及一种场景图像融合的车载AR‑HUD亮度自适应调节方法，属于自动驾驶领域。本发明依据视野前方的实时场景影像，对AR‑HUD的显示亮度进行实时调节，能够有效提高驾驶员的视觉舒适度，有利于安全驾驶。本发明采用多层图像融合的方式，实现实时投影影像的更新，保证了投影图像的实时性和有效性。本发明采用一种基于高斯和拉普拉斯金字塔融合机制，实现场景图像与原始虚拟图像实时融合，进行获得修正后的虚拟图像，保证了图像显示的舒适性和协调性。本发明采用基于局部场景信息与原始图像的融合，保证图像亮度的均匀分布，在保证分辨率的前提下，实现了亮度分布的协调性。

Description

一种场景图像融合的车载AR-HUD亮度自适应调节方法

技术领域

本发明属于自动驾驶领域，涉及一种场景图像融合的车载AR-HUD亮度自适应调节方法。

背景技术

近几年随着AR(Augmented Reality增强现实技术)技术的发展，由汽车HUD基础上升级而来的AR-HUD技术更使汽车HUD如虎添翼。AR(Augmented Reality增强现实技术，简称AR)，它是基于现实场景实时叠加数字模型，等于在实景上加标注，增强了驾驶员对车辆前方视野环境及车辆状态的实时感知。

然而，由于车辆在道路行驶的过程中，前方路况信息会发生实时变化，颠簸的路况导致车辆不同程度的抖动，车辆前方的视野亮度也会因天气阴晴、昼夜变化、进出隧道等实时环境发生变化。因此，不协调的AR-HUD亮度显示功能将严重影响安全驾驶，AR-HUD显示亮度的自适应实时更新有利于驾驶员在驾驶过程中的舒适性体验，保障安全驾驶。

专利“车载AR-HUD亮度自适应调节的防抖方法”是依据车辆行驶过程中每个周期内所有时间点的平均亮度值更新AR-HUD的显示亮度；

专利“一种基于视觉的AR-HUD亮度自适应调节方法”是基于场景图像区域中各自对应的平均亮度值更新AR-HUD的显示亮度。

以上专利均是依据场景图像(或局部区域)的平均亮度值确定AR-HUD的显示亮度，导致AR-HUD的显示亮度与场景图像亮度之间缺乏协调性，容易造成驾驶员视觉不适，进而造成视觉疲劳，不利于安全驾驶。

为了解决上述问题，提出一种场景图象融合的车载AR-HUD亮度自适应调节方法。

发明内容

有鉴于此，本发明的目的在于提供一种场景图像融合的车载AR-HUD亮度自适应调节方法。

为达到上述目的，本发明提供如下技术方案：

一种场景图像融合的车载AR-HUD亮度自适应调节方法，该方法包括以下步骤：

S1：获取数据；

1)获取驾驶员前方第i个时间点的视野场景图像i∈{1,2,…}；

2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W)；

3)获取投影机第i个时间点的原始虚拟图像

4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r；

S2：获取投影区域的视野场景子图像；

依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W)，获得投影区域对应的视野场景子图像P′_i∈R^L*W；

S3：获取预投影到投影区域的虚拟图像；

依据原始虚拟图像和缩放比例r，获得投影区域对应的预投影虚拟图像

S4：视野场景子图像与预投影虚拟图像的自适应融合

依据视野场景子图像P′_i∈R^L*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合，具体公式如下：

其中，Fus(·,·)表示场景图像与虚拟图像的融合函数，P_i ^fus表示第i个时间点融合后的图像；

针对以上图像融合问题，采用高斯和拉普拉斯金字塔融合机制，具体过程如下：

对于图像首先进行下采样处理，以获取对应图像的高斯金字塔：

其中，F_sub()表示下采样函数，主要实现原始图像尺寸的缩小；*表示卷积操作；G_σ表示标准差为σ的二维高斯核，定义为：

针对以上获得的下采样图像集{P¹,P²,…,P^m}，m表示下采样层数；

依据对应图像的下采样图像集，进行上采用处理，以获取对应图像的拉普拉斯金字塔：

其中，F_up(.)表示上采样函数，将图像尺寸增加一倍；

依据公式(2-4)，分别获得图像P′_i和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像：

通过一下公式获得不同层级的融合图像

令即为视野场景子图像P_i′∈R^L*W和预投影虚拟图像/>的融合图像信息；

综上所属，通过以上公式(1-6)，实现视野场景子图像P′_i和预投影虚拟图像的融合图像P_fi；

S5：预投影虚拟图像的修正；

依据以上获得的视野场景子图像P′_i和对应融合图像P_fi，获得修正后的预投影虚拟图像：

S6：修正预投影虚拟图像的缩放处理；

通过图像缩放函数，将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像：/>

S7：将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。

可选的，将获得投影区域对应的预投影虚拟图像以及图像尺寸增加一倍采用线性插值方法。

本发明的有益效果在于：

1、本发明依据视野前方的实时场景影像，对AR-HUD的显示亮度进行实时调节，能够有效提高驾驶员的视觉舒适度，有利于安全驾驶。

2、本发明采用多层图像融合的方式，实现实时投影影像的更新，保证了投影图像的实时性和有效性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1，为一种场景图像融合的车载AR-HUD亮度自适应调节方法。

1.获取数据

1)获取驾驶员前方第i(i∈{1,2,…})个时间点的视野场景图像

2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W)

3)获取投影机第i(i∈{1,2,…})个时间点的原始虚拟图像

4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r。

2.获取投影区域的视野场景子图像

依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W)，获得投影区域对应的视野场景子图像P′_i∈R^L*W。

3.获取预投影到投影区域的虚拟图像

依据原始虚拟图像和缩放比例r，获得投影区域对应的预投影虚拟图像其方法采用线性插值方法，但不仅限于此方法。

4.视野场景子图像与预投影虚拟图像的自适应融合

依据视野场景子图像P′_i∈R^L*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合，具体公式如下：

其中，Fus(·,·)表示场景图像与虚拟图像的融合函数，P_i ^fus表示第i(i∈{1,2,…})个时间点融合后的图像。

针对以上图像融合问题，采用高斯和拉普拉斯金字塔融合机制，具体过程如下：

对于图像首先进行下采样处理，以获取对应图像的高斯金字塔：

其中，F_sub()表示下采样函数，主要实现原始图像尺寸的缩小；*表示卷积操作；G_σ表示标准差为σ的二维高斯核，定义为：

针对以上获得的下采样图像集{P¹,P²,…,P^m}，m表示下采样层数。

依据对应图像的下采样图像集，进行上采用处理，以获取对应图像的拉普拉斯金字塔：

其中，F_up(.)表示上采样函数，主要将图像尺寸增加一倍，其方法采用线性插值方法，但不仅限于此方法。

依据公式(2-4)，可以分别获得图像P_i′和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像：

通过一下公式获得不同层级的融合图像

令即为视野场景子图像P′_i∈R^L*W和预投影虚拟图像/>的融合图像信息。

综上所属，通过以上公式(1-6)，可以实现视野场景子图像P′_i和预投影虚拟图像的融合图像P_fi。

5.预投影虚拟图像的修正；

依据以上获得的视野场景子图像P′_i和对应融合图像P_fi，获得修正后的预投影虚拟图像：

6.修正预投影虚拟图像的缩放处理；

通过图像缩放函数，将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像：/>

7.将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。

本发明采用一种基于高斯和拉普拉斯金字塔融合机制，实现场景图像与原始虚拟图像实时融合，进行获得修正后的虚拟图像，保证了图像显示的舒适性和协调性。

本发明采用基于局部场景信息与原始图像的融合，保证图像亮度的均匀分布，在保证分辨率的前提下，实现了亮度分布的协调性。

本发明所涉及的修正虚拟图像是基于实时场景图像进行实时更新。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种场景图像融合的车载AR-HUD亮度自适应调节方法，其特征在于：该方法包括以下步骤：

S1：获取数据；

1)获取驾驶员前方第i个时间点的视野场景图像

2)获取投影机在驾驶员视野前方挡风玻璃上的投影区域P0(x,y,L,W)；

3)获取投影机第i个时间点的原始虚拟图像

4)获取AR-HUD投影显示仪将虚拟图像投影到投影区域P的缩放比例r；

S2：获取投影区域的视野场景子图像；

依据视野场景图像和前挡风玻璃投影区域P0(x,y,L,W)，获得投影区域对应的视野场景子图像P_i′∈R^L*W；

S3：获取预投影到投影区域的虚拟图像；

依据原始虚拟图像和缩放比例r，获得投影区域对应的预投影虚拟图像

S4：视野场景子图像与预投影虚拟图像的自适应融合

依据视野场景子图像P_i′∈R^L*W和预投影虚拟图像拟采用递归融合方法实现其自适应融合，具体公式如下：

其中，Fus(·,·)表示场景图像与虚拟图像的融合函数，P_i ^fus表示第i个时间点融合后的图像；

针对以上图像融合问题，采用高斯和拉普拉斯金字塔融合机制，具体过程如下：

对于图像首先进行下采样处理，以获取对应图像的高斯金字塔：

其中，F_sub()表示下采样函数，实现原始图像尺寸的缩小；*表示卷积操作；G_σ表示标准差为σ的二维高斯核，定义为：

针对获得的下采样图像集{P¹,P²,…,P^m}，m表示下采样层数；

依据对应图像的下采样图像集，进行上采用处理，以获取对应图像的拉普拉斯金字塔：

其中，F_up(.)表示上采样函数，将图像尺寸增加一倍；

依据公式(2)～(4)，分别获得图像P_i′和对应的采样图像集/>和进而通过一下公式获得对应层级的融合图像：

通过一下公式获得不同层级的融合图像

令即为视野场景子图像P_i′∈R^L*W和预投影虚拟图像/>的融合图像信息；

综上所属，通过公式(1)～(6)，实现视野场景子图像P_i′和预投影虚拟图像的融合图像P_fi；

S5：预投影虚拟图像的修正；

依据以上获得的视野场景子图像P_i′和对应融合图像P_fi，获得修正后的预投影虚拟图像：

S6：修正预投影虚拟图像的缩放处理；

通过图像缩放函数，将修正的预投影虚拟图像转化为与原始虚拟图像相同尺寸的图像：/>

S7：将获得的修正的预投影虚拟图像投影到人眼前方的投影区域。

2.根据权利要求1所述的一种场景图像融合的车载AR-HUD亮度自适应调节方法，其特征在于：所述将获得投影区域对应的预投影虚拟图像以及图像尺寸增加一倍采用线性插值方法。