CN115984122A - 一种hud背光显示***及方法 - Google Patents

一种hud背光显示***及方法 Download PDF

Info

Publication number
CN115984122A
CN115984122A CN202211483882.2A CN202211483882A CN115984122A CN 115984122 A CN115984122 A CN 115984122A CN 202211483882 A CN202211483882 A CN 202211483882A CN 115984122 A CN115984122 A CN 115984122A
Authority
CN
China
Prior art keywords
image
hud
virtual
coordinates
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211483882.2A
Other languages
English (en)
Inventor
曹俊威
刘子平
冯超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hadbest Electronics Co ltd
Original Assignee
Shenzhen Hadbest Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hadbest Electronics Co ltd filed Critical Shenzhen Hadbest Electronics Co ltd
Priority to CN202211483882.2A priority Critical patent/CN115984122A/zh
Publication of CN115984122A publication Critical patent/CN115984122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了HUD背光显示***及方法，通过将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，将HUD投影虚像进行图像预处理得到HUD图像，将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示，将图像信息显示在驾驶员前方视野内，减少车辆行驶时驾驶员低头查看仪表信息的时间，提升驾驶安全性。

Description

一种HUD背光显示***及方法
技术领域
本发明属于抬头显示技术领域，尤其涉及一种HUD背光显示***及方法。
背景技术
在智能汽车技术中环境感知技术是不可或缺的，车辆环境感知技术使用各类传感器如雷达、视觉传感器和GPS等收集车辆周边环境信息，帮助驾驶员提前判断潜在的危险，使驾驶员聚焦当前驾驶行为，确保车辆行驶的安全性。由于车辆采用中控显示器与仪表盘等设备往往不能实时和准确的将环境感知信息传递给驾驶员，驾驶员正常行驶时将视线从前方行驶道路转移到仪表盘，获取仪表显示的有效信息后再转回到前方行驶道路上需要4～7秒的时间，这样使得驾驶行为存在着巨大的安全隐患。
目前，汽车内部通常带有通讯功能和娱乐***，社交网络极大的增强了车辆的功能，丰富的信息增强了驾驶员的感官，提升了驾驶员情感体验，同时也让驾驶员产生了较大的认知负荷，复杂的信息会导致人的认知加工过程中，认知资源过载，从而使用户产生错误的决策和执行动作，影响主驾驶任务，如驾驶员在低头看屏幕上的娱乐信息或接打电话忽略了路况等，导致驾驶中的交通安全事故，因此，有必要提供一种在驾驶员视线区域内将驾驶信息与实际交通路况合理叠加、在扩展驾驶员对驾驶环境感知时减少或避免驾驶员低头查看仪表信息所带来的“视野盲区”来能有效提高驾驶安全的HUD显示***。
发明内容
有鉴于此，本发明提供了一种可以提高嵌入式环境下目标检测的实时型、增强驾驶环境信息和***的稳定性与安全性的HUD背光显示***及方法，来解决上述存在的技术问题，具体采用以下技术方案来实现。
第一方面，本发明提供了一种HUD背光显示***，包括：
图像生成单元，用于将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，其中，HUD投影虚像包括虚像形状和位置；
图像预处理单元，用于将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化；
虚像测量单元，用于将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，其中，眼动范围为驾驶员自由移动不会影响虚像可视化效果的空间，眼动范围包括水平移动距离和竖直移动距离；
模型构建单元，用于根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示。
作为上述技术方案的进一步改进，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，包括：
先采用非线性拟合函数训练出能预测AR HUD虚拟投影屏幕顶点坐标的网络模型，再采用非线性拟合函数训练预测AR HUD投影虚像的预畸变映射表的网络模型，根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正，算法模型如下：
预设驾驶员眼位坐标为
Figure BDA0003959058310000031
AR HUD虚拟等效平面上某点的坐标为P(xi，yi，zi)(i＝1,2...n)，该点在原输入图像的像素坐标为Ui，j(ui，j，vi，j)(i＝1，2...n；j＝1，2...m)，则由虚像平面到原输入像平面的映射关系即虚像的预畸变变换表达式为
Figure BDA0003959058310000032
其网络结构由输入层、若干个隐藏层和输出层构成，网络输入的表达式为
Figure BDA0003959058310000033
网络模型的理想输出为
Figure BDA0003959058310000034
网络模型的实际输出为
Figure BDA0003959058310000035
驾驶员的眼位是连续变化的，使用均方差来衡量网络损耗，网络误差函数为
Figure BDA0003959058310000036
建立多个眼位下原输入图像与HUD输出虚像的映射关系和眼位作为神经网络学习训练样本集，预设输入点阵图中有n个特征点作为原图像和当前眼位下虚拟投影屏幕中的对应畸变点集，选取m个眼位且每个眼位均能建立n个对应关系，形成神经网络输入输出样本集的表达式为
Figure BDA0003959058310000037
通过神经网络误差反向传播对上述网络模型进行离线迭代学习，使得误差E≤β值，得到网络权值系数W，采用学习率指数衰减动态调整学习率，调整表达式为Lr＝Lr*ge，其中g表示学习率调整倍数的底，e表示训练步数；
应用学***面上任一点向原输入像平面上一点的连续映射，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理。
作为上述技术方案的进一步改进，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理，包括：
若将虚像平面点P(xi，y0,zi)(i＝1，2...n)和眼位坐标
Figure BDA0003959058310000041
Figure BDA0003959058310000042
输入到网络模型得到网络模型输出表达式为
Figure BDA0003959058310000043
Figure BDA0003959058310000044
将眼位三维坐标数据输入到AR HUD网络模型以确定HUD输入图像中的图像数据。
作为上述技术方案的进一步改进，根据神经网络的非线性拟合特性进行高维空间中的连续插值，还包括：
采用瞳孔检测算法对驾驶员眼位进行计算，根据眼位的不同生成不同的畸变映射表，瞳孔检测算法如下：
获取K个眼位下的畸变映射表，并将K个眼位视为标准眼位，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；
以规格化点阵图作为输入图像，分别获取规格化点阵图在K个眼位下的虚像，获得K个虚像，分别基于K个眼位空间坐标中各眼位空间坐标，获取输入图像中各特征点的空间坐标，获取输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集，K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表，预设瞳孔检测算法获取到的驾驶员眼位坐标为E1(Ex，Ey，Ez)，与驾驶员眼位邻近的三个凸组合标准眼位分别为
Figure BDA0003959058310000045
和
Figure BDA0003959058310000046
眼位E的表达式可表示为
Figure BDA0003959058310000047
其中β1、β2和β3表示三个邻近凸组合标准眼位的权重，眼位E下虚拟投影屏幕中任意点q在输入图像中坐标的对应关系为
Figure BDA0003959058310000051
其中(u，v)T表示眼位E下点q在输入图像中的坐标，(u1，v1)T、(u2，v2)T和(u3，v3)T表示q点在眼位E1、E2和E3下的坐标；
计算当前眼位下每个像素点对应输入图像的像素坐标，形成当前眼位下虚拟投影屏幕各像素点与原输入图像映射关系的映射表，并根据该映射表对图像进行处理以实现动态眼位在AR HUD图像的畸变矫正。
作为上述技术方案的进一步改进，动态眼位条件下AR HUD图像预畸变的多重线性插值算法包括：
分别进行K个设定眼位中每个眼位的空间坐标测量，获取K个眼位空间坐标，所述眼位为两眼中间位置，所述空间坐标为车辆坐标系下的坐标；
以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像得到K个虚像；
分别基于所述K个眼位的空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标以获得K个坐标集；
根据所述K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
基于每一个眼位下虚像到原输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射图；
通过瞳孔检测算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，采用差值算法生成当前眼位下用于AR HUD预畸变处理的畸变映射表；
将输出图像逐像素的根据生成的畸变映射表变换到虚拟投影屏幕对应的像素中，以实现图像的预畸变处理。
作为上述技术方案的进一步改进，所述虚像测量单元的具体执行过程包括：
根据AR HUD的硬件设备设定的分辨率与驾驶员完整查看AR HUD投影图像的眼部活动区域的点阵图，采用辅助摄像头采集AR HUD投影出的点阵图，并求取各个特征点在车辆坐标系下的坐标；
预设AR HUD在辅助摄像头所在位置线的虚拟投影屏幕在车辆坐标系下的景深为Y0，将所有特征点映射到景深为Y0的平面上，每个特征点在车辆坐标系下的坐标记为Pi(i＝1,2...n)，其中n表示特征点个数；
预设辅助相机的投影矩阵为M，特征点Pi(i＝1，2...n)中一点q在辅助相机采集图像的像素坐标为(u,v)，在车辆坐标系下的坐标为(x,y,z)则
Figure BDA0003959058310000061
令
Figure BDA0003959058310000062
Figure BDA0003959058310000063
和
Figure BDA0003959058310000064
即X＝A-1B，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标；
根据特征点在虚拟等效平面上的分布，选取其最大内接矩形区域作为虚拟投影屏幕，并将其离散化为设定的分辨率。
作为上述技术方案的进一步改进，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标，包括：
在AR HUD***中的三维坐标包括车辆坐标系、前视相机坐标系和行为检测相机坐标系，三维坐标下的转换关系采用坐标系的旋转转换加上平移变换来表示，预设AR HUD***中的车辆坐标系为CW、前视相机坐标系为CF和行为检测相机坐标系为CE，CW坐标系下一点p的坐标为(xw,yw,zw)，前视相机坐标系到车辆坐标系的转换关系中的旋转矩阵为R1，平移矩阵为T1，则在CF坐标系下点p的坐标(xF,yF,zF)可表示为
Figure BDA0003959058310000071
车辆坐标系下任意一点采用三维坐标向量表示，所有三维坐标向量可映射到同一二维平面上，AR HUD投影虚像中任意一成像点可映射到虚拟投影屏幕上且映射点在车辆坐标系下有唯一表示；
根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，驾驶员的眼位通过对瞳孔检测的结果进行坐标系变换确定其在车辆坐标系下的坐标，以确定整个***中各相机坐标间的转换关系。
作为上述技术方案的进一步改进，根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，包括：
采用多相机组合标定算法和坐标系转换关系计算各个相机坐标系到车辆坐标系的转换关系，在车辆正前方和车辆驾驶室内分别放置一张标定板，标定板间相互平行，采用激光测距仪获取两张标定板间的相对位置信息，通过张正友标定法分别计算两相机到所拍摄标定板坐标系的转换关系，以建立两相机间的联系，其标定过程包括：
采用张正友标定算法计算各相机的畸变系数与内外参数，分别在车辆正前方和车辆驾驶室内各放置一张标定板，采用相机分别采集标定板图片；
对采集的图片通过所标定的畸变系数进行畸变处理，分别获取各相机对于标定板坐标系的转换关系，根据坐标转换获取两相机坐标系间的转换关系，建立车辆坐标系下各相机坐标系的转换关系，并将此关系作为相机外参；
根据标定算法和坐标系间的转换算法获取前视相机、行为检测相机的内外参数与畸变参数以及旋转矩阵R1、R2和平移矩阵T1和T2；
将所有坐标同一在车辆坐标系下，若真实世界中有一点p0，p0点在车辆坐标系下的坐标为(xw，yw，zw)T、瞳孔检测相机坐标系下的坐标为(xE，yE，ZE)T。
作为上述技术方案的进一步改进，将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，包括：
预设空间中的一条光线同时经过两个相互平行的平面，该光线与第一屏幕的交点坐标记为(u0，v0)，该光线与第二平面的交点坐标记为(s0，t0)，根据光学特性可用坐标(u0，v0，s0，t0)来确定该光线的方向与位置。
第二方面，本发明还提供了一种HUD背光显示方法，包括以下步骤：
获取前视相机拍摄车辆行驶方向的环境信息，并将拍摄图片传输至信息处理模块，通过驾驶员的行为检测相机对驾驶员驾驶状态进行拍摄；
采用瞳孔检测算法对驾驶员驾驶状态进行分析，信息处理模块根据车辆行驶场景与驾驶员驾驶状态信息获取需要经过HUD投影的图像，并将图像进行渲染与去畸变处理；
将图像传输至HUD进行投射，使驾驶员观察到HUD投射出的图像与真实场景相融合以实现场景增强。
本发明提供了一种HUD背光显示***及方法，通过将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，将HUD投影虚像进行图像预处理得到HUD图像，将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示，在将车身信息与目标检测的数据信息进行处理，将需要显示在驾驶员视线内的数据信息进行归类，并通过三维注册获取目标注册信息，再通过对输出图像的视觉设计可以增强驾驶员对目标物体的感知能力。AR HUD***将行人与车辆进行分类，在图像像素上进行分割，在获取车辆环境信息后，将计算机生成的虚拟图像与现实场景相结合，增强驾驶员的环境感知能力，同时将图像信息显示在驾驶员前方视野内，减少车辆行驶时驾驶员低头查看仪表信息的时间，使驾驶员将注意力集中于行驶方向，提升驾驶安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的HUD背光显示***的结构框图；
图2为本发明的畸变矫正的过程图；
图3为本发明的HUD背光显示方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参阅图1，本发明提供了一种HUD背光显示***，包括：
图像生成单元，用于将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，其中，HUD投影虚像包括虚像形状和位置；
图像预处理单元，用于将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化；
虚像测量单元，用于将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，其中，眼动范围为驾驶员自由移动不会影响虚像可视化效果的空间，眼动范围包括水平移动距离和竖直移动距离；
模型构建单元，用于根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示。
本实施例中，所述虚像测量单元的具体执行过程包括：根据AR HUD的硬件设备设定的分辨率与驾驶员完整查看AR HUD投影图像的眼部活动区域的点阵图，采用辅助摄像头采集AR HUD投影出的点阵图，并求取各个特征点在车辆坐标系下的坐标；预设AR HUD在辅助摄像头所在位置线的虚拟投影屏幕在车辆坐标系下的景深为Y0，将所有特征点映射到景深为Y0的平面上，每个特征点在车辆坐标系下的坐标记为Pi(i＝1，2...n)，其中n表示特征点个数；预设辅助相机的投影矩阵为M，特征点Pi(i＝1,2...n)中一点q在辅助相机采集图像的像素坐标为(u,v)，在车辆坐标系下的坐标为(x,y,z)则
Figure BDA0003959058310000101
令
Figure BDA0003959058310000102
Figure BDA0003959058310000103
和
Figure BDA0003959058310000104
即X＝A-1B，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标；根据特征点在虚拟等效平面上的分布，选取其最大内接矩形区域作为虚拟投影屏幕，并将其离散化为设定的分辨率。将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，包括：预设空间中的一条光线同时经过两个相互平行的平面，该光线与第一屏幕的交点坐标记为(u0，v0)，该光线与第二平面的交点坐标记为(s0,t0)，根据光学特性可用坐标(u0,v0,s0,t0)来确定该光线的方向与位置。
需要说明的是，增强显示即AR是将计算机生成的图像信息通过设备投射，使驾驶员看到虚拟信息与真实信息相融合，在获取真实场景物体三维注册的结果后，采用计算机图形学等对注册的结果处对虚拟图像进行处理，使虚拟图像具有实时型与“视觉增强”的效果，其实时性表示虚拟图像随着观察者位姿的变化，虚拟图像能及时变换，且真实环境相匹配，“视觉增强”是指虚拟图像能根据真实场景中不同的物体给驾驶员不同的视觉提示。为了实现虚拟信息与真实世界中的实景实时融合，需要对待视觉增强的物体进行定位，并采用三维注册算法获取其注册点，但三维注册的前提是需要对AR HUD***投射出的虚像进行空间定位与测量，同时为不影响AR HUD的成像效果与注册精度，还需要的虚像进行畸变矫正。HUD投射出的图像并非实像，该图像时通过HUD复杂的光学镜片组反射后，光线经过车浪挡风玻璃反射进入驾驶员视线内形成的虚像，该虚像在驾驶员视角下是覆盖在前方真实场景上的，而从挡风玻璃前方是官场不到虚像的。将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化，可以提高图像处理的精确度。
应理解，HUD投影出的图像时一个不规则的图像，为了呈现一个良好的显示效果，需要对HUD投影出来的图像进行预畸变处理，即图像在HUD投影出来之前进行预处理，使处理后的图像在HUD投影后有一个良好的视觉效果，通过相机采集AR HUD投影的预设点阵图，计算点阵图中各特征点的空间坐标，并以此获取上述内容中的AR HUD虚拟投影屏幕坐标，并将投影屏幕离散化为预设分辨率。再通过虚拟投影屏幕中各特征点与原输入图像特征点的对应关系，建立虚拟投影屏幕各像素点与原输入图像的映射关系，并以映射表的形式保存，最后将AR HUD所投射的图像通过映射表中的对应关系，对图像进行处理，以此改善ARHUD***产生的畸变问题。该***不仅可以提高驾驶员对驾驶环境的感知能力，且能够减少驾驶员低头查看车辆仪表信息的时间，将驾驶员注意力有效集中于车辆行驶前方，减少驾驶员视觉焦点的调节，提高了驾驶员行车的安全性。
可选地，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，包括：
先采用非线性拟合函数训练出能预测AR HUD虚拟投影屏幕顶点坐标的网络模型，再采用非线性拟合函数训练预测AR HUD投影虚像的预畸变映射表的网络模型，根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正，算法模型如下：
预设驾驶员眼位坐标为
Figure BDA0003959058310000121
AR HUD虚拟等效平面上某点的坐标为P(xi,yi,zi)(i＝1,2...n)，该点在原输入图像的像素坐标为Ui,j(ui,j,vi,j)(i＝1,2...n；j＝1,2...m)，则由虚像平面到原输入像平面的映射关系即虚像的预畸变变换表达式为
Figure BDA0003959058310000122
其网络结构由输入层、若干个隐藏层和输出层构成，网络输入的表达式为
Figure BDA0003959058310000123
网络模型的理想输出为
Figure BDA0003959058310000124
网络模型的实际输出为
Figure BDA0003959058310000125
驾驶员的眼位是连续变化的，使用均方差来衡量网络损耗，网络误差函数为
Figure BDA0003959058310000126
建立多个眼位下原输入图像与HUD输出虚像的映射关系和眼位作为神经网络学习训练样本集，预设输入点阵图中有n个特征点作为原图像和当前眼位下虚拟投影屏幕中的对应畸变点集，选取m个眼位且每个眼位均能建立n个对应关系，形成神经网络输入输出样本集的表达式为
Figure BDA0003959058310000131
通过神经网络误差反向传播对上述网络模型进行离线迭代学习，使得误差E≤β值，得到网络权值系数W，采用学习率指数衰减动态调整学习率，调整表达式为Lr＝Lr*ge，其中g表示学习率调整倍数的底，e表示训练步数；
应用学***面上任一点向原输入像平面上一点的连续映射，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理。
本实施例中，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理，包括：若将虚像平面点P(xi,y0,zi)(i＝1,2...n)和眼位坐标
Figure BDA0003959058310000132
输入到网络模型得到网络模型输出表达式为
Figure BDA0003959058310000133
将眼位三维坐标数据输入到AR HUD网络模型以确定HUD输入图像中的图像数据。根据神经网络的非线性拟合特性进行高维空间中的连续插值，还包括：采用瞳孔检测算法对驾驶员眼位进行计算，根据眼位的不同生成不同的畸变映射表，瞳孔检测算法如下：获取K个眼位下的畸变映射表，并将K个眼位视为标准眼位，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；以规格化点阵图作为输入图像，分别获取规格化点阵图在K个眼位下的虚像，获得K个虚像，分别基于K个眼位空间坐标中各眼位空间坐标，获取输入图像中各特征点的空间坐标，获取输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集，K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表，预设瞳孔检测算法获取到的驾驶员眼位坐标为E1(Ex,Ey,Ez)，与驾驶员眼位邻近的三个凸组合标准眼位分别为
Figure BDA0003959058310000141
和
Figure BDA0003959058310000142
眼位E的表达式可表示为
Figure BDA0003959058310000143
其中β1、β2和β3表示三个邻近凸组合标准眼位的权重，眼位E下虚拟投影屏幕中任意点q在输入图像中坐标的对应关系为
Figure BDA0003959058310000144
其中(u,v)T表示眼位E下点q在输入图像中的坐标，(u1,v1)T、(u2,v2)T和(u3,v3)T表示q点在眼位E1、E2和E3下的坐标；计算当前眼位下每个像素点对应输入图像的像素坐标，形成当前眼位下虚拟投影屏幕各像素点与原输入图像映射关系的映射表，并根据该映射表对图像进行处理以实现动态眼位在AR HUD图像的畸变矫正。
需要说明的是，虚像等效平面中特征点坐标计算的过程为：将完成标定的相机置于驾驶员眼位处，并设定其坐标为E0(Xe，Ye，Ze)，采用相机对HUD投影出的点阵图虚像进行采集，并对标定板图像进行预处理；确定感兴趣区域，截取捕捉图像中的点阵区域，图像灰度处理与平滑处理，自适应二值化，轮廓检测和去除噪点，计算点阵轮廓的中心即特征点像素坐标。通过视觉测量计算采集的AR HUD投影虚像中的若干特征点在虚像等效平面上的空间坐标，将上述特征点在虚像等效平面中分布区域内的最大内接矩形作为虚拟投影屏幕，并将虚拟投影屏幕的分辨率设为800×500，将虚拟投影屏幕所在区域进行离散化表示。静态眼位条件下AR HUD图像预畸变的线性插值算法的执行过程包括：对点阵图进行特征提取，并计算出所有特征点在车辆坐标系下的三维坐标，根据所提特征点组成区域内的最大内接矩形确定虚拟投影屏幕四个顶点的三维坐标，并按照预设分辨率将此区域离散化，建立虚拟投影屏幕中所提取特征点与原输入图像特征点的对应关系，并以字典形式保存，采用临近特征点凸组合的线性插值法确定虚拟投影屏幕中各特征点之外的每一个像素点在原输入图像中的像素坐标，遍历虚拟投影屏幕中像素点，建立虚拟投影屏幕各像素点与原输入图像的映射关系，并将其映射关系以映射表的形式保存，将输出图像逐像素的变换到虚拟投影屏幕对应的像素中，从而实现图像的预畸变处理，改善驾驶员所观察到的虚像成像效果。
参阅图2，可选地，动态眼位条件下AR HUD图像预畸变的多重线性插值算法包括：
S20：分别进行K个设定眼位中每个眼位的空间坐标测量，获取K个眼位空间坐标，所述眼位为两眼中间位置，所述空间坐标为车辆坐标系下的坐标；
S21：以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像得到K个虚像；
S22：分别基于所述K个眼位的空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标以获得K个坐标集；
S23：根据所述K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
S24：基于每一个眼位下虚像到原输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射图；
S25：通过瞳孔检测算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，采用差值算法生成当前眼位下用于AR HUD预畸变处理的畸变映射表；
S26：将输出图像逐像素的根据生成的畸变映射表变换到虚拟投影屏幕对应的像素中，以实现图像的预畸变处理。
本实施例中，动态眼位条件下AR HUD图像预畸变的多重线性插值算法采用插值算法实时计算对应眼位的畸变映射表，以实现畸变畸变矫正的目的。但其精度受限于标准眼位的数量与位置，且当眼位连续变化时，去畸变后的图像可能会发生跳变。先用非线性拟合函数训练出能预测AR HUD虚拟投影投影屏幕顶点坐标的网络模型，然后用非线性拟合函数训练出能预测AR HUD投影虚像的预畸变映射表的网络模型，最后根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正。通过瞳孔检测算法获取眼位坐标，并通过标定标定驾驶员不同眼位下AR HUD虚像预畸变处理的映射表，通过插值方法获取驾驶员当前眼位下AR HUD虚像预畸变处理的映射表，从而实现动态眼位下AR HUD图像动态畸变矫正的问题。
可选地，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标，包括：
在AR HUD***中的三维坐标包括车辆坐标系、前视相机坐标系和行为检测相机坐标系，三维坐标下的转换关系采用坐标系的旋转转换加上平移变换来表示，预设AR HUD***中的车辆坐标系为CW、前视相机坐标系为CF和行为检测相机坐标系为CE，CW坐标系下一点p的坐标为(xw,yw，zw)，前视相机坐标系到车辆坐标系的转换关系中的旋转矩阵为R1，平移矩阵为T1，则在CF坐标系下点p的坐标(xF，yF，zF)可表示为
Figure BDA0003959058310000161
车辆坐标系下任意一点采用三维坐标向量表示，所有三维坐标向量可映射到同一二维平面上，AR HUD投影虚像中任意一成像点可映射到虚拟投影屏幕上且映射点在车辆坐标系下有唯一表示；
根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，驾驶员的眼位通过对瞳孔检测的结果进行坐标系变换确定其在车辆坐标系下的坐标，以确定整个***中各相机坐标间的转换关系。
本实施例中，根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，包括：采用多相机组合标定算法和坐标系转换关系计算各个相机坐标系到车辆坐标系的转换关系，在车辆正前方和车辆驾驶室内分别放置一张标定板，标定板间相互平行，采用激光测距仪获取两张标定板间的相对位置信息，通过张正友标定法分别计算两相机到所拍摄标定板坐标系的转换关系，以建立两相机间的联系，其标定过程包括：采用张正友标定算法计算各相机的畸变系数与内外参数，分别在车辆正前方和车辆驾驶室内各放置一张标定板，采用相机分别采集标定板图片；对采集的图片通过所标定的畸变系数进行畸变处理，分别获取各相机对于标定板坐标系的转换关系，根据坐标转换获取两相机坐标系间的转换关系，建立车辆坐标系下各相机坐标系的转换关系，并将此关系作为相机外参；根据标定算法和坐标系间的转换算法获取前视相机、行为检测相机的内外参数与畸变参数以及旋转矩阵R1、R2和平移矩阵T1和T2；将所有坐标同一在车辆坐标系下，若真实世界中有一点p0，p0点在车辆坐标系下的坐标为(xw,yw,zw)T、瞳孔检测相机坐标系下的坐标为(xE，yE，ZE)T。
需要说明的是，多相机组合标定的目的是获取各个相机即前视相机与瞳孔检测相机的内参和畸变系数，并采用上述坐标转换原理，计算各个相机坐标系到车辆坐标系的转换关系，将此关系作为相机外参。AR HUD投影虚像中任意一个成像点都可以映射到虚拟投影屏幕上且映射点在车辆坐标系下有唯一表示，由前视相机获取到某个目标在图像坐标系下的坐标后，再通过坐标系变换可确定其在相机坐标系与车辆坐标系下对应的坐标，驾驶员的眼位也可通过对瞳孔检测的结果进行坐标系变换确定其在车辆坐标系下的坐标，以此确定整个***中各相机坐标系间的转换关系。有效改善动态眼位下AR HUD虚像扭曲变形的问题。动态眼位条件下AR HUD虚像预畸变的神经网络学习算法通过机器学习方式，建立了多维空间连续映射的预畸变模型，当眼位连续变化时，预畸变图像能连续变化，避免驾驶员观察到AR HUD投射的去畸变后的图像发生跳变，同时能有效改善驾驶员在不同眼位下所观察到的虚像成像效果。
参阅图3，本发明还提供了一种HUD背光显示方法，包括以下步骤：
S30：获取前视相机拍摄车辆行驶方向的环境信息，并将拍摄图片传输至信息处理模块，通过驾驶员的行为检测相机对驾驶员驾驶状态进行拍摄；
S31：采用瞳孔检测算法对驾驶员驾驶状态进行分析，信息处理模块根据车辆行驶场景与驾驶员驾驶状态信息获取需要经过HUD投影的图像，并将图像进行渲染与去畸变处理；
S32：将图像传输至HUD进行投射，使驾驶员观察到HUD投射出的图像与真实场景相融合以实现场景增强。
本实施例中，在将车身信息与目标检测的数据信息进行处理，将需要显示在驾驶员视线内的数据信息进行归类，并通过三维注册获取目标注册信息，再通过对输出图像的视觉设计可以增强驾驶员对目标物体的感知能力。AR HUD***将行人与车辆进行分类，在图像像素上进行分割，在获取车辆环境信息后，将计算机生成的虚拟图像与现实场景相结合，增强驾驶员的环境感知能力，同时将图像信息显示在驾驶员前方视野内，减少车辆行驶时驾驶员低头查看仪表信息的时间，使驾驶员将注意力集中于行驶方向，提升驾驶安全性。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种HUD背光显示***，其特征在于，包括：
图像生成单元，用于将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，其中，HUD投影虚像包括虚像形状和位置；
图像预处理单元，用于将HUD投影虚像进行图像预处理得到HUD图像，其中，图像预处理包括动态感兴趣区域选取、颜色特征提取与灰度处理以及平滑处理与图像二值化；
虚像测量单元，用于将双目相机水平放置于眼动范围内，两台相机关于眼动范围中心对称，分别采集HUD图像的图片，采用相机标定参数对两幅图像进行矫正和匹配，计算两幅图像得到视差图，根据视差图中虚像部分的视差值和距离计算得到虚像距离，其中，眼动范围为驾驶员自由移动不会影响虚像可视化效果的空间，眼动范围包括水平移动距离和竖直移动距离；
模型构建单元，用于根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，实现场景增强显示。
2.根据权利要求1所述的HUD背光显示***，其特征在于，根据HUD投影虚像和虚像距离构建车载AR HUD模型以使驾驶员观察到HUD投射出的图像与真实场景相融合，包括：
先采用非线性拟合函数训练出能预测AR HUD虚拟投影屏幕顶点坐标的网络模型，再采用非线性拟合函数训练预测AR HUD投影虚像的预畸变映射表的网络模型，根据预畸变映射表的映射关系将图像进行预畸变处理，以实现动态眼位下连续的AR HUD虚像畸变矫正，算法模型如下：
预设驾驶员眼位坐标为
Figure FDA0003959058300000011
AR HUD虚拟等效平面上某点的坐标为P(xi,yi,zi)(i＝1,2...n)，该点在原输入图像的像素坐标为Ui,j(ui,j,vi,j)(i＝1,2...n；j＝1,2...m)，则由虚像平面到原输入像平面的映射关系即虚像的预畸变变换表达式为
Figure FDA0003959058300000021
其网络结构由输入层、若干个隐藏层和输出层构成，网络输入的表达式为
Figure FDA0003959058300000022
网络模型的理想输出为
Figure FDA0003959058300000023
网络模型的实际输出为
Figure FDA0003959058300000024
驾驶员的眼位是连续变化的，使用均方差来衡量网络损耗，网络误差函数为
Figure FDA0003959058300000025
建立多个眼位下原输入图像与HUD输出虚像的映射关系和眼位作为神经网络学习训练样本集，预设输入点阵图中有n个特征点作为原图像和当前眼位下虚拟投影屏幕中的对应畸变点集，选取m个眼位且每个眼位均能建立n个对应关系，形成神经网络输入输出样本集的表达式为
Figure FDA0003959058300000026
通过神经网络误差反向传播对上述网络模型进行离线迭代学习，使得误差E≤β值，得到网络权值系数W，采用学习率指数衰减动态调整学习率，调整表达式为Lr＝Lr*ge，其中g表示学习率调整倍数的底，e表示训练步数；
应用学***面上任一点向原输入像平面上一点的连续映射，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理。
3.根据权利要求2所述的HUD背光显示***，其特征在于，根据神经网络的非线性拟合特性进行高维空间中的连续插值，以实现虚像平面上图像的预畸变处理，包括：
若将虚像平面点P(xi,y0,zi)(i＝1,2...n)和眼位坐标
Figure FDA0003959058300000027
Figure FDA0003959058300000031
输入到网络模型得到网络模型输出表达式为
Figure FDA0003959058300000032
Figure FDA0003959058300000033
将眼位三维坐标数据输入到AR HUD网络模型以确定HUD输入图像中的图像数据。
4.根据权利要求3所述的HUD背光显示***，其特征在于，根据神经网络的非线性拟合特性进行高维空间中的连续插值，还包括：
采用瞳孔检测算法对驾驶员眼位进行计算，根据眼位的不同生成不同的畸变映射表，瞳孔检测算法如下：
获取K个眼位下的畸变映射表，并将K个眼位视为标准眼位，分别进行K个设定眼位中每一个眼位的空间坐标测量，获得K个眼位空间坐标；
以规格化点阵图作为输入图像，分别获取规格化点阵图在K个眼位下的虚像，获得K个虚像，分别基于K个眼位空间坐标中各眼位空间坐标，获取输入图像中各特征点的空间坐标，获取输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标，获得K个坐标集，K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
基于每一个眼位下虚像到输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射表，预设瞳孔检测算法获取到的驾驶员眼位坐标为E1(Ex,Ey,Ez)，与驾驶员眼位邻近的三个凸组合标准眼位分别为
Figure FDA0003959058300000034
和
Figure FDA0003959058300000035
眼位E的表达式可表示为
Figure FDA0003959058300000036
其中β1、β2和β3表示三个邻近凸组合标准眼位的权重，眼位E下虚拟投影屏幕中任意点q在输入图像中坐标的对应关系为
Figure FDA0003959058300000037
其中(u,v)T表示眼位E下点q在输入图像中的坐标，(u1,v1)T、(u2,v2)T和(u3,v3)T表示q点在眼位E1、E2和E3下的坐标；
计算当前眼位下每个像素点对应输入图像的像素坐标，形成当前眼位下虚拟投影屏幕各像素点与原输入图像映射关系的映射表，并根据该映射表对图像进行处理以实现动态眼位在AR HUD图像的畸变矫正。
5.根据权利要求3所述的HUD背光显示***，其特征在于，动态眼位条件下AR HUD图像预畸变的多重线性插值算法包括：
分别进行K个设定眼位中每个眼位的空间坐标测量，获取K个眼位空间坐标，所述眼位为两眼中间位置，所述空间坐标为车辆坐标系下的坐标；
以规格化点阵图作为输入图像，分别获取所述规格化点阵图在K个眼位下的虚像得到K个虚像；
分别基于所述K个眼位的空间坐标，获取所述输入图像中各特征点的空间坐标及其在各眼位下虚像等效平面中对应的坐标以获得K个坐标集；
根据所述K个坐标集中每一个坐标集，获取虚拟投影屏幕四个顶点的三维坐标，并采用线性插值算法获取对应的当前眼位下虚像到输入图像的逆映射关系；
基于每一个眼位下虚像到原输入图像的逆映射关系，获得K个眼位下虚像到输入图像的多眼位映射图；
通过瞳孔检测算法获取驾驶员实时眼位，基于所述K个眼位下虚像到输入图像的多眼位映射表，采用差值算法生成当前眼位下用于AR HUD预畸变处理的畸变映射表；
将输出图像逐像素的根据生成的畸变映射表变换到虚拟投影屏幕对应的像素中，以实现图像的预畸变处理。
6.根据权利要求1所述的HUD背光显示***，其特征在于，所述虚像测量单元的具体执行过程包括：
根据AR HUD的硬件设备设定的分辨率与驾驶员完整查看AR HUD投影图像的眼部活动区域的点阵图，采用辅助摄像头采集AR HUD投影出的点阵图，并求取各个特征点在车辆坐标系下的坐标；
预设AR HUD在辅助摄像头所在位置线的虚拟投影屏幕在车辆坐标系下的景深为Y0，将所有特征点映射到景深为Y0的平面上，每个特征点在车辆坐标系下的坐标记为Pi(i＝1,2...n)，其中n表示特征点个数；
预设辅助相机的投影矩阵为M，特征点Pi(i＝1,2...n)中一点q在辅助相机采集图像的像素坐标为(u,v)，在车辆坐标系下的坐标为(x,y,z)则
Figure FDA0003959058300000051
令
Figure FDA0003959058300000052
Figure FDA0003959058300000053
和
Figure FDA0003959058300000054
即X＝A-1B，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标；
根据特征点在虚拟等效平面上的分布，选取其最大内接矩形区域作为虚拟投影屏幕，并将其离散化为设定的分辨率。
7.根据权利要求6所述的HUD背光显示***，其特征在于，计算出点阵图中所有特征点映射到设定的景深屏幕即虚拟等效平面上后所在车辆坐标系下的坐标，包括：
在AR HUD***中的三维坐标包括车辆坐标系、前视相机坐标系和行为检测相机坐标系，三维坐标下的转换关系采用坐标系的旋转转换加上平移变换来表示，预设AR HUD***中的车辆坐标系为CW、前视相机坐标系为CF和行为检测相机坐标系为CE，CW坐标系下一点p的坐标为(xw,yw,zw)，前视相机坐标系到车辆坐标系的转换关系中的旋转矩阵为R1，平移矩阵为T1，则在CF坐标系下点p的坐标(xF,yF,zF)可表示为
Figure FDA0003959058300000055
车辆坐标系下任意一点采用三维坐标向量表示，所有三维坐标向量可映射到同一二维平面上，AR HUD投影虚像中任意一成像点可映射到虚拟投影屏幕上且映射点在车辆坐标系下有唯一表示；
根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，驾驶员的眼位通过对瞳孔检测的结果进行坐标系变换确定其在车辆坐标系下的坐标，以确定整个***中各相机坐标间的转换关系。
8.根据权利要求7所述的HUD背光显示***，其特征在于，根据前视相机获取到某目标在图像坐标系下的坐标后通过坐标变换确定在相机坐标系与车辆坐标系下对应的坐标，包括：
采用多相机组合标定算法和坐标系转换关系计算各个相机坐标系到车辆坐标系的转换关系，在车辆正前方和车辆驾驶室内分别放置一张标定板，标定板间相互平行，采用激光测距仪获取两张标定板间的相对位置信息，通过张正友标定法分别计算两相机到所拍摄标定板坐标系的转换关系，以建立两相机间的联系，其标定过程包括：
采用张正友标定算法计算各相机的畸变系数与内外参数，分别在车辆正前方和车辆驾驶室内各放置一张标定板，采用相机分别采集标定板图片；
对采集的图片通过所标定的畸变系数进行畸变处理，分别获取各相机对于标定板坐标系的转换关系，根据坐标转换获取两相机坐标系间的转换关系，建立车辆坐标系下各相机坐标系的转换关系，并将此关系作为相机外参；
根据标定算法和坐标系间的转换算法获取前视相机、行为检测相机的内外参数与畸变参数以及旋转矩阵R1、R2和平移矩阵T1和T2；
将所有坐标同一在车辆坐标系下，若真实世界中有一点p0，p0点在车辆坐标系下的坐标为(xw,yw,zw)T、瞳孔检测相机坐标系下的坐标为(xE,yE,ZE)T。
9.根据权利要求1所述的HUD背光显示***，其特征在于，将光线经由半反半透的反射屏反射到驾驶员视框位置使驾驶员在反射屏前方看到HUD投影虚像，包括：
预设空间中的一条光线同时经过两个相互平行的平面，该光线与第一屏幕的交点坐标记为(u0,v0)，该光线与第二平面的交点坐标记为(s0,t0)，根据光学特性可用坐标(u0,v0,s0，t0)来确定该光线的方向与位置。
10.一种根据权利要求1-9任一项所述的HUD背光显示***的HUD背光显示方法，其特征在于，包括以下步骤：
获取前视相机拍摄车辆行驶方向的环境信息，并将拍摄图片传输至信息处理模块，通过驾驶员的行为检测相机对驾驶员驾驶状态进行拍摄；
采用瞳孔检测算法对驾驶员驾驶状态进行分析，信息处理模块根据车辆行驶场景与驾驶员驾驶状态信息获取需要经过HUD投影的图像，并将图像进行渲染与去畸变处理；
将图像传输至HUD进行投射，使驾驶员观察到HUD投射出的图像与真实场景相融合以实现场景增强。
CN202211483882.2A 2022-11-23 2022-11-23 一种hud背光显示***及方法 Pending CN115984122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211483882.2A CN115984122A (zh) 2022-11-23 2022-11-23 一种hud背光显示***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211483882.2A CN115984122A (zh) 2022-11-23 2022-11-23 一种hud背光显示***及方法

Publications (1)

Publication Number Publication Date
CN115984122A true CN115984122A (zh) 2023-04-18

Family

ID=85963665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211483882.2A Pending CN115984122A (zh) 2022-11-23 2022-11-23 一种hud背光显示***及方法

Country Status (1)

Country Link
CN (1) CN115984122A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117073543A (zh) * 2023-10-17 2023-11-17 深圳华海达科技有限公司 双旋转平面度量测机的外观测量方法、装置及设备
CN118004035A (zh) * 2024-04-09 2024-05-10 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN115239922A (zh) * 2022-07-25 2022-10-25 湖南锐思华创科技有限公司 基于双目相机的ar-hud三维坐标重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN115239922A (zh) * 2022-07-25 2022-10-25 湖南锐思华创科技有限公司 基于双目相机的ar-hud三维坐标重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周中奎: "基于机器学习的智能汽车目标检测与场景增强技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 February 2021 (2021-02-15), pages 1 - 94 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117073543A (zh) * 2023-10-17 2023-11-17 深圳华海达科技有限公司 双旋转平面度量测机的外观测量方法、装置及设备
CN117073543B (zh) * 2023-10-17 2023-12-15 深圳华海达科技有限公司 双旋转平面度量测机的外观测量方法、装置及设备
CN118004035A (zh) * 2024-04-09 2024-05-10 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备
CN118004035B (zh) * 2024-04-09 2024-06-07 深圳万播科技有限公司 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US6717728B2 (en) System and method for visualization of stereo and multi aspect images
CN115984122A (zh) 一种hud背光显示***及方法
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、***
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
CN105432078B (zh) 双目注视成像方法和设备
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示***
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN108171673A (zh) 图像处理方法、装置、车载抬头显示***及车辆
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
US11961250B2 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method, and image display method
JP2009116532A (ja) 仮想視点画像生成方法および仮想視点画像生成装置
CN113240592A (zh) 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
CN106570852A (zh) 一种实时3d图像态势感知方法
US11651506B2 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
US20160127718A1 (en) Method and System for Stereoscopic Simulation of a Performance of a Head-Up Display (HUD)
CN109764888A (zh) 显示***以及显示方法
Deng et al. Towards stereoscopic on-vehicle AR-HUD
CN114609782A (zh) 裸眼3d抬头显示装置及裸眼3d抬头显示方法
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
Li et al. Distortion correction algorithm of ar-hud virtual image based on neural network model of spatial continuous mapping
CN114020150A (zh) 图像显示方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination