CN111242866A - 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 - Google Patents

观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 Download PDF

Info

Publication number
CN111242866A
CN111242866A CN202010032672.6A CN202010032672A CN111242866A CN 111242866 A CN111242866 A CN 111242866A CN 202010032672 A CN202010032672 A CN 202010032672A CN 111242866 A CN111242866 A CN 111242866A
Authority
CN
China
Prior art keywords
virtual image
hud
neural network
network
eye position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010032672.6A
Other languages
English (en)
Other versions
CN111242866B (zh
Inventor
李银国
李科
王强
周中奎
罗啟飞
史豪豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010032672.6A priority Critical patent/CN111242866B/zh
Publication of CN111242866A publication Critical patent/CN111242866A/zh
Application granted granted Critical
Publication of CN111242866B publication Critical patent/CN111242866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种观测者动态眼位条件下AR‑HUD虚像畸变校正的神经网络插值方法，属于车辆显示技术领域。该方法包括：S1：建立基于多层前向神经网络的虚像畸变形成的多元输入‑输出映射关系；S2：利用棋盘格图像的映射关系建立神经网络学习训练样本集；S3：利用获得的训练样本集进行网格离线学习训练；S4：基于神经网络非线性拟合与连续插值的AR‑HUD虚像预畸变处理，即得到AR‑HUD网络模型，实现AR‑HUD虚像畸变实时校正过程。本发明解决了固定眼位带来的虚像畸变问题，能够获得动态条件下良好的观测效果，具有很强的可操作性。

Description

观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值 方法
技术领域
本发明属于车辆显示技术领域，涉及一种在观测者眼位在一定范围内作连续动态调整条件下车载AR-HUD***所需的虚像标定与畸变校正的神经网络连续插值方法。
背景技术
近年来，为了实现人车新的交互体验，提高辅助驾驶的安全性、实用性，增强现实抬头显示(Augmented Reality Head Up Display，AR-HUD)***作为一款新技术产品应运而生。AR-HUD的作用就是把车辆信息(时速、车辆报警等)、导航信息、环境感知信息(车外的车辆、行人、车道线等)和驾驶人员状态信息(疲劳、不规范行为等)重要信息，投影到驾驶员前风挡玻璃上，驾驶员不必低头，便可看到信息，避免分散对前方道路的注意力，提高了驾驶员的安全性。驾驶员不必在观察远方的道路和近处的仪表之间调节眼睛，可减轻眼睛疲劳。然而，车载HUD经过光学***投射到汽车的前挡风玻璃上，该过程经过复杂的光学转换以及汽车前挡风玻璃的非标准面型等原因，显示的图像会有空间的位置变化和严重畸变，使得投出去的虚像形态与原图像完全不同。因此，需要对投出去的图像进行标定和预畸变处理，尽量使得驾驶员看到的虚像图像与原图像相同。现有的技术大部分采用专用反射镜压制畸变，但这种可变形反射镜价格相对昂贵，且实现的灵活性和校正效果较差。利用有效的算法和软件实现畸变矫正，仍然是优先考虑的技术路线。
目前，AR-HUD技术常采用是固定眼位的虚像测量与畸变校正方法。固定眼位是指在人眼可观测的空间区域(eye-box)内选择在最佳位置观察位置作为固定的测量点，由此进行到虚像曲面观测，并进行畸变校正，虚实注册及求取输入图像等。但是，人眼观测位置是在不断移动的。由于驾驶员位置及人眼动态变化会导致观测者的眼位有空间坐标是不断变化的，如果算法上只考虑最佳的典型位置上取得的算法，当人眼上、下、左、右、前、后移动时，HUD光学***和汽车前挡风玻璃不同位置的曲率会影响虚像的位置、形态的畸变等，这些因素均会较大地影响虚像位置的空间标定、预畸变处理和AR***虚实注册的实际效果。
图1展示了HUD的成像过程。HUD投影出来的图像经过光学***反射进入人眼，以此形成景深感。但HUD投影的图像经光学反射以及挡风玻璃的折射，使投影出来形成的虚拟图像发生了畸变，为此还需要对HUD投影的原图像先进行预畸变处理，改善AR-HUD显示的效果。
目前常用的固定眼位的虚像测量与畸变校正方法，如：1)公开号为CN 109688392A的专利，公开了一种AR-HUD光学投影***及映射关系标定方法和畸变校正方法，提出利用标定辅助设备对承载设备和人眼模拟设备进行空间定位，人眼模拟设备捕捉投影虚拟屏的显示内容，将显示内容像素转化为人眼模拟设备坐标系下的三维坐标A，再将三维坐标A转化为承载设备坐标系下三维坐标B，将三维坐标B横向和竖向坐标值作为显示内容在投影虚拟屏中的映射平面坐标，根据映射平面坐标和显示内容在实际屏幕上的像素坐标进行拟合计算，获得实际屏幕图像边缘点在虚拟投影屏幕上所对应的平面二维物理坐标，将虚拟投影屏幕上的平面二维坐标以数组形式作为映射关系标定结果。该专利申请的人眼模拟设备模拟的是人眼固定的眼位，如果将人眼模拟设备移动后，再对HUD虚像进行观测，其畸变矫正效果会变得很差，如若改变观测效果，必须对新的眼位进行重新标定，这样的去畸变方法显得很麻烦。2)公开号为CN 110203140 A的专利，公开了一种汽车增强现实显示方法、电子设备、***，该专利虽然提及到了固定眼位和动态眼位，根据人眼坐标的横纵坐标修正待显示目标挡风玻璃坐标系的原点位置，实现对待显示目标挡风玻璃坐标的修正，但是，该专利使用的是简单的坐标修正方法，修正效果不好，使得在挡风玻璃上显示的图像并不能达到恢复原图的效果。3)公开号为CN 110341834 A的专利，公开了一种优化用于抬头显示***成像的汽车挡风玻璃的方法，该专利先采用计算机软件设计3D挡风玻璃模型，并通过样点采集以作曲拟合，先考虑并确定场曲、畸变及MTF表现的性能；然后将抬头显示***的所有参数为常量，将挡风玻璃的所有参数设置为变量，在所有视场的入射角度不变的情况下，针对200mm尺寸的光阑，更改挡风玻璃至少部分参数。该专利的方法可以适当的解决畸变的影响，但是整个过程显得很繁琐，而且成本代价比较高。
基于现有技术的缺陷，亟需一种能够基于动态眼位条件下对HUD投影的原图像进行预畸变处理，从而良好改善AR-HUD显示效果的新方法。
发明内容
有鉴于此，本发明的目的在于提供一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，使得驾驶员在动态眼位条件下，使得HUD实际投影出来的虚像与期望HUD显示的虚像相比保持更小的畸变误差，从而获得动态条件下良好的观测效果。
为达到上述目的，本发明提供如下技术方案：
一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，该方法具体包括以下步骤：
S1：建立基于多层前向神经网络(Multilayer Feedforward Neural Networks,MFNN)的虚像畸变形成的多元输入-输出映射关系；
S2：利用棋盘格图像的映射关系建立神经网络学习训练样本集；
S3：利用获得的训练样本集进行网格离线学习训练；
S4：基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理，即得到AR-HUD网络模型，实现AR-HUD虚像畸变实时校正过程。
进一步，所述步骤S1具体包括：设某眼位点坐标为
Figure BDA0002364896660000031
HUD虚像平面上的点的坐标为P(xi,y0,zi),i＝1,2,…,n，HUD原相平面输入坐标为Ui,j(ui,j,vi,j)，则由虚像平面到原输入相平面的映射关系，即虚像的预畸变变换用神经网络表示为：
Figure BDA0002364896660000032
其中，网络输入为：
Figure BDA0002364896660000033
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
Figure BDA0002364896660000034
网络误差函数为：
Figure BDA0002364896660000035
进一步，所述步骤S2具体包括：将HUD的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
Figure BDA0002364896660000036
进一步，所述步骤S3具体包括：通过神经网络误差反向传播算法(EBP)对MFNN网络进行离线迭代学***面点P(xi,y0,zi),i＝1,2,…,n和眼位坐标
Figure BDA0002364896660000037
输入到网络，得到网络输出
Figure BDA0002364896660000038
进一步，所述步骤S4具体包括：应用步骤S3学***面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值(也可称为预测)，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型，网络即可外推(估计)出与之对应得HUD输入图像中应设计确定的图像数据，即为AR-HUD的虚像畸变实时校正过程。
本发明的有益效果在于：1)本发明针对现有固定的单个眼位(观测效果最好的典型位置)畸变校正方法的明显缺陷，将观测条件放宽到动态眼位(眼位连续动态变化)，提出一种新的AR-HUD虚像在多维空间连续映射模型和实时畸变校正处理算法，使得驾驶人员在眼位变化条件约束相对宽松的情况下，HUD实际投影出来的虚像与期望HUD显示的虚像相比保持更小的畸变误差，从而获得动态条件下良好的观测效果。2)本发明构建了基于AR-HUD图像映射的含有5维输入、2维输出的连续非线性映射统一模型，使十分复杂的AR-HUD虚像标定与动态畸变校正问题，具有了较严谨的算法基础，解决了在实际工程应用过程中的问题。3)本发明很好地解决固定眼位带来的虚像畸变问题，具有很强的可操作性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为HUD成像过程图；
图2为HUD虚像畸变校正处理示意图；
图3为本发明所述方法中的预畸变处理神经网结构；
图4为本发明AR-HUD虚像畸变校正的神经网络插值方法流程示意图；
图5为虚像平面待显示的图像；
图6为未去畸变在虚像平面的输出图像效果图；
图7为固定眼位方法预畸变处理后得到的输入图像；
图8为固定眼位方法在虚像平面的输出图像效果图；
图9为本发明采用的动态眼位方法预畸变处理后得到的输入图像；
图10为本发明采用的动态眼位方法在虚像平面的输出图像效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图10，为一种观测者眼位连续变化场景下AR-HUD虚像畸变校正的神经网络插值方法，具体包括以下步骤：
步骤1：将处理好的训练样本输入到设计好的神经网络结构中进行离线训练，直到训练误差满足我们的设定值时，将神经网络模型进行保存。
步骤2：将瞳孔检测获取的驾驶员实时眼位以及此时眼位对应的虚像平面特征点坐标输入到步骤1训练好的神经网络模型(观测者眼位连续变化场景下ARHUD虚像畸变校正的神经网络插值映射模型)中，得到与之对应的相平面预畸变映射表坐标，即畸变映射表。
步骤3：将视觉设计图像视为实际屏幕，根据实际屏幕与虚拟投影屏幕像素间的映射关系(畸变映射表)，调整视觉设计图像，从而实现对HUD投影虚像的矫正。
其中，建立ARHUD虚像畸变校正的神经网络插值映射模型，如图4所示，具体包括：将虚像曲面近似为y＝y0的平面。虚像平面中的点记为P(x,y0,z)，观测范围内任意眼位坐标记为E(xE,yE,zE)，对应的HUD输入图像平面的点坐标记为U(u,v)，其多维空间中图像映射模型可表示为如下连续非线性函数关系：
Figure BDA0002364896660000051
1)建立基于MFNN的虚像畸变形成的多元输入-输出映射关系。设某眼位点坐标为
Figure BDA0002364896660000052
HUD虚像平面上的点的坐标为P(xi,y0,zi),i＝1,2,…,n，HUD原相平面输入坐标为Ui,j(ui,j,vi,j)，则由虚像平面到原输入相平面的映射关系，即虚像的预畸变变换用神经网络表示为：
Figure BDA0002364896660000053
其中，网络输入为：
Figure BDA0002364896660000054
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
Figure BDA0002364896660000055
网络误差函数为：
Figure BDA0002364896660000061
2)利用棋盘格图像的映射关系建立神经网络学习训练样本集。将HUD的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
Figure BDA0002364896660000062
3)利用获得的训练样本集进行网格离线学***面点P(xi,y0,zi),i＝1,2,…,n和眼位坐标
Figure BDA0002364896660000063
输入到网络，得到网络输出
Figure BDA0002364896660000064
4)基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理。应用学***面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值(也称为预测)，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型，网络即可外推(估计)出与之对应得HUD输入图像中应设计确定的图像数据，即为AR-HUD的虚像畸变实时校正过程。
本实施例中，网络结构采用若干个隐含层，学***面的图像进行在线预畸变处理。如图5～10所示，采用本发明的方法与固定的单个眼位下的对比试验，图9和图10为本发明方法的去畸变实验效果，图7和图8为固定的单个眼位方法的去畸变实验效果，图5和图6为未采用去畸变方法的实验效果。通过实验结果可以得出，固定眼位方式只有在对应标定眼位下的去畸变效果较好，在其他眼位下的去畸变效果较差，从图8可以看出，虚像的部分线条还是存在弯曲的情况，而本发明的去畸变方法在对应标定眼位和其他任意眼位下的去畸变效果都比较好。
通过上述实验，验证了本发明的方法较通常的基于固定眼位假定的虚像畸变校正方法，效果明显改善，对驾驶人员眼位连续变化的适应能力明显增强，若配合相应的数据处理算法(如离线构建插值表)，该方法能更好的满足车辆运动场景下的实时性要求。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，其特征在于，该方法具体包括以下步骤：
S1：建立基于多层前向神经网络(Multilayer Feedforward Neural Networks,MFNN)的虚像畸变形成的多元输入-输出映射关系；
S2：利用棋盘格图像的映射关系建立神经网络学习训练样本集；
S3：利用获得的训练样本集进行网络离线学习训练；
S4：基于神经网络非线性拟合与连续插值的AR-HUD虚像预畸变处理，即得到AR-HUD网络模型，实现AR-HUD虚像畸变实时校正过程。
2.根据权利要求1所述的观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，其特征在于，所述步骤S1具体包括：设某眼位点坐标为
Figure FDA0002364896650000011
HUD虚像平面上的点的坐标为P(xi,y0,zi),i＝1,2,…,n，HUD原相平面输入坐标为Ui,j(ui,j,vi,j)，则由虚像平面到原输入相平面的映射关系，即虚像的预畸变变换用神经网络表示为：
Figure FDA0002364896650000012
其中，网络输入为：
Figure FDA0002364896650000013
网络理想输出为：{ui,j,vi,j}，i＝1,2,3,…,n，j＝1,2,3,…,m；
网络实际输出为：
Figure FDA0002364896650000014
网络误差函数为：
Figure FDA0002364896650000015
3.根据权利要求2所述的观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，其特征在于，所述步骤S2具体包括：将HUD的输入图像设定为标准的棋盘格图像，其中的若干个分布规则的格点在原图像和虚像中依次对应标出；设选出n个格点作为原图像和虚像中的对应畸变点集，采样是选取m个有代表性的眼位，每个眼位均能建立n个对应关系，从而形成m×n个神经网络输入-输出学习训练样本集：
Figure FDA0002364896650000016
4.根据权利要求3所述的观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，其特征在于，所述步骤S3具体包括：通过神经网络误差反向传播算法对MFNN网络进行离线迭代学***面点P(xi,y0,zi),i＝1,2,…,n和眼位坐标
Figure FDA0002364896650000021
输入到网络，得到网络输出
Figure FDA0002364896650000022
5.根据权利要求4所述的观测者动态眼位条件下AR-HUD虚像畸变校正的神经网络插值方法，其特征在于，所述步骤S4具体包括：应用步骤S3学***面是任一点向原输入相平面上一点的连续映射；对于样本点之外的眼位和虚像平面的点集映射，应用神经网络的非线性拟合特性，进行高维空间中的连续插值，实现虚像平面上图像的预畸变处理；实时地将瞳孔眼位三维坐标数据输入到AR-HUD网络模型，网络估计出与之对应得HUD输入图像中应设计确定的图像数据，即为AR-HUD的虚像畸变实时校正过程。
CN202010032672.6A 2020-01-13 2020-01-13 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 Active CN111242866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010032672.6A CN111242866B (zh) 2020-01-13 2020-01-13 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010032672.6A CN111242866B (zh) 2020-01-13 2020-01-13 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法

Publications (2)

Publication Number Publication Date
CN111242866A true CN111242866A (zh) 2020-06-05
CN111242866B CN111242866B (zh) 2023-06-16

Family

ID=70864253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010032672.6A Active CN111242866B (zh) 2020-01-13 2020-01-13 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法

Country Status (1)

Country Link
CN (1) CN111242866B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258399A (zh) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 一种逆向建模的hud图像光学矫正方法
CN113313656A (zh) * 2020-11-18 2021-08-27 江苏泽景汽车电子股份有限公司 一种适应hud上中下眼盒畸变矫正方法
CN113421346A (zh) * 2021-06-30 2021-09-21 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN114820396A (zh) * 2022-07-01 2022-07-29 泽景(西安)汽车电子有限责任公司 图像处理方法、装置、设备及存储介质
EP4339938A1 (en) * 2021-05-18 2024-03-20 Huawei Technologies Co., Ltd. Projection method and apparatus, and vehicle and ar-hud

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488807A (zh) * 2015-12-25 2016-04-13 傅之成 一种远心镜头的标定和矫正方法
CN107610062A (zh) * 2017-09-01 2018-01-19 上海微元计算机***集成有限公司 基于bp神经网络的图像几何畸变的快速识别与校正方法
CN108761777A (zh) * 2018-03-30 2018-11-06 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备
CN109584290A (zh) * 2018-12-03 2019-04-05 北京航空航天大学 一种基于卷积神经网络的立体图像匹配方法
WO2019134945A1 (en) * 2018-01-03 2019-07-11 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
CN110415544A (zh) * 2019-08-20 2019-11-05 深圳疆程技术有限公司 一种灾害天气预警方法及汽车ar-hud***
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488807A (zh) * 2015-12-25 2016-04-13 傅之成 一种远心镜头的标定和矫正方法
CN107610062A (zh) * 2017-09-01 2018-01-19 上海微元计算机***集成有限公司 基于bp神经网络的图像几何畸变的快速识别与校正方法
WO2019134945A1 (en) * 2018-01-03 2019-07-11 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
CN108761777A (zh) * 2018-03-30 2018-11-06 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备
US20190306383A1 (en) * 2018-03-30 2019-10-03 Boe Technology Group Co., Ltd. Method of correcting image distortion of optical device in display device and display device
CN109584290A (zh) * 2018-12-03 2019-04-05 北京航空航天大学 一种基于卷积神经网络的立体图像匹配方法
CN110415544A (zh) * 2019-08-20 2019-11-05 深圳疆程技术有限公司 一种灾害天气预警方法及汽车ar-hud***
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
穆向昕;: "标准化推动视频技术的发展" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258399A (zh) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 一种逆向建模的hud图像光学矫正方法
CN113313656A (zh) * 2020-11-18 2021-08-27 江苏泽景汽车电子股份有限公司 一种适应hud上中下眼盒畸变矫正方法
CN113313656B (zh) * 2020-11-18 2023-02-21 江苏泽景汽车电子股份有限公司 一种适应hud上中下眼盒畸变矫正方法
EP4339938A1 (en) * 2021-05-18 2024-03-20 Huawei Technologies Co., Ltd. Projection method and apparatus, and vehicle and ar-hud
EP4339938A4 (en) * 2021-05-18 2024-05-22 Huawei Technologies Co., Ltd. PROJECTION METHOD AND DEVICE AS WELL AS VEHICLE AND AR-HUD
CN113421346A (zh) * 2021-06-30 2021-09-21 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN113421346B (zh) * 2021-06-30 2023-02-17 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN114820396A (zh) * 2022-07-01 2022-07-29 泽景(西安)汽车电子有限责任公司 图像处理方法、装置、设备及存储介质
CN114820396B (zh) * 2022-07-01 2022-09-13 泽景(西安)汽车电子有限责任公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111242866B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111242866B (zh) 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN102830793B (zh) 视线跟踪方法和设备
CN111731187A (zh) 一种汽车a柱盲区图像显示***及方法
CN108171673B (zh) 图像处理方法、装置、车载抬头显示***及车辆
EP3221844B1 (en) Localising portable apparatus
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及***
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
WO2019140945A1 (zh) 一种应用于飞行模拟器的混合现实方法
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示***
CN110517306B (zh) 一种基于深度学习的双目深度视觉估计的方法和***
CN113240592A (zh) 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
WO2021227969A1 (zh) 一种数据处理方法及其设备
CN111797810B (zh) 一种行车过程中驾驶员前视预瞄区域的获取方法
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN111127365A (zh) 基于三次样条曲线拟合的hud畸变矫正方法
US11321960B2 (en) Deep learning-based three-dimensional facial reconstruction system
CN115984122A (zh) 一种hud背光显示***及方法
CN112734832A (zh) 一种即时获得线上物体实际尺寸测量方法
WO2022225803A1 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
CN117611438A (zh) 一种基于单目图像的2d车道线到3d车道线的重构方法
CN116862788A (zh) 一种cms视野校核方法、***、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant