CN113313656B - 一种适应hud上中下眼盒畸变矫正方法 - Google Patents

一种适应hud上中下眼盒畸变矫正方法 Download PDF

Info

Publication number
CN113313656B
CN113313656B CN202110775998.2A CN202110775998A CN113313656B CN 113313656 B CN113313656 B CN 113313656B CN 202110775998 A CN202110775998 A CN 202110775998A CN 113313656 B CN113313656 B CN 113313656B
Authority
CN
China
Prior art keywords
image
correction factor
hud
eye box
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110775998.2A
Other languages
English (en)
Other versions
CN113313656A (zh
Inventor
张涛
郑天策
吕涛
何飞
杨立波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zejing Automobile Electronic Co ltd
Original Assignee
Jiangsu Zejing Automobile Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zejing Automobile Electronic Co ltd filed Critical Jiangsu Zejing Automobile Electronic Co ltd
Publication of CN113313656A publication Critical patent/CN113313656A/zh
Application granted granted Critical
Publication of CN113313656B publication Critical patent/CN113313656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明涉及图像处理技术领域,具体公开了一种适应HUD上中下眼盒畸变矫正方法,包括步骤:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点;上中下眼盒水平、竖直矫正因子计算;大反射镜反转位置获取,转换眼盒信息;根据整车周边数据进行HUD成像***逆向建模;依据光学***物像共轭关系,以HUD成像***的的虚像作为逆向成像***物,像源作为逆向成像***的像,通过光学设计软件实现视场配置使得逆向成像***像面各视场对应足迹点均匀分布,依所述方法计算得到上中下眼盒畸变矫正因子。

Description

一种适应HUD上中下眼盒畸变矫正方法
技术领域
本发明涉及图像处理技术领域,具体为一种适应HUD上中下眼盒畸变矫正方法。
背景技术
作为一种驾驶辅助设备,汽车风挡式抬头显示器(Head Up Display)可以在汽车前风挡玻璃上投影信息避免驾驶员低头查看仪表信息,提高了驾驶过程的安全性,随着技术的发展,HUD在汽车领域应用越发广泛。
由于汽车抬头显示器***设计时会受到整车眼点位置,整车布置位置,汽车风挡玻璃面型参数,主、次镜加工参数要求等诸多因素限制,上中下眼盒内畸变存在设计值偏大的问题,现有的处理办法是对中心眼盒进行畸变矫正,无法满足不同身高消费者的驾驶体验。
针对上述问题申请号为202010187422.X的专利旨在解决HUD动态畸变问题,其通过HUD下线检测摄像头获取虚像数据对其矫正。
现有HUD畸变矫正方案使用中心眼盒畸变矫正适配所有眼盒,无法兼顾周全,全眼盒矫正效果依赖于汽车风挡玻璃成像区域面型一致性,对于成像***的布置及优化都有很高的要求。
基于此,本发明设计了一种适应HUD上中下眼盒畸变矫正方法,以解决上述问题。
发明内容
本发明提出一种适应HUD上中下眼盒畸变矫正方法,解决了现有技术中现在只用中心眼盒畸变校正适配所有眼盒,所带来的成像***设计复杂,各眼盒目视成像效果偏差过大等的问题。
本发明的技术方案是这样实现的:一种适应HUD上中下眼盒畸变矫正方法,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角等关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数等优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图象源显示。
优选的,在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;需在多重结构中实现自聚焦,获取方式可通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C、C、C
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
优选的,在所述步骤S32中,所述像面足迹点水平理论矩阵A:
Figure BDA0003155306680000021
优选的,在所述步骤S33中,所述像面足迹点实际水平矩阵B:
Figure BDA0003155306680000031
优选的,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C、C、C有如下矩阵要求:
A=C·B
A=C·B
A=C·B
优选的,所述上中下眼盒中间水平矫正因子C、C、C通过最小二乘法求取,其计算公式为:
C=[c′11 c′12 … c′1n]
C=[c″11 c″12 … c″1n]
C=[c″′11 c″′12 … c″′1n]
优选的,在所述步骤S35中,设水平矫正因子为CO、CO、CO,所述水平矫正因子CO、CO、CO的计算公式为:
CO=[co′11 co′12 … co′1k]
CO=[co″11 co″12 … co″1k]
CO=[co″′11 co″′12 … co″′1k]
优选的,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO、DO、DO,所述竖直矫正因子DO、DO、DO的计算公式为:
DO=[do′11 do′12 … do′1k]
DO=[do″11 do″12 … do″1k]
DO=[do″′11 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
优选的,在所述步骤S5中,设原始图像矩阵水平坐标E,竖直坐标F,
Figure BDA0003155306680000041
优选的,在所述步骤S5中,通过判断大反射镜翻转位置获知眼盒位置,并在MCU中使用矫正因子对原始图像进行矫正,之后将结果推送入图像源;屏幕显示图像像素水平坐标X,竖直坐标Y,矫正方式如下:
Figure BDA0003155306680000042
Figure BDA0003155306680000043
Figure BDA0003155306680000044
与现有技术相比,本发明的有益效果是:
1.根据整车周边数据进行HUD成像***逆向建模。依据光学***物像共轭关系,以HUD成像***的的虚像作为逆向成像***物,像源作为逆向成像***的像,通过光学设计软件实现视场配置使得逆向成像***像面各视场对应足迹点均匀分布,依所述方法计算得到上中下眼盒畸变矫正因子。
2.对HUD虚像位置做调整时,使用对应眼盒畸变矫正因子对原始图片数据进行处理,并将处理数据实时推送至图像源输出,从而达到上中下眼盒图像矫正畸变的目的。
当然,实施本发明的任一产品并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的畸变矫正流程图;
图2为本发明提供的WHUD成像***示意图。
附图中,各标号所代表的部件列表如下:
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:一种适应HUD上中下眼盒畸变矫正方法,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角等关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数等优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图象源显示。
其中,在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;需在多重结构中实现自聚焦,获取方式可通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C、C、C
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
其中,在所述步骤S32中,所述像面足迹点水平理论矩阵A:
Figure BDA0003155306680000061
其中,在所述步骤S33中,所述像面足迹点实际水平矩阵B:
Figure BDA0003155306680000062
其中,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C、C、C有如下矩阵要求:
A=C·B
A=C·B
A=C·B
其中,所述上中下眼盒中间水平矫正因子C、C、C通过最小二乘法求取,其计算公式为:
C=[c′11 c′12 … c′1n]
C=[c″11 c″12 … c″1n]
C=[c″′1 c″′12 … c″′1n]
其中,在所述步骤S35中,设水平矫正因子为CO、CO、CO,所述水平矫正因子CO、CO、CO的计算公式为:
CO=[co′11 co′12 … co′1k]
CO=[co″11 co″12 … co″1k]
CO=[co″′11 co″′12 … co″′1k]
其中,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO、DO、DO,所述竖直矫正因子DO、DO、DO的计算公式为:
DO=[do′11 do′12 … do′1k]
DO=[do″11 do″12 … do″1k]
DO=[do″′1 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
其中,在所述步骤S5中,设原始图像矩阵水平坐标E,竖直坐标F,
Figure BDA0003155306680000071
其中,在所述步骤S5中,通过判断大反射镜翻转位置获知眼盒位置,并在MCU中使用矫正因子对原始图像进行矫正,之后将结果推送入图像源;屏幕显示图像像素水平坐标X,竖直坐标Y,矫正方式如下:
Figure BDA0003155306680000081
Figure BDA0003155306680000082
Figure BDA0003155306680000083
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种适应HUD上中下眼盒畸变矫正方法,其特征在于,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,所述数据包括观测、限制和安装关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化,令逆向成像***像面各视场对应足迹点均匀分布;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图像 源显示;
在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;在多重结构中实现自聚焦,获取方式通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C、C、C
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
2.如权利要求1所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S32中,所述像面足迹点水平理论矩阵A:
Figure FDA0004010312970000021
3.如权利要求1所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S33中,所述像面足迹点实际水平矩阵B:
Figure FDA0004010312970000022
4.如权利要求1所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C、C、C有如下矩阵要求:
A=C·B
A=C·B
A=C·B
5.如权利要求4所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,所述上中下眼盒中间水平矫正因子C、C、C通过最小二乘法求取,其计算公式为:
C=[c′11 c′12 … c′1n]
C=[c″11 c″12 … c″1n]
C=[c″′11 c″′12 … c″′1n]。
6.如权利要求5所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S35中,设水平矫正因子为CO、CO、CO,所述水平矫正因子CO、CO、CO的计算公式为:
CO=[co′11 co′12 … co′1k]
CO=[co″11 co″12 … co″1k]
CO=[co″′11 co″′12 … co″′1k]。
7.如权利要求6所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO、DO、DO,所述竖直矫正因子DO、DO、DO的计算公式为:
DO=[do′11 do′12 … do′1k]
DO=[do″11 do″12 … do″1k]
DO=[do″′11 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
8.如权利要求7所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S5中,设原始图像矩阵水平坐标E,竖直坐标F,
Figure FDA0004010312970000031
9.如权利要求8所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S5中,通过判断大反射镜翻转位置获知眼盒位置,并在MCU中使用矫正因子对原始图像进行矫正,之后将结果推送入图像源;屏幕显示图像像素水平坐标X,竖直坐标Y,矫正方式如下:
Figure FDA0004010312970000041
Figure FDA0004010312970000042
Figure FDA0004010312970000043
CN202110775998.2A 2020-11-18 2021-07-09 一种适应hud上中下眼盒畸变矫正方法 Active CN113313656B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011292403X 2020-11-18
CN202011292403 2020-11-18

Publications (2)

Publication Number Publication Date
CN113313656A CN113313656A (zh) 2021-08-27
CN113313656B true CN113313656B (zh) 2023-02-21

Family

ID=77381394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110775998.2A Active CN113313656B (zh) 2020-11-18 2021-07-09 一种适应hud上中下眼盒畸变矫正方法

Country Status (1)

Country Link
CN (1) CN113313656B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108225734A (zh) * 2018-01-05 2018-06-29 宁波均胜科技有限公司 一种基于hud***的误差标定***及其误差标定方法
CN111242866A (zh) * 2020-01-13 2020-06-05 重庆邮电大学 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207751667U (zh) * 2018-01-05 2018-08-21 宁波均胜科技有限公司 一种用于抬头显示***的误差标定***
CN109493321B (zh) * 2018-10-16 2021-11-12 中国航空工业集团公司洛阳电光设备研究所 一种车载hud目视光学***视差计算方法
KR102518661B1 (ko) * 2018-10-16 2023-04-06 현대자동차주식회사 Hud 시스템의 이미지 왜곡 보정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108225734A (zh) * 2018-01-05 2018-06-29 宁波均胜科技有限公司 一种基于hud***的误差标定***及其误差标定方法
CN111242866A (zh) * 2020-01-13 2020-06-05 重庆邮电大学 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
某车载抬头显示光学***设计研究;陈璐玲;《中国新技术新产品》;20200731(第7期);第19-21页 *

Also Published As

Publication number Publication date
CN113313656A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
CN107527324B (zh) 一种hud的图像畸变矫正方法
WO2020019487A1 (zh) mura补偿方法及mura补偿***
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
CN106898286B (zh) 基于指定位置的Mura缺陷修复方法及装置
US20160267710A1 (en) Image Rendering Method and Apparatus
CN101572787B (zh) 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法
CN110636273A (zh) 调整投影画面的方法、装置、可读存储介质及投影仪
CN111586384B (zh) 一种基于贝塞尔曲面的投影图像几何校正方法
CN102298894A (zh) 显示设备及其对比度增强方法
CN109495729B (zh) 投影画面校正方法和***
CN108550157B (zh) 一种教学板书的无遮挡处理方法
CN107749986A (zh) 教学视频生成方法、装置、存储介质和计算机设备
CN104732497A (zh) 一种图像去雾方法、fpga及包含该fpga的去雾***
CN104461441A (zh) 渲染方法、渲染装置及显示装置
TWI443604B (zh) 影像校正方法及影像校正裝置
CN113313656B (zh) 一种适应hud上中下眼盒畸变矫正方法
CN102682431A (zh) 广角图像校正方法和***
JP7081265B2 (ja) 画像処理装置
CN100498515C (zh) 一种离轴安装的投影仪球幕投影非线性失真校正方法
CN104853062B (zh) 影像修正方法与影像修正装置
CN110211543A (zh) 局部背光调节方法和装置、虚拟现实***
Zoido et al. Optimized methods for multi-projector display correction
CN112164377B (zh) 一种hud图像矫正的自适配方法
CN103686029A (zh) 一种用于大屏幕多投影***的视频像素对角插值方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant