CN117671021A - 一种车载hud标定方法及***、介质 - Google Patents

一种车载hud标定方法及***、介质 Download PDF

Info

Publication number
CN117671021A
CN117671021A CN202311263365.9A CN202311263365A CN117671021A CN 117671021 A CN117671021 A CN 117671021A CN 202311263365 A CN202311263365 A CN 202311263365A CN 117671021 A CN117671021 A CN 117671021A
Authority
CN
China
Prior art keywords
calibration
image
pixel
point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311263365.9A
Other languages
English (en)
Inventor
于浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Hangsheng Zhixing Technology Co ltd
Shenzhen Hangsheng Electronic Co Ltd
Original Assignee
Chengdu Hangsheng Zhixing Technology Co ltd
Shenzhen Hangsheng Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Hangsheng Zhixing Technology Co ltd, Shenzhen Hangsheng Electronic Co Ltd filed Critical Chengdu Hangsheng Zhixing Technology Co ltd
Priority to CN202311263365.9A priority Critical patent/CN117671021A/zh
Publication of CN117671021A publication Critical patent/CN117671021A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及抬头显示技术领域，具体而言，涉及一种车载HUD标定方法及***、介质，本发明利用相机拍摄HUD投影到挡风玻璃上的标定图像，采用聚类方法定位拍摄图像中标定点坐标，采用透视变换分块拟合HUD投影图像与观察到的虚拟图像之间的畸变映射关系，利用该映射关系对待显示的每帧图像进行重映射变换，投影变换后的图像即可观察到无畸变图像，从而达到矫正效果，解决了现有技术中硬件实施成本高、软件算法运算量大、鲁棒性差的问题。

Description

一种车载HUD标定方法及***、介质
技术领域
本发明涉及抬头显示技术领域，具体而言，涉及一种车载HUD标定方法及***、介质。
背景技术
近年来，HUD(Head-Up Disp lay，即抬头显示器)作为一种汽车驾驶辅助***，正逐渐受到大众关注和青睐。HUD将车速、导航等驾驶辅助信息投影到挡风玻璃上，使其直观地呈献在驾驶员视线前方；避免驾驶员低头看仪表而引起注意力分散，增强驾驶安全性和舒适感。然而，受多种因素(如HUD内部光路设计、挡风玻璃弯曲程度等)影响，HUD投影图像经挡风玻璃反射后具有一定程度的畸变。现阶段，这种畸变很难通过硬件或结构设计上的改变来彻底消除，通常采用软件图像处理技术来矫正。而现有车载HUD标定方法存在硬件实施成本高、软件算法运算量大、鲁棒性差等问题。
发明内容
本发明的目的是提供一种车载HUD标定方法及***、介质，来解决现有技术中的上述问题。
本发明的实施例通过以下技术方案实现：
第一方面，本发明提供了一种车载HUD标定方法，包括；
搭建标定环境，并将HUD投影标定图像到挡风玻璃；
拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存。
在本发明的一实施例中，所述将拍摄图像中组成各个标定点的所有像素进行聚类包括；
将拍摄图像转化为第一灰度图，并进行归一化处理得到第二灰度图；
预设标定点亮度阈值，根据定点亮度阈值从左到右从上到下对第二灰度图中每个像素的值与亮度阈值进行比较，判断为背景像素、噪点或者为标定点像素加入有序集合中；
对有序集合中的所有像素进行聚类，共分为第一有序集合至第mn有序集合的若干类，并对有序集合中的每个像素进行处理，得到有序集合的聚类中心。
在本发明的一实施例中，所述判断为背景像素、噪点或者为标定点像素加入有序集合中包括；
若像素的值小于亮度阈值，则判断为背景像素；
若像素的值大于等于亮度阈值，则计算该像素周围像素的最大值；
若最大值小于亮度阈值，则判断为噪点；若最大值大于亮度阈值，则判断为标定点像素，加入有序集合中。
在本发明的一实施例中，所述并对有序集合中的每个像素进行处理包括；
若所有类为空，则将该像素加入第一有序集合中，将第一有序集合的聚类中心设为该像素；
若存在非空类，计算该像素到所有非空类距离的最小值；
预设标定点半径阈值，若最小值小于半径阈值，则将该像素加入最小值对应的非空类，否则将该像素加入第一有序集合至第mn有序集合距离排序最小的空类，并更新被加入像素的空类或者非空类的聚类中心。
在本发明的一实施例中，所述并判断是否定位成功包括；
预设标定点像素数目阈值，判断是否所有类的像素数目是否大于数目阈值；
若满足，则第一有序集合至第mn有序集合的聚类中心为标定点坐标；
若不满足，则重新搭建标定环境。
在本发明的一实施例中，所述计算虚拟图像中相应的标定点坐标包括；
选取拍摄图像中间一行的标定点，采用最小二乘法拟合一条水平直线，计算该行标定点之间的水平间隔平均值；
选取拍摄图像中间一列的标定点，采用最小二乘法拟合一条垂直直线。计算该列标定点之间的垂直间隔平均值；
根据水平间隔平均值和重直间隔平均值计算获得拍摄图像各标定点坐标。
在本发明的一实施例中，所述拟合标定图像与虚拟图像之间的像素坐标映射关系包括；
按标定点分布将标定图像划分为若干个矩形区域，每个矩形的四个顶点由四个标定点组成；
虚拟图像同样设置，并通过以下公式进行计算：
其中，(x,y)为标定图像中标定点坐标，(x',y')为虚拟图像中相应标定点坐标，a11,a12,...,a33为待定系数；
令a33＝1，将标定图像中标定点pi,pi+1,pi+n,pi+n+1和虚拟图像中对应点p'i,p'i+1,p'i+n,p'i+n+1坐标代入上式等号右边和左边，解此线性方程组，求出所有待定系数；
计算标定图像中每个像素坐标p＝(x,y)在虚拟图像中对应像素坐标p'＝(x',y')。
在本发明的一实施例中，还包括；
加载标定参数，得到标定图像与虚拟图像之间的坐标映射关系；
对每帧HUD待输出图像做重映射变换得第一图像；
HUD投影第一图像到挡风玻璃得到第二图像，若第二图像与待输出图像一致则输出图像，否则进行矫正。
第二方面，本发明还提供了一种车载HUD标定***，包括；
投影模块，被配置为搭建标定环境，并将HUD标定图像投影到挡风玻璃；
拍摄模块，被配置为拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
聚类模块，被配置为将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
计算模块，被配置为基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
拟合模块，被配置为拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存；
主控模块，所述主控模块与所述投影模块、拍摄模块、聚类模块、计算模块和拟合模块连接，用于执行上述的一种车载HUD标定方法。
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行上述的一种一种车载HUD标定方法方法。
本发明实施例的技术方案至少具有如下优点和有益效果：
本发明利用相机拍摄HUD投影到挡风玻璃上的标定图像，采用聚类方法定位拍摄图像中标定点坐标，采用透视变换分块拟合HUD投影图像与观察到的虚拟图像之间的畸变映射关系，利用该映射关系对待显示的每帧图像进行重映射变换，投影变换后的图像即可观察到无畸变图像，从而达到矫正效果，解决了现有技术中硬件实施成本高、软件算法运算量大、鲁棒性差的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明HUD标定和矫正流程图。
图2为本发明标定时HUD、挡风玻璃、相机相对位置示意图。
图3为本发明HUD投影图像、虚拟图像，相机拍摄图像三者关系示意图。
图4为本发明定位拍摄图像中标定点坐标算法流程图。
图5为本发明拍摄图像中标定点坐标转化为虚拟图像中相应标定点坐标示意图。
图6为本发明分块拟合投影图像I与虚拟图像I'之间映射关系示意图。
图7为本发明具体实施时投影的标定图像、观察到的虚拟图像和相机拍摄到的图像。
图8为本发明矫正原理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
本申请的说明书和权利要求书及上述附图中的术语“第一、第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个***中,或一些特征可以忽略,或不执行。
独立说明的模块或子模块可以是物理上分离的,也可以不是物理上的分离:可以是软件实现的,也可以是硬件实现的,且可以部分模块或子模块通过软件实现,由处理器调用该软件实现这部分模块或子模块的功能，且其它部分模板或子模块通过硬件实现，例如通过硬件电路实现。此外,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
请参照图1-图8，一种本发明提供了一种车载HUD标定方法，包括；
S1：搭建标定环境，并将HUD标定图像投影到挡风玻璃；
将相机固定在方向盘上，保持相机位置水平，相机参数调至能清晰拍到HUD投影到挡风玻璃上的完整标定图像。HUD、挡风玻璃、相机三者相对位置如图2所示。用黑布遮挡(或铺在)整个挡风玻璃外侧。
其中，所述相机为工业相机，通过网线与车载主机(简称车机)连接；所述HUD为车载前装HUD，通过LVDS连接至车机；所述挡风玻璃已经过去重影处理；所述黑布为深色或暗色不透明遮挡物。标定过程中，HUD负责投影图像，相机负责拍摄图像，车机负责标定逻辑和处理图像。类似拍照时背景墙原理，用黑布遮挡挡风玻璃外侧的目的是使相机拍摄的图像更清晰、噪点更少，便于标定算法处理。
其中，所述标定图像I为背景为黑色，前景由m行n列整齐排列的白色标定点组成；每个标定点是边长为r像素的实心正方形。标定图像I尺寸(或分辨率)为w×h，中心坐标为(cx,cy)；标定点个数为mn，且m,n均为奇数。标定点之间水平间距为dx,垂直间距为dy；图像I中所有标定点从左到右从上到下依次记为p1,p1,...,pmn，相应坐标依次为(x1,y1),(x2,y2),...,(xmn,ymn)。
S2：拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
其中，所述虚拟图像I'与标定图像I尺寸相同，拍摄图像I*与标定图像I尺寸则可能不同；如图3所示，图像I'可看成是图像I*经裁剪、缩放变换后得到的图像。图像I'相对图像I来说具有一定的畸变，因此图像I'也可看成是图像I经畸变映射M变换后得到的图像。
S3：将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
其中，所述“聚类”方法是一种基于统计“聚类”思想的图像处理算法，其目的在于快速、准确定位图像I*中各个标定点坐标。算法原理为：将图像I*中组成各个标定点的所有像素进行聚类，属于同一个标定点的像素聚为一类，该类的聚类中心即为相应标定点坐标。
S4：基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
S5：拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存。
本发明利用相机拍摄HUD投影到挡风玻璃上的标定图像，采用聚类方法定位拍摄图像中标定点坐标，采用透视变换分块拟合HUD投影图像与观察到的虚拟图像之间的畸变映射关系，利用该映射关系对待显示的每帧图像进行重映射变换，投影变换后的图像即可观察到无畸变图像，从而达到矫正效果，解决了现有技术中硬件实施成本高、软件算法运算量大、鲁棒性差的问题。
在本发明的一实施例中，所述将拍摄图像中组成各个标定点的所有像素进行聚类包括；
S301：将拍摄图像转化为第一灰度图，并进行归一化处理得到第二灰度图；
其中vmax,vmin分别为第一灰度图中像素最大值和最小值；分别为归一化前后的像素值。
S302：预设定点亮度阈值，根据标定点亮度阈值从左到右从上到下对第二灰度图中每个像素p的值与亮度阈值进行比较，判断为背景像素、噪点或者为标定点像素p加入有序集合中；
如果p的值＜vt，将p视为背景像素。
如果p的值≥vt，计算p周围(紧邻的多达8个)像素最大值；若最大值＜vt，则将p视为噪点；否则将p视为标定点像素加入到有序集合C中。
S303：对有序集合中的所有像素进行聚类，共分为第一有序集合至第mn有序集合的若干类，并对有序集合中的每个像素进行处理，得到有序集合的聚类中心。
具体的，若所有类为空，则将该像素加入第一有序集合中，将第一有序集合的聚类中心设为该像素坐标；若存在非空类，计算该像素到所有非空类距离的最小值；预设标定点半径阈值，若最小值小于半径阈值，则将该像素加入最小值对应的非空类，否则将该像素加入第一有序集合至第mn有序集合距离排序最小的空类，并更新被加入像素的空类或者非空类的聚类中心。
即，依据预设标定点半径阈值rt，对C中所有像素进行聚类，共分为mn类：C1,C2,...,Cmn；初始时所有类为空。对C中每个像素p进行如下处理：
如果所有类为空，将p加入C1，将C1的聚类中心设为p；
如果存在非空类，计算p到所有非空类(聚类中心)距离的最小值。若最小值＜rt，将p加入最小值对应的非空类；否则将p加入下标最小的空类，并更新该类的聚类中心。
如果所有类非空，计算p到所有类聚类中心距离的最小值。若最小值＜rt，将p加入最小值所对应的类；否则将p舍弃(因为p可能为背景噪点)。
在一实施例中，所述并判断是否定位成功包括；
预设标定点像素数目阈值，判断是否所有类的像素数目是否大于数目阈值；若满足，则第一有序集合至第mn有序集合的聚类中心为标定点坐标；若不满足，则重新搭建标定环境。
具体的，依据预设标定点像素数目阈值nt，判断是否所有类的像素数目都大于nt。
如果条件满足，则C1,C2,...,Cmn的聚类中心就相应标定点(中心)坐标；
否则，检查标定环境、调整标定设备(如调整相机位置和参数)后重新进入标定。
在一实施例中，所述计算虚拟图像中相应的标定点坐标包括；
选取拍摄图像中间一行的标定点，采用最小二乘法拟合一条水平直线，计算该行标定点之间的水平间隔平均值；选取拍摄图像中间一列标定点，采用最小二乘法拟合一条垂直直线。计算该列的标定点之间的垂直间隔平均值；根据水平间隔平均值和垂直间隔平均值计算获得拍摄图像各标定点坐标。
具体的为，选取图像I*中间一行标定点，采用最小二乘法拟合一条水平直线计算该行标定点之间的水平间隔平均值/>
选取图像I*中间一列标定点，采用最小二乘法拟合一条垂直直线计算该列标定点之间的垂直间隔平均值/>
按以下公式计算图像I'各标定点坐标为：
其中，(x*,y*)为拍摄图像I*中任一标定点坐标，(x',y')为虚拟图像I'中对应标定点坐标；为直线/>与直线/>的交点；(cx,cy)为标定图像I中心坐标，dx,dy分别为标定图像I中标定点水平间距和垂直间距。
在本发明的一实施例中，所述拟合标定图像与虚拟图像之间的像素坐标映射关系包括；
其中，所述投影图像I和虚拟图像I'均包含mn个标定点，且标定点坐标一一对应；除标定点对应关系外，其它像素坐标的对应关系未知。
按标定点分布将标定图像划分为(m-1)(n-1)个矩形区域，每个矩形的四个顶点由四个标定点组成，即为pi,pi+1,pi+n,pi+n+1
虚拟图像同样设置，四个标定点为p'i,p'i+1,p'i+n,p'i+n+1，并通过以下公式进行计算：
其中，(x,y)为标定图像中标定点坐标，(x',y')为虚拟图像中相应标定点坐标，a11,a12,...,a33为待定系数；
令a33＝1，将标定图像中标定点pi,pi+1,pi+n,pi+n+1和虚拟图像中对应点p'i,p'i+1,p'i+n,p'i+n+1坐标代入上式等号右边和左边，解此线性方程组，求出所有待定系数；
计算标定图像中每个像素坐标p＝(x,y)在虚拟图像中对应像素坐标p'＝(x',y')。
如果p在某个矩形区域内，使用该区域的映射公式计算p'；
如果p不在任何矩形区域内，使用最邻近区域的映射公式计算p'。
将标定图像I与虚拟图像I'之间的映射关系M作为标定参数保存。
其中，M是一个w×h的矩阵，每个元素M(x,y)由两个分量(x',y')组成，即(x',y')＝M(x,y)，表示I中(x,y)处的像素对应于I'中(x',y')处像素；将M作为标定参数保存在非易失存储设备中。至此，标定过程完毕。
在本发明的一实施例中，还包括；
加载标定参数，得到标定图像与虚拟图像之间的坐标映射关系；对每帧HUD待输出图像做重映射变换得第一图像；HUD投影第一图像到挡风玻璃得到第二图像，若第二图像与待输出图像一致则输出图像，否则进行矫正。
具体的，加载标定参数，得到标定图像I与虚拟图像I'之间的坐标映射关系M。对每帧HUD待输出图像S做重映射变换得图像D,变换公式如下：
D(x,y)＝S(M(x,y))
其中，(x',y')＝M(x,y)，图像D与图像S具有相同尺寸；由于x',y'为浮点数并且坐标(x',y')可能超出图像S边界，因此本专利采用双线插值来处理，当(x',y')超出S边界时将S(x',y')置为黑色。
HUD投影变换后图像D到挡风玻璃。图像D经挡风玻璃反射后的虚拟图像记为D'。因为标定时已求出投影图像与虚拟图像的映射关系M，所以有
D(x,y)＝D'(M(x,y))＝D'(x',y')
进而有D'＝S。这说明观察到的虚拟图像D'与待输出图像S相同，因而消除了畸变，达到了矫正的效果。
此外，本发明还提供了一种车载HUD标定***，包括；
投影模块，被配置为搭建标定环境，并将HUD投影标定图像到挡风玻璃；
拍摄模块，被配置为拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
聚类模块，被配置为将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
计算模块，被配置为基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
拟合模块，被配置为拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存；
主控模块，所述主控模块与所述投影模块、拍摄模块、聚类模块、计算模块和拟合模块连接，用于执行上述的一种车载HUD标定方法。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read—OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车载HUD标定方法，其特征在于，包括；
搭建标定环境，并将HUD标定图像投影到挡风玻璃；
拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存。
2.根据权利要求1所述的一种车载HUD标定方法，其特征在于，所述将拍摄图像中组成各个标定点的所有像素进行聚类包括；
将拍摄图像转化为第一灰度图，并进行归一化处理得到第二灰度图；
预设标定点亮度阈值，根据标定点亮度阈值从左到右从上到下对第二灰度图中每个像素的值与亮度阈值进行比较，判断为背景像素、噪点或者为标定点像素加入有序集合中；
对有序集合中的所有像素进行聚类，共分为第一有序集合至第mn有序集合的若干类，并对有序集合中的每个像素进行处理，得到有序集合的聚类中心。
3.根据权利要求2所述的一种车载HUD标定方法，其特征在于，所述判断为背景像素、噪点或者为标定点像素加入有序集合中包括；
若像素的值小于亮度阈值，则判断为背景像素；
若像素的值大于等于亮度阈值，则计算该像素周围像素的最大值；
若最大值小于亮度阈值，则判断为噪点；若最大值大于亮度阈值，则判断为标定点像素，加入有序集合中。
4.根据权利要求2所述的一种车载HUD标定方法，其特征在于，所述并对有序集合中的每个像素进行处理包括；
若所有类为空，则将该像素加入第一有序集合中，将第一有序集合的聚类中心设为该像素；
若存在非空类，计算该像素到所有非空类距离的最小值；
预设标定点半径阈值，若最小值小于半径阈值，则将该像素加入最小值对应的非空类，否则将该像素加入第一有序集合至第mn有序集合距离排序最小的空类，并更新被加入像素的空类或者非空类的聚类中心。
5.根据权利要求2所述的一种车载HUD标定方法，其特征在于，所述并判断是否定位成功包括；
预设标定点像素数目阈值，判断是否所有类的像素数目是否大于数目阈值；
若满足，则第一有序集合至第mn有序集合的聚类中心为标定点坐标；
若不满足，则重新搭建标定环境。
6.根据权利要求1所述的一种车载HUD标定方法，其特征在于，所述计算虚拟图像中相应的标定点坐标包括；
选取拍摄图像中间一行的标定点，采用最小二乘法拟合一条水平直线，计算该行标定点之间的水平间隔平均值；
选取拍摄图像中间一列的标定点，采用最小二乘法拟合一条垂直直线；计算该列标定点之间的垂直间隔平均值；
根据水平间隔平均值和垂直间隔平均值计算获得拍摄图像各标定点坐标。
7.根据权利要求1所述的一种车载HUD标定方法，其特征在于，所述拟合标定图像与虚拟图像之间的像素坐标映射关系包括；
按标定点分布将标定图像划分为若干个矩形区域，每个矩形的四个顶点由四个标定点组成；
虚拟图像同样设置，并通过以下公式进行计算：
其中，(x,y)为标定图像中标定点坐标，(x',y')为虚拟图像中相应标定点坐标，a11,a12,...,a33为待定系数；
令a33＝1，将标定图像中标定点pi,pi+1,pi+n,pi+n+1和虚拟图像中对应点””
pi,pi+1,pi+n,pi+n+1坐标代入上式等号右边和左边，解此线性方程组，求出所有待定系数；
计算标定图像中每个像素坐标p＝(x,y)在虚拟图像中对应像素坐标p'＝(x',y')。
8.根据权利要求7任一所述的一种车载HUD标定方法，其特征在于，还包括；
加载标定参数，得到标定图像与虚拟图像之间的坐标映射关系；
对每帧HUD待输出图像做重映射变换得第一图像；
HUD投影第一图像到挡风玻璃得到第二图像，若第二图像与待输出图像一致则输出图像，否则进行矫正。
9.一种车载HUD标定***，其特征在于，包括；
投影模块，被配置为搭建标定环境，并将HUD标定图像投影到挡风玻璃；
拍摄模块，被配置为拍摄标定图像经挡风玻璃反射的虚拟图像，得到拍摄图像；
聚类模块，被配置为将拍摄图像中组成各个标定点的所有像素进行聚类，用于定位各个标定点的坐标，并判断是否定位成功，若定位失败则重新搭建标定环境，若成功则获得拍摄图像中标定点坐标；
计算模块，被配置为基于拍摄图像中标定点坐标计算虚拟图像中相应的标定点坐标；
拟合模块，被配置为拟合标定图像与虚拟图像之间的像素坐标映射关系，并进行保存；
主控模块，所述主控模块与所述投影模块、拍摄模块、聚类模块、计算模块和拟合模块连接，用于执行如权利要求8所述的一种车载HUD标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求8中所述的一种车载HUD标定方法。
CN202311263365.9A 2023-09-27 2023-09-27 一种车载hud标定方法及***、介质 Pending CN117671021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311263365.9A CN117671021A (zh) 2023-09-27 2023-09-27 一种车载hud标定方法及***、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311263365.9A CN117671021A (zh) 2023-09-27 2023-09-27 一种车载hud标定方法及***、介质

Publications (1)

Publication Number Publication Date
CN117671021A true CN117671021A (zh) 2024-03-08

Family

ID=90070221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311263365.9A Pending CN117671021A (zh) 2023-09-27 2023-09-27 一种车载hud标定方法及***、介质

Country Status (1)

Country Link
CN (1) CN117671021A (zh)

Similar Documents

Publication Publication Date Title
CN111476104B (zh) 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
US10007853B2 (en) Image generation device for monitoring surroundings of vehicle
EP1736927B1 (en) Image generation device and method for vehicle
CN110728638A (zh) 一种图像的畸变矫正方法、车机及汽车
JP2014199385A (ja) 表示装置及びその表示方法
CN106920475B (zh) 显示面板、显示装置及显示面板的驱动方法
EP3690799A1 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
US20220319145A1 (en) Image processing device, image processing method, moving device, and storage medium
CN112947885B (zh) 一种曲面屏展平图像的生成方法及装置
US9317895B1 (en) Non-linear image mapping
CN117853569B (zh) 车辆***区域的呈现装置、方法和电子设备
CN117671021A (zh) 一种车载hud标定方法及***、介质
CN116862788A (zh) 一种cms视野校核方法、***、装置及存储介质
CN113900608B (zh) 立体三维光场的显示方法、装置、电子设备及介质
CN112666713B (zh) 一种更新抬头显示器校准数据的方法
JP5682473B2 (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN115578283B (zh) Hud成像的畸变矫正方法、装置、终端设备及存储介质
CN115147797B (zh) 一种电子外后视镜视野智能调整方法、***和介质
CN112585025A (zh) 头戴式显示器、头戴式显示器***以及移动体
CN117011185B (zh) 一种电子后视镜cms图像矫正方法、***及电子后视镜
JPH0683955A (ja) ３次元画像生成方法
US7403207B1 (en) Intensity weighting for sub-pixel positioning
CN117252932A (zh) 一种ar-hud标定方法、***、设备及汽车
CN116912128A (zh) Hud图像畸变校准方法、设备及***、hud图像生成方法和hud成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination