CN111405263A - 一种双摄像头结合共用于增强抬头显示的方法及*** - Google Patents

一种双摄像头结合共用于增强抬头显示的方法及*** Download PDF

Info

Publication number
CN111405263A
CN111405263A CN201911369014.XA CN201911369014A CN111405263A CN 111405263 A CN111405263 A CN 111405263A CN 201911369014 A CN201911369014 A CN 201911369014A CN 111405263 A CN111405263 A CN 111405263A
Authority
CN
China
Prior art keywords
camera
module
camera module
built
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911369014.XA
Other languages
English (en)
Inventor
林喜泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201911369014.XA priority Critical patent/CN111405263A/zh
Publication of CN111405263A publication Critical patent/CN111405263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双摄像头结合共用于增强抬头显示***的方法，包括以下步骤，在前置摄像头结构中布置内置摄像头，使得两者坐标系接近或单方向较小误差；所述前置摄像头识别获取道路信息，并将所述道路信息传递给CAN总线，再由所述CAN总线传送至AR‑HUD进行处理显示；所述内置摄像头获取眼球的相对位置，将所述AR‑HUD处理显示的内容进行调整，将前置摄像头和眼球追踪***集合在一起，置于汽车前挡风玻璃后，坐标***一，无需进行多余的换算，另外由于前置摄像头和内置摄像头在同一硬件体中，拆卸组装方便，整体看上去也较为美观。

Description

一种双摄像头结合共用于增强抬头显示的方法及***
技术领域
本发明涉及智能座舱显示的技术领域，尤其涉及一种双摄像头结合共用于增强抬头显示的方法及***。
背景技术
抬头显示简称为HUD，又被叫做平行显示***，是指以驾驶员为中心、盲操作、多功能仪表盘，能够把时速、导航等重要的行车信息投影至驾驶员前面的挡风玻璃上，让驾驶员尽量做到不低头、不转头就能够看到驾驶信息。 HUD(Headup Display)原先是用在飞机上的设备，是为了帮助飞行员更容易感知周围环境而设计的，随着技术领域的推广，此项技术在汽车上也得到了一定的应用，HUD在汽车行业的发展经历了C-HUD和W-HUD，目前在向AR-HUD发展。C-HUD(Combiner HUD，组合型HUD)起初多用于后装市场，价格相对便宜，Navdy和车萝卜等公司的产品都属于这类，现在也进入了前装市场，非高级桥车中多安装C-HUD，比如江铃易至E300；W-HUD(Windshield HUD，挡风玻璃HUD)，高档轿车多配置前装W-HUD，比如宝马3系；AR- HUD(Augmented Reality HUD)称为增强现实HUD，主要是通过AR技术将显示内容投影到车前，让驾驶员可以更直观地观察实际路面情况。
现有HUD装置中，汽车前置摄像头和眼球摄像头以及人眼分别在不同的坐标系中，需要进行相应的换算；另外眼球追踪摄像头对内放置于仪表和A柱上都需要进行相应的安装部署，不美观且拆装也较为麻烦。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有HUD装置存在的问题，提出了本发明。
因此，本发明解决的技术问题是：解决现有HUD装置中，前置摄像头和眼球摄像头以及人眼分别在不同的坐标系中，需要进行相应的换算，并且眼球追踪摄像头对内放置造成的不美观且拆装麻烦的问题。
为解决上述技术问题，本发明提供如下技术方案：一种双摄像头结合共用于增强抬头显示的方法，包括：在前置摄像模块中布置内置摄像模块；调整所述前置摄像模块与所述内置摄像模块的坐标系接近或单方向较小误差；利用所述前置摄像模块识别道路信息并提取；将所述道路信息利用CAN总线模块传送至增强显示模块处理后显示；所述内置摄像模块实时获取眼球的相对位置；将所述增强显示模块处理显示的内容进行同步调整。
作为本发明所述的双摄像头结合共用于增强抬头显示的方法的一种优选方案，其中：在所述前置摄像模块中布置所述内置摄像模块具体包括，所述前置摄像模块获取相应的图像；计算所述图像的成像中心；根据所述成像中心换算出所述内置摄像模块需要布置的位置；将所述内置摄像模块布置于所述位置上。
作为本发明所述的双摄像头结合共用于增强抬头显示的方法的一种优选方案，其中：所述前置摄像模块通过成像中心数据算法计算所述图像的成像中心。
作为本发明所述的双摄像头结合共用于增强抬头显示的方法的一种优选方案，其中：所述前置摄像模块与所述内置摄像模块分别为前置摄像头和内置摄像头，所述前置摄像头包括单目摄像头和双目摄像头，所述单目摄像头的成像中心在CCD上，所述双目摄像头的成像中心在镜头两边的中心CCD上。
作为本发明所述的双摄像头结合共用于增强抬头显示的方法的一种优选方案，其中：将所述增强显示模块处理显示的内容进行调整的方式为，根据所述内置摄像模块获取到的眼球相对位置，将所述增强显示模块处理显示的图像数据进行相应的平移移动处理。
作为本发明所述的双摄像头结合共用于增强抬头显示的方法的一种优选方案，其中：所述道路信息包括车道线和人的坐标方程。
为解决上述技术问题，本发明还提供如下技术方案：一种双摄像头结合共用于增强抬头显示的***，包括前置摄像模块，用于识别道路信息并提取；内置摄像模块，设置于所述前置摄像模块内，用于获取眼球的相对位置；CAN 总线模块，与所述前置摄像模块和所述内置摄像模块连接，用于传输所述道路信息和所述眼球的相对位置；增强显示模块，与所述CAN总线模块连接，用于接收传输的所述道路信息通过AR-HUD处理显示，并接收所述眼球的相对位置，将所述AR-HUD处理显示的内容进行调整。
作为本发明所述的双摄像头结合共用于增强抬头显示的***的一种优选方案，其中：所述前置摄像模块中还包括识别采集模块，用于获取相应的图像和识别提取所述道路信息；计算模块，用于计算所述图像的成像中心，并获取所述内置摄像模块需要布置的位置。
作为本发明所述的双摄像头结合共用于增强抬头显示的***的一种优选方案，其中：所述增强显示模块还包括处理显示模块，用于将获取的所述道路信息通过AR-HUD处理显示；调整模块，用于根据所述内置摄像模块获取眼球的相对位置，将所述AR-HUD处理显示的内容进行调整。
本发明的有益效果：本发明将前置摄像头和眼球追踪***集合在一起，置于汽车前挡风玻璃后，坐标***一，无需进行多余的换算，另外由于前置摄像头和内置摄像头在同一硬件体中，拆卸组装方便，整体看上去也较为美观。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的双摄像头结合共用于增强抬头显示***的方法的流程图；
图2为本发明提供的双摄像头结合共用于增强抬头显示***的***模块流程图；
图3为本发明提供的双摄像头结合共用于增强抬头显示***的方法的单目前置摄像头的实现原理图；
图4为本发明提供的双摄像头结合共用于增强抬头显示***的方法的双目前置摄像头的实现原理图；
图5、图6、图7为现有技术的装置效果图；
图8、图9、图10为采用本发明的装置效果图；
图11为现有技术与本发明的对比技术原理图；
图12为相较于坐标系中心原点，物体的成像示意图；
图13为前置摄像模块计算内置摄像模块位置的第一示意图；
图14为前置摄像模块计算内置摄像模块位置的第二示意图；
图15为不同时间下采集的眼睛图像；
图16为成像中心算法中的理想透视成像模型示意图；
图17为成像中心算法中的测角原理图；
图18为眼球追踪算法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
请参阅图1及图3～18，为本发明提供的双摄像头结合共用于增强抬头显示的方法的第一个实施例：一种双摄像头结合共用于增强抬头显示的方法，包括以下步骤：
在前置摄像模块100中布置内置摄像模块200；
调整前置摄像模块100与内置摄像模块200的坐标系接近或单方向较小误差；
利用前置摄像模块100识别道路信息并提取；
将道路信息利用CAN总线模块300传送至增强显示模块400处理后显示；
内置摄像模块200实时获取眼球的相对位置；
将增强显示模块400处理显示的内容进行同步调整。
需要注意的是：
前置摄像模块100和内置摄像模块200采用前置摄像头和内置摄像头。上述将内置摄像模块200布置于前置摄像模块100中，调整两者的坐标系接近或单方向较小误差具体为：前置摄像头为两个摄像头，左边摄像头的CCD中心定位为A点，坐标为X1,Y1,Z1，右边的摄像头的CCD中心定位为B点，坐标为X2,Y2,Z2，两者的中心点为(X1+X2)/2,(Y1+Y2)/2,(Z1+Z2)/2，内置摄像头的CCD的中心定义为与两者的中心在这一点上，从而达到调整的目的。
其中，需要调整两者接近或者单方向较小误差的原因在于CCD作为一种传感器，是具有一定的较小的厚度，而非一个平面，故在厚度方向上设计和装配上均有较小的误差。即在X/Y方向上可以使两者的数据完全贴合，但在Z 方向上会出现较小误差，所造成的影响和缘由主要是CCD有一定厚度。
进一步的，前置摄像模块100利用成像中心数据算法以及内置红外摄像头等技术手段，在前置摄像模块100中布置内置摄像模块200，具体包括如下步骤：
前置摄像模块100获取相应的图像；
计算图像的成像中心；
根据成像中心换算出内置摄像模块200需要布置的位置；
将内置摄像模块200布置于位置上。
其中，前置摄像模块100通过内置的红外摄像头获取相应的图像；而计算图像的成像中心以及依据成像中心换算出内置摄像头需要布置的位置均是通过前置摄像模块100中的计算单元实现，可以根据座椅位置，即人不同的高度推算出人眼或者人脸所在的位置，摄像头需要的角度需要覆盖人眼所在的位置情况。如使用60度摄像头，可以覆盖1米到1米五的人眼情况，此时需要调整位置，使得覆盖1米五到一米9的人眼的视觉范围。另外如果实在无法满足，需要增加摄像头角度，如从60度到90或者120度，如图13及图14所示。
其中，前置摄像模块100中内置的红外摄像头包括单目摄像头和双目摄像头，单目摄像头的成像中心在CCD上，双目摄像头的成像中心在镜头两边的中心CCD上。
需要说明的是：CCD是指电荷耦合器件，是一种半导体成像器件，被摄物体的图像经过镜头聚焦至CCD芯片上，CCD根据光的强弱积累相应比例的电荷，各个像素积累的电荷在视频时序的控制下，逐点外移，径滤波、放大处理后，形成视频信号输出。如图12所示，相较于坐标系中心的原点，在左前方(X1，Y1，Z1)和(X1，Y1，-Z1)分别放置同等物体A拍摄得到的，A和A`计算得到的数据一致，表明成像中心一致。
具体的，成像中心数据算法为：在视觉检测中，摄像机的成像模型一般用理想透视成像模型来近似，如图16所示。
图中0c点位成像透视中心，OZ为摄像机的光轴，它与摄像机的像平面(对应于相机CCD阵列)垂直，0为光轴与像平面的交点，它是像平面的光学中心，但不一定是摄像机CCD的几何中心，因为CCD阵列可能未对中。过0点作像平面坐标系，其X轴平行于像素横向阵列，Y轴垂直于X轴，使0-XYZ 形成右手直角坐标系，再过0c点做摄像机坐标系0c-XcYcZc平行于像平面坐标系。光学中心0点在计算机坐标系中的坐标为(U0，V0)，摄像机的投影中心在物体世界坐标系ow-xwywzw中的坐标为(xw0，yw0，zw0)，ω、φ、
Figure RE-GDA0002523032690000061
为物体分别绕摄像机坐标系x，y，z三坐标轴旋转的欧拉角(Euler angle)，旋转方向按逆时针方向，首先绕x轴，然后绕y轴，再绕z轴。则空间物点P(xw，yw，zw)在像平面上对应的理想像点是坐标是Pu(Xu，Yu)，实际像点坐标是Pd(Xd，Yd)，在像素图像坐标系中的坐标为Pd(U，V)，如果摄像机无镜头畸变，则Pd(Xd，Yd)＝Pu(Xu，Yu)，因此可以根据几何模型求出坐标系之间的关系。
后续步骤如下：
首先实现世界坐标系到摄像机坐标系的转化，由一个正交旋转矩阵和一个平移变换矩阵表示为：
Figure RE-GDA0002523032690000071
用齐次矩阵表示为：
Figure RE-GDA0002523032690000072
其中，
Figure RE-GDA0002523032690000073
Figure RE-GDA0002523032690000074
而后实现摄像机坐标系到理想成像平面坐标系的转化，有如下关系：
Figure RE-GDA0002523032690000075
用齐次坐标和矩阵表示上式为：
Figure RE-GDA0002523032690000076
而后实现成像平面坐标系到像素坐标系的转化：设CCD摄像机的像平面中的光敏单元在X方向(水平方向)的间距为dx，Y方向(垂直方向)的相邻光敏单元中心距离为dy。定义图像横纵比为sx＝dy/dx，则像平面坐标系与计算机坐标之间的变换关系为:
Figure RE-GDA0002523032690000081
用齐次坐标表示为
Figure RE-GDA0002523032690000082
而后在不考虑镜头畸变时，求取摄像机模型的关系式：
Figure RE-GDA0002523032690000083
在考虑径向畸变下，求取摄像机模型的关系式：
Figure RE-GDA0002523032690000084
其中，
Figure RE-GDA0002523032690000085
K1为径向畸变系数。
最后分析求取出图16中P点(炸点空间位置)的空间坐标：
Figure RE-GDA0002523032690000086
其中，αi，i＝1，2分别是炸点对测量站S1，S2的方位角，βi，i＝1，2是炸点对测量站S1，S2的高低角。
结合图17中的测角原理图，得出：
Figure RE-GDA0002523032690000091
Figure RE-GDA0002523032690000092
本文所推导的映射关系是始终成立的，不会随着坐标系的相对位置变化而变化，使得测量出坐标值的更加精确。
进一步的，将增强显示模块400处理显示的内容进行调整的方式为，根据内置摄像模块200获取到的眼球相对位置，将增强显示模块400处理显示的图像数据进行相应的平移移动处理，其中，增强显示模块400设置为AR-HUD。
其中，眼球相对于内置摄像头中心坐标***的3维位置。如以内置摄像头 CCD为中心，假设中心点为(0，0，0)此时计算得出眼球的位置换算成坐标为(X,Y,Z)。
如图18所示，具体的，眼球追踪算法为：
进行瞳孔区域定位，通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置，同时建立人眼图像的差分高斯金字塔模型计算区域极值点。第二步为瞳孔中心拟合，在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。
其中，Haar特征是用于图像中简单边缘特征信息提取的矩形特征模板。该特征模板由两个或者多个不同大小黑白相间的矩形区域组合而成，模板的特征值为白色矩形区域内像素灰度值之和与黑色矩形区域内像素灰度值之和的差值：
Figure RE-GDA0002523032690000093
其中，
Figure RE-GDA0002523032690000101
为白色矩形区域内像素灰度值之和，
Figure RE-GDA0002523032690000102
为黑色矩形区域内像素灰度值之和。
在Haar特征模板中，由于Haar特征模板数量庞大，计算黑白区域内像素灰度值之和会产生庞大的计算量，为了加快计算速度Viola提出积分图(Integral Image)概念可以快速计算特征模板任意区域内像素灰度值和，积分图可以快速计算在图像中的任意像素点x,y在该点x坐标左侧，y坐标上侧区域内像素灰度值和：
Figure RE-GDA0002523032690000103
因此，图像中每一列像素灰度值和为：
Figure RE-GDA0002523032690000104
使用AdaBoost弱分类级联算法进行人脸检测包括：
根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；
根据人脸特征特征，构造M个弱分类器；
重复上一步，选出最优的N个弱分类器；
重复上两步，设定误差率与阈值，生成M个级联的强分类器；
输入人脸图片，使用已经生成的M个强分类器，获得检测结果，并将相邻的子区域合并得到人脸区域。
粗略定位瞳孔中心包括：
使用HAAR模板定位瞳孔区域，同时将人眼图像区域降采样为原图像四分之一大小并与四个不同尺度的高斯核卷积Gn(n＝1,2,3,4)然后将相邻高斯卷积图像Gn和Gn+1相减建立差分高斯金字塔模型Dn(n＝1,2,3)，其中，Gn和Dn 具体为，
Figure RE-GDA0002523032690000105
Dn＝Gn+1-Gn,n＝1,2,3
如果该像素灰度值为邻域内像素灰度值的最小值，那么我们将该像素点作为瞳孔中心候选特征点。
在人眼区域图像中，通过上述步骤已经获得瞳孔区域和候选瞳孔中心。瞳孔区域与带有候选瞳孔中心的人眼区域图像叠加，将瞳孔区域内的像素灰度极值点作为有效的候选瞳孔中心。
为了更加准确的定位瞳孔中心，分析人眼瞳孔区域和巩膜区域为同心圆，因此根据瞳孔区域和巩膜区域的几何结构进一步建立人眼匹配模板拟合瞳孔中心。瞳孔中心拟合模板中黑色区域代表瞳孔区域，白色区域代表巩膜区域。
定义人眼响应函数：
Figure RE-GDA0002523032690000111
以有效候选瞳孔中心为匹配模板中心，将瞳孔中心拟合模板与已经提取的瞳孔区域卷积，卷积过程与Haar模板类似。最后，选择使得响应函数R值最小的像素点以及拟合半径r*，并认为该像素点的坐标为瞳孔中心。具体迭代过程如下表所示：
Ifλ＝rmin,rmax,I(xi,yi),i＝1,...,n
1)for i＝1,2,3,...,do
2)for ri＝rmin:rmax
3)end for
5)end for
(x,y*)＝argminx,yi(R(xi,yi,r*))
Inith:(x*,y*)
在二值化的瞳孔区域图像中，已经得到较为清晰的瞳孔轮廓，接下来，使用Canny边缘检测算子进行瞳孔边缘检测，在获取的瞳孔边缘上随机选择五个不同的特征点。最后，建立椭圆拟合方程：
Q(xi,yi)＝Ax2+Bxy+Cy2+Dx+Ey+F
最后将选择的特征点坐标分别代入椭圆方程，并认为椭圆中心为瞳孔中心，得到眼球追踪方法。
本发明将内置摄像头与前置摄像头共置于一套硬件内，并使得相互的数据中心坐标系叠加在一起，在使用眼球数据中心的时候无需进行数据方程转换，只需要进行图形移动即可。
需要额外说明的是：CAN控制器局域网络的简称，是由以研发和生产汽车电子产品著称的德国BOSCH公司开发的，并最终成为国际标准，是国际上应用最广的现场总线之一，是一种有效支持分布式控制或实时控制的窜行通信网络。
将传统方案与现有方案至于同一套车上，测量计算所得的眼球所在的 ADAS坐标系的识别时间及转换时间。其中变量为人脸转的角度作为变换，分辨测量识别所花的时间，转换的时间,其中数据测试是根据。其中坐标系转换时间计算为将所有的最终数据发送到汽车总can上，通过计算can得到的数据时间进行对比，每100ms进行询问所得到的时间。数据如表1和表2所示：
表1：识别并计算出相对于摄像头人眼的位置所花的时间t/s
测试角度 10 20 30 40 50 60 70 80 90
传统方案 0.7652 0.7815 0.8231 0.8592 0.8576 0.9337 0.9704 1.0276 1.1482
新方案 1.1356 0.9782 0.8326 0.7732 0.7503 0.7847 0.8597 0.9375 0.9847
表2：坐标系转换时间T/ms
测试角度 10 20 30 40 50 60 70 80 90
传统方案 500 500 500 500 500 500 500 500 500
新方案 110 110 110 110 110 110 110 110 110
如图15所示，将传统方案与现有方案至于同一套车上，根据眼睛的张开程度来判断是否识别出眼睛，采用同样的情况进行不同时间(非连续采集)的图像采集并进行识别的结果进行分析，识别结果如下表3：
表3：识别结果表
采集时间 30s 40s 50s 60s 70s 80s 90s
传统方案 198 182 298 404 432 480 501
新方案 188 196 315 396 411 472 496
如表3所示，在不同的采集时间下，传统方案的识别结果以及识别精确度均弱于新方案。
实施例2
请参阅图2，为本发明提供的双摄像头结合共用于增强抬头显示的***的第一个实施例：一种双摄像头结合共用于增强抬头显示的***，包括：
前置摄像模块100，用于识别道路信息并提取；
内置摄像模块200，设置于前置摄像模块100内，用于获取眼球的相对位置；
CAN总线模块300，与前置摄像模块100和内置摄像模块200连接，用于传输道路信息和眼球的相对位置；
增强显示模块400，与CAN总线模块300连接，用于接收传输的道路信息通过AR-HUD处理显示，并接收眼球的相对位置，将AR-HUD处理显示的内容进行调整。
其中，前置摄像模块100中还包括：
识别采集模块101，用于获取相应的图像和识别提取道路信息；
计算模块102，用于计算图像的成像中心，并获取内置摄像模块200需要布置的位置。
进一步的，增强显示模块400还包括：
处理显示模块401，用于将获取的道路信息通过AR-HUD处理显示；
调整模块402，用于根据内置摄像模块200获取眼球的相对位置，将AR- HUD处理显示的内容进行调整。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合) 可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“***”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地***、分布式***中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它***进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种双摄像结合共用于增强抬头显示的方法，其特征在于：包括，
在前置摄像模块(100)中布置内置摄像模块(200)；
调整所述前置摄像模块(100)与所述内置摄像模块(200)的坐标系接近或单方向较小误差；
利用所述前置摄像模块(100)识别道路信息并提取；
将所述道路信息利用CAN总线模块(300)传送至增强显示模块(400)处理后显示；
所述内置摄像模块(200)实时获取眼球的相对位置；
将所述增强显示模块(400)处理显示的内容进行同步调整。
2.根据权利要求1所述的双摄像头结合共用于增强抬头显示的方法，其特征在于：在所述前置摄像模块(100)中布置所述内置摄像模块(200)具体包括，
所述前置摄像模块(100)获取相应的图像；
计算所述图像的成像中心；
根据所述成像中心换算出所述内置摄像模块(200)需要布置的位置；
将所述内置摄像模块(200)布置于所述位置上。
3.根据权利要求2所述的双摄像头结合共用于增强抬头显示的方法，其特征在于：所述前置摄像模块(100)通过成像中心数据算法计算所述图像的成像中心。
4.根据权利要求3所述的双摄像头结合共用于增强抬头显示的方法，其特征在于：所述前置摄像模块(100)与所述内置摄像模块(200)分别为前置摄像头和内置摄像头，所述前置摄像头包括单目摄像头和双目摄像头，所述单目摄像头的成像中心在CCD上，所述双目摄像头的成像中心在镜头两边的中心CCD上。
5.根据权利要求1所述的双摄像头结合共用于增强抬头显示的方法，其特征在于：将所述增强显示模块(400)处理显示的内容进行调整的方式为，根据所述内置摄像模块(200)获取到的眼球相对位置，将所述增强显示模块(400)处理显示的图像数据进行相应的平移移动处理。
6.根据权利要求1所述的双摄像头结合共用于增强抬头显示的方法，其特征在于：所述道路信息包括车道线和人的坐标方程。
7.一种双摄像头结合共用于增强抬头显示的***，其特征在于：包括，
前置摄像模块(100)，用于识别道路信息并提取；
内置摄像模块(200)，设置于所述前置摄像模块(100)内，用于获取眼球的相对位置；
CAN总线模块(300)，与所述前置摄像模块(100)和所述内置摄像模块(200)连接，用于传输所述道路信息和所述眼球的相对位置；
增强显示模块(400)，与所述CAN总线模块(300)连接，用于接收传输的所述道路信息通过AR-HUD处理显示，并接收所述眼球的相对位置，将所述AR-HUD处理显示的内容进行调整。
8.根据权利要求7所述的双摄像头结合共用于增强抬头显示的***，其特征在于：所述前置摄像模块(100)中还包括，
识别采集模块(101)，用于获取相应的图像和识别提取所述道路信息；
计算模块(102)，用于计算所述图像的成像中心，并获取所述内置摄像模块(200)需要布置的位置。
9.根据权利要求7所述的双摄像头结合共用于增强抬头显示的***，其特征在于：所述增强显示模块(400)还包括，
处理显示模块(401)，用于将获取的所述道路信息通过AR-HUD处理显示；
调整模块(402)，用于根据所述内置摄像模块(200)获取眼球的相对位置，将所述AR-HUD处理显示的内容进行调整。
CN201911369014.XA 2019-12-26 2019-12-26 一种双摄像头结合共用于增强抬头显示的方法及*** Pending CN111405263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911369014.XA CN111405263A (zh) 2019-12-26 2019-12-26 一种双摄像头结合共用于增强抬头显示的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911369014.XA CN111405263A (zh) 2019-12-26 2019-12-26 一种双摄像头结合共用于增强抬头显示的方法及***

Publications (1)

Publication Number Publication Date
CN111405263A true CN111405263A (zh) 2020-07-10

Family

ID=71436125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369014.XA Pending CN111405263A (zh) 2019-12-26 2019-12-26 一种双摄像头结合共用于增强抬头显示的方法及***

Country Status (1)

Country Link
CN (1) CN111405263A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572296A (zh) * 2020-12-17 2021-03-30 的卢技术有限公司 一种ar-hud智能后视***的辅助***及其使用方法
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN112896159A (zh) * 2021-03-11 2021-06-04 宁波均联智行科技股份有限公司 行车安全预警方法及***
CN114299162A (zh) * 2021-12-30 2022-04-08 合众新能源汽车有限公司 一种用于ar-hud的快速标定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud***及其影像调整方法
CN208386740U (zh) * 2018-07-02 2019-01-15 Oppo广东移动通信有限公司 电子装置的摄像头组件及电子装置
CN109353279A (zh) * 2018-12-06 2019-02-19 延锋伟世通电子科技（上海）有限公司 一种增强现实车载抬头显示***
CN109615703A (zh) * 2018-09-28 2019-04-12 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***
CN110298924A (zh) * 2019-05-13 2019-10-01 西安电子科技大学 一种ar***中用于显示检测信息的坐标变换方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud***及其影像调整方法
CN208386740U (zh) * 2018-07-02 2019-01-15 Oppo广东移动通信有限公司 电子装置的摄像头组件及电子装置
CN109615703A (zh) * 2018-09-28 2019-04-12 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
CN109353279A (zh) * 2018-12-06 2019-02-19 延锋伟世通电子科技（上海）有限公司 一种增强现实车载抬头显示***
CN109668575A (zh) * 2019-01-29 2019-04-23 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、***
CN110298924A (zh) * 2019-05-13 2019-10-01 西安电子科技大学 一种ar***中用于显示检测信息的坐标变换方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572296A (zh) * 2020-12-17 2021-03-30 的卢技术有限公司 一种ar-hud智能后视***的辅助***及其使用方法
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
US11715238B2 (en) 2020-12-24 2023-08-01 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Image projection method, apparatus, device and storage medium
CN112896159A (zh) * 2021-03-11 2021-06-04 宁波均联智行科技股份有限公司 行车安全预警方法及***
CN114299162A (zh) * 2021-12-30 2022-04-08 合众新能源汽车有限公司 一种用于ar-hud的快速标定方法
CN114299162B (zh) * 2021-12-30 2024-05-10 合众新能源汽车股份有限公司 一种用于ar-hud的快速标定方法

Similar Documents

Publication Publication Date Title
US11120531B2 (en) Method and device for image processing, vehicle head-up display system and vehicle
CN111405263A (zh) 一种双摄像头结合共用于增强抬头显示的方法及***
US11948462B2 (en) Image generating apparatus, image generating method, and recording medium
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN110703904B (zh) 一种基于视线跟踪的增强虚拟现实投影方法及***
US7124046B2 (en) Method and apparatus for calibration of camera system, and method of manufacturing camera system
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
US20210232858A1 (en) Methods and systems for training an object detection algorithm using synthetic images
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
US10789762B2 (en) Method and apparatus for estimating parameter of virtual screen
CN105426861A (zh) 车道线确定方法及装置
JP2018519696A (ja) 画像の線からのカメラの外部パラメータ推定
US8837858B2 (en) Apparatus and method for correcting image distortion of rear camera
CN110276791B (zh) 一种参数可配置的深度相机仿真方法
CN103810475A (zh) 一种目标物识别方法及装置
CN114339185A (zh) 用于车辆相机图像的图像彩色化
KR20170001765A (ko) Avm 시스템의 공차 보정 장치 및 방법
US20220148200A1 (en) Estimating the movement of an image position
KR20130052400A (ko) 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
US11467400B2 (en) Information display method and information display system
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和***
CN111243102B (zh) 一种基于扩散膜改造增大fov的方法和***
CN118004035B (zh) 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710