CN117880476A - Ar-hud立体物件的补偿结构及其方法 - Google Patents
Ar-hud立体物件的补偿结构及其方法 Download PDFInfo
- Publication number
- CN117880476A CN117880476A CN202410051359.5A CN202410051359A CN117880476A CN 117880476 A CN117880476 A CN 117880476A CN 202410051359 A CN202410051359 A CN 202410051359A CN 117880476 A CN117880476 A CN 117880476A
- Authority
- CN
- China
- Prior art keywords
- camera
- pixel coordinates
- correction plate
- processor
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003190 augmentative effect Effects 0.000 title description 19
- 238000012937 correction Methods 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请涉及AR‑HUD技术领域，尤其涉及一种AR‑HUD立体物件的补偿结构及其方法，包括：第一摄影机及第二摄影机对校正板进行拍摄获取校正板的点云信息及像素坐标；处理器电性连接第一摄影机、第二摄影机及投影机，投影机设有投影像素坐标，处理器接收点云信息及像素坐标进行计算校正板的坐标转换，校正板的坐标转换与投影机的投影像素坐标进行计算得到转换矩阵，投影机通过转换矩阵进行补偿后对显示器进行投影。本申请通过不同的摄影机对校正板获取点云信息及像素坐标，在通过处理器将其进行坐标转换及转换矩阵，使投影机进行补偿的后对显示器进行投影，将实体物件与投影机投影于AR‑HUD的显示器进行影像叠合，可使本申请克服无法对应的差异。
Description
技术领域
本申请涉及AR-HUD技术领域，特别关于一种用于AR-HUD立体物件的补偿结构及其方法。
背景技术
因应科技发展及使用者需求发展出扩增实境(Augmented Reality，AR)技术及抬头显示器(Head-Up Display，HUD)，尔后亦有将扩增实境技术进一步融入其他技术发展出扩增实境抬头显示器(Augmented Reality Head-Up Display，AR-HUD)，然而，一般抬头显示器是将车辆信息(如车速、限制速限、水温、电瓶等信息)进行投影使驾驶者不须改变其驾驶过程中的有效视野，即可在正常开车所需注意的视野中可一并看到该车辆信息，避免驾驶因观看仪表板车辆信息导致车祸的情况发生。
详细而言，该扩增实境抬头显示器结合扩增实境技术即可因应不同场合提供更多元的显示，通过扩增实境的技术进行前方物体判断(如三角锥、施工标示牌、红绿灯、行人或动物等)进而让扩增实境抬头显示器可更显著提醒驾驶者进行回避或停止，然而，通过扩增实境抬头显示器看到实物的角度可能跟扩增实境抬头显示器默认显示的角度并不相同，将会导致本来默认用户要同时在扩增实境抬头显示器看到的实体与在扩增实境抬头显示器上显示的3D物件可能会无法对应的差异。
是故，如何克服实务上所遇到的使用者观看扩增实境抬头显示器的视野与角度之差易使其进行补偿降低无法对应的差异，则为本案发明人所欲解决的技术困难点。
发明内容
有鉴于先前技术的问题，本申请的目的为了改善使用者观看扩增实境抬头显示器的差异进行补偿使其实体与影像结合，通过本申请以解决先前技术面临的问题。
一种AR-HUD立体物件的补偿结构，包括：
第一摄影机对校正板进行拍摄获取校正板的点云信息；
第二摄影机对校正板进行拍摄获取校正板的像素坐标；
处理器电性连接第一摄影机、第二摄影机及投影机，投影机设有投影像素坐标，处理器接收点云信息及像素坐标进行计算校正板的坐标转换，校正板的坐标转换与投影机的投影像素坐标进行计算得到转换矩阵，投影机通过转换矩阵进行补偿后对显示器进行投影。
在一实施例中，第一摄影机为双目摄影机。
在一实施例中，第二摄影机为单目工业摄影机。
在一实施例中，处理器为GPU或具有图形运算能力的单元。
在一实施例中，一种AR-HUD立体物件的补偿方法，包括：
第一步骤：第一摄影机对校正板进行拍摄获取校正板的点云信息，且第二摄影机对校正板进行拍摄获取校正板的像素坐标；
第二步骤：处理器接收校正板的点云信息及像素坐标；
第三步骤：处理器对点云信息及像素坐标进行坐标转换，并判断坐标转换是否正确；
第四步骤：进行坐标转换；
第五步骤：第二摄影机拍摄校正板的世界坐标转化投影像素坐标；
第六步骤：处理器通过世界坐标及投影像素坐标进行计算得到物件补偿转换矩阵；
第七步骤：处理器通过物件补偿转换矩阵使投影机进行补偿。
在一实施例中，第三步骤处理器判断坐标转换不正确时，将会重新进行第二步骤使处理器重新接收校正板的点云信息及像素坐标。
在一实施例中，第三步骤的坐标转换为将第一摄影机获取校正板的点云信息，通过坐标转换将第一摄影机的点云信息转换到第二摄影机产生虚拟像素坐标。
在一实施例中，第三步骤判断坐标转换为将转换生成的虚拟像素坐标与像素坐标以多个坐标点数量进行均方根误差计算，其中，所述均方根误差小于或等于1则判断为正确，将继续往所述第四步骤进行。
在一实施例中，所述均方根误差大于1则判断为错误，将回到所述第二步骤。
本申请通过不同的摄影机对校正板获取点云信息及像素坐标，在通过处理器将其进行坐标转换及转换矩阵，使投影机进行补偿的后对显示器进行投影，将实体物件与投影机投影于AR-HUD的显示器进行影像叠合，可使本申请克服无法对应的差异。
附图说明
图1为本申请结构大部连接示意图。
图2为本申请方法步骤示意图。
附图标记说明：
第一摄影机1、点云信息11、校正板2、第二摄影机3、像素坐标31、处理器4、投影机5、显示器6、第一步骤S1、第二步骤S2、第三步骤S3、第四步骤S4、第五步骤S5、第六步骤S6、第七步骤S7。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本申请的说明书所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”、 “ 复数个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”、“下”可以是第一特征直接和第二特征接触，或第一特征和第二特征间接地通过中间媒介接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之上”、“上方”和“上面”可以是第一特征在第二特征正下方或斜下方，或仅表示第一特征水平高度小于第二特征。
除非另有定义，本申请的说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常知识的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本申请的说明书所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1所示，图1为本申请结构大部连接示意图。本申请提供一种AR-HUD立体物件的补偿结构，包括第一摄影机1、校正板2、第二摄影机3、处理器4、投影机5及显示器6。
第一摄影机1对校正板2进行拍摄获取校正板的点云信息11，其中，第一摄影机1为双目摄影机。
第二摄影机3对校正板2进行拍摄获取校正板的像素坐标31，其中，第二摄影机3为单目工业摄影机，第二摄影机3是用来模拟人眼观看的视角。
处理器4电性连接第一摄影机1、第二摄影机3及投影机5，投影机5设有投影像素坐标51，处理器4接收点云信息11及像素坐标31进行计算校正板2的坐标转换，校正板2的坐标转换与投影机5的投影像素坐标51进行计算得到转换矩阵，投影机5通过转换矩阵进行补偿后对显示器6进行投影，使校正板2与投影机5在显示器6上的显示进行叠合，其中，处理器4为图形处理器(Graphics Processing Unit，GPU)或具有图形运算能力的运算单元。
本申请通过不同的摄影机对校正板2获取点云信息11及像素坐标31，在通过处理器4将其进行坐标转换及转换矩阵，使投影机5进行补偿的后对显示器6进行投影，将实体物件与投影机投影于AR-HUD的显示器进行影像叠合，可使本申请克服无法对应的差异。
请参阅图2所示，图2为本申请方法步骤示意图。本申请提供一种AR-HUD立体物件的补偿方法，包括第一步骤S1、第二步骤S2、第三步骤S3、第四步骤S4、第五步骤S5、第六步骤S6及第七步骤S7。
第一步骤S1：第一摄影机1对校正板2进行拍摄获取校正板2的点云信息11，且第二摄影机3对校正板2进行拍摄获取校正板2的像素坐标31。
第二步骤S2：处理器4接收第一摄影机1及第二摄影机3拍摄校正板2的点云信息11及像素坐标31。
第三步骤S3：处理器4对点云信息11及像素信息31进行坐标转换，并判断坐标转换是否正确，坐标转换是将第一摄影机1获取的点云信息11转换到仿真像素坐标，坐标转换式子(式1)如下：
(式1)
其中，XVC、YVC及ZVC为第一摄影机2的点云信息11通过转换产生的第二摄影机其模拟像素坐标，r11、r12、r13、r21、r22、r23、r31、r32、r33、tx、ty及tz为坐标转换的内部参数，XW、YW及ZW为第一摄影机2获取的点云信息11。
在第三步骤S3中要判断坐标转换是否正确时，则需要通过均方根误差(Root-Mean-Square Error，RMSE)进行计算，均方根误差计算是将通过坐标转换得到的模拟像素坐标与第二摄影机3获取的像素坐标31进行计算，均方根误差计算式子(式2)、(式3)如下：
(式2)
(式3)
其中，u’及v’为转换产生的模拟像素坐标对应第二摄影机3拍摄的像素坐标31，u及v为第二摄影机3拍摄的像素坐标31，n为坐标点取样数量，其中rmse,x及rmse,y分别代表着一个轴向的均分根误差，均方根误差越小表示模拟像素坐标与第二摄影机3拍摄的像素坐标31误差越小，因此，在第三步骤中判断坐标转换是否正确时，判断为正确的条件是均方根误差须小于或等于1，而判断为错误的条件则是均方根误差大于1。
其中，当第三步骤S3中判断坐标转换的均方根误差大于1时，通过均方根误差判断为错误，将重回第二步骤S2重新进行处理器4接收第一摄影机1及第二摄影机3拍摄校正板2的点云信息11及像素坐标31，以利提升其演算及实际测量的精度。
第四步骤S4：进行坐标转换。
在第四步骤S4中，处理器4将校正板2的点云信息11与坐标转换式子(式1)进行矩阵乘法相乘使其转换为第二摄影机3拍摄校正板2的世界坐标。
第五步骤S5：第二摄影机拍摄校正板的世界坐标转化投影像素坐标。
在第五步骤S5中，第二摄影机3拍摄校正板2的世界坐标进行感兴趣区域(Region-Of-Interest，ROI)处理即可得到投影机5的投影像素坐标。
第六步骤S6：处理器4通过物件补偿转换矩阵与第二摄影机3的任意像素坐标31进行计算得到投影像素坐标。
在第六步骤S6通过物件补偿转换矩阵与第二摄影机2的任意像素坐标31进行计算获得相对应的投影机5的投影像素坐标，物件补偿转换矩阵(式4)如下：
(式4)
其中，u、v为投影机5的投影像素坐标，fx、fy、cx、cy为物件补偿转换矩阵的内部参数，XVC、YVC及ZVC为第二摄影机2的任意像素坐标31，通过物件补偿转换矩阵，求得第二摄影机2的任意像素坐标对应投影机5的投影像素坐标。
第七步骤S7：处理器4通过物件补偿转换矩阵使投影机5进行补偿。
在第七步骤S7通过第六步骤S6取得投影像素坐标，使投影机5修正投影像素坐标，使位于任一像素坐标的第二摄影机2均可经由补偿观看到虚实叠合的效果。
Claims (10)
1.一种AR-HUD立体物件的补偿结构，其特征在于，包括：
第一摄影机，对校正板进行拍摄获取所述校正板的点云信息；
第二摄影机，对所述校正板进行拍摄获取所述校正板的像素坐标；
处理器，电性连接所述第一摄影机、第二摄影机及投影机，所述投影机设有投影像素坐标，所述处理器接收所述点云信息及所述像素坐标进行计算所述校正板的坐标转换，所述校正板的坐标转换与所述投影机的所述投影像素坐标进行计算得到转换矩阵，所述投影机通过所述转换矩阵进行补偿后对显示器进行投影。
2.如权利要求1所述的AR-HUD立体物件的补偿结构，其特征在于，所述第一摄影机为双目摄影机。
3.如权利要求1所述的AR-HUD立体物件的补偿结构，其特征在于，所述第二摄影机为单目工业摄影机。
4.如权利要求1所述的AR-HUD立体物件的补偿结构，其特征在于，所述处理器为GPU或具有图形运算能力的运算单元。
5.一种AR-HUD立体物件的补偿方法，其特征在于，包括：
第一步骤：第一摄影机对校正板进行拍摄获取所述校正板的点云信息，且第二摄影机对所述校正板进行拍摄获取所述校正板的像素坐标；
第二步骤：处理器接收所述校正板的点云信息及像素坐标；
第三步骤：所述处理器对所述点云信息及所述像素坐标进行坐标转换，并判断所述坐标转换是否正确；
第四步骤：进行坐标转换；
第五步骤：第二摄影机拍摄校正板的世界坐标转化投影像素坐标；
第六步骤：所述处理器通过所述世界坐标及所述投影像素坐标进行计算得到物件补偿转换矩阵；
第七步骤：所述处理器通过所述物件补偿转换矩阵使投影机进行补偿。
6.如权利要求5所述的AR-HUD立体物件的补偿方法，其特征在于，所述第三步骤所述处理器判断所述坐标转换不正确时，将会重新进行第二步骤使所述处理器重新接收所述校正板的点云信息及像素坐标。
7.如权利要求5所述的AR-HUD立体物件的补偿方法，其特征在于，所述第六步骤为将所述投影像素坐标与第二摄影机的校正板世界坐标进行计算得到所述物件补偿转换矩阵。
8.如权利要求5所述的AR-HUD立体物件的补偿方法，其特征在于，所述第三步骤的坐标转换为将所述第一摄影机获取校正板的点云信息，通过所述坐标转换将第一摄影机的点云信息转换到所述第二摄影机产生虚拟像素坐标。
9.如权利要求8所述的AR-HUD立体物件的补偿方法，其特征在于，所述第三步骤判断所述坐标转换为将转换生成的所述虚拟像素坐标与所述像素坐标以多个坐标点数量进行均方根误差计算，其中，所述均方根误差小于或等于1则判断为正确，将继续往所述第四步骤进行。
10.如权利要求9所述的AR-HUD立体物件的补偿方法，其特征在于，所述均方根误差大于1则判断为错误，将回到所述第二步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051359.5A CN117880476A (zh) | 2024-01-15 | 2024-01-15 | Ar-hud立体物件的补偿结构及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051359.5A CN117880476A (zh) | 2024-01-15 | 2024-01-15 | Ar-hud立体物件的补偿结构及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117880476A true CN117880476A (zh) | 2024-04-12 |
Family
ID=90596370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410051359.5A Pending CN117880476A (zh) | 2024-01-15 | 2024-01-15 | Ar-hud立体物件的补偿结构及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117880476A (zh) |
-
2024
- 2024-01-15 CN CN202410051359.5A patent/CN117880476A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476104B (zh) | 动态眼位下ar-hud图像畸变矫正方法、装置、*** | |
| CN106651794B (zh) | 一种基于虚拟相机的投影散斑校正方法 | |
| CN108038886B (zh) | 双目摄像***标定方法、装置及其汽车 | |
| Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
| JP2007183948A (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
| CN108259883B (zh) | 图像处理方法、头戴式显示器以及可读存储介质 | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| US20100302234A1 (en) | Method of establishing dof data of 3d image and system thereof | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| CN109885169B (zh) | 基于三维眼球模型的眼球参数标定和视线方向跟踪方法 | |
| CN109725730B (zh) | 头戴显示设备及其驱动方法、显示***及其驱动方法 | |
| CN112242009A (zh) | 显示效果融合方法、***、存储介质及主控单元 | |
| WO2021227969A1 (zh) | 一种数据处理方法及其设备 | |
| JP2003091720A (ja) | 視点変換装置および視点変換プログラムならびに車両用画像処理装置 | |
| US20100149319A1 (en) | System for projecting three-dimensional images onto a two-dimensional screen and corresponding method | |
| CN111932446B (zh) | 三维全景地图的构建方法及装置 | |
| CN108898550A (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| CN112017242A (zh) | 显示方法及装置、设备、存储介质 | |
| CN116862788A (zh) | 一种cms视野校核方法、***、装置及存储介质 | |
| CN117880476A (zh) | Ar-hud立体物件的补偿结构及其方法 | |
| CN115936986A (zh) | 全景图像生成方法、装置、设备及存储介质 | |
| JP6846165B2 (ja) | 画像生成装置、画像表示システム及びプログラム | |
| CN114972526A (zh) | 视场角测量方法及装置、计算机设备及介质 | |
| CN114967170A (zh) | 基于柔性裸眼三维显示设备的显示处理方法及其装置 | |
| TW202205851A (zh) | 可透光顯示系統及其圖像輸出方法與處理裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |