CN115431764A - 一种ar标尺展示方法、装置、电子设备及存储介质 - Google Patents

一种ar标尺展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115431764A
CN115431764A CN202211232869.XA CN202211232869A CN115431764A CN 115431764 A CN115431764 A CN 115431764A CN 202211232869 A CN202211232869 A CN 202211232869A CN 115431764 A CN115431764 A CN 115431764A
Authority
CN
China
Prior art keywords
scale
display
image
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211232869.XA
Other languages
English (en)
Other versions
CN115431764B (zh
Inventor
韩雨青
李畅
向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zejing Automobile Electronic Co ltd
Original Assignee
Jiangsu Zejing Automobile Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zejing Automobile Electronic Co ltd filed Critical Jiangsu Zejing Automobile Electronic Co ltd
Priority to CN202211232869.XA priority Critical patent/CN115431764B/zh
Publication of CN115431764A publication Critical patent/CN115431764A/zh
Application granted granted Critical
Publication of CN115431764B publication Critical patent/CN115431764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种AR标尺展示方法、装置、电子设备及存储介质，涉及图像显示技术领域。其中，该方法包括：接收标尺展示指令；生成AR标尺图像；基于标尺展示指令在平视显示器上展示AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。本申请提供的技术方案，可以解决现有技术中驾驶员无法准确判断与前方障碍物(如车辆、行人或路障)之间的距离的问题，可以提高驾驶员在行驶过程中的安全性，提升用户的驾驶体验感。

Description

一种AR标尺展示方法、装置、电子设备及存储介质
技术领域
本申请涉及图像显示技术领域，尤其涉及一种AR标尺展示方法、装置、电子设备及存储介质。
背景技术
驾驶经验较少的驾驶员驾驶车辆时，如跟车或者设置辅助驾驶功能，无法准确判断与前方障碍物(如车辆、行人或路障)之间的距离。近年来，平视显示器(AugmentedReality Head Up Display，AR-HUD)技术逐渐应用于汽车上。因此，在AR-HUD上显示本车与前方障碍物(如车辆、行人或路障)之间的距离(如AR标尺)是一个必备重要功能。因此，如何在ARHUD中显示AR标尺成为了亟待解决的问题。
发明内容
本申请提供了一种AR标尺展示方法、装置、电子设备及存储介质，可以提高驾驶员在行驶过程中的安全性，提升用户的驾驶体验感。
第一方面，本申请提供了一种AR标尺展示方法，该方法包括：
接收标尺展示指令；
生成增强现实AR标尺图像；
基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
本申请实施例提供了一种AR标尺展示方法，包括：接收标尺展示指令；生成AR标尺图像；基于标尺展示指令在平视显示器上展示AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。本申请通过平视显示器接收用户触发的或者车辆预设驾驶模式下生产的标尺展示指令，并将AR标尺图像展示在车辆的挡风玻璃上。本申请可以解决现有技术中驾驶员无法准确判断与前方障碍物(如车辆、行人或路障)之间的距离的问题，可以提高驾驶员在行驶过程中的安全性，提升用户的驾驶体验感。
进一步的，所述平视显示器中包括图像生成器；所述生成AR标尺图像，包括：
生成所述AR标尺图像中的显示元素，所述显示元素包括标尺辅助线、刻度值和距离刻度；
利用所述图像生成器对所述显示元素进行增强现实AR处理，生成所述显示元素对应的实像；
基于所述显示元素对应的实像，从而生成所述AR标尺图像。
进一步的，所述平视显示器中还包括成像光路组件和图像展示组件；所述基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，包括：
通过所述成像光路组件，对所述显示元素对应的实像进行反射投影得到所述实像对应的虚像；
通过所述图像展示组件展示所述实像对应的虚像，从而展示所述AR标尺图像。
进一步的，所述平视显示器中还包括三维摄影机；所述生成所述AR标尺图像中的显示元素，包括：
获取驾驶设备坐标系下的平面标尺图像，所述平面标尺图像中包括显示元素；
基于所述驾驶设备坐标系的第一原点位置和驾驶设备的驾驶员眼点位置，将所述驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像；
基于所述三维摄影机的焦距，将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到所述AR标尺图像中的显示元素。
进一步的，基于所述驾驶设备坐标系的第一原点位置和驾驶设备的驾驶员眼点位置，将所述驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像，包括：
基于所述第一原点位置和所述驾驶员眼点位置，确定平移矩阵和旋转矩阵；
基于所述平面标尺图像的坐标信息、所述平移矩阵和所述旋转矩阵，将所述驾驶设备坐标系下的平面标尺图像转换为所述相机坐标系下的第一标尺图像，其中，所述驾驶员眼点位置为所述相机坐标系下的原点。
进一步的，基于所述三维摄影机的焦距，将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，包括：
基于所述三维摄影机的焦距确定坐标转换矩阵；
基于所述坐标转换矩阵将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息。
进一步的，所述接收标尺展示指令，包括：
若确定已触发标尺展示功能，则接收通过触发标尺展示功能产生的所述标尺展示指令；
其中，所述确定已触发标尺展示功能，至少包括如下方式中的任意一种：
若检测到预设驾驶模式被开启，则确定已触发标尺展示功能；
若检测到标尺展示按键被启动，则确定已触发标尺展示功能；
若检测到驾驶设备与目标物体的距离小于预设值，则确定已触发标尺展示功能。
进一步的，所述生成AR标尺图像，包括
根据平视显示器中的光学参数，设置所述AR标尺图像中显示元素的距离刻度和刻度值；
根据所述显示元素的距离刻度和刻度值，生成所述AR标尺图像。
第二方面，本申请提供了一种AR标尺展示装置，该装置包括：
指令接收模块，用于接收标尺展示指令；
图像生成模块，用于生成增强现实AR标尺图像；
图像展示模块，用于基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
第三方面，本申请提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的AR标尺展示方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本申请任意实施例所述的AR标尺展示方法。
需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与AR标尺展示装置的处理器封装在一起，也可以与AR标尺展示装置的处理器单独封装，本申请对此不做限定。
本申请中第二方面、第三方面以及第四方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面以及第四方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其他特征将通过以下的说明书而变得容易理解。
可以理解的是，在使用本申请各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本申请所涉及个人信息的类型、使用范围以及使用场景等告知用户并获得用户的授权。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种AR标尺展示方法的第一流程示意图；
图2为本申请实施例提供的平面标尺图像的示意图；
图3为本申请实施例提供的在平视显示器上展示AR标尺图像的示意图；
图4为本申请实施例提供的一种AR标尺展示方法的第二流程示意图；
图5为本申请实施例提供的对显示元素的坐标进行坐标转换的示意图；
图6为本申请实施例提供的一种AR标尺展示装置的结构示意图；
图7是用来实现本申请实施例的一种AR标尺展示方法的电子设备的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”以及“原始”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够实施除了在这里图示或描述之外的顺序。此外，术语“包括”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本申请实施例之前，先对平视显示器进行简单介绍。平视显示器主要包括图像生成器、成像光路组件和图像展示组件。其中，图像生成器用于生成AR标尺图像的图像数字信号(即实像)并将图像数字信号转换为携带图像信息的光线。图像生成器可以是采用数字光处理技术(Digital Light Processing，DLP)或硅基液晶技术(Liquid Crystal OnSilicon，LCOS)制作的光机，包括照明组件和投影组件，投影组件可以为微投影镜头。成像光路组件用于实现调节诸如反射镜像面的位置并对所述实像进行反射投影等功能。图像展示组件用于对虚像画面的展示；依据平视显示器应用场景的不同，图像展示组件也会不同。当平视显示器的应用场景是影院投放电影时，那么图像展示组件为投影幕布或显示屏；当平视显示器的应用场景是在车辆的挡风玻璃上展示驾驶信息，那么图像展示组件为车辆的挡风玻璃。
图1为本申请实施例提供的一种AR标尺展示方法的第一流程示意图，本实施例可适用于在平视显示器上显示本车与前方障碍物(如车辆、行人或路障)之间距离的情况。本实施例提供的一种AR标尺展示方法可以由本申请实施例提供的AR标尺展示装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的电子设备中。本方法应用于平视显示器，平视显示器包括图像生成器、成像光路组件和图像展示组件。
参见图1，本实施例的方法包括但不限于如下步骤：
S110、接收标尺展示指令。
在本申请实施例中，标尺展示触发设备向平视显示器发送标尺展示指令，平视显示器接收标尺展示触发设备发送的标尺展示指令。其中，标尺展示触发设备可以是标尺展示操作键，还可以是车载显示终端。标尺展示指令用于指示平视显示器在图像展示组件中展示AR标尺，标尺展示指令为通信指令。当标尺展示触发设备是标尺展示操作键时，属于驾驶员主动想要展示AR标尺图像的情况，为主动触发；当标尺展示触发设备是车载显示终端时，属于当前驾驶环境需要向驾驶员展示AR标尺图像，为被动触发。
接收标尺展示指令，包括：若确定已触发标尺展示功能，则接收通过触发标尺展示功能产生的标尺展示指令；其中，确定已触发标尺展示功能，至少包括如下方式中的任意一种：若检测到预设驾驶模式被开启，则确定已触发标尺展示功能；若检测到标尺展示按键被启动，则确定已触发标尺展示功能；若检测到驾驶设备与目标物体的距离小于预设值，则确定已触发标尺展示功能。
在一种可选的实施例中，平视显示器配置在车辆中，车辆还配置有标尺展示按键(如物理按键)。本申请不限定标尺展示按键的配置位置，可选的可以配置在方向盘上，通过方向盘上的物理按键唤醒辅助驾驶跟车距离(即展示AR标尺图像)的功能。具体的，接收标尺展示指令，包括：获取标尺展示按键的按键状态，当按键状态为down(即驾驶员按下标尺展示按键)，向平视显示器发送标尺展示指令，平视显示器接收通过触发标尺展示按键产生的标尺展示指令。
可以理解的，当按键状态为up(即驾驶员未按下或再次按下标尺展示按键)，不执行任何操作，或者向平视显示器发送关闭展示指令，以使在平视显示器上不展示(或关闭)AR标尺图像。
在一种另可选的实施例中，接收标尺展示指令，包括：用户可以通过车载显示终端开启辅助驾驶的预设驾驶模式，当车载显示终端检测到预设驾驶模式被开启时，车载显示终端生成标尺展示指令并向平视显示器发送标尺展示指令，以使平视显示器接收标尺展示指令。其中，预设驾驶模式可以是如新手模式等其他特殊功能的触发信息自适应巡航控制***(Adaptive Cruise Control，ACC)或车道居中保持等辅助驾驶功能，还可以是新手模式等其他特殊功能。
S120、生成AR标尺图像。
可选的，平视显示器中包括图像生成器。
在本申请实施例中，当平视显示器接收到标尺展示指令之后，再生成AR标尺图像。执行此步骤的图像生成模块可以包括存储单元和图像生成单元。其中，存储单元可以用于存储真实等比例的平面标尺图像，平面标尺图像如图2所示。图像生成单元可以用于根据平面标尺图像生成呈现在平视显示器中的AR标尺图像。此外，存储单元还可以用于存储三维摄影机的相机坐标系信息、相机旋转角度和相机视场角。
进一步的，生成AR标尺图像，包括：生成AR标尺图像中的显示元素，显示元素包括标尺辅助线、刻度值和距离刻度；利用图像生成器对显示元素进行AR处理，生成显示元素对应的实像；基于所述显示元素对应的实像，从而生成AR标尺图像。所述实像为待展示的AR标尺图像。
进一步的，生成AR标尺图像，包括：根据平视显示器中的光学参数，设置AR标尺图像中显示元素的距离刻度和刻度值；根据显示元素的距离刻度和刻度值，生成AR标尺图像。其中，距离刻度和刻度值可以根据实际光学参数自定义设置或调整。距离刻度可以是每间隔预设刻度值设置一个刻度，预设刻度值可以是20米，标尺辅助线可以是车辆前方的车道线。
需要说明的是，本申请不限定步骤S110和步骤S120的执行顺序，可以是本实施例中的执行顺序，即接收到标尺展示指令之后再生成AR标尺图像；也可以是先生成AR标尺图像并为AR标尺图像设置是否可见的属性，再接收到标尺展示指令时将其属性修改为可见。
S130、基于标尺展示指令在平视显示器上展示AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
其中，目标区域是指驾驶设备(即本车)前方区域。对象包括本车前方区域中的车辆、行人或路障。标尺度量方向是指本车前方区域中标尺的基准线方向。
可选的，平视显示器中还包括成像光路组件和图像展示组件。成像光路组件用于对AR标尺图像对应的实像进行光路传输。图像展示组件用于向驾驶员展示AR标尺图像，图像展示组件可以是车辆的挡风玻璃的某一区域。
在本申请实施例中，经上述步骤S120生成AR标尺图像对应的实像之后，平视显示器再基于标尺展示指令对AR标尺图像对应的实像进行光路传输，最后将其展示在图像展示组件上。进一步的，基于标尺展示指令在平视显示器上展示AR标尺图像，包括：通过成像光路组件对显示元素对应的实像进行反射投影得到实像对应的虚像；通过图像展示组件展示实像对应的虚像，从而展示AR标尺图像。并且，在AR标尺图像中展示本车前方区域中出现的任一对象与本车的距离。
如图3所示为在平视显示器上展示AR标尺图像的示意图，从图中可以看到，车辆挡风玻璃具有图像展示组件，光线在图像展示组件上被部分反射，驾驶员可以在挡风玻璃上看到平视显示器的投影图像(即AR标尺图像)，同时可以透过图像展示组件观看车辆前方的路况。需要说明的是，图3只是示例了AR标尺图像在图像展示组件的展示位置，本申请不对展示位置进行限定。
本实施例提供的技术方案，通过接收标尺展示指令；生成AR标尺图像；基于标尺展示指令在平视显示器上展示AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。本申请通过平视显示器接收用户触发的或者车辆预设驾驶模式下生产的标尺展示指令，并将AR标尺图像展示在车辆的挡风玻璃上。本申请可以解决现有技术中驾驶员无法准确判断与前方障碍物(如车辆、行人或路障)之间的距离的问题，可以提高驾驶员在行驶过程中的安全性，提升用户的驾驶体验感。
在一种具体的应用场景中，以预设驾驶模式为新手模式举例。驾驶员驾驶开启新手模式的汽车，当车载显示终端检测到新手模式被开启时，车载显示终端生成标尺展示指令并向平视显示器发送标尺展示指令。平视显示器接收到标尺展示指令之后将AR标尺图像的属性修改为可见，以便可以在平视显示器上展示AR标尺图像，新手驾驶员可以直观的对车辆前方的距离有所判断，可以帮助驾驶员判断本车与前方障碍物(如车辆、行人或路障)之间的距离。
下面进一步描述本申请实施例提供的AR标尺展示方法，图4为本申请实施例提供的一种AR标尺展示方法的第二流程示意图。本申请实施例是在上述实施例的基础上进行优化，具体优化为：本实施例对AR标尺图像中显示元素的生成过程进行详细的解释说明。平视显示器中还包括三维摄影机，所述三维摄影机的坐标为驾驶员眼点，三维摄影机的视场角与平视显示器的视场角的相同。三维摄影机的摄影机环境尺寸参数与现实世界保持一致，单位为米(m)。
参见图4，本实施例的方法包括但不限于如下步骤：
S210、获取驾驶设备坐标系下的平面标尺图像，所述平面标尺图像中包括显示元素。
在本申请实施例中，从存储单元中获取真实等比例的平面标尺图像，该平面标尺图像是以驾驶设备坐标系为基准，其中，驾驶设备为车辆，驾驶设备坐标系是指以第一原点位置为原点的世界坐标系，第一原点位置可以是车辆前保险杠的中心点。
可选的，平面标尺图像中可以包括刻度值和距离刻度等显示元素。如图2所示的平面标尺图像，刻度值为图2中的刻度1、刻度2、刻度3以及刻度4等，距离刻度为每个刻度值位置处的短线段。此外，图2中还示意了车道的路段。
S220、基于第一原点位置和驾驶员眼点位置，确定平移矩阵和旋转矩阵。
其中，第一原点位置为驾驶设备坐标系下的原点；驾驶员眼点位置是指驾驶员能够看到平视显示器中所展示的AR标尺图像的虚像的位置。可选的，驾驶员眼点位置可以是一块区域。
在本申请实施例中，由于平面标尺图像是以驾驶设备坐标系为基准的，因而在本实施例AR标尺图像中显示元素的生成过程中，先需要基于驾驶设备坐标系的第一原点位置和车辆的驾驶员眼点位置将驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像；再基于三维摄影机的焦距，将第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到AR标尺图像中的显示元素。本步骤是将平面标尺图像转换为第一标尺图像的第一步。
其中，驾驶设备坐标系可以采用右手法则，x1轴为车辆正前方，y1轴为车辆左侧，z1轴为车辆上方。地面的标尺(即平面标尺图像)均以该驾驶设备坐标系为基准，平面标尺图像的坐标信息可以看作是一组坐标组合，记为Pw(xw，yw，zw)。驾驶设备坐标系的第一原点位置可以是车辆前保险杠的中心点，记为ow(0，0，0)。
基于第一原点位置和驾驶员眼点位置之间的距离(如三维距离)确定平移矩阵，基于驾驶设备坐标系和相机坐标系之间某一轴(如y轴)的旋转角度确定旋转矩阵。
S230、基于平面标尺图像的坐标信息、平移矩阵和旋转矩阵，将驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像。
本步骤是将平面标尺图像转换为第一标尺图像的第二步。相机坐标系是指以三维摄影机(也就是驾驶员眼点位置)为原点的世界坐标系。将驾驶员眼点位置作为相机坐标系下的原点，并基于平移矩阵和旋转矩阵将驾驶设备坐标系转换为相机坐标系。
其中，相机坐标系可以采用右手法则，z2轴为车辆正前方，x2轴为车辆左侧，y2轴为车辆上方。相机坐标系的原点可以是驾驶员眼点位置，记为oc(0，0，0)；在相机坐标系下第一标尺图像中某点的坐标信息可以记为Pc(xc，yc，zc)。可以通过如下公式(1)将驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像：
Figure BDA0003881698220000131
式中，R为旋转矩阵；t为平移矩阵；xc，yc，zc为相机坐标系下第一标尺图像中某点的坐标信息；xw，yw，zw为驾驶设备坐标系下平面标尺图像中该点的坐标信息。
S240、基于三维摄影机的焦距确定坐标转换矩阵。
本步骤是对显示元素的坐标进行坐标转换的第一步。可选的，坐标转换矩阵可以是4*3的数据矩阵。
在本申请实施例中，可以先基于三维摄影机的焦距确定对显示元素的坐标进行坐标转换的坐标转换矩阵，进而将相机的世界坐标系(即相机坐标系)中显示元素的坐标转换为在相机图像下的像素坐标。
S250、基于坐标转换矩阵将第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到AR标尺图像中的显示元素。
本步骤是对显示元素的坐标进行坐标转换的第二步。显示元素在相机图像下的像素坐标可以记为p(x，y)。在本申请实施例中，可以通过如下公式(2)将相机坐标系中显示元素的坐标转换为在相机图像下的像素坐标，即可求得标尺在人眼观测标尺图像，也就是图像展示组件中看到的图像。
Figure BDA0003881698220000141
式中，x，y为显示元素在相机图像下的像素坐标；xc，yc，zc为相机坐标系下显示元素的坐标信息；f为三维摄影机的焦距；E为坐标转换矩阵。
如图5所示为对显示元素的坐标进行坐标转换的示意图，图中示意了将相机坐标系下的点Pc(xc，yc，zc)转换为p(x，y)。可选的，还可以为AR标尺图像中添加标尺辅助线。
本实施例提供的技术方案，获取驾驶设备坐标系下的平面标尺图像；基于第一原点位置和驾驶员眼点位置，确定平移矩阵和旋转矩阵；基于平面标尺图像的坐标信息、平移矩阵和旋转矩阵，将驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像；基于三维摄影机的焦距确定坐标转换矩阵；基于坐标转换矩阵将第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到AR标尺图像中的显示元素。本申请将驾驶设备坐标系下的平面标尺图像先转换为相机坐标系下的第一标尺图像，进而得到AR标尺图像在相机图像像素下的像素坐标，从而得到AR标尺图像中的显示元素。本申请可以解决现有技术中驾驶员无法准确判断与前方障碍物(如车辆、行人或路障)之间的距离的问题，可以提高驾驶员在行驶过程中的安全性，提升用户的驾驶体验感。
图6为本申请实施例提供的一种AR标尺展示装置的结构示意图，如图3所示，该装置600可以包括：
指令接收模块610，用于接收标尺展示指令；
图像生成模块620，用于生成增强现实AR标尺图像；
图像展示模块630，用于基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
可选的，所述平视显示器中包括图像生成器；
进一步的，上述图像生成模块620，可以具体用于：生成所述AR标尺图像中的显示元素，所述显示元素包括标尺辅助线、刻度值和距离刻度；利用所述图像生成器对所述显示元素进行增强现实AR处理，生成所述显示元素对应的实像，从而生成所述AR标尺图像。
可选的，所述平视显示器中还包括成像光路组件和图像展示组件；
进一步的，上述图像展示模块630，可以具体用于：通过所述成像光路组件，对所述显示元素对应的实像进行反射投影得到所述实像对应的虚像；通过所述图像展示组件展示所述实像对应的虚像，从而展示所述AR标尺图像。
可选的，所述平视显示器中还包括三维摄影机；
进一步的，上述图像生成模块620，可以具体用于：获取驾驶设备坐标系下的平面标尺图像，所述平面标尺图像中包括显示元素；基于所述驾驶设备坐标系的第一原点位置和驾驶设备的驾驶员眼点位置，将所述驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像；基于所述三维摄影机的焦距，将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到所述AR标尺图像中的显示元素。
进一步的，上述图像生成模块620，可以具体用于：基于所述第一原点位置和所述驾驶员眼点位置，确定平移矩阵和旋转矩阵；基于所述平面标尺图像的坐标信息、所述平移矩阵和所述旋转矩阵，将所述驾驶设备坐标系下的平面标尺图像转换为所述相机坐标系下的第一标尺图像，其中，所述驾驶员眼点位置为所述相机坐标系下的原点。
进一步的，上述图像生成模块620，可以具体用于：基于所述三维摄影机的焦距确定坐标转换矩阵；基于所述坐标转换矩阵将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息。
进一步的，上述指令接收模块，可以具体用于：若确定已触发标尺展示功能，则接收通过触发标尺展示功能产生的所述标尺展示指令；其中，所述确定已触发标尺展示功能，至少包括如下方式中的任意一种：若检测到预设驾驶模式被开启，则确定已触发标尺展示功能；若检测到标尺展示按键被启动，则确定已触发标尺展示功能；若检测到驾驶设备与目标物体的距离小于预设值，则确定已触发标尺展示功能。
进一步的，上述图像生成模块，还可以具体用于：根据平视显示器中的光学参数，设置所述AR标尺图像中显示元素的距离刻度和刻度值；根据所述显示元素的距离刻度和刻度值，生成所述AR标尺图像。
本实施例提供的AR标尺展示装置可适用于上述任意实施例提供的AR标尺展示方法，具备相应的功能和有益效果。
图7是用来实现本申请实施例的一种AR标尺展示方法的电子设备的框图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如AR标尺展示方法。
在一些实施例中，AR标尺展示方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的AR标尺展示方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行AR标尺展示方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种AR标尺展示方法，其特征在于，所述方法包括：
接收标尺展示指令；
生成增强现实AR标尺图像；
基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
2.根据权利要求1所述的AR标尺展示方法，其特征在于，所述平视显示器中包括图像生成器；所述生成AR标尺图像，包括：
生成所述AR标尺图像中的显示元素，所述显示元素至少包括标尺辅助线、刻度值和距离刻度；
利用所述图像生成器对所述显示元素进行增强现实AR处理，生成所述显示元素对应的实像；
基于所述显示元素对应的实像，生成所述AR标尺图像。
3.根据权利要求2所述的AR标尺展示方法，其特征在于，所述平视显示器中还包括成像光路组件和图像展示组件；所述基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，包括：
通过所述成像光路组件，对所述显示元素对应的实像进行反射投影得到所述实像对应的虚像；
通过所述图像展示组件展示所述实像对应的虚像，从而展示所述AR标尺图像。
4.根据权利要求2所述的AR标尺展示方法，其特征在于，所述平视显示器中还包括三维摄影机；所述生成所述AR标尺图像中的显示元素，包括：
获取驾驶设备坐标系下的平面标尺图像，所述平面标尺图像中包括显示元素；
基于所述驾驶设备坐标系的第一原点位置和驾驶设备的驾驶员眼点位置，将所述驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像；
基于所述三维摄影机的焦距，将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，从而得到所述AR标尺图像中的显示元素。
5.根据权利要求4所述的AR标尺展示方法，其特征在于，所述基于所述驾驶设备坐标系的第一原点位置和驾驶设备的驾驶员眼点位置，将所述驾驶设备坐标系下的平面标尺图像转换为相机坐标系下的第一标尺图像，包括：
基于所述第一原点位置和所述驾驶员眼点位置，确定平移矩阵和旋转矩阵；
基于所述平面标尺图像的坐标信息、所述平移矩阵和所述旋转矩阵，将所述驾驶设备坐标系下的平面标尺图像转换为所述相机坐标系下的第一标尺图像，其中，所述驾驶员眼点位置为所述相机坐标系下的原点。
6.根据权利要求4所述的AR标尺展示方法，其特征在于，所述基于所述三维摄影机的焦距，将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息，包括：
基于所述三维摄影机的焦距确定坐标转换矩阵；
基于所述坐标转换矩阵将所述第一标尺图像中显示元素的坐标信息转换为在相机图像下的像素坐标信息。
7.根据权利要求1所述的AR标尺展示方法，其特征在于，所述接收标尺展示指令，包括：
若确定已触发标尺展示功能，则接收通过触发标尺展示功能产生的所述标尺展示指令；
其中，所述确定已触发标尺展示功能，至少包括如下方式中的任意一种：
若检测到预设驾驶模式被开启，则确定已触发标尺展示功能；
若检测到标尺展示按键被启动，则确定已触发标尺展示功能；
若检测到驾驶设备与目标物体的距离小于预设值，则确定已触发标尺展示功能。
8.根据权利要求1所述的AR标尺展示方法，其特征在于，所述生成AR标尺图像，包括
根据平视显示器中的光学参数，设置所述AR标尺图像中显示元素的距离刻度和刻度值；
根据所述显示元素的距离刻度和刻度值，生成所述AR标尺图像。
9.一种AR标尺展示装置，其特征在于，所述装置包括：
指令接收模块，用于接收标尺展示指令；
图像生成模块，用于生成增强现实AR标尺图像；
图像展示模块，用于基于所述标尺展示指令在平视显示器上展示所述AR标尺图像，以实现对目标区域内任一对象的沿标尺度量方向的长度测量。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一所述的AR标尺展示方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1至8中任一所述的AR标尺展示方法。
CN202211232869.XA 2022-10-10 2022-10-10 一种ar标尺展示方法、装置、电子设备及存储介质 Active CN115431764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211232869.XA CN115431764B (zh) 2022-10-10 2022-10-10 一种ar标尺展示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211232869.XA CN115431764B (zh) 2022-10-10 2022-10-10 一种ar标尺展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115431764A true CN115431764A (zh) 2022-12-06
CN115431764B CN115431764B (zh) 2023-11-17

Family

ID=84251241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211232869.XA Active CN115431764B (zh) 2022-10-10 2022-10-10 一种ar标尺展示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115431764B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
WO2019039619A1 (ko) * 2017-08-22 2019-02-28 주식회사 세코닉스 헤드업 디스플레이 장치 및 방법
CN109643021A (zh) * 2016-08-29 2019-04-16 麦克赛尔株式会社 平视显示装置
CN113474206A (zh) * 2019-02-26 2021-10-01 大众汽车股份公司 用于运行自主交通工具中的驾驶员信息***的方法和驾驶员信息***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170048781A (ko) * 2015-10-27 2017-05-10 엘지전자 주식회사 차량용 증강현실 제공 장치 및 그 제어방법
CN109643021A (zh) * 2016-08-29 2019-04-16 麦克赛尔株式会社 平视显示装置
WO2018070193A1 (ja) * 2016-10-13 2018-04-19 マクセル株式会社 ヘッドアップディスプレイ装置
WO2019039619A1 (ko) * 2017-08-22 2019-02-28 주식회사 세코닉스 헤드업 디스플레이 장치 및 방법
CN113474206A (zh) * 2019-02-26 2021-10-01 大众汽车股份公司 用于运行自主交通工具中的驾驶员信息***的方法和驾驶员信息***

Also Published As

Publication number Publication date
CN115431764B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US11715238B2 (en) Image projection method, apparatus, device and storage medium
US10843686B2 (en) Augmented reality (AR) visualization of advanced driver-assistance system
US20240087491A1 (en) Projection Method and Apparatus, Vehicle, and AR-HUD
CN113483774B (zh) 导航方法、装置、电子设备及可读存储介质
CN113706704B (zh) 基于高精地图规划路线的方法、设备以及自动驾驶车辆
CN112184914A (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN112242009A (zh) 显示效果融合方法、***、存储介质及主控单元
CN115525152A (zh) 图像处理方法及***、装置、电子设备和存储介质
CN113903210A (zh) 虚拟现实模拟驾驶方法、装置、设备和存储介质
CN116620168B (zh) 一种障碍物预警方法、装置、电子设备及存储介质
US20230169680A1 (en) Beijing *** netcom science technology co., ltd.
CN115431764A (zh) 一种ar标尺展示方法、装置、电子设备及存储介质
CN114820504B (zh) 图像融合偏差的检测方法、装置、电子设备及存储介质
KR20220056834A (ko) 표시 방법, 장치, 단말 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
CN116883625B (zh) 一种图像展示方法、装置、电子设备及存储介质
CN115857176B (zh) 一种抬头显示器及其高度调节方法、装置、存储介质
CN107784693B (zh) 一种信息处理方法和装置
CN114565681B (zh) 一种相机标定方法、装置、设备、介质及产品
JP7390436B2 (ja) ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム
CN116243880B (zh) 一种图像展示方法、电子设备及存储介质
CN116338958A (zh) 双层图像成像方法、装置、电子设备及存储介质
CN115097628B (zh) 一种行车信息显示方法、装置及***
CN115542557A (zh) 一种图像展示方法、装置、电子设备及存储介质
US20230049992A1 (en) Fusion and association of traffic objects in driving environment
CN115665400B (zh) 增强现实抬头显示成像方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant