CN108528341B - 用于演示车载抬头显示装置的功能的方法 - Google Patents

用于演示车载抬头显示装置的功能的方法 Download PDF

Info

Publication number
CN108528341B
CN108528341B CN201810453847.3A CN201810453847A CN108528341B CN 108528341 B CN108528341 B CN 108528341B CN 201810453847 A CN201810453847 A CN 201810453847A CN 108528341 B CN108528341 B CN 108528341B
Authority
CN
China
Prior art keywords
virtual
area
image
coordinate system
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810453847.3A
Other languages
English (en)
Other versions
CN108528341A (zh
Inventor
魏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810453847.3A priority Critical patent/CN108528341B/zh
Publication of CN108528341A publication Critical patent/CN108528341A/zh
Priority to PCT/CN2019/080960 priority patent/WO2019218789A1/zh
Priority to US16/758,132 priority patent/US11376961B2/en
Application granted granted Critical
Publication of CN108528341B publication Critical patent/CN108528341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例涉及一种用于演示车载抬头显示装置的功能的方法，能够实现较好的虚实融合。该方法包括：设定用于显示第一图像的投影区域；获得所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系；在所述投影区域中投影所述第一图像；捕获在所述投影区域投影的所述第一图像的第二图像；基于所述相对位置及所述相对尺寸关系，在所述第二图像中生成虚拟识别区域；确定所述第二图像中的对象是否位于所述虚拟识别区域中，在所述对象位于所述虚拟识别区域中的情况下，确定所述对象在所述虚拟识别区域内的第一位置；基于所述第一位置，确定表示所述对象的虚拟标记在所述虚拟显示区域中的显示位置；以及在所述虚拟显示区域中的所述显示位置显示所述虚拟标记。

Description

用于演示车载抬头显示装置的功能的方法
技术领域
本发明的实施例涉及车载抬头显示技术领域，尤其涉及一种用于演示车载抬头显示装置的功能的方法。
背景技术
目前，随着车用智能设备的迅速发展，抬头显示装置(Heads Up Display，HUD)被越来越多地在汽车上使用。汽车上的抬头显示装置安装于汽车的仪表台上，利用光学反射的原理将重要的行车信息，例如速度、发动机转数、油耗、胎压、导航以及外界智能设备的信息，以文字和/或图标的方式实时地投射在挡风玻璃上。通常在挡风玻璃上投射的图像的高度大致与驾驶员的眼睛在同一水平线上，这样使得驾驶员不必低头，就可以看到行车信息，从而避免分散对前方道路的注意力，行车安全性有很大的提高。
发明内容
本发明实施例提供了一种用于演示车载抬头显示装置的功能的方法，能够使得在HUD功能演示时真实对象与在虚拟图像中显示的表示该对象的虚拟标记较好地匹配，实现较好的虚实融合。
根据本发明的一个实施例，提供一种用于演示车载抬头显示装置的功能的方法，包括：设定用于显示第一图像的投影区域，其中所述投影区域和所述车载抬头显示装置的虚拟显示区域重合；获得所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系；在所述投影区域中投影所述第一图像，所述第一图像中包括待标记的一个或多个对象；捕获第二图像，其中所述第二图像为包含所述第一图像的所述投影区域的图像；基于所述相对位置及所述相对尺寸关系，在所述第二图像中生成虚拟识别区域；确定所述第二图像中的对象是否位于所述虚拟识别区域中，在所述对象位于所述虚拟识别区域中的情况下，确定所述对象在所述虚拟识别区域内的第一位置；基于所述第一位置，确定表示所述对象的虚拟标记在所述虚拟显示区域中的显示位置；以及在所述虚拟显示区域中的所述显示位置显示所述虚拟标记。
在示例的实施例中，在所述第二图像中生成虚拟识别区域包括：使得所述第二图像与所述虚拟识别区域的相对位置及所述相对尺寸关系与所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系相同。
在示例的实施例中，所述投影区域和所述虚拟显示区域的形状为矩形，所述投影区域的底边与所述虚拟显示区域的底边重合，并且所述投影区域的底边的中心与所述虚拟显示区域的底边的中心重合。获得所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系包括：建立第一坐标系，使得所述第一坐标系的横轴与所述投影区域的底边重合，所述第一坐标系的纵轴通过所述投影区域的底边的中心；分别确定所述投影区域的顶边的第一端点和第二端点在所述第一坐标系中的坐标；分别确定所述虚拟显示区域的顶边的第三端点和第四端点在所述第一坐标系中的坐标；以及确定所述投影区域的顶边的长度与所述虚拟显示区域的顶边的长度的比率r1，以及所述投影区域的侧边的长度与所述虚拟显示区域的侧边的长度的比率r2。
在示例的实施例中，所述虚拟显示区域的顶边的第三端点和第四端点的坐标如下式：
XC＝-s*tan(α/2),YC＝2s*tan(β/2)；
XD＝s*tan(α/2),YD＝2s*tan(β/2)；
其中，XC和YC分别为所述第三端点的横坐标和纵坐标；XD和YD分别为所述第四端点的横坐标和纵坐标；s为所述车载抬头显示装置的视窗中心到所述投影区域的距离；α和β分别为所述车载抬头显示装置的水平视场角和竖直视场角。
在示例的实施例中，在所述第二图像中生成虚拟识别区域包括：建立第二坐标系，使得所述第二坐标系的横轴与所述第二图像的底边重合，并且所述第二坐标系的纵轴通过所述第二图像的底边的中心；确定所述第二图像的顶边的两个端点之间的像素距离d1和所述第二图像的侧边的两个端点之间的像素距离d2；以及将所述虚拟识别区域的顶边的长度限定为d1/r1并将所述虚拟识别区域的侧边长度限定为d2/r2，则所述虚拟识别区域的所述顶边的两个端点的在所述第二坐标系中的坐标分别为(-d1/2r1，d2/r2)和(d1/2r1，d2/r2)，并且所述虚拟识别区域的底边的两个端点的在所述第二坐标系中的坐标分别为(-d1/2r1，0)和(d1/2r1，0)。
在示例的实施例中，所述虚拟标记在所述虚拟显示区域中的显示位置在所述第一坐标系中的横坐标与所述虚拟显示区域的顶边的比率等于所述第一位置在所述第二坐标系中的横坐标与所述虚拟识别区域的顶边的比率；所述虚拟标记在所述虚拟显示区域中的显示位置在所述第一坐标系中的纵坐标与所述虚拟显示区域的侧边的比率等于所述第一位置在所述第二坐标系中的纵坐标与所述虚拟识别区域的侧边的比率。
在示例的实施例中，所述第一图像为显示路况的图像。
在示例的实施例中，所述对象包括车辆、行人或路标中的至少一种。
适应性的进一步的方面和范围从本文中提供的描述变得明显。应当理解，本申请的各个方面可以单独或者与一个或多个其他方面组合实施。还应当理解，本文中的描述和特定实施例旨在仅说明的目的并不旨在限制本申请的范围。
附图说明
本文中描述的附图用于仅对所选择的实施例的说明的目的，并不是所有可能的实施方式，并且不旨在限制本申请的范围，其中：
图1示出用于演示车载抬头显示装置的示例的***的示意图；
图2示出根据本发明的示例的实施例提供的用于演示车载抬头显示装置的功能的方法的流程图；
图3示出在本发明的示例的实施例中投影区域和车载HUD的虚拟显示区域之间的位置关系；
图4示出在本发明的示例的实施例中获得投影区域与虚拟显示区域之间的相对位置及相对尺寸关系的流程图；
图5示出在本发明的示例的实施例中第二图像与虚拟识别区域之间的位置关系；以及
图6示出在本公开的示例的实施例中在第二图像中生成虚拟识别区域的流程图。
贯穿这些附图的各个视图，相应的参考编号指示相应的部件或特征。
具体实施方式
现将参考附图详细描述各种实施例，其作为本发明的示例性示例而提供，以使得本领域技术人员能够实现本发明。以下附图和示例并不意味着限制本发明的范围。在使用已知的组件(或方法或过程)可以部分或全部实现本发明的特定元件的情况下，将仅描述对理解本发明所需要的这种已知组件(或方法或过程)的那些部分，并且这种已知组件的其它部分的详细描述将被省略以便不会混淆本发明。进一步地，各种实施例通过说明的方式包含与在此涉及的组件等同的现在和未来已知的等同物。
除非上下文中另外明确地指出，否则在本文和所附权利要求中所使用的词语的单数形式包括复数，反之亦然。因而，当提及单数时，通常包括相应术语的复数。相似地，措辞“包含(comprise)”、“包含(include)”以及它们的语法变型将解释为包含在内而不是独占性地，除非本文中明确禁止这样的解释。术语“第一”、“第二”、“第三”等仅用于描述的目的，而不能理解为指示或暗示相对重要性及形成顺序。
本发明中描绘的流程图仅仅是一个例子。在不脱离本发明精神的情况下，可以存在该流程图或其中描述的步骤的很多变型。例如，所述步骤可以以不同的顺序进行，或者可以添加、删除或者修改步骤。这些变型都被认为是所要求保护的方面的一部分。
抬头显示装置除了可以将重要的行车信息投射到挡风玻璃上之外，还可以具有将行车路况与抬头显示装置的虚拟图像融合(即，虚实融合)的功能。作为示例，在周边对象(例如，车辆、行人或路标)进入抬头显示装置的视场内的情况下，在抬头显示装置的虚拟图像的对应于该周边对象的真实位置处显示表示该周边对象的虚拟标记，从而可以实现虚拟图像和实际的行车路况的融合。
实现虚实融合的一种示例的方式是：在车辆上安装摄像头，当车辆在真实道路上行驶(真实行车模式)的情况下，摄像头实时拍摄周边路况的视频，并将拍摄的视频实时传输给HUD的处理单元，处理单元可以识别视频中每帧图像中的对象的位置。当对象位于HUD的视场内时，在HUD的虚拟图像的对应于该对象的实际位置处设置虚拟标记，使得该虚拟标记的位置与该对象在道路中的实际位置相匹配。
在真实行车模式中，由于摄像头的视场通常比较广，拍摄到的周边路况的视频能够相对真实地还原真实路况。因此，在虚拟图像中标识的虚拟标记的位置能够较好地与在真实道路中的对象的位置相匹配。
然而，在商家对HUD的功能进行推广演示时，由于推广演示通常是在固定场所进行，这就需要将预先拍摄的周边路况的视频通过投影仪投影到投影幕上来模拟真实路况。图1示出用于演示车载抬头显示装置的示例的***的示意图。如图1所示，该示例的***可以包括具有前挡风玻璃101的模拟车辆102；设置在前挡风玻璃101上的摄像头103；设置在前挡风玻璃101前方的投影仪104；被配置为接收投影仪104投影的图像的位于前挡风玻璃101前方一定距离处的投影幕105；以及被配置为将行车信息和路况信息的虚拟图像投影到挡风玻璃101上的车载HUD 106。在进行推广演示时，可以将投影幕105设置为与HUD的虚拟图像的虚拟显示区域107重叠(如图1所示)。在此，“虚拟显示区域”可以指驾驶员通过前挡风玻璃101观察HUD的虚拟图像时虚拟图像所在的区域。
由于推广展示场所的限制，投影幕105的尺寸不可能太大，因此投影仪104投出的视频图像不能真实还原路况信息。在这种情况下，会导致在虚拟图像中标识的对象的虚拟标志的位置与对象在投影幕105中的位置不匹配。该不匹配可以包括这样的事实：驾驶员观察到投影幕105中某一车辆明显已经远离HUD的虚拟图像的视场，但是对应于该对象的虚拟标记依然出现在HUD虚像中；或者驾驶员观察到投影幕105中的一个行人已经进入HUD的虚拟图像的视场中，但是在HUD的虚拟图像中并没有标识该对象的虚拟标记。无论是哪种不匹配的情况，都将严重影响驾驶体验。
本发明提供一种用于演示车载抬头显示装置的功能的方法，该方法可以使得在虚拟图像中显示的虚拟标记与该虚拟标记所表示的对象的实际位置先匹配，从而可以提高驾驶体验。
图2示出根据本发明的示例的实施例提供的用于演示车载抬头显示装置的功能的方法的流程图。如图2所示，该方法包括以下步骤：
S202：设定用于显示第一图像的投影区域，其中投影区域和车载抬头显示装置的虚拟显示区域重叠；
S204：获得投影区域与虚拟显示区域之间的相对位置及相对尺寸关系；
S206：在投影区域中投影第一图像，其中第一图像中包括待标记的一个或多个对象；
S208：捕获第二图像，第二图像为包含所述第一图像的投影区域的图像；
S210：基于相对位置及相对尺寸关系，在第二图像中生成虚拟识别区域；
S212：确定第二图像中的对象是否位于虚拟识别区域中，在对象位于虚拟识别区域的情况下，确定对象在虚拟识别区域内的第一位置；
S214：基于第一位置，确定表示对象的虚拟标记在虚拟显示区域中的显示位置；以及
S216：在虚拟显示区域中的显示位置显示虚拟标记。
以下结合图2-6对上述方法中的各个步骤进行详细说明。
在步骤S202，设定用于显示第一图像110的投影区域108，使得投影区域108与车载抬头显示装置106的虚拟显示区域107重合。在此，由于投影区域108与车载抬头显示装置106的虚拟显示区域107的面积不一定相等，所述重合可以是部分重合；所述重合可以理解为投影区域108与人眼(驾驶员的眼镜)之间的距离与虚拟显示的影像与人眼之间的距离(像距)相等。可以理解的是，对于本领域的技术人员实现距离绝对的相等是不可能的，所述重合也允许一定的误差。
在示例的实施例中，第一图像110是显示路况的图像，具体的第一图像可以是在真实行车模式中通过设置在车辆上的摄像头拍摄(例如，预先或实时地)周边路况的视频图像，其可以包括一帧或多帧图像。该第一图像110中可以包括正在驾驶车辆周边的一个或多个对象，例如车辆、行人或路标。
在示例的实施例中，投影区域108是指通过投影仪104投影路况信息的区域，该可以等于或小于投影幕所占的区域；在另一实施例中，投影区域108也可以是投影幕所占的区域。
在步骤S204，可以获得投影区域(实线框)108与虚拟显示区域(虚线框)107之间的相对位置关系及相对尺寸关系。
图3示出在本发明的示例的实施例中投影区域108和车载HUD的虚拟显示区域107之间的位置关系。在图3所示的实施例中，投影区域108和虚拟显示区域107的形状为矩形。投影区域108的底边和虚拟显示区域107的底边重合并且投影区域108的底边的中心与虚拟显示区域107的底边的中心重合。
图4示出在本发明的示例的实施例中获得投影区域108与虚拟显示区域107之间的相对位置及相对尺寸关系的流程图。如图4所示，可以通过步骤S2042-S2048获得投影区域108与虚拟显示区域107之间的相对位置及相对尺寸关系。
在步骤S2042，建立第一坐标系(如图3中所示)，使得第一坐标系的横轴(X轴)与投影区域108的底边重合，也即与虚拟显示区域107的底边重合，并且第一坐标系的纵轴(Y轴)通过投影区域108的底边的中心。
在步骤S2044，分别确定投影区域108的顶边的第一端点A和第二端点B在该第一坐标系中的坐标，即A(-a/2，b)和B(a/2，b)，在此，a和b分别为投影区域108的长度和宽度。
在步骤S2046，分别确定虚拟显示区域107的顶边的第三端点C和第四端点D在第一坐标系中的坐标，即，XC＝-s*tan(α/2),YC＝2s*tan(β/2)；XD＝s*tan(α/2),YD＝2s*tan(β/2)，其中，XC和YC分别为第三端点的横坐标和纵坐标；XD和YD分别为第四端点的横坐标和纵坐标；s为车载抬头显示装置106的视窗109到所述投影区域108的距离(如图1所示)；α和β分别为车载抬头显示装置106的水平视场角和竖直视场角。
由此，根据第一端点A、第二端点B、第三端点C、第四端点D的坐标可以获得投影区域108与虚拟显示区域107之间的相对位置关系。
在步骤S2048中，根据第三端点C和第四端点D的坐标，可以获得虚拟显示区域107的顶边CD的长度为2s*tan(α/2)，进而可以确定投影区域108的顶边AB的长度a与虚拟显示区域107的顶边CD的长度的比率r1＝a/(2s*tan(α/2))。类似地，可以确定投影区域的侧边的长度与虚拟显示区域的侧边的长度的比率r2＝b/2s*tan(β/2)，由此，可以确定投影区域108和虚拟显示区域107之间的相对尺寸关系。
在步骤S206，可以将在真实道路行驶的过程中预先录制的第一图像110投影到投影区域108。可替代地，还可以在进行模拟演示时，驾驶真实车辆在道路上行驶，实时录制周边路况的图像，并将录制的图像实时传输到图1所示的***中的投影仪，以便实时将录制的图像投影到投影区域108。
如图3所示，投影区域108中投影的第一图像110包含三个车辆(11、12、13)，其中车辆13进入虚拟显示区域107中。
在步骤S208，捕获包含第一图像110的投影区域108的第二图像111。所述包含第一图像110的投影区域108是指在投影区域108上投影了第一图像110。在该步骤中，作为示例，可以通过图1所示的***中的摄像头103捕获投影区域108的第二图像111，该第二图像111示例性示出在图5中的实线框内，该第二图像111中可以包含与第一图像110中相同的对象，例如，三个车辆11’、12’、13’。
在步骤S210，基于在步骤S204中获得的相对位置和相对尺寸关系，在第二图像111中生成虚拟识别区域112。在本发明的实施例中，虚拟识别区域112是指在第二图像中的用于确定是否需要在虚拟显示区域108中显示表示对象的虚拟标记的区域，该虚拟识别区域112在图5中以虚线框示出。
在示例的实施例中，在第二图像11中生成虚拟识别区域112使得第二图像111和虚拟识别区域112的相对位置及相对尺寸关系与投影区域108与虚拟显示区域107之间的相对位置及相对尺寸关系相同。示例地，第二图像111的底边和虚拟识别区域112的底边重合，第二图像111的底边的中心和虚拟识别区域112的底边的中心重合，并且第二图像111的顶边(和/或底边)与虚拟识别区域112的顶边(和/或底边)的比率等于r1,第二图像111的侧边与虚拟识别区域112的侧边的比率等于r2。
图6示出在本公开的示例的实施例中在第二图像中生成虚拟识别区域的流程图。如图6所示，可以通过步骤S2102-S2106在第二图像中生成虚拟识别区域。
在步骤S2102，建立第二坐标系(如图5所示)，使得第二坐标系的横轴X’与第二图像的底边重合，并且第二坐标系的纵轴Y’通过第二图像111的底边的中心。
在步骤S2104，确定第二图像111的顶边的两个端点A’和B’之间的像素距离d1和第二图像111的侧边的两个端点之间的像素距离d2。作为非限制性的示例，像素距离可以通过第二图像上某条线段跨越的像素的个数来表示。
在步骤2106，将虚拟识别区域112的顶边的长度限定为d1/r1并将虚拟识别区域112的侧边长度限定为d2/r2。基于此，可以获得虚拟识别区域112的顶边的两个端点C’和D’在第二坐标系中的坐标，即，C’(-d1/2r1，d2/r2)和D’(d1/2r1，d2/r2)，并且可以获得虚拟识别区域112的底边的两个端点在第二坐标系中的坐标分别为(-d1/2r1，0)和(d1/2r1，0)。由此，可以确定虚拟识别区域112在第二图像111中的位置和尺寸。
在步骤212，确定第二图像111中的对象是否位于虚拟识别区域112中，在对象位于虚拟识别区域112中的情况下，确定对象在虚拟识别区域112内的第一位置。
在该步骤中，可以对第二图像111进行处理，以便识别第二图像111中的对象并确定识别到的对象是否位于虚拟识别区域112中。在对象位于虚拟识别区域112的中的情况下，获取对象在虚拟识别区域112内的第一位置。如图5所示，通过对第二图像111进行处理，识别出该第二图像111中具有三个车辆11’、12’、13’。但是经过判断，只有车辆13’位于虚拟识别区域内，因此仅获取该车辆13’的位置(假设车辆13’的位置坐标为(e，f))，而对于车辆11’和车辆12’不做处理。
在步骤214，基于在步骤212中获取的第一位置(其在第二坐标系中的坐标被表示为(e，f))，确定表示对象(例如车辆)的虚拟标记113在虚拟显示区域107中的显示位置。
在示例的实施例中，可以如此确定虚拟标记113在虚拟显示区域107中的显示位置使得虚拟标记113在虚拟显示区域107中的显示位置在第一坐标系中的横坐标与虚拟显示区域107的顶边的比率等于第一位置在第二坐标系中的横坐标与虚拟识别区域112的顶边的比率；虚拟标记113在虚拟显示区域107中的显示位置在第一坐标系中的纵坐标与虚拟显示区域107的侧边的比率等于第一位置在第二坐标系中的纵坐标与虚拟识别区域112的侧边的比率。
然而，虚拟标记在虚拟显示区域107中的显示位置的坐标与对象在虚拟识别区域112中的坐标之间的关系不限于在此描述的实施例，这并不构成对本发明的限定。作为示例，在确定对象在虚拟识别区域112中的第一位置之后，可以按照确定显示位置的近似坐标，使得该近似坐标的横坐标与虚拟显示区域107的顶边比率等于第一位置的纵坐标与虚拟识别区域112的顶边的比率，并且该近似坐标的纵坐标与虚拟显示区域107的侧边的比率等于第一位置的纵坐标与虚拟识别区域112的侧边的比率。之后可以将在该近似坐标预定范围内的位置作为显示位置。
通过示例的方式，假设虚拟显示区域107的顶边和侧边的长度分别为u和v(如图3所示)；虚拟识别区域112的顶边和侧边的长度分别为g和h(如图5所示)；并且在虚拟识别区域112中的对象的第一位置的坐标为(e，f)，那么，可以确定虚拟标记113在虚拟显示区域107中的显示位置的横坐标和纵坐标分别为e/g·u和f/h·v。
在步骤214，在虚拟显示区域107中的显示位置处显示虚拟标记113。该虚拟标记113可以如图3所示通过箭头表示。然而，这里使用的虚拟标记的形状仅仅是示例性的，其不旨在将本发明的范围限制在该特定形状。本领域技术人员可以根据序号适当地选择其他合适的虚拟标记的形状。
在车载HUD技术中，虚拟图像通常为图像源经过多次反射后投影在前挡风玻璃上的放大图像，为了使得虚拟标记能够显示在虚拟显示区域中的显示位置，需要确定该虚拟标记在图像源中的对应位置。然而，对于如何根据要在虚拟显示区域中标记的虚拟标记的位置来确定该虚拟标记在图像源中的位置，本发明不做具体限定。本领域技术人员可以根据HUD的结构组成以及图像源形成虚拟图像所经过反射次数选择合适的方法来确定虚拟标记在图像源中的位置。
根据本发明的实施例提供的用于演示车载抬头显示装置的功能的方法，可以实时地将虚拟标记113显示在HUD的虚拟显示区域107中与对象相对应的位置，从而使得虚拟标记113与对象的实际位置匹配，能够实现较好的虚实融合。因此可以改善驾驶体验。
以上为了说明和描述的目的提供了实施例的前述描述。其并不旨在是穷举的或者限制本申请。特定实施例的各个元件或特征通常不限于特定的实施例，但是，在合适的情况下，这些元件和特征是可互换的并且可用在所选择的实施例中，即使没有具体示出或描述。同样也可以以许多方式来改变。这种改变不能被认为脱离了本申请，并且所有这些修改都包含在本申请的范围内。

Claims (8)

1.一种用于演示车载抬头显示装置的功能的方法，其特征在于，所述方法包括：
设定用于显示第一图像的投影区域，其中所述投影区域和所述车载抬头显示装置的虚拟显示区域重合；
获得所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系；
在所述投影区域中投影所述第一图像，所述第一图像中包括待标记的一个或多个对象；
捕获第二图像，其中所述第二图像为包含所述第一图像的投影区域的图像；
基于所述相对位置及所述相对尺寸关系，在所述第二图像中生成虚拟识别区域；
确定所述第二图像中的对象是否位于所述虚拟识别区域中，在所述对象位于所述虚拟识别区域中的情况下，确定所述对象在所述虚拟识别区域内的第一位置；
基于所述第一位置，确定表示所述对象的虚拟标记在所述虚拟显示区域中的显示位置；以及
在所述虚拟显示区域中的所述显示位置显示所述虚拟标记。
2.根据权利要求1所述的方法，其特征在于，在所述第二图像中生成虚拟识别区域包括：
使得所述第二图像与所述虚拟识别区域的相对位置及相对尺寸关系与所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系相同。
3.根据权利要求2所述的方法，其特征在于，所述投影区域和所述虚拟显示区域的形状为矩形，所述投影区域的底边与所述虚拟显示区域的底边重合，并且所述投影区域的底边的中心与所述虚拟显示区域的底边的中心重合，其中，获得所述投影区域与所述虚拟显示区域之间的相对位置及相对尺寸关系包括：
建立第一坐标系，使得所述第一坐标系的横轴与所述投影区域的底边重合，所述第一坐标系的纵轴通过所述投影区域的底边的中心；
分别确定所述投影区域的顶边的第一端点和第二端点在所述第一坐标系中的坐标；
分别确定所述虚拟显示区域的顶边的第三端点和第四端点在所述第一坐标系中的坐标；以及
确定所述投影区域的顶边的长度与所述虚拟显示区域的顶边的长度的比率r1，以及所述投影区域的侧边的长度与所述虚拟显示区域的侧边的长度的比率r2。
4.根据权利要求3所述的方法，其特征在于，所述虚拟显示区域的顶边的第三端点和第四端点的坐标如下式：
XC＝-s*tan(α/2),YC＝2s*tan(β/2)；
XD＝s*tan(α/2),YD＝2s*tan(β/2)；
其中，XC和YC分别为所述第三端点的横坐标和纵坐标；XD和YD分别为所述第四端点的横坐标和纵坐标；s为所述车载抬头显示装置的视窗中心到所述投影区域的距离；α和β分别为所述车载抬头显示装置的水平视场角和竖直视场角。
5.根据权利要求4所述的方法，其特征在于，在所述第二图像中生成虚拟识别区域包括：
建立第二坐标系，使得所述第二坐标系的横轴与所述第二图像的底边重合，并且所述第二坐标系的纵轴通过所述第二图像的底边的中心；
确定所述第二图像的顶边的两个端点之间的像素距离d1和所述第二图像的侧边的两个端点之间的像素距离d2；以及
将所述虚拟识别区域的顶边的长度限定为d1/r1并将所述虚拟识别区域的侧边长度限定为d2/r2，则所述虚拟识别区域的所述顶边的两个端点的在所述第二坐标系中的坐标分别为(-d1/2r1，d2/r2)和(d1/2r1，d2/r2)，并且所述虚拟识别区域的底边的两个端点的在所述第二坐标系中的坐标分别为(-d1/2r1，0)和(d1/2r1，0)。
6.根据权利要求5所述的方法，其特征在于，所述虚拟标记在所述虚拟显示区域中的显示位置在所述第一坐标系中的横坐标与所述虚拟显示区域的顶边的比率等于所述第一位置在所述第二坐标系中的横坐标与所述虚拟识别区域的顶边的比率；所述虚拟标记在所述虚拟显示区域中的显示位置在所述第一坐标系中的纵坐标与所述虚拟显示区域的侧边的比率等于所述第一位置在所述第二坐标系中的纵坐标与所述虚拟识别区域的侧边的比率。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述第一图像为显示路况的图像。
8.根据权利要求7所述的方法，其特征在于，所述对象包括车辆、行人或路标中的至少一种。
CN201810453847.3A 2018-05-14 2018-05-14 用于演示车载抬头显示装置的功能的方法 Active CN108528341B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810453847.3A CN108528341B (zh) 2018-05-14 2018-05-14 用于演示车载抬头显示装置的功能的方法
PCT/CN2019/080960 WO2019218789A1 (zh) 2018-05-14 2019-04-02 用于演示车载抬头显示装置的功能的方法、***及计算机可读存储介质
US16/758,132 US11376961B2 (en) 2018-05-14 2019-04-02 Method and system for demonstrating function of vehicle-mounted heads up display, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810453847.3A CN108528341B (zh) 2018-05-14 2018-05-14 用于演示车载抬头显示装置的功能的方法

Publications (2)

Publication Number Publication Date
CN108528341A CN108528341A (zh) 2018-09-14
CN108528341B true CN108528341B (zh) 2020-12-25

Family

ID=63477359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810453847.3A Active CN108528341B (zh) 2018-05-14 2018-05-14 用于演示车载抬头显示装置的功能的方法

Country Status (3)

Country Link
US (1) US11376961B2 (zh)
CN (1) CN108528341B (zh)
WO (1) WO2019218789A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108528341B (zh) 2018-05-14 2020-12-25 京东方科技集团股份有限公司 用于演示车载抬头显示装置的功能的方法
CN110136519B (zh) * 2019-04-17 2022-04-01 阿波罗智联(北京)科技有限公司 基于arhud导航的模拟***和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922245A (ja) * 1995-07-05 1997-01-21 Mitsubishi Heavy Ind Ltd 模擬視界装置を有するシミュレータ
CN102427541A (zh) * 2011-09-30 2012-04-25 深圳创维－Rgb电子有限公司 一种显示立体图像的方法及装置
CN103688288A (zh) * 2011-07-21 2014-03-26 图象公司 用于图像显示的广义规范化
CN205232340U (zh) * 2015-12-28 2016-05-11 韩美英 一种虚拟成像动态演示***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160846A (ja) 1994-12-07 1996-06-21 Mitsubishi Heavy Ind Ltd 航空機用訓練支援装置
US20110183301A1 (en) * 2010-01-27 2011-07-28 L-3 Communications Corporation Method and system for single-pass rendering for off-axis view
US9251715B2 (en) * 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
CN104504960B (zh) 2014-11-29 2017-01-11 江西洪都航空工业集团有限责任公司 一种虚拟平显在飞行训练器epx视景***中的应用方法
WO2016103938A1 (ja) * 2014-12-22 2016-06-30 富士フイルム株式会社 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム
JP6481596B2 (ja) 2015-12-03 2019-03-13 トヨタ自動車株式会社 車両用ヘッドアップディスプレイの評価支援装置
KR102576654B1 (ko) * 2016-10-18 2023-09-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN108528341B (zh) 2018-05-14 2020-12-25 京东方科技集团股份有限公司 用于演示车载抬头显示装置的功能的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922245A (ja) * 1995-07-05 1997-01-21 Mitsubishi Heavy Ind Ltd 模擬視界装置を有するシミュレータ
CN103688288A (zh) * 2011-07-21 2014-03-26 图象公司 用于图像显示的广义规范化
CN102427541A (zh) * 2011-09-30 2012-04-25 深圳创维－Rgb电子有限公司 一种显示立体图像的方法及装置
CN205232340U (zh) * 2015-12-28 2016-05-11 韩美英 一种虚拟成像动态演示***

Also Published As

Publication number Publication date
US20210260997A9 (en) 2021-08-26
CN108528341A (zh) 2018-09-14
US20200282833A1 (en) 2020-09-10
WO2019218789A1 (zh) 2019-11-21
US11376961B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
US20240127496A1 (en) Ar display apparatus and ar display method
US10502955B2 (en) Head-up display device, navigation device, and display method
JP6659924B2 (ja) ヘッドマウントディスプレイの提示の調整
JP6304628B2 (ja) 表示装置および表示方法
RU2019140597A (ru) Система проецирования на лобовом стекле (hud) и способ создания hud-изображений
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
JP6262111B2 (ja) 車両用表示装置
WO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
JP6415583B2 (ja) 情報表示制御システムおよび情報表示制御方法
US10445594B2 (en) Onboard display system
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN105620364A (zh) 提供驾驶信息的方法和装置
US20220358840A1 (en) Motor Vehicle
CN108528341B (zh) 用于演示车载抬头显示装置的功能的方法
KR20140003585A (ko) 상용차량 주위 근접부의 모니터링
CN102729824B (zh) 图像处理判定装置
CN112484743B (zh) 车载hud融合实景导航显示方法及其***
CN109839743B (zh) 抬头显示器的光路***
JP2023109754A (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
KR20150094381A (ko) 주변환경 기반의 ｈｕｄ 제어 장치 및 그 방법
CN113837064B (zh) 道路识别方法、***和可读存储介质
US20190161010A1 (en) High visibility head up display (hud)
TWI451990B (zh) 車道定位系統、車道定位方法及路面標記
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant