CN110647860B

CN110647860B - 信息渲染方法、装置、设备和介质

Info

Publication number: CN110647860B
Application number: CN201910936332.3A
Authority: CN
Inventors: 李映辉; 周志鹏
Original assignee: Apollo Zhilian Beijing Technology Co Ltd
Current assignee: Apollo Zhilian Beijing Technology Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2022-11-08
Anticipated expiration: 2039-09-29
Also published as: CN110647860A

Abstract

本申请实施例公开了一种信息渲染方法、装置、设备和介质，涉及图像处理领域，尤其涉及智能交通技术。具体实现方案为：对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置；避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中。本申请实施例提供了一种信息渲染方法、装置、设备和介质，避免了渲染的辅助驾驶信息覆盖到前方车辆、行人或路面交通标志信息上。

Description

信息渲染方法、装置、设备和介质

技术领域

本申请实施例涉及图像处理领域，尤其涉及智能交通技术。具体地，本申请实施例涉及一种信息渲染方法、装置、设备和介质。

背景技术

AR-HUD是增强抬头显示技术,它可以在驾驶员视线区域内合理叠加显示一些辅助驾驶信息，并结合于实际交通路况当中。通过AR-HUD技术，驾驶员可以扩展并增强自己对于驾驶环境的感知。

现有实现方案包括：将辅助驾驶信息渲染到预先固定区域。

上述方案的缺点在于：

渲染的辅助驾驶信息可能覆盖到前方车辆、行人或路面交通标志(例如导向箭头)上，从而导致难以辨别辅助驾驶信息和/或路面交通标志信息的问题，进而导致交通事故。

发明内容

本申请实施例提供了一种信息渲染方法、装置、设备和介质，以避免渲染的辅助驾驶信息覆盖到前方车辆、行人或路面交通标志上。

本申请实施例提供了一种信息渲染方法，该方法包括：

对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置；

避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中。

上述实施例具有如下优点或有益效果：通过避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中，从而避免辅助驾驶信息对目标对象的遮挡，进而提高驾驶员的驾驶安全性。

此外，通过将辅助驾驶信息渲染至路面区域，而非其他区域，从而避免了对其他区域内信息的遮挡。并且，因为驾驶员对路面的关注度较高，所以将辅助驾驶信息渲染至路面区域，可以提高驾驶员对辅助驾驶信息的获取效率。

进一步地，所述避开所述目标对象位置，将辅助驾驶信息渲染到所述路面区域中，包括：

将所述辅助驾驶信息渲染至所述路面区域；

擦除所述路面区域中目标对象位置处的渲染信息。

据此，上述实施例具有如下优点或有益效果：通过先将所述辅助驾驶信息渲染至所述路面区域，再对所述路面区域中目标对象位置处的渲染信息进行擦除，从而使得辅助驾驶信息的渲染位置可以避开所述目标对象位置。此外，该方法可以在较少改变现有渲染代码逻辑的条件下，实现避开所述目标对象位置的渲染效果。

进一步地，所述将所述辅助驾驶信息渲染至所述路面区域，包括：

对所述路面区域进行划分，生成至少两个候选子区域；

根据所述辅助驾驶信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述辅助驾驶信息关联的目标子区域；

将所述辅助驾驶信息渲染至所述目标子区域。

据此，上述实施例具有如下优点或有益效果：通过根据所述辅助驾驶信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述辅助驾驶信息关联的目标子区域，从而实现将渲染优先级高的辅助驾驶信息渲染至关注度高的候选子区域，进而提高驾驶员对辅助驾驶信息的获取效率。

进一步地，所述擦除所述路面区域中目标对象位置的渲染信息，包括：

从所述路面区域中去除所述目标对象位置，将剩余区域作为目标渲染区域；

根据所述目标渲染区域生成图像掩模；

利用所述图像掩模擦除所述目标对象位置处的渲染信息。

据此，上述实施例具有如下优点或有益效果：通过从所述路面区域中去除所述目标对象位置，将剩余区域作为目标渲染区域；根据所述目标渲染区域生成图像掩模；利用图像掩模擦除所述目标对象位置处的渲染信息，从而实现对目标对象位置处渲染信息的擦除，避免渲染信息对目标对象的覆盖。

本申请实施例还提供了一种信息渲染装置，该装置包括：

图像识别模块，用于对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置；

信息渲染模块，用于避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中。

进一步地，所述信息渲染模块，包括：

信息渲染单元，用于将所述辅助驾驶信息渲染至所述路面区域；

信息擦除单元，用于擦除所述路面区域中目标对象位置处的渲染信息。

进一步地，所述信息渲染单元具体用于：

对所述路面区域进行划分，生成至少两个候选子区域；根据所述辅助驾驶信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述辅助驾驶信息关联的目标子区域；

将所述辅助驾驶信息渲染至所述目标子区域。

进一步地，所述信息擦除单元具体用于：

根据所述目标渲染区域生成图像掩模；

利用所述图像掩模擦除所述目标对象位置处的渲染信息。

本申请实施例还提供了一种电子设备，该设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本实施例中任一项所述的方法。

本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请第一实施例提供的一种信息渲染方法的流程图；

图2是本申请第一实施例提供的应用场景示意图；

图3是本申请第一实施例提供的目标渲染区域的示意图；

图4是本申请第二实施例提供的一种信息渲染方法的流程图；

图5是本申请第三实施例提供的一种信息渲染装置的结构示意图；

图6是用来实现本申请实施例的信息渲染方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

图1是本申请第一实施例提供的一种信息渲染方法的流程图。本实施例可适用于将辅助驾驶信息渲染至实景道路中的情况。典型地，本实施可适用于在AR-HUD技术中对辅助驾驶信息进行渲染的情况。参见图2，该情况中将辅助驾驶信息渲染至目标画布101中，通过光机102将目标画布101投放至车辆的前挡风玻璃103上，驾驶员人眼104通过前挡风玻璃103可以看到辅助驾驶信息与实景道路叠加的视觉效果，以增强驾驶员对驾驶环境感知。

本实施例提供的信息渲染方法可以由一种信息渲染装置执行，该装置可以软件和/或硬件的方式实现。参见图1，本实施例提供的信息渲染方法包括：

S110、对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置。

其中，图像采集器安装在车辆上，用于采集车辆行驶前方的实景道路图像。

实景道路图像包括车辆行驶前方道路的路面实景信息。

目标对象位置是指目标对象所在的位置，目标对象包括车辆、行人和路面交通标志中的至少一种。

本实施例对实景道路图像的识别方法不做限定，可选地可以采用现有技术中的任意识别方法，以实现对实景道路图像中路面区域的识别，以及对路面区域中目标对象的识别。

S120、避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中。

其中，辅助驾驶信息是辅助驾驶员驾驶车辆的信息。

典型地，辅助驾驶信息包括：导航信息、仪表信息和引导线信息中的至少一种。

具体地，导航信息包括：即将发生的转向信息、当前行驶位置与目的地之间的距离、预计达到目的地的时间，以及当前行驶位置与违章拍照地点之间距离中的至少一种。

仪表信息是指车辆仪表盘所展示的信息。

具体地，仪表信息包括：车速、发动机转速、发动机水温和燃油余量中的至少一种。

引导线信息是指当前行驶车道及行驶方向的引导信息。

参见图3，具体地，避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中，包括：

从所述路面区域中去除所述目标对象位置301，将剩余区域作为目标渲染区域302；

将所述辅助驾驶信息渲染至所述目标渲染区域302。

为实现辅助驾驶信息与实景道路的叠加显示，所述将所述辅助驾驶信息渲染至所述目标渲染区域，包括：

将所述辅助驾驶信息渲染至目标画布中的目标区域，所述目标区域是指所述目标画布中与所述目标渲染区域关联的区域；

将所述目标画布投放至车辆的前挡风玻璃上，以使驾驶员观测到辅助驾驶信息与实景道路的叠加显示效果。

本申请实施例的技术方案，通过避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中，从而避免辅助驾驶信息对目标对象的遮挡，进而提高驾驶员的驾驶安全性。

第二实施例

图4是本申请第二实施例提供的一种信息渲染方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图4，本实施例提供的信息渲染方法包括：

S210、对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置。

S220、将所述辅助驾驶信息渲染至所述路面区域。

具体地，将所述辅助驾驶信息中的导航信息和仪表信息渲染至所述路面区域，包括：

对所述路面区域进行划分，生成至少两个候选子区域；

根据所述导航信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述导航信息关联的目标子区域；

根据所述仪表信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述仪表信息关联的目标子区域；

将所述导航信息渲染至与所述导航信息关联的目标子区域；

将所述仪表信息渲染至与所述仪表信息关联的目标子区域。

具体地，所述导航信息的渲染优先级，根据所述导航信息的重要性确定。

所述导航信息的重要性可以根据实际需要预先设定。

具体地，对所述路面区域进行划分包括：

若路面区域存在车道线，则按照车道线划分；

若路面区域不存在车道线，则按照设定宽度划分。

上述方法可以实现如下优点或有益效果：通过根据所述辅助驾驶信息的渲染优先级和所述候选子区域的关注度，从至少两个所述候选子区域中选择与所述辅助驾驶信息关联的目标子区域，从而实现将渲染优先级高的辅助驾驶信息渲染至关注度高的候选子区域，进而提高驾驶员对辅助驾驶信息的获取效率。

为实现对辅助驾驶信息中引导线信息的透视显示，将引导线信息渲染至路面区域，包括：

识别实景道路图像中目标车道线的位置，所述目标车道线是指当前行驶车道的车道线；

根据所述目标车道线的位置，确定引导线信息的渲染位置；

将引导线的三维模型渲染至引导线信息的渲染位置。

S230、擦除所述路面区域中目标对象位置处的渲染信息。

具体地，所述擦除所述路面区域中目标对象位置的渲染信息，包括：

根据所述目标渲染区域生成图像掩模；

利用所述图像掩模擦除所述目标对象位置处的渲染信息。

本申请实施例提供的技术方案可以实现如下技术效果：

将信息统一渲染到路面区域，避免由于遮挡视野引起的安全性问题。

通过避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中，从而避免辅助驾驶信息被混叠。

将路面区域及辅助驾驶信息信息进行等级划分，以对信息进行有效展示。

第三实施例

图5是本申请第三实施例提供的一种信息渲染装置的结构示意图。参见图5，本实施例提供的信息渲染装置500包括：图像识别模块501和信息渲染模块502。

其中，图像识别模块501，用于对从图像采集器获取的实景道路图像进行识别，确定所述实景道路图像中的路面区域，以及所述路面区域包括的目标对象位置；

信息渲染模块502，用于避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中。

进一步地，所述信息渲染模块，包括：

进一步地，所述信息渲染单元具体用于：

将所述辅助驾驶信息渲染至所述目标子区域。

进一步地，所述信息擦除单元具体用于：

根据所述目标渲染区域生成图像掩模；

利用所述图像掩模擦除所述目标对象位置处的渲染信息。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的信息渲染方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的信息渲染方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的信息渲染方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的信息渲染方法对应的程序指令/模块(例如，附图5所示的图像识别模块501和信息渲染模块502)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信息渲染方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据信息渲染电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至信息渲染电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

信息渲染方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与信息渲染电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种信息渲染方法，其特征在于，包括：

将辅助驾驶信息渲染至目标画布中的目标区域，所述目标区域是指所述目标画布中与目标渲染区域关联的区域；将所述目标画布投放至车辆的前挡风玻璃上；

根据所述目标渲染区域生成图像掩模；

利用所述图像掩模擦除所述目标对象位置处的渲染信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述辅助驾驶信息渲染至所述路面区域，包括：

对所述路面区域进行划分，生成至少两个候选子区域；

将所述辅助驾驶信息渲染至所述目标子区域。

3.一种信息渲染装置，其特征在于，包括：

信息渲染模块，用于避开所述目标对象位置，将辅助驾驶信息渲染至所述路面区域中；

其中，所述信息渲染模块，包括：

信息渲染单元，用于将所述辅助驾驶信息渲染至目标画布中的目标区域，所述目标区域是指所述目标画布中与目标渲染区域关联的区域；将所述目标画布投放至车辆的前挡风玻璃上；

信息擦除单元，用于从所述路面区域中去除所述目标对象位置，将剩余区域作为目标渲染区域；根据所述目标渲染区域生成图像掩模；利用所述图像掩模擦除所述目标对象位置处的渲染信息。

4.根据权利要求3所述的装置，其特征在于，所述信息渲染单元具体用于：

对所述路面区域进行划分，生成至少两个候选子区域；

将所述辅助驾驶信息渲染至所述目标子区域。

5.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的方法。

6.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-2中任一项所述的方法。