CN109764887A - 用于显示虚拟路线的方法和装置 - Google Patents

Abstract

一种用于显示虚拟路线的方法和装置，基于从传感器异步接收的感测数据来估计车辆的位置，并且输出通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中而生成的三维(3D)虚拟路线。

Description

用于显示虚拟路线的方法和装置

相关申请的交叉引用

本申请要求2017年11月9日在韩国知识产权局递交的韩国专利申请No.10-2017-0148756的权益，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及用于显示虚拟路线的方法和装置。

背景技术

为了辅助驾驶员，可以通过包括在车辆中的显示器或导航***来提供表示各种可视信息的增强现实技术(AR)。例如，基于二维(2D)平视显示器(HUD)的导航设备请求用户直接执行要显示的路线信息与实际行驶信息之间的登记，或者在固定位置显示虚拟图像。因此，可能难以提供正确的方向，或者虚拟图像可能是行驶期间的危险因素。基于三维(3D)HUD的导航***确定道路或车辆的空间信息，并且因此可以基于实际行驶环境来增强路线。然而，用户眼睛的位置可能变化，并且取决于用户眼睛的位置，在3D虚拟路线增强的位置处可能发生错误。

发明内容

提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总体方面，提供了一种显示虚拟路线的方法，包括：基于从传感器异步接收的感测数据来估计车辆的位置，通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中来生成三维(3D)虚拟路线，以及输出所述3D虚拟路线。

所述传感器可以包括全球定位***(GPS)传感器、惯性测量单元(IMU)传感器、车载诊断(OBD)传感器和相机传感器中的任意一个或任意组合。

可以针对每个传感器，单独地对所述感测数据进行采样。

所述估计可以包括将与处理对应的所述感测数据的处理时间有关的信息***到每条感测数据中，并且基于所述感测数据估计所述车辆的位置，每个感测数据包括与所述处理时间有关的信息。

所述估计可以包括基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置，基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置，以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。

所述方法可以包括基于从所述传感器当中的相机传感器获取的图像数据来进行测距，其中所述估计包括基于所述感测数据和所述测距来估计所述车辆的位置。

基于所述感测数据和所述测距的所述估计包括：基于除了所述图像数据之外的一条感测数据来估计所述车辆的所述位置；以及基于所述测距校正所述车辆的所述位置。

生成所述3D虚拟路线可以包括：基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像，检测包括在所述分割图像中的对象，基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型，并且通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。

生成所述3D虚拟路线可以包括：基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理，并且通过应用所述照明和所述纹理来生成所述3D虚拟路线。

所述方法可以包括变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，其中所述输出可以包括显示变换后的3D虚拟路线。

输出变换后的3D虚拟路线可以包括通过所述车辆的平视显示器(HUD)显示变换后的3D虚拟路线。

所述变换可以包括：通过跟踪所述车辆的所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点，基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系，并且基于所述变换关系来变换所述3D虚拟路线。

在一个总体方面，提供了一种用于显示虚拟路线的装置，所述装置包括：传感器模块，包括被配置为对感测数据进行感测的传感器，所述感测数据包括车辆的行驶环境的图像、所述车辆的姿势以及所述车辆的位置；存储器，被配置为存储地图信息；处理器，被配置为基于从所述传感器异步接收的感测数据来估计所述车辆的位置，并且通过将与所述车辆的所述行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维(3D)虚拟路线；以及显示器，被配置为显示所述3D虚拟路线。

所述传感器可以包括以下项中的至少两项或更多项：全球定位***(GPS)传感器，被配置为测量所述车辆的绝对路线；惯性测量单元(IMU)传感器，被配置为测量所述车辆的相对路线；车载诊断(OBD)传感器，被配置为测量所述车辆的行驶距离；以及相机传感器，被配置为捕获包括所述车辆的所述行驶环境在内的图像数据。

可以针对每个传感器，单独地对所述感测数据进行采样。

所述处理器可以被配置为将与处理对应的所述感测数据的处理时间有关的信息***到每条感测数据中，并且基于所述感测数据估计所述车辆的位置，每个感测数据包括与所述处理时间有关的信息。

所述处理器可以被配置为基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置，基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置，以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。

所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来进行测距，并且基于所述感测数据和所述测距来估计所述车辆的所述位置。

所述处理器可以被配置为基于除了图像数据之外的一条感测数据来估计所述车辆的位置，并且基于测距来校正所述车辆的位置。

所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像，检测包括在所述分割图像中的对象，基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型，并且通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。

所述处理器可以被配置为基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理，并且基于所述照明和所述纹理来变换所述3D虚拟路线。

所述装置可以包括：第二相机传感器，被配置为跟踪所述车辆的驾驶员的视点，所述处理器可以被配置为变换所述3D虚拟路线以匹配所述车辆的所述驾驶员的视点，并且通过所述显示器输出变换后的3D虚拟路线。

所述显示器包括平视显示器(HUD)。

所述处理器可以被配置为通过跟踪所述车辆的所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点，基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系，并且基于所述变换关系来变换所述3D虚拟路线。

每个传感器可以单独地感测所述车辆的所述位置或姿势，并且每个传感器的感测速度可以不同步。

在一个总体方面，提供了一种虚拟路线显示装置，包括：传感器模块，包括被配置为异步生成感测数据的传感器，所述感测数据包括：车辆的行驶环境的图像、基于对所述车辆的驾驶员的双眼的3D位置的跟踪而生成的所述车辆的驾驶员的视点、所述车辆的姿势以及所述车辆的位置；平视显示器(HUD)；存储器，被配置为存储地图信息和指令；以及处理器，被配置为执行所述指令，以便：基于从所述传感器异步接收的所述感测数据来估计所述车辆的位置；通过将与所述车辆的所述行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维(3D)虚拟路线；变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，以及通过所述HUD输出变换后的3D虚拟路线。

所述存储器可以被配置为存储由所述传感器模块生成的感测数据和由所述处理器生成的3D虚拟路线。

其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。

附图说明

图1示出了显示虚拟路线的方法的示例。

图2至图5示出了估计车辆位置的示例。

图6和图7示出了生成三维(3D)虚拟路线的示例。

图8示出了显示3D虚拟路线的示例。

图9示出了变换3D虚拟路线的示例。

图10A和图10B示出了基于行驶环境模型和车辆的估计位置生成的3D虚拟路线的示例。

图11A和图11B示出了变换为与驾驶员的视点匹配的3D虚拟路线的示例。

图12示出了用于显示虚拟路线的装置的处理流程的示例。

图13示出了用于显示虚拟路线的装置中的数据流的示例。

图14示出了用于显示虚拟路线的装置的操作的示例。

图15示出了用于显示虚拟路线的装置的示例。

在整个附图和详细描述中，除非另有描述或提供，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图不必按比例绘制，并且为了清楚、示出和方便，可以扩大附图中的元件的相对尺寸、比例和描绘。

具体实施方式

提供以下详细描述以帮助读者获得对本文所描述的方法、装置和/或***的全面理解。然而，在理解了本申请的公开内容之后，本文描述的方法、装置和/或***的各种变型、改型和等同物将是显而易见的。例如，本文所述的操作的顺序仅仅是示例，并不限于本文中阐述的那些顺序，而是可以被改变成在理解本申请的公开内容之后将是显而易见的顺序，除了期望操作必须以某一顺序出现之外。此外，为了更加清楚和简洁，可以省略本领域已知的特征的描述。

本文所述的特征可以以不同的形式来体现，并且不被解释为限于本文所述的示例。相反，本文所述的示例仅仅是为了说明实现本文所述的方法、装置和/或***的许多可能方式中的一些方式而提供的，这些方法、装置和/或***在理解了本申请的公开内容之后将是显而易见的。

尽管使用“第一”或“第二”的术语来解释各种组件，但组件不限于这些术语。这些术语应该仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利范围内，“第一”组件可以被称为“第二”组件，或者类似地，“第二”组件可以被称为“第一”组件。

将理解的是，当提及一个组件“连接”到另一个组件时，该组件可以直接连接或耦合到该另一个组件，或者可以存在介于中间的组件。

除非上下文另外清楚指示，否则本文中使用的单数形式也意在包括复数形式。

以下阐述的示例可用于显示虚拟路线或生成可视信息以在智能车辆的增强现实(AR)导航***中辅助自主车辆的转向。这些示例可以用于解释可视信息，并且对设备中的安全舒适的驾驶进行辅助，该设备包括为了车辆的辅助驾驶或完全自动驾驶而安装的智能***(例如平视显示器(HUD))。这些示例可以应用于例如自主车辆、智能车辆、智能电话和移动设备。在下文中，将参照附图详细描述示例，其中相同的附图标记用于相同的元件。

图1示出了显示虚拟路线的方法的示例。图1中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图1所示的许多操作可以并行或同时执行。图1的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。

参照图1，在操作110中，用于显示虚拟路线的装置(在下文中称为“显示装置”)基于从传感器异步接收到的感测数据来估计车辆的位置。在一个示例中，本文所述的车辆指的是任何运输、运送或传输工具，例如汽车、卡车、拖拉机、滑板车、摩托车、自行车、水陆两用车辆、雪地摩托车、船、公共交通车、巴士、单轨电车、火车、电车、自主或自动驾驶车辆、智能车辆、无人驾驶车辆、飞机、无人驾驶飞行器、无人机或移动设备。在一个示例中，位置估计装置可应用于需要定位操作的机器人。

本文描述的装置和方法可以用于估计智能车辆导航***中的目标的位置，生成位置信息以辅助自主或自动驾驶车辆的转向，用于针对完全自主或自动驾驶的车内辅助驾驶，从而实现更安全和更舒适的驾驶。

本文描述的传感器例如包括全球定位***(GPS)传感器、惯性测量单元(IMU)传感器、车载诊断(OBD)传感器和相机传感器。IMU传感器包括例如加速度传感器和/或陀螺仪传感器。在一个示例中，显示装置通过对运动加速度分量进行积分来估计车辆的三维(3D)位置和姿势，该运动加速度分量是基于通过加速度传感器或陀螺仪传感器感测的角速度、重力加速度和运动计算出的。相机传感器例如是全向相机、立体相机或单相机。在一个示例中，针对每个传感器，单独地对从传感器接收到的感测数据进行采样。

在一个示例中，传感器包括超声波传感器。考虑到空气中的声速大约为340米每秒(m/s)，显示装置通过测量超声波从超声波传感器的发送器传送到超声波传感器的接收器的飞行时间(TOF)来计算距离。显示装置通过诸如基于获取三个或更多个相同时间的距离信息的三角测量法之类的方法来获得距离信息，并且计算车辆的3D位置。

在一个示例中，显示装置是智能车辆、AR导航***或包括HUD的智能设备，或包括在智能车辆或智能设备中的单独装置。显示装置例如是图15的显示装置1500。将参照图2至图5进一步描述用于估计车辆位置的显示装置的示例。然而，显示装置不限于前述的示例，任何其他仪表板、车辆信息娱乐***、使用增强现实技术的车辆中的屏幕、或车辆中的显示面板都可以执行显示装置的功能。在不脱离所描述的说明性示例的精神和范围的情况下，可以使用可操作地连接到显示装置的其他显示器，例如智能电话和眼镜显示器(EGD)。

在操作120中，显示装置通过将与车辆的行驶环境相对应的行驶环境模型和车辆的估计位置登记在地图信息中来生成3D虚拟路线。在一个示例中，“行驶环境模型”是包括车辆行驶的行驶道路、人行道、建筑物和行人在内的行驶环境的模型。道路包括例如行驶车道、线和路标。行驶道路包括例如行驶车道、车道线和路标。行驶环境模型是2D模型或3D模型。

在此，“道路”这一术语是指车辆行驶的路，并且包括各种类型的道路，例如公路、国道、地方道路、乡村道路、农场道路、村庄道路、高速公路和机动车道。在一个示例中，道路包括一个或多个车道。术语“车道”是指通过在道路表面上标记的线区分的道路空间。术语“行驶车道”是指在多个车道当中车辆正在行驶的车道，即车辆正在占用和使用的道路空间。单个车道由其左线和右线进行区分。“线”是各种线，例如，道路表面上的用颜色(例如白色、蓝色或黄色)标记的实线或虚线。

地图信息被预先存储在图15的存储器1520中，或者以预设间隔或实时从外部数据库接收。

显示装置从地图信息中提取道路形状信息，并将行驶环境模型和车辆的估计位置登记或匹配到道路形状信息中，由此生成3D虚拟路线。显示装置基于包括在行驶图像中的相机信息和位置信息，从地图信息中提取进入相机的视锥中的道路形状信息。道路形状信息是由经度和纬度表示的2D信息，或由一系列(x，y，z)分量表示的3D信息。在一个示例中，道路形状信息是诸如白色、黄色和蓝色的线标记信息、通过道路中心道路中心线、或者与道路表面有关的信息。显示装置使用例如最小二乘法(LSM)将道路形状信息匹配到行驶环境模型。显示装置通过将行驶环境模型和车辆的位置登记在地图信息中来将要提供给驾驶员的路线匹配到实际道路，从而通过AR导航***向用户提供正确的路线信息。

3D虚拟路线是通过AR导航***显示的AR对象。将参照图6和图7进一步描述生成3D虚拟路线的显示装置的示例。所生成的3D虚拟路线的示例在图10A和图10B中示出。

在操作130中，显示装置显示所生成的3D虚拟路线。显示装置通过例如HUD来显示3D虚拟路线。将参照图8和图9进一步描述显示3D虚拟路线的显示装置的示例。

图2示出了车辆位置估计的示例。图2中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图2所示的许多操作可以并行或同时执行。图2的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图2的描述之外，对图1的描述也适用于图2，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图2，在操作210中，显示装置将与处理对应的感测数据的处理时间有关的信息***每条感测数据。在该示例中，处理对应的感测数据的处理时间指的是在感测到对应的感测数据之后，对应的感测数据被完全处理为可以由显示装置使用的形式的数据的时间。与处理时间有关的信息以例如标签或代码的形式被***每条感测数据中。

在操作220中，显示装置基于感测数据来估计车辆的位置，每个感测数据包括与不同处理时间有关的信息。在该示例中，车辆的位置还包括车辆的姿势。在一个示例中，显示装置通过对基于由传感器A在当前时间感测到的第一感测数据和由传感器B在先前时间感测到的第二感测数据估计的车辆的位置信息和姿势信息进行整合，来估计当前时间的车辆的位置信息和姿势信息。

在一个示例中，由各种传感器感测的每条感测数据以标签或代码的形式包括与处理感测数据的处理时间有关的信息。在该示例中，处理对应的感测数据的处理时间指的是将对应的感测数据完全处理为可以被使用的形式的数据的时间，并且被解释为与诸如2∶01∶05或2∶02∶17之类的时间相关的信息，根据该信息可以验证对应数据的时间顺序。

在一个示例中，使用“与处理对应的感测数据的处理时间有关的信息”来估计车辆的位置。在一个示例中，通过对基于由传感器A在当前时间(PM 1∶30∶20)感测到的第一感测数据以及由传感器B在先前时间(PM 1∶25∶00)感测到的第二感测数据所估计的车辆的位置信息和姿势信息进行整合，来估计当前时间的车辆的位置信息和姿势信息。

图3示出了车辆位置估计的示例。图3中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图3所示的许多操作可以并行或同时执行。图3的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图3的描述之外，对图1至图2的描述也适用于图3，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图3，在操作310中，显示装置基于在第一时间从传感器中之一接收到的第一感测数据来估计车辆的第一位置。

在操作320中，显示装置基于在第二时间从包括所述一个传感器在内的传感器接收的第二感测数据将车辆的第一位置更新为第二位置。在该示例中，第一感测数据和第二感测数据由同一传感器或不同的传感器感测。

在操作330中，显示装置基于在第三时间从传感器接收的第三感测数据将车辆的第二位置更新为第三位置。以相同的方式，第一感测数据、第二感测数据和第三感测数据由同一传感器或不同的传感器感测。

图4示出了车辆位置估计的示例。参照图4，示出了在第一时间410接收的第一感测数据、在第二时间420接收的第二感测数据、在第三时间430接收的第三感测数据和在第四时间440接收的第四感测数据。第一至第四感测数据是从同一传感器或不同传感器异步接收的。

例如，第一感测数据和第二感测数据由GPS传感器感测，并且第三感测数据和第四感测数据由OBD传感器感测。

显示装置基于第一感测数据估计车辆的第一位置，并基于第二感测数据将第一位置更新为第二位置。显示装置基于第三感测数据将第二位置更新为第三位置，并且基于第四感测数据将第三位置更新为第四位置。

GPS传感器以1赫兹(Hz)的频率测量车辆的绝对路线。但是，在GPS阴影区域中，GPS传感器几乎不测量绝对路线，并且可能发生约10米的位置误差。IMU传感器或OBD传感器以50Hz或100Hz的高频测量车辆的相对路线。但是，测量的准确性相对较低。

在一个示例中，传感器的感测速度不同步，并且每个传感器单独地感测车辆的位置和/或车辆的姿势。通过对根据当前感测数据和过去感测数据所估计的车辆的位置和/或姿势进行整合来无延迟地更新车辆的位置，由此更准确地估计车辆的位置。另外，可以在不必使用相对较高的计算能力来响应于感测数据的异步接收而对传感器的感测速度进行同步的情况下，相对准确地估计车辆的位置。

在一个示例中，当基于当前感测数据(例如，在第四时间440接收的感测数据)估计的车辆的第四位置与基于先前感测数据(例如，在第三时间430接收的感测数据)估计的车辆的第三位置之间的位置差大于或等于阈值时，显示装置将车辆的位置从第三位置更新为第四位置。当位置差小于阈值时，显示装置保持第三位置，而不将车辆的位置更新为第四位置。

图5示出了车辆位置估计的示例。图5中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图5所示的许多操作可以并行或同时执行。图5的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图5的描述之外，对图1至图4的描述也适用于图5，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图5，在操作510中，显示装置基于从诸如相机传感器之类的传感器获取的图像数据来进行测距(odometry)。进行测距的方法包括通过分析相机图像来确定目标对象(例如车辆或机器人)的位置和方向的处理。

进行测距的方法是使用连续的相机图像来确定相应行驶距离的测量信息以估计车辆的行驶距离的处理，因此使用与表面无关的所有类型的运动方案提高车辆的转向准确性。进行测距的示例如下。

显示装置使用单相机、立体相机或全向相机来获取相机图像(例如图像数据)，并且通过应用图像处理来校正相机图像以消除透镜失真。在一个示例中，显示装置定义兴趣算子，并且建立与相机图像的帧相匹配的所提取的特征的相关性，以构建光流场。在一个示例中，显示装置使用光流场从相机图像中检测特征。在该示例中，显示装置使用相关性来设置两个连续的相机图像之间的关系。

在一个示例中，显示装置使用光流滤波器来估计相机的运动。在该示例中，显示装置使用卡尔曼滤波器来估计相机的运动，或者通过基于两个相邻图像之间的再投影误差来检测使成本函数最小化的函数的几何性质或3D性质，从而估计相机的运动。通过数学最小化或随机采样来估计相机的运动。

显示装置通过周期地检查跟踪点以保持通过相邻图像的应用范围来进行测距。

显示装置基于感测数据和测距来估计车辆的位置。在操作520中，显示装置基于除了图像数据之外的一条感测数据来估计车辆的位置。

在操作530中，显示装置基于测距来校正车辆的位置。

图6示出了生成3D虚拟路线的示例。图6中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图6所示的许多操作可以并行或同时执行。图6的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图6的描述之外，对图1至图5的描述也适用于图6，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图6，在操作610中，显示装置基于从诸如相机传感器之类的传感器获取的图像数据来生成分割图像。在一个示例中，图像数据是从安装在车辆上的相机传感器获取的行驶图像。行驶图像包括例如由相机传感器捕获的彩色图像、黑白图像和相机信息。相机信息包括相机的固有参数和外部参数。行驶图像包括例如包括周围环境(例如车辆、车道、道路、路边、人行道和建筑物)在内的图像以及道路表面图像。

显示装置根据图像数据或行驶图像以语义单元对对象进行分类，以像素单元确定所分类的对象(例如，区域)的含义，并且用含义来标记每个类别，从而生成分割图像。在一个示例中，大约有20个类别，例如道路、车辆、人行道、人、动物、天空和建筑物。在一个示例中，显示装置能够根据包括在分割图像中的像素单元的标记，精确地验证构成元素(例如，对象和背景)在图像中存在于何处以及如何存在。此外，显示装置使用预先训练的卷积神经网络(CNN)、深度神经网络(DNN)或支持向量机(SVM)来对包括在分割图像中的构成要素进行分类。例如，显示装置以语义单元对包括在图像数据中的对象进行分类，由此生成如图10A所示的分割图像。

在操作620中，显示装置检测包括在分割图像中的对象。

在操作630中，显示装置基于对象的深度值和从对象识别出的车辆的行驶车道来生成行驶环境模型。在该例中，通过例如使用雷达、光探测和测距(LIDAR)或立体相机进行的同步定位绘图(SLAM)或立体匹配来获得对象的深度值。在一个示例中，雷达使用无线电波检测对象并测量到对象的距离。在一个示例中，LIDAR通过用激光照射目标并利用反射和吸收的光来测量空气中的温度、湿度和能见度。显示装置通过使用立体相机进行的立体匹配来获得深度值。

在操作640中，显示装置通过将行驶环境模型和车辆的位置登记在地图信息中，来生成例如图10B所示的3D虚拟路线。

图7示出了生成3D虚拟路线的示例。图7中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图7所示的许多操作可以并行或同时执行。图7的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图7的描述之外，对图1至图6的描述也适用于图7，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图7，在操作710中，显示装置基于从诸如相机传感器之类的传感器获取的图像数据来估计包括车辆的行驶车道在内的区域的照明和纹理。显示装置根据分割图像估计渲染了HUD的虚拟图像的区域中的照明和纹理。在一个示例中，显示装置根据基于图像数据生成的分割图像，估计包括车辆的行驶车道在内的区域的照明和纹理。

显示装置估计照明和纹理的一个示例如下。

在一个示例中，显示装置从一对彩色图像和深度图像中提取包括各种颜色和纹理特征在内的材料信息，并且同时提取全向照明图。彩色图像例如是多视角彩色图像。

显示装置基于彩色图像分析对象(例如，包括车辆的行驶车道在内的区域)的纹理特征，并且基于纹理特征将对象划分为多个片段。在一个示例中，显示装置基于色彩空间的域中除亮度分量之外的色差信号的值来分析纹理特征。色彩空间包括例如色相饱和度值(HSV)和国际照明学会(CIE)LAB模型。色差信号包括例如Cr和Cb(蓝色差和红色差色度分量)。但是，色差信号的类型不限于此。显示装置通过基于色差信号的值执行聚类来确定多个纹理簇。显示装置通过将纹理簇应用于对象来表现对象表面的纹理。

显示装置使用从对象的深度图像导出的低基函数和彩色图像的像素值，来获得关于多个片段的纹理常数以及与对象有关的照明信息。使用低基函数模型表示图像的方案的示例是球面谐波基函数(SHBF)方案。显示装置使用SHBF方案从法线贴图生成深度图像的低基函数模型。这里，法线贴图表示使用纹理的相对于对象的法线向量。显示装置使用关于多个片段的纹理常数来恢复对象的所有不同颜色和纹理。

在操作720中，显示装置通过应用照明和纹理来生成3D虚拟路线。

图8示出了显示3D虚拟路线的示例。图8中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图8所示的许多操作可以并行或同时执行。图8的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图7的描述之外，对图1至图7的描述也适用于图8，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图8，在操作810中，显示装置变换3D虚拟路线以与车辆驾驶员的视点匹配。在一个示例中，变换被解释为包括“校正”。将参照图9进一步描述显示装置变换3D虚拟路线的示例。

在操作820中，显示装置显示变换后的3D虚拟路线。显示装置通过车辆的HUD来显示变换后的3D虚拟路线。HUD例如是光场3D显示器。

图9示出了变换3D虚拟路线的示例。图9中的操作可以按照所示的顺序和方式来执行，然而在不脱离所述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图9所示的许多操作可以并行或同时执行。图9的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图9的描述之外，对图1至图8的描述也适用于图9，并且通过引用合并于此。因此，这里可以不再重复以上描述。

参照图9，在操作910中，显示装置通过跟踪驾驶员的双眼的3D位置来跟踪驾驶员的视点。在一个示例中，除了驾驶员的双眼之外，显示装置还通过跟踪驾驶员的头部的方向来跟踪驾驶员的视点。

在操作920中，显示装置基于用户双眼的3D位置，预测驾驶员的视点与通过HUD显示的虚拟图像之间的变换关系。显示装置通过HUD与跟踪眼睛位置(例如驾驶员双眼的3D位置)的相机之间的几何关系，预测驾驶员的视点与虚拟图像之间的变换关系。HUD与跟踪眼睛位置的相机之间的几何关系通过在这两个设备被安装之后测量HUD与相机之间的旋转量和实际距离来计算。

在操作930中，显示装置基于变换关系来变换3D虚拟路线。

显示装置实时跟踪驾驶员的视点，并且估计包括行驶车道在内的行驶道路的照明和/或纹理，从而无缝地渲染或显示3D虚拟路线。

图10A和图10B示出了基于行驶环境模型和车辆的估计位置生成的3D虚拟路线的示例。显示装置通过以语义单元对包括在图像数据中的对象进行分类，来生成如图10A所示的分割图像。在图10A的分割图像中，区域1001表示道路，区域1003表示人行道，区域1005表示建筑物。

显示装置通过将与行驶环境相对应的行驶环境模型、从分割图像识别的行驶车道以及车辆的位置登记在地图信息中，生成如图10B所示的3D虚拟路线1050。地图信息包括例如XX大学医院、BB建筑物以及作为车辆目的地的OO咖啡店的名称和位置信息。

图11A和图11B示出了变换为与驾驶员的视点匹配的3D虚拟路线的示例。图11A示出了由显示装置生成的3D虚拟路线1111、1113和1115。在一个示例中，显示装置使用监视驾驶员的第二相机传感器来跟踪驾驶员的双眼的3D位置，从而跟踪驾驶员的视点。显示装置通过跟踪驾驶员的视点并执行3D虚拟路线和行驶道路之间的3D登记，获得如图11B所示的适合于驾驶员视点的3D虚拟路线1115。

图12示出了用于显示虚拟路线的装置的处理流程的示例。参照图12，显示装置1200的处理操作被分为如下处理：通过使用包括在传感器模块1210中的传感器1211、1213、1215和1217高速且高精度地估计车辆的位置，来生成AR对象(例如，3D虚拟路线)；以及通过感测包括照明和纹理在内的行驶道路的环境和驾驶员的视点，来渲染AR对象。

传感器模块1210包括例如GPS传感器1211、IMU传感器1213、OBD传感器1215和立体相机传感器1217。例如，GPS传感器1211对应于图15的GPS传感器1511，IMU传感器1213对应于图15的IMU传感器1513，OBD传感器1215对应于图15的OBD传感器1515，并且立体相机传感器1217对应于图15的第一相机传感器1517。

在操作1220中，显示装置1200从具有不同感测速度和不同精度的传感器1211、1213、1215和1217异步接收感测数据。在操作1225中，显示装置1200基于从立体相机传感器1217获取的图像数据来进行测距。在操作1240中，显示装置1200基于感测数据和得到的测距来估计车辆的位置。

在操作1230中，显示装置1200通过使用从立体相机传感器1217获取的图像数据分割图像来生成分割图像。在操作1232中，显示装置1200基于分割图像和测距来估计包括在分割图像中的对象的深度值。在操作1232中，显示装置1200还与深度值估计同时地识别行驶车道。

为了识别行驶车道，显示装置1200使用从分割图像和图像数据中提取的道路标记来生成虚拟车道。显示装置1200在分割图像中拟合行驶车道的左右边界线，并且以相等的间隔平行地布置左右边界线，由此生成虚拟车道。显示装置1200通过基于车辆正在行驶的行驶道路的车道数确定行驶车道相对于虚拟车道的相对位置，来识别车辆的行驶车道。“道路标记”是设置在车辆行驶的道路表面上的标记，包括线和路标。

在操作1234中，显示装置1200基于所识别的行驶车道和对象的深度值来生成行驶环境模型，例如3D道路模型。在操作1245中，显示装置1200将行驶环境模型和车辆的估计位置登记在地图信息中。在操作1250中，显示装置1200生成3D虚拟路线。

在操作1236中，显示装置1200基于通过图像分割生成的分割图像或图像数据来估计包括车辆的行驶车道在内的区域的照明和纹理。在操作1280中，显示装置1200通过使用包括在驾驶员监视器中的相机传感器1219跟踪驾驶员的双眼的3D位置，来跟踪驾驶员的视点。相机传感器1219例如是图15的第二相机传感器1550。在操作1285中，显示装置1200基于驾驶员的双眼的3D位置，来预测驾驶员的视点与通过HUD 1270显示的包括3D虚拟路线在内的虚拟图像之间的变换关系。

在操作1260中，显示装置1200通过应用变换关系、照明和纹理来渲染3D虚拟路线。所渲染的3D虚拟路线通过HUD 1270显示。

图13示出了用于显示虚拟路线的装置中的数据流的示例。参照图13，示出了显示在显示装置中异步接收到的感测数据的流的图1300。在其他示例中，可以改变异步接收到的感测数据的流的顺序，或者可以在不脱离所描述的说明性示例的精神和范围的情况下省略一些操作。

GPS传感器1211的感测数据以例如1Hz的低频被测量，并且在GPS阴影区域中几乎不被测量。GPS传感器1211的感测数据包括车辆的绝对路线。IMU传感器1213和OBD传感器1215的感测数据以例如100Hz的高频被测量。但是，测量性能相对较低。IMU传感器1213和OBD传感器1215的感测数据包括车辆的相对路线。OBD传感器1215的感测数据以1至10Hz的低频被测量。但是，测量性能相对较高。OBD传感器1215的感测数据包括车辆的相对路线。

在操作1225中，显示装置花费相当长的处理时间(例如100毫秒(ms)到1秒(s))以基于从立体相机传感器1217获取的图像数据来进行测距。因此，基于测距来估计车辆位置的结果对应于通过将处理时间与获取图像数据的时间相加而获得的过去位置信息。

在操作1310中，显示装置在异步地输入或接收的每条感测数据中***与处理对应的感测数据的处理时间有关的信息。

在操作1320中，显示装置基于感测数据来估计车辆的位置，每个感测数据包括与不同处理时间有关的信息。

在操作1330中，显示装置根据车辆的估计位置和3D道路建模的结果，基于地标的估计结果执行高精度地图匹配。这里，地标是指在高精度地图中描述的对象，例如交通信号灯或交通标志。在一个示例中，“基于地标的估计结果执行高精度地图匹配”包括在根据3D道路建模的结果估计的第一地标与在车辆的估计位置处提取的高精度地图中的第二地标之间进行登记。在一个示例中，使用当第一地标与第二地标之间的距离最小时将第一地标与第二地标配对的方案来执行地标之间的登记，或者使用按照使成对的第一地标与第二地标之间的距离的总和最小的方式将第一地标与第二地标配对的方案来执行地标之间的登记。

在一个示例中，通过整合在传感器的各种测量时间收集的感测数据来估计车辆的位置。显示装置基于从高速传感器接收的感测数据保持3D虚拟路线的相对较高的渲染速度，并且还基于从低速高精度传感器接收到的感测数据确保3D虚拟路线的准确性。

图14示出了用于显示虚拟路线的装置的操作的示例。参照图14，示出了显示显示装置的操作流程的图1400。除了下面对图14的描述之外，对图12和图13的描述也适用于图14，并且通过引用合并于此。因此，为了简洁，这里可以不再重复以上描述。

在一个示例中，显示装置的操作被划分为基于传感器的定位处理、基于视觉的定位处理、3D建模处理和渲染处理。

在操作1430中，显示装置通过执行地图匹配来表示车辆在地图上的位置，该地图匹配的执行基于：通过基于传感器的定位处理获得的车辆的位置；通过在基于视觉的定位处理的操作1410中识别车辆的行驶车道获得的行驶车道的位置；通过在基于视觉的定位处理的操作1232中估计对象的深度值而获得的对象的位置；以及在3D建模处理中获得的3D模型(例如3D行驶环境模型)。在该示例中，3D建模操作1234通过以下操作执行：从通过图像分割操作1230生成的分割图像中提取地标(例如交通信号灯或标志)区域，并且基于该地标区域的3D深度值执行3D建模。

在操作1250中，显示装置基于输入到导航***中的起始地信息和目的地信息，通过反映在操作1440中规划的路线来生成3D虚拟路线。显示装置渲染所生成的3D虚拟路线。

在操作1225中计算测距所使用的时间、在操作1410中识别行驶车道所使用的时间、以及在操作1232中估计深度值所使用的时间取决于计算功率；然而，一般而言，它们对应于作为相机的输入速度的30Hz以下的速度。在操作1225中计算的测距比IMU传感器1213更间断性地感测相对位置信息和姿势信息，但是提供相对精确的测量。显示装置在通过识别行驶车道的操作1410和估计深度值的操作1232获得的信息与地图之间进行登记，由此来估计具有小于或等于1m的误差余量的高精度感测信息。此外，即使当驾驶员的视点改变时，显示装置也通过驾驶员头部或注视跟踪来将虚拟对象(例如，3D虚拟路线)变换为与车辆实际行驶的道路准确匹配。对于自然3D对象渲染，显示装置估计包括车辆的行驶车道在内的行驶道路的照明和纹理，并将该照明和纹理应用于3D虚拟路线。

在一个示例中，高精度AR导航信息被快速渲染以匹配行驶环境和驾驶员的视点，由此提供了不中断驾驶的自然信息。

图15示出了用于显示虚拟路线的装置的示例。参照图15，用于显示虚拟路线的装置1500(在下文中称为“显示装置”1500)包括传感器模块1510、存储器1520、处理器1530和显示器1540。显示装置1500还包括第二相机传感器1550和通信接口1560。传感器模块1510、存储器1520、处理器1530、显示器1540、第二相机传感器1550和通信接口1560通过通信总线1505相互通信。

传感器模块1510包括被配置为对感测数据进行感测的传感器1511、1513、1515和1517，感测数据例如是包括车辆的位置、车辆的姿势以及车辆的行驶环境在内的图像。传感器模块1510包括例如GPS传感器1511、IMU传感器1513、OBD传感器1515和第一相机传感器1517。GPS传感器1511测量表示为GPS坐标的车辆的绝对位置或绝对路线。IMU传感器1513测量包括行进距离在内的车辆的相对路线。OBD传感器1515测量车辆的行驶距离。第一相机传感器1517捕获包括车辆的行驶环境在内的图像数据。在一个示例中，第一相机传感器1517是互补金属氧化物半导体(CMOS)图像传感器(CIS)或视觉传感器。在一个示例中，第一相机传感器1517是单相机或立体相机。尽管未在附图中示出，但是传感器模块1510还可以包括例如雷达、LIDAR、超声波传感器和红外相机。在一个示例中，显示装置1500使用利用雷达、LIDAR或立体相机实现的SLAM方案和立体匹配方案中的任何一个或任何组合来获得深度值。

针对每个传感器1511、1513、1515和1517，单独地对由传感器1511、1513、1515和1517感测的感测数据进行采样。

在一个示例中，存储器1520存储通过通信接口1560接收的地图信息和导航信息。存储器1520还存储由包括在传感器模块1510中的传感器感测的感测数据以及由处理器1530生成的3D虚拟路线。

处理器1530基于从包括在传感器模块1510中的传感器1511、1513、1515和1517异步接收到的感测数据来估计车辆的位置。处理器1530通过基于感测数据确定车辆的当前位置信息、姿势信息和方向信息来估计车辆的位置。

处理器1530通过将与车辆的行驶环境相对应的行驶环境模型和车辆的位置登记在地图信息中来生成3D虚拟路线。处理器1530将与处理对应的感测数据的处理时间有关的信息***到每条感测数据中，并且基于感测数据估计车辆的位置，每个感测数据包括与不同处理时间有关的信息。

处理器1530基于在第一时间从传感器1511、1513、1515和1517中的一个传感器接收到的第一感测数据来估计车辆的第一位置。处理器1530基于在第二时间从包括所述一个传感器在内的传感器1511、1513、1515和1517接收到的第二感测数据将车辆的第一位置更新为第二位置。处理器1530基于在第三时间从传感器1511、1513、1515和1517接收的第三感测数据将车辆的第二位置更新为第三位置。

处理器1530基于从第一相机传感器1517获取的图像数据进行测距，并基于感测数据和测距估计车辆的位置。处理器1530基于除了图像数据之外的一条感测数据来估计车辆的位置，并且基于测距来校正车辆的位置。

处理器1530基于从第一相机传感器1517获取的图像数据生成分割图像，并且检测包括在分割图像中的对象。处理器1530基于对象的深度值和从对象识别的车辆的行驶车道来生成行驶环境模型。处理器1530通过将车辆的位置、车辆的行驶车道以及对象的深度值登记在地图信息中来生成3D虚拟路线。

处理器1530根据基于从第一相机传感器1517获取的图像数据生成的分割图像，来估计包括车辆的行驶车道在内的区域的照明和纹理。处理器1530基于照明和纹理来变换3D虚拟路线。

显示器1540显示由处理器1530生成的3D虚拟路线。显示器1540例如是HUD。

第二相机传感器1550跟踪车辆驾驶员的视点。在该示例中，处理器1530变换3D虚拟路线以匹配车辆驾驶员的视点，并且通过显示器1540显示变换后的3D虚拟路线。

在一个示例中，处理器1530通过跟踪驾驶员双眼的3D位置来跟踪车辆驾驶员的视点。处理器1530基于驾驶员的双眼的3D位置来预测驾驶员的视点与通过HUD显示的虚拟图像之间的变换关系。处理器1530基于变换关系来变换3D虚拟路线。

通信接口1560接收与车辆正在行驶的道路相对应的导航信息和/或地图信息。在一个示例中，通信接口1560接收在显示装置1500外部捕获的输入图像。

此外，处理器1530执行参照图1至图14描述的方法、或对应于所述方法的算法。处理器1530执行程序，并控制显示装置1500。要由处理器1530执行的程序代码的代码被存储在存储器1520中。关于处理器1530的进一步细节在下文中提供。

另外，存储器1520存储在处理器1530的处理操作期间生成的各种信息。存储器1520存储各种数据和程序。存储器1520包括易失性存储器或非易失性存储器。存储器1520包括诸如硬盘之类的大容量存储介质以存储各种数据。关于存储器1520的进一步细节在下文中提供。

显示装置1200和1500以及本文关于图12和图15描述的其他装置、单元、模块、设备和其他组件由硬件组件实现。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、分频器、积分器、以及被配置为执行本申请所述的操作的任何其它电子组件。在其它示例中，执行本申请中所述的操作的一个或多个硬件组件通过计算硬件来实现(例如，通过一个或多个处理器或计算机来实现)。处理器或计算机可以由以下项实现：一个或多个处理元件(比如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其它设备或设备的组合)。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，诸如操作***(OS)和在OS上运行的一个或多个软件应用程序，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其它示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其它硬件组件可以由一个或多个其它处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件具有不同的处理配置中的任何一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。

执行本申请中所述的操作的图1至图9和图12至图14所示的方法是由计算硬件来执行的，例如，由如以上描述而实现的、执行或软件以执行本申请所述的操作(通过所述方法实现的操作)的一个或多个处理器或计算机来执行的。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其它操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。

用于控制处理器或计算机如上所述地实现硬件组件并执行所述方法的指令或软件被写为计算机程序、代码段、指令或其任何组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机来操作，以执行由硬件组件执行的操作和上述方法。在一个示例中，指令或软件包括以下至少一项：小应用程序、动态链接库(DLL)、中间件、固件、设备驱动程序、存储防止冲突的方法的应用程序。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由处理器或计算机使用解释器执行的更高级代码。本领域的普通程序员能够基于附图中所示的框图和流程图以及说明书中的对应描述来容易地编写指令或软件，其中公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。

控制处理器或计算机如上所述地实现硬件组件并执行所述方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡类型的存储器(比如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘、以及被配置为以非暂时方式存储指令或软件以及如下所述的任何其它设备，所述任何其它设备被配置为以非暂时性方式存储指令或软件、以及任何相关联的数据、数据文件和数据结构，并且向处理器或计算机提供指令或软件以及相关联的数据、数据文件和数据结构，使得处理器或计算机可以执行所述指令。在一个示例中，指令或软件以及任何关联的数据、数据文件和数据结构分布在联网的计算机***上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何关联的数据、数据文件和数据结构。

尽管本公开包括特定示例，但是在获得对本申请的公开内容的全面理解之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其它示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的***、架构、设备或电路中的组件以不同的方式组合和/或被其它组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都被解释为包括在本公开中。

Claims (28)

1.一种显示虚拟路线的方法，所述方法包括：

基于从传感器异步接收的感测数据来估计车辆的位置；

通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在地图信息中来生成三维3D虚拟路线；以及

输出所述3D虚拟路线。

2.根据权利要求1所述的方法，其中所述传感器包括全球定位***GPS传感器、惯性测量单元IMU传感器、车载诊断OBD传感器和相机传感器中的任意一个或任意组合。

3.根据权利要求1所述的方法，其中针对所述传感器中的每个传感器，单独地对所述感测数据进行采样。

4.根据权利要求1所述的方法，其中所述估计包括：

将与处理对应的感测数据的处理时间有关的信息***所述感测数据中的每条感测数据；以及

基于所述感测数据来估计所述车辆的所述位置，所述感测数据中的每个感测数据包括与所述处理时间有关的信息。

5.根据权利要求1所述的方法，其中所述估计包括：

基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置；

基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置；以及

基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。

6.根据权利要求1所述的方法，还包括：

基于从所述传感器当中的相机传感器获取的图像数据来进行测距，

其中所述估计包括基于所述感测数据和所述测距来估计所述车辆的所述位置。

7.根据权利要求6所述的方法，其中基于所述感测数据和所述测距的所述估计包括：

基于所述感测数据中除了所述图像数据之外的一条感测数据来估计所述车辆的所述位置；以及

基于所述测距来校正所述车辆的所述位置。

8.根据权利要求1所述的方法，其中生成所述3D虚拟路线包括：

基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像；

检测包括在所述分割图像中的对象；

基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型；以及

通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。

9.根据权利要求1所述的方法，其中生成所述3D虚拟路线包括：

基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理；以及

通过应用所述照明和所述纹理来生成所述3D虚拟路线。

10.根据权利要求1所述的方法，还包括：

变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，

其中所述输出包括显示变换后的3D虚拟路线。

11.根据权利要求10所述的方法，其中输出变换后的3D虚拟路线包括通过所述车辆的平视显示器HUD显示变换后的3D虚拟路线。

12.根据权利要求10所述的方法，其中所述变换包括：

通过跟踪所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点；

基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系；以及

基于所述变换关系来变换所述3D虚拟路线。

13.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使得所述处理器执行权利要求1所述的方法。

14.一种用于显示虚拟路线的装置，所述装置包括：

传感器模块，包括被配置为对感测数据进行感测的传感器，所述感测数据包括车辆的行驶环境的图像、车辆的姿势以及车辆的位置；

存储器，被配置为存储地图信息；

处理器，被配置为基于从所述传感器异步接收的感测数据来估计所述车辆的位置，并且通过将与所述车辆的行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维3D虚拟路线；以及

显示器，被配置为显示所述3D虚拟路线。

15.根据权利要求14所述的装置，其中所述传感器包括以下项中的至少两项或更多项：

全球定位***GPS传感器，被配置为测量所述车辆的绝对路线；

惯性测量单元IMU传感器，被配置为测量所述车辆的相对路线；

车载诊断OBD传感器，被配置为测量所述车辆的行驶距离；以及

相机传感器，被配置为捕获包括所述车辆的行驶环境在内的图像数据。

16.根据权利要求15所述的装置，其中针对所述传感器中的每个传感器，单独地对所述感测数据进行采样。

17.根据权利要求14所述的装置，其中所述处理器还被配置为将与处理对应的感测数据的处理时间有关的信息***到所述感测数据中的每条感测数据中，并且基于所述感测数据估计所述车辆的所述位置，所述感测数据中的每个感测数据包括与所述处理时间有关的信息。

18.根据权利要求14所述的装置，其中所述处理器还被配置为基于在第一时间从所述传感器中的第一传感器接收到的第一感测数据来估计所述车辆的第一位置，基于在第二时间从所述传感器中的所述第一传感器或第二传感器接收到的第二感测数据，将所述车辆的所述第一位置更新为第二位置，以及基于在第三时间从所述传感器中的所述第一传感器或所述第二传感器或第三传感器接收到的第三感测数据，将所述车辆的所述第二位置更新为第三位置。

19.根据权利要求14所述的装置，其中所述处理器还被配置为基于从所述传感器当中的相机传感器获取的图像数据来进行测距，并且基于所述感测数据和所述测距来估计所述车辆的所述位置。

20.根据权利要求19所述的装置，其中所述处理器还被配置为基于所述感测数据中除了所述图像数据之外的一条感测数据来估计所述车辆的所述位置，并且基于所述测距来校正所述车辆的所述位置。

21.根据权利要求14所述的装置，其中所述处理器还被配置为基于从所述传感器当中的相机传感器获取的图像数据来生成分割图像，检测包括在所述分割图像中的对象，基于所述对象的深度值和从所述对象识别的所述车辆的行驶车道来生成所述行驶环境模型，并且通过将所述行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成所述3D虚拟路线。

22.根据权利要求14所述的装置，其中所述处理器还被配置为基于从所述传感器当中的相机传感器获取的图像数据来估计包括所述车辆的行驶车道在内的区域的照明和纹理，并且基于所述照明和所述纹理来变换所述3D虚拟路线。

23.根据权利要求14所述的装置，还包括：

第二相机传感器，被配置为跟踪所述车辆的驾驶员的视点，

其中所述处理器还被配置为变换所述3D虚拟路线以匹配所述车辆的所述驾驶员的视点，并且通过所述显示器输出变换后的3D虚拟路线。

24.根据权利要求23所述的装置，其中所述显示器包括平视显示器HUD。

25.根据权利要求24所述的装置，其中所述处理器还被配置为通过跟踪所述车辆的所述驾驶员的双眼的3D位置来跟踪所述驾驶员的视点，基于所述驾驶员的双眼的3D位置来预测所述驾驶员的视点与通过所述HUD显示的虚拟图像之间的变换关系，并且基于所述变换关系来变换所述3D虚拟路线。

26.根据权利要求15所述的装置，其中所述传感器中的每个传感器单独地感测所述车辆的位置或姿势，并且所述传感器中的每个传感器的感测速度不同步。

27.一种虚拟路线显示装置，包括：

传感器模块，包括被配置为异步生成感测数据的传感器，所述感测数据包括：车辆的行驶环境的图像、基于跟踪所述车辆的驾驶员的双眼的3D位置而生成的所述车辆的驾驶员的视点、所述车辆的姿势以及所述车辆的位置；

平视显示器HUD；

存储器，被配置为存储地图信息和指令；以及

处理器，被配置为执行所述指令，以便：

基于从所述传感器异步接收的感测数据来估计所述车辆的位置；

通过将与所述车辆的所述行驶环境相对应的行驶环境模型和所述车辆的所述位置登记在所述地图信息中来生成三维3D虚拟路线；

变换所述3D虚拟路线以匹配所述车辆的驾驶员的视点，以及

通过所述HUD输出变换后的3D虚拟路线。

28.根据权利要求27所述的装置，其中所述存储器还被配置为存储由所述传感器模块生成的感测数据和由所述处理器生成的3D虚拟路线。