CN113566846B - 导航校准方法和装置、电子设备、计算机可读介质 - Google Patents

Abstract

本公开提供了一种导航校准方法和装置，涉及计算机视觉、图像处理、增强现实等技术领域。具体实现方案为：基于终端的定位信息，检测终端当前所在的路段是否为直行路段；响应于检测到路段为直行路段，获取待进行增强现实的导航图像；识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；基于校准后的指示方向，在导航图像中增加增强现实导航标识。该实施方式提高了增强现实导航的准确性。

Description

导航校准方法和装置、电子设备、计算机可读介质

技术领域

本公开涉及计算机技术领域，具体涉及计算机视觉、图像处理、增强现实等技术领域，尤其涉及一种导航校准方法和装置、电子设备、计算机可读介质以及计算机程序产品。

背景技术

通过在实景相机画面中，叠加与三维空间相贴合的虚拟3D AR(AugmentedReality，增强现实)标识可以直观地为用户提供导航。

为了实现AR导航，需要通过电子罗盘对终端进行跟踪，计算得到地理坐标系相对终端的摄像装置的坐标系的换算关系，而该换算关系决定了虚拟的3D导航指示标识与真实的路线能否贴合。但电子罗盘本身在工作时存在一定的误差(通常能达到±15度)，且容易受到周围磁场干扰，形成更大的误差，进而影响地理坐标系相对终端坐标系的换算关系的正确性，使虚拟的3D导航指示标识与真实路线不相贴合。

发明内容

提供了一种导航校准方法和装置、电子设备、计算机可读介质以及计算机程序产品。

根据第一方面，提供了一种导航校准方法，该方法包括：基于终端的定位信息，检测终端当前所在的路段是否为直行路段；响应于检测到路段为直行路段，获取待进行增强现实的导航图像；识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；基于校准后的指示方向，在导航图像中增加增强现实导航标识。

根据第二方面，提供了一种导航校准装置，该装置包括：检测单元，被配置成基于终端的定位信息，检测终端当前所在的路段是否为直行路段；获取单元，被配置成响应于检测到路段为直行路段，获取待进行增强现实的导航图像；识别单元，被配置成识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；校准单元，被配置成基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；增加单元，被配置成基于校准后的指示方向，在导航图像中增加增强现实导航标识。

根据第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

本公开的实施例提供的导航校准方法和装置，首先，基于终端的定位信息，检测终端当前所在的路段是否为直行路段；其次，响应于检测到路段为直行路段，获取待进行增强现实的导航图像；再次，识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；从次，基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；最后，基于校准后的指示方向，在导航图像中增加增强现实导航标识。由此，通过确定直行路段的道路设施的位置信息，可以为罗盘的指示方向提供可靠的校准标准，保证罗盘指示的可靠性，避免出现路线指示错误的情况，提高导向准确率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开导航校准方法的一个实施例的流程图；

图2是本公开实施例的导航图像中道路设施的一种示意图；

图3是本公开实施例中AR坐标系与地理坐标系的误差表示的一种示意图；

图4是本公开实施例中道路设施的组成单元的一种示意图；

图5是根据本公开导航校准装置的实施例的结构示意图；

图6是本公开实施例中识别单元的一种结构示意图；

图7是本公开实施例中识别单元的另一种结构示意图；

图8是本公开实施例中校准单元的一种结构示意图；

图9是用来实现本公开实施例的导航校准方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了根据本公开导航校准方法的一个实施例的流程100，上述导航校准方法包括以下步骤：

步骤101，基于终端的定位信息，检测终端当前所在的路段是否为直行路段。

本实施例中，终端可以是由对象手持的移动终端，该移动终端上设置有摄像装置，通过摄像装置可以实时拍摄终端或者对象周围的景象，当对象具有增强现实导航的需求时，打开终端上的支持增强现实显示的应用，可在应用对应的界面上实时查看叠加有增强现实指示标识的导航图像。

本实施例中，导航校准方法运行于其上的执行主体可以是上述终端中的处理器，也可以是与上述终端进行通信的服务器，也可以其他与终端进行通信的电子设备，导航校准方法运行于其上的执行主体还可以实现上述应用的功能，并且还可以通过在待进行增强现实的导航图像中叠加与用户的行进路线对应的增强现实指示标识为对象提供虚拟现实导航功能，从而使用户在导航过程中体验到3D虚拟现实的显示效果。

本实施例中，终端上可以设置有GPS(Global Positioning System，全球定位***)，当检测终端当前所在的路段时，可以通过终端上的GPS获取终端的定位信息，终端的定位信息包括：对象手持终端运行的运行位置，终端在各个运行位置的持续时间，终端在各个运行位置的具体时间点，以终端在各个运行位置相关信息等等。

本实施例中，基于终端的定位信息，检测终端当前所在的路段是否为直行路段包括：基于定位信息确定终端的运行的轨迹，当运行轨迹在当前的路段的形状为直线时，确定终端当前所在的路段为直行路段。

可选地，上述基于终端的定位信息，检测终端当前所在的路段是否为直行路段还可以包括：预先获取路段信息(路段形状、路段方位等)，基于定位信息和预先获取的路段信息，检测终端当前所在的路段是否为直行路段。

步骤102，响应于检测到路段为直行路段，获取待进行增强现实的导航图像。

本实施例中，待进行增强现实的导航图像是对象打开终端上支撑增强现实的应用进行导航之后，通过摄像装置实时拍摄的图像。该导航图像可以是终端或者对象周围的景象的图像，对象周围的景象可以是道路周围的道路设施，绿化景色、人物等，具体如图2所示。

步骤103，识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息。

本实施例中，道路设施可以是道路交通设施，道路交通设施可以是：车行道，人行道，隔离护栏，平石，侧石，盲道，隔离桩，各类穿线井，信号灯等，每种道路交通设施均具有各自的规格要求，当终端当前所在的路段是直行路段时，该直行路段上的道路设施也是沿直行路段而平行、水平、垂直等方向设置，当在直行路段的导航图像中拍摄到道路交通设施之后，可以根据具有规格要求的道路交通设施，确定道路设施在地理坐标系中的实际方向，通过道路设施在地理坐标系中的实际方向可以为罗盘的指示方向提供可靠地校准依据。

根据预设的不同道路设施的特征，通过图像识别技术可以在导航图像中实时识别具有道路设施的特征的图像，从而确定导航图像中是否具有道路设施。本实施例中，通过图像识别技术识别导航图像中的道路设施包括：基于特定的图像识别算法分析判断导航图像是否包含道路设施。图像识别算法包括但不限于采用基于深度学习的Fast Renn算法(英文全称：Faster Regions with CNNs features)、SSD算法(英文全称：single shot multiboxdetector)、Yolo算法(英文全称：You Only Look Once)等目标识别算法，或者其他类型的图像目标识别算法。

本实施例中，位置信息为道路设施在导航图像中与位置相关的所有信息，具体地，位置信息可以包括：道路设施的方向、位置、尺寸、形状以及各个像素的坐标值等信息，通过道路设施的位置信息可以确定道路设施与上述直行路段之间的关系，例如，沿直行路段平行设置，或者沿直行路段垂直设置，或者沿直行路段间断设置等等。

国家规范对道路设施的形状、样式、尺寸以及安装位置、朝向等均有规定。由道路设施自身的指示作用可以确定道路设施在地理坐标系中的实际方向。例如，当道路设施为盲道a时，如图2所示，盲道a的样式具备高度辩识性：1)直条状凸起砖，用于表示直道，直条突起指向盲道方向；2)点状凸起砖，用于铺拐弯处或绕过不可通行的道路设施如井盖/树木等。3)除具备特殊的3D凸起形状外，盲道砖呈鲜艳的黄色，与人行道其他砖体颜色形成鲜明对比。

假设手持终端的对象在直行路段行进时，终端中的拍摄装置拍摄到如图2所示的盲道a，且盲道a所在路段是正南北向，则盲道a在地理坐标系中的实际方向将是指向南或者北。

步骤104，基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准。

本实施例中，在AR导航过程中，需要通过三轴姿态角及加速度装置等硬件对终端进行跟踪，输出终端在摄像装置坐标系下的六自由度位移、姿态等数据。

通过比对相同时刻，终端在摄像装置坐标系下的位置、姿态以及终端在地理环境下的坐标以及罗盘的指示方向，可以获得终端摄像装置坐标系与地理坐标系之间的变换关系。其中，两个坐标系方向对齐，主要依靠终端的罗盘实现。

作为一个示例，在AR导航过程中，对象行进在一条正南正北的道路上，且地理上正北方向与终端的摄像装置坐标系的y轴对齐，则此时增强现实指示标识应该沿着终端的摄像装置坐标系的y轴摆放，且与正南正北的实际路线对齐。当罗盘具有误差时，终端摄像装置坐标系的y轴无法正确与地理坐标系下正北方向对齐。

在AR导航过程中，增强现实导航标识绘制的方向即为AR坐标系的方向t1，直行路段或道路设施指向的方向即为道路设施在地理坐标系下实际方向t2，t1、t2二者间延伸相交后的夹角为罗盘在这一时刻的误差偏角，如图3所示。

本实施例中，在得到摄像装置下发的导航图像中，首先，通过图像轮廓识别可以得到道路设施以及道路设施在导航图像中的位置信息，确定道路设施的实际方向，例如指向正北。其次，依据实时罗盘的指示方向，计算AR坐标系的方向，如正北偏东20度。再次，计算AR坐标系朝向与地理坐标系朝向间夹角，如+20度。则可知罗盘当前存在20度误差，进而对罗盘的指示方向进行校准。

步骤105，基于校准后的指示方向，在导航图像中增加增强现实导航标识。

本实施例中，对罗盘的指示方向进行校准之后，得到校准后的指示方向，在校准后的指示方向的基础上，采用增强现实指示标识指示直行路段，此时增强现实指示标识的方向与罗盘的校准后的指示方向一致，可以保证增强现实指示标识的方向的准确性，进一步将增强现实指示叠加在导航图像中可以为对象呈现较准确的方向指示效果。

本实施例中，基于校准后的指示方向，在导航图像中增加增强现实导航标识包括：首先通过IMU(Inertial Measurement Unit，惯性测量单元)等硬件对终端进行跟踪，获得终端在一个相对坐标系下的位置和姿态。这一相对坐标系通常与启动跟踪时，终端的初始姿态有关。通过对比同一时刻终端在自身相对坐标系下的方向以及罗盘的当前校准后的指示方向，将终端跟踪的相对坐标系对齐到地理坐标系下，获得地理坐标系与相对坐标系坐标的换算关系。结合对象或终端的定位信息，判断当前运行方向。根据上述换算关系，获得运行方向在终端相对坐标系下的方向。根据运行方向在终端相对坐标系下的方向，绘制增强现实导航标识，并将增强现实导航标识增加到导航图像当中，实现AR导航。

在本实施例的一些可选实现方式中，基于校准后的指示方向，在导航图像中增加增强现实导航标识，包括：生成方向与校准后的指示方向一致的增强现实导航标识；基于定位信息，在导航图像中叠加增强现实导航标识。

本实施例中，校准后的指示方向可以是地理坐标系下罗盘的指示方向与道路设施的实际方向的差值加上罗盘的指示方向得到的方向。增强现实导航标识的方向是摄像装置坐标系的方向，将增强现实导航标识的方向经过坐标转换可以得到校准后的指示方向，由此保证了增强现实导航标识与校准后的指示方向的一致性。

本实施例中，通过生成方向与校准后的指示方向一致的增强现实指示标识，并将生成的增强现实指示标识叠加在导航图像中，可以实时呈现增强现实后的指示效果，提高了用户体验。

本公开的实施例提供的导航校准方法，首先，基于终端的定位信息，检测终端当前所在的路段是否为直行路段；其次，响应于检测到路段为直行路段，获取待进行增强现实的导航图像；再次，识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；从次，基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；最后，基于校准后的指示方向，在导航图像中增加增强现实导航标识。由此，通过确定直行路段的道路设施的位置信息，可以为罗盘的指示方向提供可靠的校准标准，保证罗盘指示的可靠性，避免出现路线指示错误的情况，提高导向准确率。

在本实施例的一些可选实现方式中，基于终端的定位信息，检测终端当前所在的路段是否为直行路段，包括：在预设的导航地图中获取定位信息所属路段的形状；基于定位信息和路段的形状，检测终端当前所在的路段是否为直行路段。

具体地，如图3所示，对象手持的终端在导航地图中的位置信息包括：位置坐标，该位置坐标位于路段b上，且该路段b的形状为直线；当随着位置坐标值的改变，路段b的形状一直保持直线，则确定终端当前所在的路段为直行路段。

本可选实现方式中，通过导航地图确定定位信息所属路段的形状，由此确定终端当前所在的路段是否为直行路段，为确定终端所在路段的情况提供了可靠的依据。

可选地，上述基于终端的定位信息，检测终端当前所在的路段是否为直行路段，包括：获取定位信息中的位置坐标，响应于位置坐标在预设时间中横坐标(例如东西向路段)或纵坐标(例如，南北向路段)的变化值均在预设的值范围，确定终端当前所在的路段是直行路段。

在本实施例的一些可选实现方式中，上述基于定位信息和路段的形状，检测终端当前所在的路段是否为直行路段，包括：响应于确定路段的形状为直线，在预设时间段中，通过定位信息检测终端是否一直位于路段上；响应于确定终端一直位于路段上，确定终端当前所在的路段是直行路段。

本实施例中，预设时间段可以基于对象运行速度、导航图像显示需求而设置，例如，预设时间为2s。

本可选实现方式中，当路段的形状为直线且终端在当前路段持续运行预设时间段时，可以确定终端持续运行的路段是直行的路段，从路形和持终端对象运行状态可以有效确定终端当前所在的路段是直行路段。

可选地，上述基于定位信息和路段的形状，检测终端当前所在的路段是否为直行路段，还包括：响应于确定路段的形状为非直线，例如曲线，通过定位信息检测终端位于路段上，确定终端当前所在的路段是非直行路段。

可选地，上述基于定位信息和路段的形状，检测终端当前所在的路段是否为直行路段，还包括：响应于确定路段的形状为直线，检测定位信息是否与路段的位置信息相一致；响应于定位信息与路段的位置信息相一致，确定终端当前所在的路段是直行路段。

在本实施例的一些可选实现方式中，上述识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息，包括：在导航图像中确定道路设施的组成单元；由道路设施的组成单元，确定道路设施的轮廓；由道路设施的轮廓，识别导航图像中道路设施的位置信息。

本可选实现方式中，不同的道路设施的组成结构不同，例如，图4中，盲道a的组成单元为正方形砖a1，人行道的组成单元是线段，隔离护栏c的组成单元为支柱c1，针对不同的道路设施，可以首先在导航图像中确定道路设施的组成单元，当识别到道路设施的所有组成单元之后，勾勒道路设施的轮廓，通过道路设施的轮廓可以确定道路设施的延伸状态，从而可以准确和可靠的定位道路设施在导航图像中的位置信息。

本可选实现方式中，确定道路设施的组成单元，由组成单元确定道路设施的轮廓，基于轮廓确定道路设施的位置信息，提高了识别位置信息的可靠性和准确性。

在本实施例的一些可选实现方式中，上述识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息，包括：确定道路设施的特征部位和特征部位的特征颜色；确定导航图像中与特征颜色相对应的区域；识别区域中的特征部位；对特征部位在导航图像中进行定位，得到特征部位的位置信息，并将特征部位的位置信息作为道路设施的位置信息。

本可选实现方式中，针对具有不同的特征部位的道路设施，可以基于该道路设施的特征部位以及特征部位的特征颜色，对道路设施的位置信息进行识别。

以盲道这一道路设施为例，首先根据盲道的特点，可以确定盲道的特征部位为直条状凸起砖或点状凸起砖，并且直条状凸起砖或点状凸起砖的颜色为黄色。本实施例中，可以首先确定导航图像中具有黄色特征颜色的区域，并在这一区域中识别直条状凸起砖或点状凸起砖，由此可以得到直条状凸起砖或点状凸起砖的位置，而直条状凸起的位置可以直接反映盲道的位置；或者多个点状凸起砖可以直接反映盲道的位置，确定盲道在直行路段是南北向还是东西向。

本可选实现方式中，确定道路设施的特征部位和特征部位的特征颜色，由道路设施的特征部位和特征部位的特征颜色确定道路设施的位置信息，提高了识别位置信息的可靠性和准确性。

可选地，上述识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息，包括：确定导航图像中道路设施，划分道路设施在导航图像中的区域，由道路设施所在区域的在导航图像的方向确定道路设施的位置信息。

在本实施例的一些可选实现方式中，上述基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准，包括：基于位置信息，确定道路设施在地理坐标系中的实际方向；基于罗盘的指示方向和道路设施的实际方向，确定道路设施的指示方向；基于道路设施的指示方向，对罗盘的指示方向进行校准，得到校准后的指示方向。

本可选实现方式中，在得到道路设施在导航图像中的位置信息，可以通过坐标转换等得到道路设施在地理坐标系中的实际方向，而道路设施在地理坐标系中的实际方向可以反映真实的终端方向，当罗盘的指示方向与该实际方向不一致时，确定罗盘的指示方向发生了偏移，需要对罗盘进行校准。

本实施例中，道路设施的指示方向用于指示手持终端的对象的运行方向，由于道路设施在道路中一般是延伸状态，道路设施的实际方向一般有两个，这两个方向是互为相反的方向，例如，南北或东西，罗盘的指示方向偏向于道路设施的指示，为了更准确的确定道路设施的指示方向，在确定了道路设施的实际方向之后，可以通过选取实际方向中与罗盘的指示方向接近的方向作为道路设施的指示方向。

本可选实现方式中，基于道路设施在导航图像中的位置信息和终端中罗盘的指示方向，可以确定罗盘的实际偏差，提高了对罗盘的指示方向校准的准确性和可靠性。

可选地，上述基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准，包括：基于罗盘的指示方向，确定罗盘在导航图像的坐标系中的虚拟方向；基于虚拟方向和位置信息，确定罗盘的偏移角度；基于偏移角度，对罗盘的指示方向进行校准，得到校准后的指示方向。

本实施例中，可以将偏移角度转换到地理坐标系下的角度，基于地理坐标系下的角度，对罗盘的指示方向进行校准，得到校准后的指示方向。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了导航校准装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可应用于各种电子设备中。

如图5所示，本实施例提供的导航校准装置500包括：检测单元501，获取单元502，识别单元503，校准单元504，增加单元505。其中，上述检测单元501，可以被配置成基于终端的定位信息，检测终端当前所在的路段是否为直行路段。上述获取单元502，可以被配置成响应于检测到路段为直行路段，获取待进行增强现实的导航图像。上述识别单元503，可以被配置成识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息。上述校准单元504，可以被配置成基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准。上述增加单元505，可以被配置成基于校准后的指示方向，在导航图像中增加增强现实导航标识。

在本实施例中，导航校准装置500中：检测单元501，获取单元502，识别单元503，校准单元504，增加单元505的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，上述检测单元501包括：获取模块(图中未示出)、检测模块(图中未示出)。其中，上述获取模块，可以被配置成在预设的导航地图中获取定位信息所属路段的形状。上述检测模块，可以被配置成基于定位信息和路段的形状，检测终端当前所在的路段是否为直行路段。

在本实施例的一些可选的实现方式中，上述检测模块包括：检测子模块(图中未示出)、确定子模块(图中未示出)。其中，上述检测子模块，可以被配置成响应于确定路段的形状为直线，在预设时间段中，通过定位信息检测终端是否一直位于路段上。上述确定子模块，可以被配置成响应于确定终端一直位于路段上，确定终端当前所在的路段是直行路段。

在本实施例的一些可选的实现方式中，如图6所示，上述识别单元600包括：部位确定模块601、区域确定模块602、部位识别模块603、部位定位模块604。其中，上述部位确定模块601，可以被配置成确定道路设施的特征部位和特征部位的特征颜色。上述区域确定模块602，可以被配置成确定导航图像中与特征颜色相对应的区域。上述部位识别模块603，可以被配置成识别区域中的特征部位。上述部位定位模块604，可以被配置成对特征部位在导航图像中进行定位，得到特征部位的位置信息，并将特征部位的位置信息作为道路设施的位置信息。

在本实施例的一些可选实现方式中，如图7所示，上述识别单元700包括：单元确定模块701、轮廓确定模块702、设施识别模块703。其中，上述单元确定模块701，可以被配置成在导航图像中确定道路设施的组成单元。上述轮廓确定模块702，可以被配置成由道路设施的组成单元，确定道路设施的轮廓。上述设施识别模块703，可以被配置成由道路设施的轮廓，识别导航图像中道路设施的位置信息。

在本实施例的一些可选的实现方式中，如图8所示，校准单元800包括：实际确定模块801、指示确定模块802、校准模块803。其中，上述实际确定模块801，可以被配置成基于位置信息，确定道路设施在地理坐标系中的实际方向。上述指示确定模块802，可以被配置成基于罗盘的指示方向和道路设施的实际方向，确定道路设施的指示方向。上述校准模块803，可以被配置成基于道路设施的指示方向，对罗盘的指示方向进行校准，得到校准后的指示方向。

在本实施例的一些可选的实现方式中，增加单元505包括：生成模块(图中未示出)、叠加模块(图中未示出)。其中，上述生成模块，可以被配置成生成方向与校准后的指示方向一致的增强现实导航标识。上述叠加模块，可以被配置成基于定位信息，在导航图像中叠加增强现实导航标识。

本公开的实施例提供的导航校准装置，首先，检测单元501基于终端的定位信息，检测终端当前所在的路段是否为直行路段；其次，获取单元502响应于检测到路段为直行路段，获取待进行增强现实的导航图像；再次，识别单元503识别导航图像中的道路设施并采集道路设施在导航图像中的位置信息；从次，校准单元504基于位置信息和终端中的罗盘的指示方向，对罗盘的指示方向进行校准；最后，增加单元505基于校准后的指示方向，在导航图像中增加增强现实导航标识。由此，通过确定直行路段的道路设施的位置信息，可以为罗盘的指示方向提供可靠的校准标准，保证罗盘指示的可靠性，避免出现路线指示错误的情况，提高导向准确率。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如导航校准方法。例如，在一些实施例中，导航校准方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的导航校准方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行导航校准方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程导航校准装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种导航校准方法，所述方法包括：

基于终端的定位信息，检测所述终端当前所在的路段是否为直行路段；

响应于检测到所述路段为直行路段，获取待进行增强现实的导航图像；

识别所述导航图像中的道路设施并采集所述道路设施在所述导航图像中的位置信息；

基于所述位置信息和所述终端中的罗盘的指示方向，对所述罗盘的指示方向进行校准；所述基于所述位置信息和所述终端中的罗盘的指示方向，对所述罗盘的指示方向进行校准，包括：基于所述位置信息，确定所述道路设施在地理坐标系中的实际方向；基于所述罗盘的指示方向，计算AR坐标系的方向，基于所述道路设施的实际方向，计算AR坐标系朝向与所述地理坐标系之间的朝向间夹角，通过所述朝向间夹角确定所述罗盘存在的误差，基于所述误差对所述罗盘的指示方向进行校准；

基于校准后的指示方向，在所述导航图像中增加增强现实导航标识。

2.根据权利要求1所述的方法，其中，所述基于终端的定位信息，检测所述终端当前所在的路段是否为直行路段，包括：

在预设的导航地图中获取所述定位信息所属路段的形状；

基于所述定位信息和所述路段的形状，检测所述终端当前所在的路段是否为直行路段。

3.根据权利要求2所述的方法，其中，所述基于所述定位信息和所述路段的形状，检测所述终端当前所在的路段是否为直行路段，包括：

响应于确定所述路段的形状为直线，在预设时间段中，通过所述定位信息检测所述终端是否一直位于所述路段上；

响应于确定所述终端一直位于所述路段上，确定所述终端当前所在的路段是直行路段。

4.根据权利要求1-3之一所述的方法，其中，所述识别所述导航图像中的道路设施并采集所述道路设施在所述导航图像中的位置信息，包括：

确定所述道路设施的特征部位和所述特征部位的特征颜色；

确定所述导航图像中与所述特征颜色相对应的区域；

识别所述区域中的所述特征部位；

对所述特征部位在所述导航图像中进行定位，得到所述特征部位的位置信息，并将所述特征部位的位置信息作为所述道路设施的位置信息。

5.根据权利要求1-3之一所述的方法，其中，所述识别所述导航图像中的道路设施并采集所述道路设施在所述导航图像中的位置信息，包括：

在所述导航图像中确定所述道路设施的组成单元；

由所述道路设施的组成单元，确定所述道路设施的轮廓；

由所述道路设施的轮廓，识别所述导航图像中所述道路设施的位置信息。

6.根据权利要求5所述的方法，其中，所述基于所述位置信息和所述终端中的罗盘的指示方向，对所述罗盘的指示方向进行校准，包括：

基于所述位置信息，确定所述道路设施在地理坐标系中的实际方向；

基于所述罗盘的指示方向和所述道路设施的实际方向，确定所述道路设施的指示方向；

基于所述道路设施的指示方向，对所述罗盘的指示方向进行校准，得到校准后的指示方向。

7.根据权利要求6所述的方法，其中，所述基于校准后的指示方向，在所述导航图像中增加增强现实导航标识，包括：

生成方向与所述校准后的指示方向一致的增强现实导航标识；

基于所述定位信息，在所述导航图像中叠加所述增强现实导航标识。

8.一种导航校准装置，所述装置包括：

检测单元，被配置成基于终端的定位信息，检测所述终端当前所在的路段是否为直行路段；

获取单元，被配置成响应于检测到所述路段为直行路段，获取待进行增强现实的导航图像；

识别单元，被配置成识别所述导航图像中的道路设施并采集所述道路设施在所述导航图像中的位置信息；

校准单元，被配置成基于所述位置信息和所述终端中的罗盘的指示方向，对所述罗盘的指示方向进行校准；所述基于所述位置信息和所述终端中的罗盘的指示方向，对所述罗盘的指示方向进行校准，包括：基于所述位置信息，确定所述道路设施在地理坐标系中的实际方向；基于所述罗盘的指示方向，计算AR坐标系的方向，基于所述道路设施的实际方向，计算AR坐标系朝向与所述地理坐标系之间的朝向间夹角，通过所述朝向间夹角确定所述罗盘存在的误差，基于所述误差对所述罗盘的指示方向进行校准；

增加单元，被配置成基于校准后的指示方向，在所述导航图像中增加增强现实导航标识。

9.根据权利要求8所述的装置，其中，所述检测单元包括：

获取模块，被配置成在预设的导航地图中获取所述定位信息所属路段的形状；

检测模块，被配置成基于所述定位信息和所述路段的形状，检测所述终端当前所在的路段是否为直行路段。

10.根据权利要求9所述的装置，其中，所述检测模块包括：

检测子模块，被配置成响应于确定所述路段的形状为直线，在预设时间段中，通过所述定位信息检测所述终端是否一直位于所述路段上；

确定子模块，被配置成响应于确定所述终端一直位于所述路段上，确定所述终端当前所在的路段是直行路段。

11.根据权利要求8-10之一所述的装置，其中，所述识别单元包括：

部位确定模块，被配置成确定所述道路设施的特征部位和所述特征部位的特征颜色；

区域确定模块，被配置成确定所述导航图像中与所述特征颜色相对应的区域；

部位识别模块，被配置成识别所述区域中的所述特征部位；

部位定位模块，被配置成对所述特征部位在所述导航图像中进行定位，得到所述特征部位的位置信息，并将所述特征部位的位置信息作为所述道路设施的位置信息。

12.根据权利要求8-10之一所述的装置，所述识别单元包括：

单元确定模块，被配置成在所述导航图像中确定所述道路设施的组成单元；

轮廓确定模块，被配置成由所述道路设施的组成单元，确定所述道路设施的轮廓；

设施识别模块，被配置成由所述道路设施的轮廓，识别所述导航图像中所述道路设施的位置信息。

13.根据权利要求12所述的装置，其中，所述校准单元包括：

实际确定模块，被配置成基于所述位置信息，确定所述道路设施在地理坐标系中的实际方向；

指示确定模块，被配置成基于所述罗盘的指示方向和所述道路设施的实际方向，确定所述道路设施的指示方向；

校准模块，被配置成基于所述道路设施的指示方向，对所述罗盘的指示方向进行校准，得到校准后的指示方向。

14.根据权利要求13所述的装置，其中，所述增加单元包括：

生成模块，被配置成生成方向与所述校准后的指示方向一致的增强现实导航标识；

叠加模块，被配置成基于所述定位信息，在所述导航图像中叠加所述增强现实导航标识。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。

Images