CN112556685B - 导航路线的显示方法、装置和存储介质及电子设备 - Google Patents
导航路线的显示方法、装置和存储介质及电子设备 Download PDFInfo
- Publication number
- CN112556685B CN112556685B CN202011419148.0A CN202011419148A CN112556685B CN 112556685 B CN112556685 B CN 112556685B CN 202011419148 A CN202011419148 A CN 202011419148A CN 112556685 B CN112556685 B CN 112556685B
- Authority
- CN
- China
- Prior art keywords
- live
- navigation route
- action
- target
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种人工智能场景下的导航路线的显示方法、装置和存储介质及电子设备,具体的,还涉及环境感知中的高精地图技术。其中,该方法包括:获取在目标终端的目标客户端中触发的实景导航请求;响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线;将第一实景图像处理为满足检测条件的图像,并在第一实景图像满足检测条件的情况下,识别第一实景图像中的候选直线,基于N条候选直线计算出第一引导线;确定第二导航路线上的轨迹点的显示坐标;在第一实景图像上按照显示坐标显示第二导航路线。本发明解决了导航路线的显示准确性较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种导航路线的显示方法、装置和存储介质及电子设备。
背景技术
近年来增强现实(Augmented Reality,简称AR)技术的应用越发广泛,例如将AR技术应用在导航领域,AR导航产品将为使用者提供实景导航路线,较之传统的导航产品,具有画面的显示更直观的明显优势。
但现有技术中的AR导航产品,往往只利用移动客户端(使用者)的全球定位***(Global Positioning,简称GPS)和磁力计等传感器获得在标准平面地图中的导航路线,再将导航路线直接映射到实景图像中的方法。但是上述方法计算的映射可能存在偏移,同时磁力计也会因为磁力的影响得到不准确的导航路线,以上情况均会导致实景图像中的导航路线产生偏移,从而无法保证导航路线的准确,影响了使用者的用户体验。即,现有技术中存在实景导航路线的显示准确性较低的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种导航路线的显示方法、装置和存储介质及电子设备,以至少解决导航路线的显示准确性较低的技术问题。
根据本发明实施例的一个方面,提供了一种导航路线的显示方法,包括:获取在目标终端的目标客户端中触发的实景导航请求,其中,上述实景导航请求用于请求在上述目标终端采集到的实景图像上显示目标实景导航路线,上述目标实景导航路线用于指引上述目标终端从当前位置移动至目标位置;响应上述实景导航请求,获取上述目标终端当前采集到的第一实景图像以及在目标地图中为上述目标终端生成的第一导航路线,其中,上述第一导航路线为在上述目标地图中标识出的从上述当前位置移动到上述目标位置的移动提示轨迹;在上述第一实景图像中识别出N条候选直线的情况下,基于上述N条候选直线计算出第一引导线,其中,上述第一引导线所指示的第二方向与上述第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对上述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,上述第二导航路线为在上述第一实景图像中标识出的指引上述目标终端从上述当前位置沿上述第一方向进行移动的导航提示线;在上述第一实景图像上按照上述显示坐标显示上述第二导航路线。
根据本发明实施例的另一方面,还提供了一种导航路线的显示装置,包括:第一获取单元,用于获取在目标终端的目标客户端中触发的实景导航请求,其中,上述实景导航请求用于请求在上述目标终端采集到的实景图像上显示目标实景导航路线,上述目标实景导航路线用于指引上述目标终端从当前位置移动至目标位置;响应单元,用于响应上述实景导航请求,获取上述目标终端当前采集到的第一实景图像以及在目标地图中为上述目标终端生成的第一导航路线,其中,上述第一导航路线为在上述目标地图中标识出的从上述当前位置移动到上述目标位置的移动提示轨迹;计算单元,用于在上述第一实景图像中识别出N条候选直线的情况下,基于上述N条候选直线计算出第一引导线,其中,上述第一引导线所指示的第二方向与上述第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;第一确定单元,用于对上述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,上述第二导航路线为在上述第一实景图像中标识出的指引上述目标终端从上述当前位置沿上述第一方向进行移动的导航提示线;显示单元,用于在上述第一实景图像上按照上述显示坐标显示上述第二导航路线。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述导航路线的显示方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的导航路线的显示方法。
在本发明实施例中,获取在目标终端的目标客户端中触发的实景导航请求,其中,上述实景导航请求用于请求在上述目标终端采集到的实景图像上显示目标实景导航路线,上述目标实景导航路线用于指引上述目标终端从当前位置移动至目标位置;响应上述实景导航请求,获取上述目标终端当前采集到的第一实景图像以及在目标地图中为上述目标终端生成的第一导航路线,其中,上述第一导航路线为在上述目标地图中标识出的从上述当前位置移动到上述目标位置的移动提示轨迹;在上述第一实景图像中识别出N条候选直线的情况下,基于上述N条候选直线计算出第一引导线,其中,上述第一引导线所指示的第二方向与上述第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对上述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,上述第二导航路线为在上述第一实景图像中标识出的指引上述目标终端从上述当前位置沿上述第一方向进行移动的导航提示线;在上述第一实景图像上按照上述显示坐标显示上述第二导航路线,通过获取与上述第一导航路线所指示的第一方向之间满足第一预设关系的上述第一引导线,并将该第一引导线作为最终显示在第一实景图像上的实景导航路线的引导线,利用引导线校正实景导航路线的方式,从而达到了校正实景导航路线的技术目的,进而实现了提高实景导航指示线的显示准确性的技术效果。进而解决了导航路线的显示准确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的导航路线的显示方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的导航路线的显示方法的流程图的示意图;
图3是根据本发明实施例的一种可选的导航路线的显示方法的示意图;
图4是根据本发明实施例的另一种可选的导航路线的显示方法的示意图;
图5是根据本发明实施例的另一种可选的导航路线的显示方法的示意图;
图6是根据本发明实施例的另一种可选的导航路线的显示方法的示意图;
图7是根据本发明实施例的另一种可选的导航路线的显示方法的示意图;
图8是根据本发明实施例的一种可选的导航路线的显示装置的示意图;
图9是根据本发明实施例的另一种可选的导航路线的显示装置的示意图;
图10是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种导航路线的显示方法,可选地,作为一种可选的实施方式,上述导航路线的显示方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102、网络110及服务器112,其中,该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。可选的,用户设备102可以但不限于安装有目标客户端,该目标客户端用于为使用者提供导航路线,并将对应的导航路线显示在显示器108上。可选的,目标客户端可以但不限于包括两种模式以供使用者选择,具体的,一种模式为在目标地图1022上显示第一导航路线1024,以及另一种模式为在实景图像1026上显示第二导航路线1028,其中,目标地图1022为平面地面,实景图像1026可以但不限于为通过用户设备102的相机装置采集到的图像。
具体过程可如下步骤:
步骤S102,用户设备102获取目标客户端中触发的实景导航请求,其中,实景导航请求可以但不限于携带有第一导航路线1024以及用户设备102当前采集到的实景图像1026,例如设置在目标客户端中的虚拟按键“实景导航”,该虚拟按键用于表示切换当前的显示模式为实景导航模式,可选的,在实景导航请求触发后,获取用户设备102当前采集到的实景图像1026;
步骤S104-S106,用户设备102通过网络110将实景导航请求发送给服务器112;
步骤S108,服务器112接收实景导航请求中携带的第一导航路线1024以及实景图像1026,并通过处理引擎116将第一导航路线1024以及实景图像1026进行处理,从而生成第二导航路线1028上的轨迹点在实景图像1026的显示坐标,其中,第一导航路线1024用于校正第二导航路线1028;
步骤S110-S112,服务器112通过网络110将第二导航路线1028发送给用户设备102;
步骤S114,用户设备102中的处理器106根据第二导航路线1028上的轨迹点的显示坐标,确定第二导航路线1028在实景图像1026的显示位置,从而将第二导航路线1028显示在显示器108中,并将第二导航路线1028的显示坐标存储在存储器104中。可选的,将第一导航路线1024以及实景图像1026进行处理,从而生成第二导航路线1028上的轨迹点在实景图像1026的显示坐标还可以但不限于在用户设备102(即本地)中完成,此处仅为举例说明,并不做限定。
可选地,作为一种可选的实施方式,如图2所示,导航路线的显示方法包括:
S202,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;
S204,响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;
S206,在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
S208,对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;
S210,在第一实景图像上按照显示坐标显示第二导航路线。
可选地,在本实施例中,导航路线的显示方法可以但不限于应用在AR实景导航场景下,通过获取图像中的与规划路线(即第一导航路线)方向一致或相似的直线来修正投影到实景图像的实景导航路线(即第二导航路线),进而提高了实景导航路线的显示准确性,从而避免由于导航路线的偏移导致的错误导航,可以但不限于解决了由于算法或者硬件精度问题导致导航路线在投影到实景图像中出现偏移的技术问题。
可选地,在本实施例中,目标终端可以但不限于为带有图像采集功能的终端设备,例如智能手机、车载导航等。目标客户端可以但不限于为安装在目标终端上的应用程序,该应用程序可以但不限用于为目标终端的使用者提供与输入信息相匹配的指引路线,其中,输入信息可以但不限于包括以下至少之一:出发地点信息、当前位置信息(例如当前位置)、目的地位置信息(例如目标位置)、出行方式信息、出行时间信息。
可选地,在本实施例中,目标地图可以但不限于为显示在目标客户端中,用于为用户展现直观的地址信息的地图,地图可以但不限于为按照一定法则,有选择地以二维或多维形式与手段在平面或球面上标识地球(或其他星球)若干现象的图像或图像。在获取在目标终端的目标客户端中触发的实景导航请求之前,目标客户端可以但不限于已基于输入信息生成第一导航路线,其中,第一导航路线显示在目标客户端的目标地图中,目标地图的显示范围与输入信息相对应,例如显示范围与出发地点距离目的地位置的路程呈正相关。可选的,在目标客户端的目标地图中显示第一导航路线,且检测到目标客户端中触发的实景导航请求的情况下,响应实景导航请求,将目标客户端的导航模式,由平面地图模式转换到实景地图模式,其中,在实景地图模式的应用场景下,将指示目标终端实时采集实景图像,并将第二导航路线显示在采集到的实景图像上。
进一步举例说明,可选的例如图3中的图3(a)所示,当前目标客户端已基于输入信息(图中未示出)生成了第一导航路线304,并将该第一导航路线304显示在目标地图302中;进一步,在目标客户端中触发了实景导航请求(例如虚拟按钮“实景导航”被选定)的情况下,可选的例如图3中的图3(b)所示,在目标客户端上显示实景图像306,并在实景图像306上显示第二导航路线308;再者,在目标客户端中触发了实景导航退出请求(例如虚拟按钮“×”被选定)的情况下,可选的例如图3中的图3(a)所示,继续在目标客户端的目标地图302中显示第一导航路线304。可选的为方便理解,在上述过程中,目标客户端对应的目标终端(图中未示出)的位置以及方向皆未发生变化,此处仅为举例说明,并不做限定。
可选地,在本实施例中,实景导航请求中可以但不限于携带有输入信息,且该输入信息的获取与实景导航请求的触发可以但不限于在不同或同一界面。
进一步,以输入信息的获取与实景导航请求的触发在同一界面为例说明,可选的例如图4中的图4(a)所示,在图4(a)所示的目标客户端当前界面中,目标客户端获取输入信息402(例如出发地、目的地、出行方式、出行时间等),还获取到通过目标客户端的虚拟按钮“实景导航”触发的实景导航请求;
再者,在目标客户端获取到输入信息402以及实景导航请求的情况下,后台(例如服务器)可以但不限于优先指示目标客户端对应的目标终端采集实景图像404,并基于输入信息402以及数据库中的目标地图408生成第一导航路线410,再根据第一导航路线410以及实景图像404计算第二导航路线406的坐标数据,并发送给前端(例如目标客户端)。进而前端基于坐标数据,将第二导航路线406显示在实景图像404中,例如图4中的图4(b)所示;
此外,假设获取到在图4中的图4(b)所示的目标客户端中触发的平面导航请求(例如通过选定虚拟按钮“平面导航”以触发平面导航请求),则如图4中的图4(c)所示,将目标客户端的导航模式,由实景地图模式转换到平面地图模式,在目标客户端中显示目标地图408,并将第一导航路线410显示在目标地图408中。进一步,假设到在图4中的图4(c)所示的目标客户端中触发的平面导航退出请求(例如通过选定虚拟按钮“×”以触发平面导航请求),则如图4中的图4(b)所示,将目标客户端的导航模式,由平面地图模式转换回实景地图模式,在目标客户端中继续显示实景图像404,并将第二导航路线406显示在实景图像404中。
可选地,在本实施例中,在基于N条候选直线计算出第一引导线之前,可以但不限于将目标地图中的第一导航路线的二维坐标,转换为目标坐标系上的投影坐标,也可以但不限于将第一实景图像中的像素直线的二维坐标,转移为目标坐标系上的投影坐标。可选的,目标坐标系可以但不限于包括以下至少之一:直角坐标系、三维坐标系、笛卡尔坐标系、柱面坐标系、球面坐标系等。
进一步举例说明,可选的将目标地图中的第一导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中投影导航直线上的轨迹点的投影坐标,以及将第一实景图像中的N条候选直线上的像素(轨迹)点进行空间坐标转换,以确定笛卡尔坐标系中投影导航直线上的轨迹点的投影坐标。进一步,在获取到笛卡尔坐标系中与第一导航路线、N条候选直线分别对应的坐标数据的情况下,基于该坐标数据,计算出第一引导线在笛卡尔坐标系中的目标数据。
可选地,在本实施例中,对第一引导线上的点进行空间坐标转换,以确定第一引导线上的点在第一实景图像中的显示坐标,并通过第一引导线在第一实景图像中的显示坐标,确定第二导航路线上的轨迹点的显示坐标。例如,在第一引导线在第一实景图像中的显示坐标的基础上,结合实景图像的中线位置,确定第二导航路线上的轨迹点的显示坐标,使得第二导航路线的显示既准确,又具观赏性。
此外,在本实施例中,还可以但不限于先通过目标客户端根据连续图像计算出的相机位姿,将第一导航路线映射到实景图像中,再利用第一引导线在第一实景图像中的显示坐标,校正映射到实景图像中的第一导航路线,以确定第二导航路线上的轨迹点的显示坐标。
需要说明的是,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;将第一实景图像处理为满足检测条件的图像,并在第一实景图像满足检测条件的情况下,识别第一实景图像中的候选直线,并在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;在第一实景图像上按照显示坐标显示第二导航路线。
进一步举例说明,可选的假设上述导航路线的显示方法的执行流程如图5所示,具体步骤如下:
步骤S502,目标终端实时采集图像,以获取原始实景图像502(例如第一实景图像);
步骤S504,对原始实景图像502作初步处理,以获取满足检测条件的目标实景图像504,其中,检测条件可以但不限于为图像噪点小于等于预设阈值,初步处理可以但不限于为去噪处理;
步骤S506,对目标实景图像504执行直线检测操作,以识别到多条候选直线506;
可选的,在上述步骤S502-S506的执行过程中,原始实景图像502、目标实景图像504或候选直线506的坐标(像素)点都位于第一坐标系,或者说,原始实景图像502、目标实景图像504或候选直线506的空间维度一致;
步骤S508,对候选直线506执行空间转换,以确定候选直线506在第二坐标系上的坐标数据;
步骤S510,对第二坐标系上的候选直线506执行直线滤波,以过滤掉与行进方向(例如第一导航路线所指示的第一方向)之间的夹角大于等于目标夹角的候选直线506,或者说,确定与行进方向之间的夹角小于目标夹角的候选直线506;
可选的,在上述步骤S508-S510的执行过程中,候选直线506的坐标点位于第二坐标系;
步骤S512,对与行进方向之间的夹角小于目标夹角的候选直线506执行空间转换,以确定该候选直线506在第一坐标系上的坐标数据;
步骤S514,基于第一坐标系上的候选直线506确定第二导航路线510在第一坐标系上的坐标数据;
步骤S516,在原始实景图像502上显示第二导航路线510;
可选的,在上述步骤S512-S516的执行过程中,候选直线506、第二导航路线510的坐标点位于第一坐标系。
可选的,在上述步骤S510的执行过程中,可以但不限于再执行空间转换,例如先对第二坐标系中的候选直线506执行第一次直线滤波,再执行空间转换,以确定候选直线506在第三坐标系(图中未示出)上的坐标数据,再对第三坐标系中的候选直线506执行第二次直线滤波,其中,第一次直线滤波可以但不限于为过滤掉与行进方向区别较大的候选直线506,而第二次直线滤波可以但不限于利用角度平均值、方差等计算公式,筛选出更为精准的,与行进方向一致的候选直线506。
可选的,在本实施例中,由于循环数据需要解决数据的跳变问题,例如规定正东方向为0度,北方为90度,南方为-90度,则西方可能为180度或者-180度,当行进方向在正西方向附近,由于算法和传感器的误差会出现一串在180或者-180附近的值,需要引入复杂的判断避免这样的跳变值出现。如果规定从东逆时针方向一圈为0~360度,也需要考虑0度和360度之间的跳变值。上述方法并非不可计算,只是过于复杂,特别是当直线滤波需要计算角度平均值、方差等情况时,需要考虑很多复杂情况。进一步,假设第二坐标系为角度坐标系,第三坐标系为笛卡尔坐标系,且假定夹角角度为x,即利用三角函数将每个函数转化为(cos(x),sin(x)),再计算所有角度在第三坐标系的每个分量平均值,最后再获得平均角度,大大缩短了直线滤波的计算量,提高了直线滤波的效率。
通过本申请提供的实施例,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;在第一实景图像上按照显示坐标显示第二导航路线,通过获取与第一导航路线所指示的第一方向之间满足第一预设关系的第一引导线,并将该第一引导线作为最终显示在第一实景图像上的实景导航路线的引导线,利用引导线校正实景导航路线的方式,从而达到了校正实景导航路线的技术目的,进而实现了提高实景导航指示线的显示准确性的技术效果。
作为一种可选的方案,基于N条候选直线计算出第一引导线包括:
S1,对N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标;
S2,对第一导航路线上的点进行空间坐标转换,以确定三维坐标系中第一投影导航路线上的轨迹点的投影坐标;
S3,基于第一投影导航路线,计算出第一引导线。
可选地,在本实施例中,可以但不限基于目标终端的相机参数完成空间坐标转换,其中,相机参数可以但不限于分为相机内参和相机外参,其中,相机坐标系投影到图像平面的转换关系描述,可以理解为相机成像规律的数学表达,跟相机硬件自身相关,一般由焦距fx、fy,中心焦点cx、cy构成的一个转换矩阵,由于相机坐标系使用的是毫米制的单位,而图像平面(例如第一实景图像)使用的像素为单位,内参数的作用就是在这两个坐标系之间进行线性的变化。而相机坐标系到世界坐标系(例如三维坐标系)的转换关系描述,可以理解为相机在世界坐标系中的位姿描述,跟相机安装位置和角度相关,一般由转换矩阵T和旋转矩阵R表示,转换矩阵是位置的相对关系,旋转矩阵是姿态的相对关系,合在一起就可以完整表达一个位姿,即为相机外参。可选的,结合相机外参以及相机内参可以但不限于得出一个从N条候选直线上的(像素)点到三维坐标系的坐标点的转换矩阵。
需要说明的是,导航路线(第一投影导航路线)是服务器根据请求数据的目标客户端的朝向和位置下发,所以导航路线的朝向是三维空间(三维坐标系)中的真实朝向,只是坐标数据存在区别,而在实景图像上检测的直线(候选直线),不能获取其真实方向,所以需要将实景图像中检测的直线投影到三维空间中,具体的,对N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标;对第一导航路线上的点进行空间坐标转换,以确定三维坐标系中第一投影导航路线上的轨迹点的投影坐标;基于第一投影导航路线,计算出第一引导线。
通过本申请提供的实施例,对N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标;对第一导航路线上的点进行空间坐标转换,以确定三维坐标系中第一投影导航路线上的轨迹点的投影坐标;基于第一投影导航路线,计算出第一引导线,达到了在同一坐标系显示候选直线以及第一投影导航路线的目的,实现了提高候选直线以及第一投影导航路线的兼容性的效果。
作为一种可选的方案,对N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标,包括:
S1,获取N条候选直线上的点在第一实景图像对应的二维坐标系上的第一坐标数据,其中,第一坐标数据与目标终端的相机内参数相对应;
S2,计算二维坐标系与三维坐标系的转换矩阵,其中,转换矩阵与目标终端的相机外参数相对应;
S3,基于转换矩阵,将第一坐标数据转换为第二坐标数据,其中,第二坐标数据为N条第一投影直线上的轨迹点在三维坐标系中的投影坐标数据。
需要说明的是,获取N条候选直线上的点在第一实景图像对应的二维坐标系上的第一坐标数据,其中,第一坐标数据与目标终端的相机内参数相对应;计算二维坐标系与三维坐标系的转换矩阵,其中,转换矩阵与目标终端的相机外参数相对应;基于转换矩阵,将第一坐标数据转换为第二坐标数据,其中,第二坐标数据为N条第一投影直线上的轨迹点在三维坐标系中的投影坐标数据。
进一步举例说明,可选的例如目标终端的相机内参为3x3矩阵K,当前旋转四元素为q,候选直线的两个端点的齐次坐标为p1(x,y,1),p2(x,y,1),参考下述公式(1),带入p1,p2则直线两个端点在三维空间的中的坐标为P(X,Y,Z),以计算P1,P2两个端点组成的直线斜率。
P=q*K-1*p (1);
进一步可选的,在本实施例中,获取置信度较高的候选直线方向,将P1,P2分别代入下述公式(2)中的空间点Pw,获取候选直线在相机模型中的坐标。其中RIC和TIC为相机和IMU之间的变换的旋转矩阵和平移矩阵,矩阵R为当前相机的旋转矩阵。
Pc=RICT*(R-1*Pw–TIC) (2);
再参考下述公式(3)、公式(4),以获取实景图像中的坐标(u,v)。其中,公式(3)、公式(4)中fx、fy分别为x、y方向的焦距,cx、cy分别为相对原点的平移。
u=fx*X/Z+cx (3);
v=fy*Y/Z+cy (4);
通过本申请提供的实施例,获取N条候选直线上的点在第一实景图像对应的二维坐标系上的第一坐标数据,其中,第一坐标数据与目标终端的相机内参数相对应;计算二维坐标系与三维坐标系的转换矩阵,其中,转换矩阵与目标终端的相机外参数相对应;基于转换矩阵,将第一坐标数据转换为第二坐标数据,其中,第二坐标数据为N条第一投影直线上的轨迹点在三维坐标系中的投影坐标数据,达到了利用转换矩阵将不同纬度的坐标数据处理为相同纬度下的坐标数据的目的,实现了提高待处理数据的统一性的效果。
作为一种可选的方案,基于第一投影导航路线,计算出第一引导线,包括:
S1,获取M条候选投影直线,其中,N条第一投影直线包括M条候选投影直线,候选投影直线与第一投影导航路线之间的夹角满足第二预设关系;
S2,基于第一投影导航路线以及M条候选投影直线,计算出第一引导线。
需要说明的是,由于候选直线有很多不是行进方向(例如第一投影导航路线所指示的方向)的,所以需要一定的滤波策略去除这些会影响最终实景导航路线朝向的候选直线,具体的,在全部候选投影直线中,筛选出与第一投影导航路线之间的夹角满足第二预设关系的候选投影直线;基于第一投影导航路线以及M条候选投影直线,计算出第一引导线。
进一步举例说明,可选的例如图6所示,假设限定行进方向602偏左30度和偏右30度的形成的扇形为置信区域,则滤除掉置信区域外的直线方向对应的候选投影直线,以及确定置信区域内的直线方向对应的候选投影直线为候选投影直线。例如第一直线604的直线方向在置信区域内,则将第一直线604确定为候选投影直线,而第二直线606的直线方向在置信区域我,则滤除第二直线606。
通过本申请提供的实施例,获取M条候选投影直线,其中,N条第一投影直线包括M条候选投影直线,候选投影直线与第一投影导航路线之间的夹角满足第二预设关系;基于第一投影导航路线以及M条候选投影直线,计算出第一引导线,达到了滤除不是行进方向的候选投影直线,以减少引导线的计算量的目的,实现了提高引导线的计算效率的效果。
作为一种可选的方案,基于第一投影导航路线以及M条候选投影直线,计算出第一引导线,包括:
S1,对M条候选投影直线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中M条第二投影直线上的轨迹点的投影坐标;
S2,对第一投影导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中第二投影导航路线上的轨迹点的投影坐标;
S3,获取M个目标夹角,其中,目标夹角为第二投影直线与第二投影导航路线之间的夹角;
S4,基于M个目标夹角,计算出第一引导线。
需要说明的是,对M条候选投影直线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中M条第二投影直线上的轨迹点的投影坐标;对第一投影导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中第二投影导航路线上的轨迹点的投影坐标;获取M个目标夹角,其中,目标夹角为第二投影直线与第二投影导航路线之间的夹角;基于M个目标夹角,计算出第一引导线。
进一步举例说明,可选的例如将M条候选投影直线以及第一投影导航路线转换到笛卡尔坐标系,以获得第二投影直线以及第二投影导航路线,再使用最小均方差滤波法,以获得更精准的坐标数据。具体步骤如下,首先计算所有第二投影直线与第二投影导航路线之间的夹角角度的平均值xave,再通过平均值xave计算方差S2。进一步,参考下述公式(5),其中,S为标准差,N为第二投影直线,xi为第i个第二投影直线与第二投影导航路线之间的夹角角度。然后删除所有第二投影直线中与第二投影导航路线之间的夹角角度与平均值xave的差大于方差S2的第二投影直线,得到置信度更高的候选投影直线yi。最后使用高置信度的候选投影直线yi再次计算平均值xave,参考下述公式(6),其中,M为高置信度的候选投影直线yi数量,yave为第一引导线的直线朝向。
公式(5)
公式(6)
通过本申请提供的实施例,对M条候选投影直线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中M条第二投影直线上的轨迹点的投影坐标;对第一投影导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中第二投影导航路线上的轨迹点的投影坐标;获取M个目标夹角,其中,目标夹角为第二投影直线与第二投影导航路线之间的夹角;基于M个目标夹角,计算出第一引导线,达到了利用精准度较高的引导先以修正实景导航路线的目的,实现了提高实景导航路线的显示准确性的效果。
作为一种可选的方案,在对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,包括:
S1,获取目标终端采集到的第二实景图像,其中,第二实景图像的采集时刻晚于第一实景图像的采集时刻;
S2,在第二实景图像中识别出K条候选直线的情况下,基于K条候选直线计算出第二引导线;
S3,对第二引导线上的点进行空间坐标转换,以更新第二导航路线上的轨迹点的显示坐标;
S4,在第二实景图像上按照更新后的显示坐标显示第二导航路线。
可选的,在本实施例中,目标终端采集第二实景图像还可以但不限于在第一实景图像上按照显示坐标显示第二导航路线之后,在目标客户端更新第一实景图像为第二实景图像的同时,将更新后的第二导航路线显示在第二实景图像上。
需要说明的是,在目标客户端处于实景导航模式的情况下,目标终端将实时采集图像,以供目标客户端在采集到的图像上显示实景导航路线,具体的,在获取目标终端采集到的第二实景图像,其中,第二实景图像的采集时刻晚于第一实景图像的采集时刻;在第二实景图像中识别出K条候选直线的情况下,基于K条候选直线计算出第二引导线;对第二引导线上的点进行空间坐标转换,以更新第二导航路线上的轨迹点的显示坐标;在第二实景图像上按照更新后的显示坐标显示第二导航路线。
进一步举例说明,可选的例如图7中的图7(a)所示,假设目标客户端当前处于实景导航模式,且在目标客户端上显示当前时刻采集到的第一实景图像702,并在第一实景图像702上显示第二导航路线704。进一步,假设在当前时刻的下一时刻采集到的实景图像如图7中的图7(b)的第二实景图像706所示,则更新导航路线,并在第二实景图像706上显示更新后的第二导航路线708。
通过本申请提供的实施例,获取目标终端采集到的第二实景图像,其中,第二实景图像的采集时刻晚于第一实景图像的采集时刻;在第二实景图像中识别出K条候选直线的情况下,基于K条候选直线计算出第二引导线;对第二引导线上的点进行空间坐标转换,以更新第二导航路线上的轨迹点的显示坐标;在第二实景图像上按照更新后的显示坐标显示第二导航路线,达到了实时采集实景图像以供实景导航路线的显示的目的,实现了实景导航路线的显示实时性的效果。
作为一种可选的方案,在基于N条候选直线计算出第一引导线之前,还包括:
S1,对获取到的第一实景图像执行图像滤波操作,其中,图像滤波操作用去除第一实景图像的噪点;
S2,在执行图像滤波操作后的第一实景图像满足检测条件的情况下,对第一实景图像执行直线检测操作,其中,直线检测操作用于识别候选直线。
可选地,在本实施例中,图像滤波操作可以但不限用于平滑图像去除噪点,例如高斯滤波操作、线性滤波、均值滤波等。直线检测操作可以但不限用于识别并提取图像中的直线,例如Ultra-Fast-Lane-Detection等深度学习方法、利用canny算子提取边缘、霍夫变换等。
需要说明的是,对获取到的第一实景图像执行图像滤波操作,其中,图像滤波操作用去除第一实景图像的噪点;在执行图像滤波操作后的第一实景图像满足检测条件的情况下,对第一实景图像执行直线检测操作,其中,直线检测操作用于识别候选直线。
进一步举例说明,可选的例如先获取原始图像,再对图像进行高斯滤波,平滑图像去除噪点;然后利用canny算子提取边缘;再利用霍夫变换对该图像进行直线检测,以获取带有噪声的直线原始数据。可选的,Canny算子可以但不限于是Fohn.J.Canny于1986年开发出来的一种多级边缘检测算法。霍夫变换可以但不限于是一种特征提取,被广泛应用在图像分析,计算机视觉以及图像处理,用来寻找特征。
通过本申请提供的实施例,对获取到的第一实景图像执行图像滤波操作,其中,图像滤波操作用去除第一实景图像的噪点;在执行图像滤波操作后的第一实景图像满足检测条件的情况下,对第一实景图像执行直线检测操作,其中,直线检测操作用于识别候选直线,达到了对采集到的原始图像进行初步处理的目的,实现了提高实景图像的处理效率的效果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述导航路线的显示方法的导航路线的显示装置。如图8所示,该装置包括:
第一获取单元802,用于获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;
响应单元804,用于响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;
计算单元806,用于在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
第一确定单元808,用于对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;
显示单元810,用于在第一实景图像上按照显示坐标显示第二导航路线。
可选地,在本实施例中,导航路线的显示装置可以但不限于应用在AR实景导航场景下,通过获取图像中的与规划路线(即第一导航路线)方向一致或相似的直线来修正投影到实景图像的实景导航路线(即第二导航路线),进而提高了实景导航路线的显示准确性,从而避免由于导航路线的偏移导致的错误导航,可以但不限于解决了由于算法或者硬件精度问题导致导航路线在投影到实景图像中出现偏移的技术问题。
可选地,在本实施例中,目标终端可以但不限于为带有图像采集功能的终端设备,例如智能手机、车载导航等。目标客户端可以但不限于为安装在目标终端上的应用程序,该应用程序可以但不限用于为目标终端的使用者提供与输入信息相匹配的指引路线,其中,输入信息可以但不限于包括以下至少之一:出发地点信息、当前位置信息(例如当前位置)、目的地位置信息(例如目标位置)、出行方式信息、出行时间信息。
可选地,在本实施例中,目标地图可以但不限于为显示在目标客户端中,用于为用户展现直观的地址信息的地图,地图可以但不限于为按照一定法则,有选择地以二维或多维形式与手段在平面或球面上标识地球(或其他星球)若干现象的图像或图像。在获取在目标终端的目标客户端中触发的实景导航请求之前,目标客户端可以但不限于已基于输入信息生成第一导航路线,其中,第一导航路线显示在目标客户端的目标地图中,目标地图的显示范围与输入信息相对应,例如显示范围与出发地点距离目的地位置的路程呈正相关。可选的,在目标客户端的目标地图中显示第一导航路线,且检测到目标客户端中触发的实景导航请求的情况下,响应实景导航请求,将目标客户端的导航模式,由平面地图模式转换到实景地图模式,其中,在实景地图模式的应用场景下,将指示目标终端实时采集实景图像,并将第二导航路线显示在采集到的实景图像上。
可选地,在本实施例中,实景导航请求中可以但不限于携带有输入信息,且该输入信息的获取与实景导航请求的触发可以但不限于在不同或同一界面。
可选地,在本实施例中,在基于N条候选直线计算出第一引导线之前,可以但不限于将目标地图中的第一导航路线的二维坐标,转换为目标坐标系上的投影坐标,也可以但不限于将第一实景图像中的像素直线的二维坐标,转移为目标坐标系上的投影坐标。可选的,目标坐标系可以但不限于包括以下至少之一:直角坐标系、三维坐标系、笛卡尔坐标系、柱面坐标系、球面坐标系等。
进一步举例说明,可选的将目标地图中的第一导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中投影导航直线上的轨迹点的投影坐标,以及将第一实景图像中的N条候选直线上的像素(轨迹)点进行空间坐标转换,以确定笛卡尔坐标系中投影导航直线上的轨迹点的投影坐标。进一步,在获取到笛卡尔坐标系中与第一导航路线、N条候选直线分别对应的坐标数据的情况下,基于该坐标数据,计算出第一引导线在笛卡尔坐标系中的目标数据。
可选地,在本实施例中,对第一引导线上的点进行空间坐标转换,以确定第一引导线上的点在第一实景图像中的显示坐标,并通过第一引导线在第一实景图像中的显示坐标,确定第二导航路线上的轨迹点的显示坐标。例如,在第一引导线在第一实景图像中的显示坐标的基础上,结合实景图像的中线位置,确定第二导航路线上的轨迹点的显示坐标,使得第二导航路线的显示既准确,又具观赏性。
此外,在本实施例中,还可以但不限于先通过目标客户端根据连续图像计算出的相机位姿,将第一导航路线映射到实景图像中,再利用第一引导线在第一实景图像中的显示坐标,校正映射到实景图像中的第一导航路线,以确定第二导航路线上的轨迹点的显示坐标。
需要说明的是,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;将第一实景图像处理为满足检测条件的图像,并在第一实景图像满足检测条件的情况下,识别第一实景图像中的候选直线,并在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;在第一实景图像上按照显示坐标显示第二导航路线。
可选的,在本实施例中,由于循环数据需要解决数据的跳变问题,例如规定正东方向为0度,北方为90度,南方为-90度,则西方可能为180度或者-180度,当行进方向在正西方向附近,由于算法和传感器的误差会出现一串在180或者-180附近的值,需要引入复杂的判断避免这样的跳变值出现。如果规定从东逆时针方向一圈为0~360度,也需要考虑0度和360度之间的跳变值。上述装置并非不可计算,只是过于复杂,特别是当直线滤波需要计算角度平均值、方差等情况时,需要考虑很多复杂情况。进一步,假设第二坐标系为角度坐标系,第三坐标系为笛卡尔坐标系,且假定夹角角度为x,即利用三角函数将每个函数转化为(cos(x),sin(x)),再计算所有角度在第三坐标系的每个分量平均值,最后再获得平均角度,大大缩短了直线滤波的计算量,提高了直线滤波的效率。
具体实施例可以参考上述导航路线的显示装置中所示示例,本示例中在此不再赘述。
通过本申请提供的实施例,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;在第一实景图像上按照显示坐标显示第二导航路线,通过获取与第一导航路线所指示的第一方向之间满足第一预设关系的第一引导线,并将该第一引导线作为最终显示在第一实景图像上的实景导航路线的引导线,利用引导线校正实景导航路线的方式,从而达到了校正实景导航路线的技术目的,进而实现了提高实景导航指示线的显示准确性的技术效果。
作为一种可选的方案,计算单元806包括:
第一确定模块,用于对N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标;
第二确定模块,用于对第一导航路线上的点进行空间坐标转换,以确定三维坐标系中第一投影导航路线上的轨迹点的投影坐标;
计算模块,用于基于第一投影导航路线,计算出第一引导线。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一确定模块,包括:
第一获取子模块,用于获取N条候选直线上的点在第一实景图像对应的二维坐标系上的第一坐标数据,其中,第一坐标数据与目标终端的相机内参数相对应;
计算子模块,用于计算二维坐标系与三维坐标系的转换矩阵,其中,转换矩阵与目标终端的相机外参数相对应;
转换子模块,用于基于转换矩阵,将第一坐标数据转换为第二坐标数据,其中,第二坐标数据为N条第一投影直线上的轨迹点在三维坐标系中的投影坐标数据。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,计算模块,包括:
第二获取子模块,用于获取M条候选投影直线,其中,N条第一投影直线包括M条候选投影直线,候选投影直线与第一投影导航路线之间的夹角满足第二预设关系;
第二计算子模块,用于基于第一投影导航路线以及M条候选投影直线,计算出第一引导线。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二计算子模块,包括:
第一确定子单元,用于对M条候选投影直线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中M条第二投影直线上的轨迹点的投影坐标;
第二确定子单元,用于对第一投影导航路线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中第二投影导航路线上的轨迹点的投影坐标;
获取子单元,用于获取M个目标夹角,其中,目标夹角为第二投影直线与第二投影导航路线之间的夹角;
计算子单元,用于基于M个目标夹角,计算出第一引导线。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,如图9所示,包括:
第二获取单元902,用于在对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,获取目标终端采集到的第二实景图像,其中,第二实景图像的采集时刻晚于第一实景图像的采集时刻;
第二确定单元904,用于在对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,在第二实景图像中识别出K条候选直线的情况下,基于K条候选直线计算出第二引导线;
第三确定单元906,用于在对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,对第二引导线上的点进行空间坐标转换,以更新第二导航路线上的轨迹点的显示坐标;
第四确定单元908,用于在对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,在第二实景图像上按照更新后的显示坐标显示第二导航路线。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,还包括:
第一执行单元,用于在基于N条候选直线计算出第一引导线之前,对获取到的第一实景图像执行图像滤波操作,其中,图像滤波操作用去除第一实景图像的噪点;
第二执行单元,用于在基于N条候选直线计算出第一引导线之前,在执行图像滤波操作后的第一实景图像满足检测条件的情况下,对第一实景图像执行直线检测操作,其中,直线检测操作用于识别候选直线。
具体实施例可以参考上述导航路线的显示方法中所示示例,本示例中在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述导航路线的显示方法的电子设备,如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;
S2,响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;
S3,在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
S4,对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;
S5,在第一实景图像上按照显示坐标显示第二导航路线。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的导航路线的显示方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的导航路线的显示方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储第一实景图像、第一导航路线以及第二导航路线等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述导航路线的显示装置中的第一获取单元802、响应单元804、计算单元806、第一确定单元808及显示单元810。此外,还可以包括但不限于上述导航路线的显示装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述第一实景图像、第一导航路线以及第二导航路线等信息;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式***中的一个节点,其中,该分布式***可以为区块链***,该区块链***可以是由该多个节点通过网络通信的形式连接形成的分布式***。其中,节点之间可以组成点对点(Peer To Peer,简称P2P)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链***中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述导航路线的显示方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取在目标终端的目标客户端中触发的实景导航请求,其中,实景导航请求用于请求在目标终端采集到的实景图像上显示目标实景导航路线,目标实景导航路线用于指引目标终端从当前位置移动至目标位置;
S2,响应实景导航请求,获取目标终端当前采集到的第一实景图像以及在目标地图中为目标终端生成的第一导航路线,其中,第一导航路线为在目标地图中标识出的从当前位置移动到目标位置的移动提示轨迹;
S3,在第一实景图像中识别出N条候选直线的情况下,基于N条候选直线计算出第一引导线,其中,第一引导线所指示的第二方向与第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
S4,对第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,第二导航路线为在第一实景图像中标识出的指引目标终端从当前位置沿第一方向进行移动的导航提示线;
S5,在第一实景图像上按照显示坐标显示第二导航路线。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种导航路线的显示方法,其特征在于,包括:
获取在目标终端的目标客户端中触发的实景导航请求,其中,所述实景导航请求用于请求在所述目标终端采集到的实景图像上显示目标实景导航路线,所述目标实景导航路线用于指引所述目标终端从当前位置移动至目标位置;
响应所述实景导航请求,获取所述目标终端当前采集到的第一实景图像以及在目标地图中为所述目标终端生成的第一导航路线,其中,所述第一导航路线为在所述目标地图中标识出的从所述当前位置移动到所述目标位置的移动提示轨迹;
在所述第一实景图像中识别出N条候选直线的情况下,基于所述N条候选直线计算出第一引导线,其中,所述第一引导线所指示的第二方向与所述第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
对所述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,所述第二导航路线为在所述第一实景图像中标识出的指引所述目标终端从所述当前位置沿所述第一方向进行移动的导航提示线;
在所述第一实景图像上按照所述显示坐标显示所述第二导航路线。
2.根据权利要求1所述的方法,其特征在于,所述基于所述N条候选直线计算出第一引导线包括:
对所述N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标;
对所述第一导航路线上的点进行空间坐标转换,以确定所述三维坐标系中第一投影导航路线上的轨迹点的投影坐标;
基于所述第一投影导航路线,计算出所述第一引导线。
3.根据权利要求2所述的方法,其特征在于,所述对所述N条候选直线上的点进行空间坐标转换,以确定三维坐标系中N条第一投影直线上的轨迹点的投影坐标,包括:
获取所述N条候选直线上的点在所述第一实景图像对应的二维坐标系上的第一坐标数据,其中,所述第一坐标数据与所述目标终端的相机内参数相对应;
计算所述二维坐标系与所述三维坐标系的转换矩阵,其中,所述转换矩阵与所述目标终端的相机外参数相对应;
基于所述转换矩阵,将所述第一坐标数据转换为第二坐标数据,其中,所述第二坐标数据为所述N条第一投影直线上的轨迹点在所述三维坐标系中的投影坐标数据。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一投影导航路线,计算出所述第一引导线,包括:
获取M条候选投影直线,其中,所述N条第一投影直线包括所述M条候选投影直线,所述候选投影直线与所述第一投影导航路线之间的夹角满足第二预设关系;
基于所述第一投影导航路线以及所述M条候选投影直线,计算出所述第一引导线。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一投影导航路线以及所述M条候选投影直线,计算出所述第一引导线,包括:
对所述M条候选投影直线上的轨迹点进行空间坐标转换,以确定笛卡尔坐标系中M条第二投影直线上的轨迹点的投影坐标;
对所述第一投影导航路线上的轨迹点进行空间坐标转换,以确定所述笛卡尔坐标系中第二投影导航路线上的轨迹点的投影坐标;
获取M个目标夹角,其中,所述目标夹角为所述第二投影直线与所述第二投影导航路线之间的夹角;
基于M个目标夹角,计算出所述第一引导线。
6.根据权利要求1至5中任一所述的方法,其特征在于,在所述对所述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标之后,包括:
获取所述目标终端采集到的第二实景图像,其中,所述第二实景图像的采集时刻晚于所述第一实景图像的采集时刻;
在所述第二实景图像中识别出K条候选直线的情况下,基于所述K条候选直线计算出第二引导线;
对所述第二引导线上的点进行空间坐标转换,以更新所述第二导航路线上的轨迹点的显示坐标;
在所述第二实景图像上按照更新后的所述显示坐标显示所述第二导航路线。
7.根据权利要求1至5中任一项所述的方法,其特征在于,在所述基于所述N条候选直线计算出第一引导线之前,还包括:
对获取到的所述第一实景图像执行图像滤波操作,其中,所述图像滤波操作用于去除所述第一实景图像的噪点;
在执行所述图像滤波操作后的所述第一实景图像满足检测条件的情况下,对所述第一实景图像执行直线检测操作,其中,所述直线检测操作用于识别所述候选直线。
8.一种导航路线的显示装置,其特征在于,包括:
第一获取单元,用于获取在目标终端的目标客户端中触发的实景导航请求,其中,所述实景导航请求用于请求在所述目标终端采集到的实景图像上显示目标实景导航路线,所述目标实景导航路线用于指引所述目标终端从当前位置移动至目标位置;
响应单元,用于响应所述实景导航请求,获取所述目标终端当前采集到的第一实景图像以及在目标地图中为所述目标终端生成的第一导航路线,其中,所述第一导航路线为在所述目标地图中标识出的从所述当前位置移动到所述目标位置的移动提示轨迹;
计算单元,用于在所述第一实景图像中识别出N条候选直线的情况下,基于所述N条候选直线计算出第一引导线,其中,所述第一引导线所指示的第二方向与所述第一导航路线所指示的第一方向之间满足第一预设关系,N为正整数;
第一确定单元,用于对所述第一引导线上的点进行空间坐标转换,以确定第二导航路线上的轨迹点的显示坐标,其中,所述第二导航路线为在所述第一实景图像中标识出的指引所述目标终端从所述当前位置沿所述第一方向进行移动的导航提示线;
显示单元,用于在所述第一实景图像上按照所述显示坐标显示所述第二导航路线。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419148.0A CN112556685B (zh) | 2020-12-07 | 2020-12-07 | 导航路线的显示方法、装置和存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011419148.0A CN112556685B (zh) | 2020-12-07 | 2020-12-07 | 导航路线的显示方法、装置和存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112556685A CN112556685A (zh) | 2021-03-26 |
CN112556685B true CN112556685B (zh) | 2022-03-25 |
Family
ID=75059572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011419148.0A Active CN112556685B (zh) | 2020-12-07 | 2020-12-07 | 导航路线的显示方法、装置和存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112556685B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192209A (zh) * | 2021-05-27 | 2021-07-30 | 中国工商银行股份有限公司 | 路线评测方法、装置、电子设备和介质 |
CN113483774B (zh) * | 2021-06-29 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 导航方法、装置、电子设备及可读存储介质 |
CN113961065B (zh) * | 2021-09-18 | 2022-10-11 | 北京城市网邻信息技术有限公司 | 导航页面的显示方法、装置、电子设备及存储介质 |
CN115493614B (zh) * | 2022-11-21 | 2023-03-24 | 泽景(西安)汽车电子有限责任公司 | 航迹线的显示方法、装置、存储介质及电子设备 |
CN117128959A (zh) * | 2023-04-18 | 2023-11-28 | 荣耀终端有限公司 | 寻车导航方法、电子设备、服务器及*** |
CN116793382B (zh) * | 2023-06-25 | 2024-02-02 | 江苏泽景汽车电子股份有限公司 | 车道导航信息展示方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008309529A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム |
CN104180814A (zh) * | 2013-05-22 | 2014-12-03 | 北京百度网讯科技有限公司 | 移动终端上实景功能中的导航方法和电子地图客户端 |
CN104159036B (zh) * | 2014-08-26 | 2018-09-18 | 惠州Tcl移动通信有限公司 | 一种图像方向信息的显示方法及拍摄设备 |
CN106092121B (zh) * | 2016-05-27 | 2017-11-24 | 百度在线网络技术(北京)有限公司 | 车辆导航方法和装置 |
TWI657409B (zh) * | 2017-12-27 | 2019-04-21 | 財團法人工業技術研究院 | 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 |
CN111044061B (zh) * | 2018-10-12 | 2023-03-28 | 腾讯大地通途(北京)科技有限公司 | 一种导航方法、装置、设备及计算机可读存储介质 |
CN109931945B (zh) * | 2019-04-02 | 2021-07-06 | 百度在线网络技术(北京)有限公司 | Ar导航方法、装置、设备和存储介质 |
CN111623795B (zh) * | 2020-05-28 | 2022-04-15 | 阿波罗智联(北京)科技有限公司 | 实景导航图标显示方法、装置、设备和介质 |
-
2020
- 2020-12-07 CN CN202011419148.0A patent/CN112556685B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112556685A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112556685B (zh) | 导航路线的显示方法、装置和存储介质及电子设备 | |
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN111337947A (zh) | 即时建图与定位方法、装置、***及存储介质 | |
KR100855657B1 (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
CN111709973B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN111121754A (zh) | 移动机器人定位导航方法、装置、移动机器人及存储介质 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
CN110926478B (zh) | 一种ar导航路线纠偏方法、***及计算机可读存储介质 | |
CN110986969A (zh) | 地图融合方法及装置、设备、存储介质 | |
CN110749308B (zh) | 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法 | |
CN110660098A (zh) | 基于单目视觉的定位方法和装置 | |
CN112700486A (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
CN113587934A (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
KR20210133583A (ko) | Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 | |
JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
He et al. | Three-point-based solution for automated motion parameter estimation of a multi-camera indoor mapping system with planar motion constraint | |
US11557059B2 (en) | System and method for determining position of multi-dimensional object from satellite images | |
CN112750164B (zh) | 轻量化定位模型的构建方法、定位方法、电子设备 | |
KR20210051002A (ko) | 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
Wang et al. | A visual integrated navigation for precise position estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40040680 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |