定位方法、装置、存储介质及移动设备
技术领域
本申请涉及定位技术领域,尤其涉及一种定位方法、装置、存储介质及移动设备。
背景技术
高精地图通常包括矢量图层和特征(feature)图层,其中,特征图层可以包括激光特征图层或图像特征图层。现有技术中的高精定位方法分别在矢量图层与特征图层进行定位后,再基于二者得到的定位结果进行融合,得到最终的定位结果。其中,基于特征图层进行高精定位的方法需要实时提取图像或激光特征点,再通过特征点匹配,结合摄影几何原理的方法解算车辆位置姿态信息,然而,特征图层存储体积大,且在开放道路环境下容易增加误匹配概率,导致定位精度下降。而基于矢量图层进行高精定位的方法需要精确获取相关物体(例如,道路标志、交通标志等)的轮廓点,若轮廓点提取不精确或轮廓点的数量较少,容易出现较大定位误差。
发明内容
有鉴于此,本申请提供一种定位方法、装置、存储介质及移动设备,可降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位失败概率增大。
为实现上述目的,本申请提供技术方案如下:
根据本申请的第一方面,提出了一种定位方法,包括:
确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息;
基于所述第一特征信息与所述第二特征信息的匹配结果,定位所述移动设备。
根据本申请的第二方面,提出了一种定位装置,包括:
第一确定模块,用于确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
第二确定模块,用于在高精地图中确定与所述第一确定模块确定的所述类别信息相同的第二道路部件的第二特征信息;
定位模块,用于基于所述第一确定模块确定的所述第一特征信息与所述第二确定模块确定的所述第二特征信息的匹配结果,定位所述移动设备。
根据本申请的第三方面,提出了一种存储介质,储介质存储有计算机程序,所述计算机程序用于执行上述第一方面提出的定位方法。
根据本申请的第四方面,提出了一种移动设备,所述移动设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于执行上述第一方面提出的定位方法。
由以上技术方案可见,本申请由于通过确定图像中的第一道路部件的类别信息获知了第一道路部件所表示的物理意义,因此可将第一道路部件的类别信息视为高语义特征,第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示了道路部件的像素信息,因此可将第一特征信息与第二特征信息视为低级语义特征,通过将高语义特征与低语义特征结合,实现了对移动设备的高精度定位;由于道路部件上的图像特征信息的数量丰富且特征信息准确,并且图像特征信息作为道路部件的整体特征,不需要识别图像中的第一道路部件的轮廓点,因此降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
附图说明
图1A是本申请一示例性实施例示出的定位方法的流程示意图。
图1B是图1A所示实施例的交通场景的示意图。
图2是本申请另一示例性实施例示出的定位方法的流程示意图。
图3本本申请又一示例性实施例示出的定位方法的流程示意图。
图4是本申请一示例性实施例示出的定位装置的结构示意图。
图5是本申请另一示例性实施例示出的定位装置的结构示意图。
图6是本申请以示例性实施例示出的移动设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请可适用在移动设备上,该移动设备可以为车辆、配送货物的机器人、手持手机等可在室外道路上使用的设备。以移动设备为车辆为例进行示例性说明,在车辆行驶的过程中,通过车辆上的摄像装置拍摄图像,识别出图像中的道路部件,并提取出道路部件的图像特征信息(本申请中的第一特征信息),通过在高精地图中找到与图像中的道路部件相同的道路部件,进而对高精地图中的道路部件的图像特征信息(本申请中的第二特征信息)与图像中的道路部件的图像特征信息进行匹配,基于匹配结果以及车辆的运动模型,对车辆进行定位。
本申请中的高精地图可包括矢量图层和图像图层,其中,可通过提取图像中的道路边缘、车道、道路结构属性、交通灯、交通标志、路灯杆等道路部件信息制作矢量图层,形成高语义的地图信息。可通过提取矢量图层中的道路标志、路面标志等道路部件的图像特征信息,形成低语义的地图信息。将高语义的地图信息和低语义的图像特征信息以设定的数据格式储存在高精地图内。
图1A是本申请一示例性实施例示出的定位方法的流程示意图,图1B是图1A所示实施例的交通场景的示意图;本实施例可应用在需要进行定位的移动设备上,移动设备例如为需要进行定位的车辆、配送货物的机器人、手持手机,等等,如图1A所示,包括如下步骤:
步骤101,确定图像中的第一道路部件的第一特征信息以及类别信息,其中,图像为移动设备在移动过程中拍摄的。
在一实施例中,可以通过深度学习网络确定图像中的第一道路部件所在的位置框;在第一道路部件的位置框中,提取第一道路部件的第一特征信息。其中,图像中可包含多个第一道路部件,多个第一道路部件可以为:交通信号灯、路面标识(例如,左转箭头、直行箭头、右转箭头、数字、人行道、车道线、指示文字,等)等等。通过识别图像中的第一道路部件的位置框,可以排除树木、行人的特征信息对道路部件的特征信息的干扰,以确保后续定位的准确度。
在一实施例中,第一特征信息可以为第一道路部件的图像特征信息,图像特征信息例如为第一道路部件的角点、特征描述子、纹理、灰度等等。在一实施例中,第一道路部件的类别信息可以为第一道路部件的名称或者类型标识(ID),例如,第一道路部件为交通信号灯、路面标识(例如,左转箭头、直行箭头、右转箭头、人行横道,等)等。
步骤102,在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
在一实施例中,高精地图包含矢量图层和图像图层,其中,矢量图层存储道路部件的类别信息、道路部件在世界坐标系下的几何信息、道路部件在世界坐标系下的地理位置、道路部件在世界坐标系的几何信息可以为长度、宽度以及高度,道路部件在世界坐标系下的地理位置可以为WGS84坐标系下的经纬度坐标和高程信息;图像图层存储与道路部件标识相对应的图像特征信息,具体地,高精地图的矢量图层中的道路部件类别对应的特征信息可存储在高精地图的矢量图层或者图像图层中,进一步地,若高精地图中的道路部件的特征信息存储在高精地图的图像图层中,则矢量图层中的类别信息与所述图像图层中的特征信息相关联,即,矢量图层中的道路部件标识对应的类别信息在高精地图中的坐标位置与图像图层中存储的特征信息所在的坐标位置相同。通过在高精地图的矢量图层或者图像图层中存储道路部件的特征信息,可以确保高精地图中包含高级语义信息的同时,还能够增加丰富的低级特征信息。
在一实施例中,对应于上述高精地图存储的特征信息和类别信息,当需要在高精地图中确定与第一道路部件的类别信息相同的第二道路部件的第二特征信息时,可以先基于移动设备已有的定位***(例如,GPS定位***、北斗定位***,等等),确定移动设备在拍摄图像时的第一地理位置,该第一地理位置可通过经纬度或者通用横格网***(UNIVERSALTRANSVERSE MERCARTOR GRID SYSTEM,简称为UTM)坐标来表示;在高精地图的矢量图层中距离第一地理位置的预设范围内,确定与类别信息相同的第二道路部件;在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。由于只需要在高精地图中确定与第一道路部件的类别信息相同的第二道路部件,避免在高精地图中对非道路部件的搜索,大大缩短了在高精地图中搜索第二道路部件的时间。
进一步地,预设范围可以由定位***的误差范围来确定,从而可以对定位***产生的误差进行纠正,本申请对预设范围的具体值不做限制。例如,预设范围为5米,类别信息包括红路灯和左转箭头,则可以以移动设备拍摄图像时的第一地理位置为中心,在高精地图中搜索5米内的红绿灯和左转箭头,从高精地图中找到5米内的红绿灯和左转箭头各自的第二特征信息。与第一特征信息类似,第二特征信息例如为第二道路部件的角点、描述子、道路部件的结构、纹理、灰度等等。
步骤103,基于第一特征信息与第二特征信息的匹配结果,定位移动设备。
在一实施例中,可以将第一特征信息与第二特征信息包含的角点、特征描述子、纹理、灰度等进行比对,若通过比对确定二者为相同的道路部件,则匹配结果表示第一道路部件与第二道路部件相同,若二者为不相同的道路部件,则匹配结果表示第一道路部件与第二道路部件不相同。
在一实施例中,若匹配结果符合预设条件,可基于第二道路部件在高精地图中的第三地理位置以及移动设备的运动模型,定位移动设备。其中,预设条件可以为第一特征信息与第二特征信息匹配成功,即,第一特征信息与第二特征信息相同或者相似。在一实施例中,第二道路部件在高精地图总的地理坐标可以通过地球的经纬度或者UTM坐标来表示。
在一实施例中,可以通过移动设备在纵向和侧向的速度、移动设备的偏航角速度建立移动设备的运动模型,基于运动模型计算出移动设备相对第二道路部件在高精地图中的地理坐标的偏移坐标,基于偏移坐标和第二道路部件在高精地图中的地理坐标,定位移动设备。
在一示例性场景中,如图1B所示,通过移动设备上安装的GPS将移动设备定位到实心黑点11处,则实心黑点11处为本申请所述的第一地理位置,而移动设备在拍摄图像时的真实位置为A处,通过本申请可将通过GPS定位得到的第一地理位置进行纠正,将移动设备在拍摄图像时的位置准确地定位在A处,并基于A处的地理位置和移动设备的运动模型,将移动设备定位到当前所在的位置A’处。
具体地,通过上述步骤101识别出移动设备在实心黑点11处拍摄的图像中包含的左转箭头以及红绿灯,其中,图像中的左转箭头以及红绿灯均可视为本申请中的第一道路部件。提取图像中的左转箭头以及红绿灯各自的第一特征信息。通过上述步骤102,在高精地图中确定与图像中的左转箭头相同的左转箭头的第二特征信息,以及,确定与图像中的红绿灯相同的红绿灯的第二特征信息,其中,高精地图中的左转箭头以及红绿灯可视为本申请中的第二道路部件,第二道路部件在高精地图中的地理位置可视为本申请中的第三地理位置。通过上述步骤103,基于第一特征信息和第二特征信息的匹配结果,定位移动设备。具体地,若匹配结果表示第一特征信息与第二特征信息匹配成功,表示二者相似;基于A处前方的左转箭头在高精地图中的第三地理位置以及移动设备的运动模型,将移动设备定位到A’处,得到移动设备当前在高精地图中A’处的地理位置。
需要说明的是,图1B所示的红绿灯以及直行箭头仅为一个示例性说明,其并不能形成对本申请的限制,只要从拍摄的图像中识别出道路部件,均可通过本申请提供的定位方法基于图像中识别出的道路部件对移动设备进行定位。
本实施例中,由于通过确定图像中的第一道路部件的类别信息获知了第一道路部件所表示的物理意义,因此可将第一道路部件的类别信息视为高语义特征,第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示了道路部件的像素信息,因此可将第一特征信息与第二特征信息视为低级语义特征,通过将高语义特征与低语义特征结合,实现了对移动设备的高精度定位;由于道路部件上的图像特征信息的数量丰富且特征信息准确,并且图像特征信息作为道路部件的整体特征,不需要精确提取出图像中的第一道路部件的轮廓点即可基于道路部件实现定位,因此降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
图2本申请又一示例性实施例示出的定位方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何在高精地图中确定与类别信息相同的第二道路部件的第二特征信息为例并结合图1B进行示例性说明,如图2所示,包括如下步骤:
步骤201,确定图像中的第一道路部件的第一特征信息以及类别信息,其中,图像为移动设备在移动过程中拍摄的。
如图1B所示,通过GPS定位得到的移动设备在拍摄图像时的地理地理位置为实心黑点12处,从图像中识别到的第一道路部件包括红绿灯和直行箭头各自的第一特征信息,并识别出第一道路部件的类别信息为红绿灯和直行箭头。
步骤202,若与类别信息相同的道路部件的个数大于1,基于移动设备已有的定位***,确定移动设备在拍摄图像时的第一地理位置。
如图1B所示,若从高精地图中确定出的与红绿灯和直行箭头对应的道路部件包括B处、C处、D处、E处位于各自前方的直行箭头以及对应的红绿灯,即直行箭头的个数为4个,红绿灯的个数也为4个,均大于1。
在一实施例中,可基于移动设备上已有的定位***确定出第一地理位置。如图1B所示,通过GPS定位出移动设备在拍摄图像时的第一地理位置为实心黑点12处。
步骤203,确定距离当前最近一次定位得到的第二地理位置。
在一实施例中,第二地理位置为移动设备通过图1A所示实施例在距离当前最近一次定位得到的地理位置,如图1A所示,通过GPS定位得到实心黑点12处对应的地理位置,距离当前最近一次定位得到的地理位置为F处对应的地理位置,则F处对应的地理位置为本申请所述的第二地理位置。
步骤204,基于第二地理位置与第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件。
如图1B所示,基于F处的地理位置以及实心黑点12所在位置之间的位置关系,可确定出移动设备是由F处直行到达实心黑点12所在的路口,因此移动设备需要从F处移动至B处,由此可得知E处、B处、C处、D处各自对应的直行箭头以及对应的红绿灯中确定出B处对应的直行箭头以及对应的红绿灯为本申请中的第二道路部件。
步骤205,在高精地图中确定第二道路部件的第二特征信息。
在一实施例中,可在高精地图的图像图层中与矢量图层中的地理位置相同的地理位置处,确定第二道路部件的第二特征信息。也即,第二特征信息作为低语义特征,存储在高精地图的图像图层中。
步骤206,基于第一特征信息与第二特征信息的匹配结果,定位移动设备。
步骤206的描述可参见上述图1A或者下述图3所示实施例的描述,在此不再详述。
本实施例在具有上述图1A所示实施例的基础上,当图像中存在与类别信息相同的两个以上的道路部件时,通过移动设备距离当前最近一次定位得到的第二地理位置与第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件,可以确保将车辆定位到准确的位置,避免识别到的其他道路部件对定位结果产生干扰。
图3是本申请另一示例性实施例示出的定位方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何基于匹配结果以及移动设备的运动模型定位移动设备为例进行示例性说明,如图3所示,包括如下步骤:
步骤301,确定图像中的第一道路部件的第一特征信息以及类别信息,图像为移动设备在移动过程中拍摄的。
步骤302,在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
步骤303,匹配第一特征信息与第二特征信息,得到匹配结果。
步骤301-步骤303的描述可参见上述图1A所示实施例的描述,在此不再详述。
步骤304,若匹配结果符合预设条件,基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置。
在一实施例中,单目视觉定位方法的描述可参见现有技术的描述,本申请不再详细描述。如图1B所示,通过单目视觉定位方法可得到移动设备在拍摄图像时在高精地图中的第三地理位置,第三地理位置例如为(M,N)。在一实施例中,第三地理位置可以通过地球的经纬度或者UTM坐标来表示。
步骤305、基于第三地理位置以及移动设备的运动模型,定位移动设备。
移动设备的运动模型的描述可参见上述图1A所示实施例的描述,在此不在详述。例如,通过运动模型得到移动设备从拍摄图像时的时间点到当前时间点的偏移坐标为(ΔM,ΔN),则移动设备当前的位置为(M+ΔM,N+ΔN)。
本实施例在具有上述图1A所示实施例的基础上,基于移动设备在拍摄图像时移动设备在高精地图中的第三地理位置和移动设备的运动模型,实现对移动设备的定位,由于第一道路部件相对移动设备的距离较近,在通过定位***得到移动设备在拍摄图像时的地理位置存在较大误差的前提下,通过第一道路部件以及移动设备的运动模型对移动设备进行定位,可以避免已有的定位***对移动设备得到的定位结果带来的误差积累,提高移动设备的定位精度。
与前述定位方法的实施例相对应,本申请还提供了定位装置的实施例。
图4是本申请一示例性实施例示出的定位装置的结构示意图,如图4所示,定位装置包括:
第一确定模块41,用于确定图像中的第一道路部件的第一特征信息以及确定图像中的第一道路部件的类别信息,图像为移动设备在移动过程中拍摄的;
第二确定模块42,用于在高精地图中距离拍摄图像时的位置的预设范围内,确定与第一确定模块41确定的类别信息相同的第二道路部件的第二特征信息;
定位模块43,用于基于第一确定模块41得到的第一特征信息与第二确定模块42确定的第二特征信息的匹配结果,定位移动设备。
图5是本申请另一示例性实施例示出的定位装置的结构示意图,如图5所示,在上述图4所示实施例的基础上,第二确定模块42可包括:
第一确定单元421,用于基于移动设备已有的定位***,确定移动设备在拍摄图像时的第一地理位置;
第二确定单元422,用于在高精地图的矢量图层中距离第一确定单元421确定的第一地理位置范围的设定范围内,确定与类别信息相同的第二道路部件;
第三确定单元423,用于在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
在一实施例中,第二确定模块42可包括:
第四确定单元424,用于若与类别信息相同的道路部件的个数大于1,基于移动设备已有的定位***,确定移动设备在拍摄图像时的第一地理位置;
第五确定单元425,用于确定距离当前最近一次定位得到的第二地理位置;
第六确定单元426,用于基于第五确定单元425确定的第二地理位置与第四确定单元424确定的第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件;
第七确定单元427,用于在高精地图中确定第六确定单元426确定出的第二道路部件的第二特征信息。
在一实施例中,第七确定单元427具体可用于:
确定第二道路部件在矢量图层中的坐标位置;
在高精地图的图像图层中与矢量图层中的坐标位置相同的坐标位置处,确定第二道路部件的第二特征信息。
在一实施例中,定位模块43可包括:
匹配单元431,用于匹配第一特征信息与第二特征信息,得到匹配结果;
第八确定单元432,用于若匹配单元431得到的匹配结果符合预设条件,基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置;
定位单元433,用于基于第八确定单元432确定的第三地理位置以及移动设备的运动模型,定位移动设备。
在一实施例中,第一确定模块41可包括:
第九确定单元411,用于确定图像中的第一道路部件所在的位置框;
特征提取单元412,用于在第九确定单元411确定的第一道路部件的位置框中,提取第一道路部件的第一特征信息。
在一实施例中,高精地图的矢量图层中的道路部件标识对应的特征信息存储在高精地图的矢量图层中或者图像图层中。
在一实施例中,若高精地图中的道路部件的特征信息存储在高精地图的图像图层中,矢量图层中的类别信息与图像图层中的特征信息相关联。
本申请定位装置的实施例可以应用在移动设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在移动设备的处理器将非易失性存储介质中对应的计算机程序指令读取到内存中运行形成的,从而可执行上述图1A-图3任一实施例提供的定位方法。从硬件层面而言,如图6所示,为本申请定位装置所在移动设备的的一种硬件结构图,除了图6所示的处理器、内存、网络接口、以及非易失性存储介质之外,实施例中装置所在的移动设备的通常根据该移动设备的的实际功能,还可以包括其他硬件,对此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。