CN110967018A - 停车场定位方法、装置、电子设备及计算机可读介质 - Google Patents
停车场定位方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN110967018A CN110967018A CN201911168158.9A CN201911168158A CN110967018A CN 110967018 A CN110967018 A CN 110967018A CN 201911168158 A CN201911168158 A CN 201911168158A CN 110967018 A CN110967018 A CN 110967018A
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- map
- parking lot
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000000007 visual effect Effects 0.000 claims abstract description 103
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 239000002245 particle Substances 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本公开提供一种停车场定位方法、装置、电子设备及计算机可读介质,该方法包括:获取停车场的地图;将车载摄像机获取的第一视觉信息与所述地图关联,以确认车辆的初始位姿;根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;以及对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新所述车辆在所述地图中的定位。本公开的停车场定位方法、装置、电子设备及计算机可读介质,能够保证车辆在停车场内持续输出可靠的定位结果。
Description
技术领域
本公开涉及车辆导航领域,尤其涉及一种停车场定位方法、装置、电子设备及计算机可读介质。
背景技术
现有的定位技术需要有全球定位***的支持,而停车场内通常没有较强的GPS信号,因此现有的依靠于全球定位***的定位技术无法应用于停车场。现有车机中只有道路的地图,无停车场的地图,难以有效在停车场内进行导航。基于在停车场布置无线基站的定位方式(如UWB)不仅需要对现有停车场进行改造,还需要车辆自身安装无线信号接收装置,并不适合现有车辆的定位。而基于在停车场特定角落布置大量激光雷达的定位方式,无需改造现有车辆,但激光雷达的高昂成本,对该项技术的实际运行带来非常大的阻碍。
因此,需要一种新的停车场定位方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种停车场定位方法、装置、电子设备及计算机可读介质,能够保证车辆在停车场内持续输出可靠的定位结果。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的第一方面,提出一种停车场定位方法,该方法包括:获取停车场的地图;将车载摄像机获取的第一视觉信息与所述地图关联,以确认车辆的初始位姿;根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;以及对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新所述车辆在所述地图中的定位。
在本公开的一种示例性实施例中,对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波包括:将车载摄像机实时获取的第二视觉信息与所述地图进行关联;以及在判断将所述第二视觉信息与所述地图关联成功时,对所述车辆状态与所述第二视觉信息进行滤波。
在本公开的一种示例性实施例中,对所述车辆状态与所述第二视觉信息进行滤波包括:在判断所述第二视觉信息中包含视觉特征信息和\或绝对位置信息时,对所述车辆状态与所述第二视觉信息进行卡尔曼系滤波;以及在判断所述第二视觉信息中包含语义信息和\或绝对位置信息时,对所述车辆状态与所述第二视觉信息进行贝叶斯系滤波。
在本公开的一种示例性实施例中,对所述车辆状态与所述第二视觉信息进行贝叶斯系滤波包括:使用粒子滤波方法对所述车辆状态与所述第二视觉信息进行滤波。
在本公开的一种示例性实施例中,将车载摄像机实时获取的第二视觉信息与所述地图进行关联包括:将第二视角信息中的视觉特征信息与所述地图进行关联;和\或将第二视觉信息中的语义信息与所述地图进行关联;和\或将第二视角信息中的绝对位置信息与所述地图进行关联。
在本公开的一种示例性实施例中,将第二视角信息中的视觉特征信息与所述地图进行关联包括:计算所述视觉特征信息与所述地图中多个关键特征信息的相关性,以根据所述相关性确定预定个数的第一关键特征信息;确定所述视觉特征信息与所述预定个数的第一关键特征信息的特征点对信息;以及根据所述特征点对信息构建相机位姿估计问题,以求解所述车辆在所述地图中的位姿。
在本公开的一种示例性实施例中,将第二视觉信息中的语义信息与所述地图进行关联包括:使用基于代价的数据关联方法将第二视觉信息中的语义信息关联到所述地图中;以及使用基于代价的优化方法确定最优关联方式,以据此将所述语义信息关联到所述地图中。
在本公开的一种示例性实施例中,还包括:对所述第二视觉信息进行预处理,以生成俯视图信息;对所述俯视图信息进行特征提取,以生成第二特征信息;以及对所述第二特征信息进行分类识别,以生成语义信息。
在本公开的一种示例性实施例中,根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:通过轮式里程计、方向传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;和\或通过惯性传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态。
在本公开的一种示例性实施例中,通过轮式里程计、方向传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:将所述行驶信息输入自行车模型,以预测所述车辆在所述停车场中的车辆状态。
在本公开的一种示例性实施例中,通过惯性传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:对所述行驶信息进行积分运算,以预测所述车辆在所述停车场中的车辆状态。
根据本公开实施例的第二方面,提出一种停车场定位装置,该装置包括:地图获取模块,用于获取停车场的地图;地图关联模块,用于将车载摄像机获取的第一视觉信息与所述地图关联,以确认车辆的初始位姿;位置预测模块,用于根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;以及位置更新模块,用于对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新所述车辆在所述地图中的定位。
在本公开的一种示例性实施例中,所述地图关联模块还包括语义信息模块,用于根据相机获取的图像信息生成语义信息。
根据本公开实施例的第三方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一项所述的停车场定位方法。
根据本公开实施例的第四方面,提出一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上述任一项所述的停车场定位方法。
根据本公开的停车场定位方法、装置、电子设备及计算机可读介质,能够保证车辆在停车场内持续输出可靠的定位结果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种停车场定位方法的流程图。
图2是根据一示例性实施例示出的一种停车场定位方法的流程图。
图3是根据另一示例性实施例示出的一种停车场定位方法的流程图。
图4是根据另一示例性实施例示出的一种停车场定位方法的流程图。
图5是根据一示例性实施例示出的一种停车场定位装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图仅为本发明的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图对本发明示例实施方式进行详细说明。
图1是根据一示例性实施例示出的一种停车场定位方法的流程图。停车场定位方法10至少包括步骤S102至S108。
如图1所示,在S102中,获取停车场的地图。例如,车辆在进入停车场时,可根据其上一时刻的全球定位结果下载该定位点对应的停车场地图;又例如,若当前车辆此前已进入过该停车场,其地图已缓存在当前车辆的车机中,可直接加载车机中缓存的当前停车场的地图。停车场的地图中可以包括关键地区的图像特征信息,还可包括语义信息,语义信息例如但不限于为路牌标识、区域字符、地面箭头、车位信息等,此外,地图信息中还可包括绝对位置信息,绝对位置信息可例如但不限于为停车场号码等可唯一定位的位置信息。
在S104中,将车载摄像机获取的第一视觉信息与地图关联,以确认车辆的初始位姿。其中,第一视觉信息为在刚进入地图时,车载摄像机获取的图像信息。地图关联是指根据当前摄像机所提取的视觉特征找到其在地图中对应的位置,其将视觉特征与地图中的特征信息相匹配,以实现车辆在停车场地图中定位的目的。
在一个实施例中,将车载摄像机实时获取的第二视觉信息与地图进行关联包括:将第二视角信息中的视觉特征信息与地图进行关联;和\或将第二视觉信息中的语义信息与地图进行关联;和\或将第二视角信息中的绝对位置信息与地图进行关联。
在一个实施例中,将第二视角信息中的视觉特征信息与地图进行关联包括:计算视觉特征信息与地图中多个关键特征信息的相关性,以根据相关性确定预定个数的第一关键特征信息;确定视觉特征信息与预定个数的第一关键特征信息的特征点对信息;以及根据特征点对信息构建相机位姿估计问题,以求解车辆在地图中的位姿。其中,在创建地图时,可获取停车场中的全面视觉信息,并通过图像识别、文字识别、分类或手动录入等方法得到多个关键特征信息、语义信息以及绝对位置信息。在确定第一关键特征信息时,可根据相关性对多个关键特征信息排序,以挑选相关性最高的预定个数的第一关键特征信息。
在一个实施例中,将第二视觉信息中的语义信息与地图进行关联包括:使用基于代价的数据关联方法将第二视觉信息中的语义信息关联到地图中;以及使用基于代价的优化方法确定最优关联方式,以据此将语义信息关联到地图中。其中,基于代价的数据关联方法可将第二视觉信息中的语义信息以某种代价关联地图中的语义地标,并使用基于代价的优化方法确认一组最佳关联方式,以使总体代价最低。例如,将概率作为代价,在地图中某处看到的语义信息的概率集合与其给定概率相关,而通过基于代价的优化方法确认的最终定位地点会使得所有关联后的信息的总体概率最优。
在一个实施例中,还包括:对第二视觉信息进行预处理,以生成俯视图信息;对俯视图信息进行特征提取,以生成第二特征信息;以及对第二特征信息进行分类识别,以生成语义信息。其中,特征提取可包括滤波、以及特征通道图提取等操作。
在S106中,根据车载传感器实时获取的行驶信息预测车辆在停车场中的车辆状态。其中,车辆状态包括车辆的位姿、速度等。实时获取的行驶信息可动态表示车辆的行驶轨迹,以预测出车辆在停车场中的状态。
在一个实施例中,通过轮式里程计、方向传感器实时获取的行驶信息预测车辆在停车场中的车辆状态;和\或通过惯性传感器实时获取的行驶信息预测车辆在停车场中的车辆状态。其中,轮式里程计、方向传感器以及惯性传感器均为车载传感器。轮式里程计可检测到车轮的转速,方向传感器可检测到车轮的转角。
在一个实施例中,通过轮式里程计、方向传感器实时获取的行驶信息预测车辆在停车场中的车辆状态包括:将行驶信息输入自行车模型,以预测车辆在停车场中的车辆状态。在本实施例中,行驶信息包括实时的车轮转速与车轮转角,自行车模型是根据当前车辆建立的车辆模型,通过输入车轮转速与车轮转角,可以预测当前车辆的行驶路线,以据此预测车辆在停车场中的车辆状态。
在一个实施例中,通过惯性传感器实时获取的行驶信息预测车辆在停车场中的车辆状态包括:对行驶信息进行积分运算,以预测车辆在停车场中的车辆状态。其中,惯性传感器至少包括加速度计和陀螺仪,可以实时检测车辆的运动加速度和角速度信息。通过对加速度和角速度信息进行实践的一次积分和二次积分,能分别计算得到车辆的速度、转角和位置变化,从而预测得到车辆在停车场中的车辆状态。
在S108中,对车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新车辆在地图中的定位。其中,S206中获得的车辆状态为预测值,其与真实值具有一定的偏差,通过引入第二视觉信息对车辆状态进行滤波,可对其进行修正,以保证对车辆持续可靠的定位。
在一个实施例中,对车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波包括:将车载摄像机实时获取的第二视觉信息与地图进行关联;以及在判断将第二视觉信息与地图关联成功时,对车辆状态与第二视觉信息进行滤波。其中,第二视觉信息与S204中的第一视觉信息均为车载摄像机获取得到的,第一视觉信息为初始时刻获取的,第二视觉信息为后续时刻实时获取的。第二视觉信息与地图进行关联的过程与S204中的关联过程相同,此处不再赘述。
在一个实施例中,对车辆状态与第二视觉信息进行滤波包括:在判断第二视觉信息中包含视觉特征信息和\或绝对位置信息时,对车辆状态与第二视觉信息进行卡尔曼系滤波;以及在判断第二视觉信息中包含语义信息和\或绝对位置信息时,对车辆状态与第二视觉信息进行贝叶斯系滤波。其中,第二视觉信息中可包含多种特征信息,例如视觉特征信息、语义信息、绝对位置信息等,对不同类型的特征信息进行适配性的不同方式的滤波,以获取可靠的滤波效果。
在一个实施例中,对车辆状态与第二视觉信息进行贝叶斯系滤波包括:使用粒子滤波方法对车辆状态与第二视觉信息进行滤波。粒子滤波方法是通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数,用样本均值代替积分运算,进而获得***状态的最小方差估计的过程。
根据本公开的停车场定位方法,首先根据地图关联确定车辆在停车场内的初始位姿,再使用滤波方法进行视觉与车载传感器的融合定位,能够保证车辆在停车场内持续输出可靠的定位结果。
图2是根据一示例性实施例示出的一种停车场定位方法的流程图。停车场定位方法20至少包括步骤S202至S206。
如图2所示,在S202中,计算视觉特征信息与地图中多个关键特征信息的相关性,以根据相关性确定预定个数的第一关键特征信息。其中,视觉特征信息可以是通过车载摄像机所获取的视频中截取的某一帧的图像信息,并分别计算其与地图中每一关键帧之间的相关性,得到多个相关性,并将多个相关性按照大小排序,以挑选预定个数的相关性最高的对应的多个关键帧,即第一关键特征信息。
在S204中,确定视觉特征信息与预定个数的第一关键特征信息的特征点对信息。特征点对信息中为视觉特征信息与多个第一关键特征信息之间相互匹配的特征点信息。例如,视觉特征信息中包含有柱子A,某一关键特征信息中同样包含有柱子A,则柱子A为特征点对信息。其中,可通过比较特征描述子的距离例或光流的方式确定特征点对信息。
在S206中,根据特征点对信息构建相机位姿估计问题,以求解车辆在地图中的位姿。相机位姿估计问题(Perspective-n-Point)可求解三维到二维点对的运动的方法,即给出n个三维空间点时,求解相机的位姿。
根据本公开的停车场定位方法,将视觉传感器与车载传感器的检测数据进行融合定位,能够实时输出可靠定位结果。
根据本公开的停车场定位方法,通过将车载摄像机获取的视觉信息与地图关键信息进行匹配,能够对视觉信息与地图进行关联。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种停车场定位方法的流程图。停车场定位方法30至少包括步骤S302至S306。
如图3所示,在S302中,当车辆刚进入停车场时,利用地图关联的方法确定车辆的初始位姿。地图关联的方法在S104中进行了相关的介绍,此处不再赘述。
在S304中,利用位置预测的方法进行车辆状态的预测,同时利用视觉进行地图关联。其中,位置预测的方法在S106中进行了相关的介绍,此处不再赘述。
在S306中,当地图关联成功时,将地图关联的结果作为观测量,对位置预测的结果进行修正。其中,可通过滤波进行修正,其在S108中已进行相关的介绍,此处不再赘述。
本实施例的停车场定位方法中,由于位置预测的输出频率很高,车辆便能每时每刻输出位置预测的结果作为当前时刻的位姿,并在地图关联成功时,及时修正位置预测的累计误差,从而使车辆能一直保持持续可靠的定位能力。
图4是根据另一示例性实施例示出的一种停车场定位方法的流程图。停车场定位方法40至少包括步骤S402至S408。
在S402中,当车辆进入停车场时,在地图全局范围内,按照预设的位置和姿态间隔抛撒一定数量的粒子(每个粒子代表一种车辆位姿的假设)。对于每个粒子,首先从地图中获取其视野范围内(基于当前使用的摄像头的参数信息)的语义信息。
在S404中,对通过车载摄像机获取的语义信息在所有粒子附近进行地图关联并计算关联概率。并据此计算得到所有粒子的关联概率,并按照概率的大小为每个粒子赋予权重,那么此刻的车辆的位姿便是所有粒子位姿的加权求和的结果。
其中,关联概率代表了在当前粒子位置上看到摄像头数据的概率。概率大的粒子表示车辆在当前位置的概率比较大,反之亦然。
假设当前粒子视野范围内(基于当前使用的摄像头的参数信息)的语义信息为SetB,而当前摄像头视野范围内的语义信息为SetA。这里的关联是指将SetB中的语义物体对应到SetA中,例如SetB中有两个柱子B1、B2,SetA中有一个柱子A1,一个出口标志A2。此时B1可能是对应A1,也可能是图像识别算法将出口标志A2或其他非语义信息误判为柱子B2同上,从而将SetA与SetB中各信息排列对应关系组合排列后计算概率。
在S406中,对车辆的位姿的预测阶段。首先根据权重舍弃掉可能性很低的粒子,并在可能性很高的粒子位置附近复制更多的粒子(复制的粒子会存在不同的位置和姿态偏移);其次,对每个粒子,利用位置预测模块预测该粒子的位置,
在S408中,在下一帧图像到来时,进入位置更新阶段。在位置更新阶段,首先对当前图像的语义信息在所有粒子附近进行地图关联并计算关联概率;其次按概率大小为每个粒子重新赋予权重,并根据加权求和的方式计算出当前车辆的位姿。如此反复交替进行位置预测和更新,持续输出加权求和的结果,即当前车辆位置的位姿。
根据本公开的停车场定位方法,根据初始时刻的GPS定位结果下载当前停车场对应的地图(也可以是加载已经缓存在车机内的地图);当车辆进入停车场后,启动地图关联模块确定车辆的初始位姿并显示在导航设备上;接着车辆利用卡尔曼系滤波方法或贝叶斯系滤波方法进行视觉和车载传感器的融合定位,能够在导航设备上持续输出可靠的定位结果。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是根据一示例性实施例示出的一种停车场定位装置的框图。参照图5,停车场定位装置50至少包括:地图获取模块502、地图关联模块504、位置预测模块506以及位置更新模块508。
在停车场定位装置中,地图获取模块502用于获取停车场的地图。车辆在行驶进入停车场时,可根据其上一时刻的全球定位结果下载该定位点对应的停车场地图,或加载出已缓存在车机内的地图。
地图关联模块504用于将车载摄像机获取的第一视觉信息与地图关联,以确认车辆的初始位姿。其中,第一视觉信息为在刚进入地图时,车载摄像机获取的图像信息。地图关联是指根据当前摄像机所提取的视觉特征找到其在地图中对应的位置,其将视觉特征与地图中的特征信息相匹配,以实现车辆在停车场地图中定位的目的。
在一个实施例中,地图关联模块504还包括语义信息模块,用于根据相机获取的图像信息生成语义信息。其中,语义信息模块可包括目标检测模块和字符识别模块,字符识别模块中可包括预处理、特征抽取、目标分类、尺度预测与滑动窗管理等模块。预处理模块用于将一组同步后的环视鱼眼相机的图像做反向透视映射变成俯视图,而后进行拼接成完整全向俯视图;特征抽取模块用于将颜色、亮度等信息输入多种滤波器,以获取滤波结果,图像梯度方向直方图等整合后形成特征通道图,并产生局部主方向;滑动窗管理模块用于利用事先训练分类器在特征通道图中分类,识别出是否有语义的目标(包括斑马线,导向箭头,定车位等等);多帧视频跟踪后输出每个目标在环视图中的方位(该方位通过相机标定已经能定位在车的自坐标系里),作为观察的语义地标输出。建图时候使用类似的方法产生语义地标。
通过样本采集和标注,事先训练好上述检测器,其训练方法包括单模型和多模型方法。为进一步提高语义地标区分度,对上述地标进行进一步分类处理。将地标的局部图块取出并计算相关图像特征,包括梯度方向直方图,局部二进制模板等,然后输入事先训练好的分类器,典型的如支持向量机等,然后输出识别结果,将之前多帧结果依概率整合成统一识别结果。
位置预测模块506用于根据车载传感器实时获取的行驶信息预测车辆在停车场中的车辆状态。其中,车辆状态包括车辆的位姿、速度等。实时获取的行驶信息可动态表示车辆的行驶轨迹,以预测出车辆在停车场中的状态。
位置更新模块508用于对车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新车辆在地图中的定位。其中,位置预测模块506中获得的车辆状态为预测值,其与真实值具有一定的偏差,通过引入第二视觉信息对车辆状态进行滤波,可对其进行修正,以保证对车辆持续可靠的定位。
根据本公开的停车场定位装置,首先根据地图关联确定车辆在停车场内的初始位姿,再使用滤波方法进行视觉与车载传感器的融合定位,能够保证车辆在停车场内持续输出可靠的定位结果。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本公开的这种实施方式的电子设备200。图6显示的电子设备200仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同***组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图1,图2,图3,图4中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (15)
1.一种停车场定位方法,其特征在于,包括:
获取停车场的地图;
将车载摄像机获取的第一视觉信息与所述地图关联,以确认车辆的初始位姿;
根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;以及
对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新所述车辆在所述地图中的定位。
2.如权利要求1所述的方法,其特征在于,对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波包括:
将车载摄像机实时获取的第二视觉信息与所述地图进行关联;以及
在判断将所述第二视觉信息与所述地图关联成功时,对所述车辆状态与所述第二视觉信息进行滤波。
3.如权利要求2所述的方法,其特征在于,对所述车辆状态与所述第二视觉信息进行滤波包括:
在判断所述第二视觉信息中包含视觉特征信息和\或绝对位置信息时,对所述车辆状态与所述第二视觉信息进行卡尔曼系滤波;以及
在判断所述第二视觉信息中包含语义信息和\或绝对位置信息时,对所述车辆状态与所述第二视觉信息进行贝叶斯系滤波。
4.如权利要求3所述的方法,其特征在于,对所述车辆状态与所述第二视觉信息进行贝叶斯系滤波包括:
使用粒子滤波方法对所述车辆状态与所述第二视觉信息进行滤波。
5.如权利要求2所述的方法,其特征在于,将车载摄像机实时获取的第二视觉信息与所述地图进行关联包括:
将第二视角信息中的视觉特征信息与所述地图进行关联;和\或
将第二视觉信息中的语义信息与所述地图进行关联;和\或
将第二视角信息中的绝对位置信息与所述地图进行关联。
6.如权利要求5所述的方法,其特征在于,将第二视角信息中的视觉特征信息与所述地图进行关联包括:
计算所述视觉特征信息与所述地图中多个关键特征信息的相关性,以根据所述相关性确定预定个数的第一关键特征信息;
确定所述视觉特征信息与所述预定个数的第一关键特征信息的特征点对信息;以及
根据所述特征点对信息构建相机位姿估计问题,以求解所述车辆在所述地图中的位姿。
7.如权利要求5所述的方法,其特征在于,将第二视觉信息中的语义信息与所述地图进行关联包括:
使用基于代价的数据关联方法将第二视觉信息中的语义信息关联到所述地图中;以及
使用基于代价的优化方法确定最优关联方式,以据此将所述语义信息关联到所述地图中。
8.如权利要求3所述的方法,其特征在于,还包括:
对所述第二视觉信息进行预处理,以生成俯视图信息;
对所述俯视图信息进行特征提取,以生成第二特征信息;以及
对所述第二特征信息进行分类识别,以生成语义信息。
9.如权利要求1所述的方法,其特征在于,根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:
通过轮式里程计、方向传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;和\或
通过惯性传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态。
10.如权利要求9所述的方法,其特征在于,通过轮式里程计、方向传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:
将所述行驶信息输入自行车模型,以预测所述车辆在所述停车场中的车辆状态。
11.如权利要求9所述的方法,其特征在于,通过惯性传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态包括:
对所述行驶信息进行积分运算,以预测所述车辆在所述停车场中的车辆状态。
12.一种停车场定位装置,其特征在于,包括:
地图获取模块,用于获取停车场的地图;
地图关联模块,用于将车载摄像机获取的第一视觉信息与所述地图关联,以确认车辆的初始位姿;
位置预测模块,用于根据车载传感器实时获取的行驶信息预测所述车辆在所述停车场中的车辆状态;以及
位置更新模块,用于对所述车辆状态与通过车载摄像机实时获取的第二视觉信息进行滤波,以更新所述车辆在所述地图中的定位。
13.如权利要求12所述的装置,其特征在于,所述地图关联模块还包括语义信息模块,用于根据相机获取的图像信息生成语义信息。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911168158.9A CN110967018B (zh) | 2019-11-25 | 2019-11-25 | 停车场定位方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911168158.9A CN110967018B (zh) | 2019-11-25 | 2019-11-25 | 停车场定位方法、装置、电子设备及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110967018A true CN110967018A (zh) | 2020-04-07 |
CN110967018B CN110967018B (zh) | 2024-04-12 |
Family
ID=70031585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911168158.9A Active CN110967018B (zh) | 2019-11-25 | 2019-11-25 | 停车场定位方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110967018B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932820A (zh) * | 2020-06-29 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 对象检测的方法和装置 |
CN114266876A (zh) * | 2021-11-30 | 2022-04-01 | 北京百度网讯科技有限公司 | 定位方法、视觉地图的生成方法及其装置 |
WO2022077660A1 (zh) * | 2020-10-15 | 2022-04-21 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法和装置 |
WO2022205356A1 (zh) * | 2021-04-01 | 2022-10-06 | 深圳市大疆创新科技有限公司 | 自动泊车方法、电子设备及计算机可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160358337A1 (en) * | 2015-06-08 | 2016-12-08 | Microsoft Technology Licensing, Llc | Image semantic segmentation |
CN107024216A (zh) * | 2017-03-14 | 2017-08-08 | 重庆邮电大学 | 引入全景地图的智能车辆融合定位***及方法 |
CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
CN108981692A (zh) * | 2018-06-14 | 2018-12-11 | 兰州晨阳启创信息科技有限公司 | 一种基于惯导/视觉里程计的列车定位方法及*** |
US20190019330A1 (en) * | 2017-07-13 | 2019-01-17 | Toyota Jidosha Kabushiki Kaisha | Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program |
CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位*** |
CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
CN109858326A (zh) * | 2018-12-11 | 2019-06-07 | 中国科学院自动化研究所 | 基于类别语义弱监督的在线视觉跟踪方法及*** |
CN109945858A (zh) * | 2019-03-20 | 2019-06-28 | 浙江零跑科技有限公司 | 用于低速泊车驾驶场景的多传感融合定位方法 |
CN110118554A (zh) * | 2019-05-16 | 2019-08-13 | 深圳前海达闼云端智能科技有限公司 | 基于视觉惯性的slam方法、装置、存储介质和设备 |
CN110147094A (zh) * | 2018-11-08 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于车载环视***的车辆定位方法及车载终端 |
CN110362083A (zh) * | 2019-07-17 | 2019-10-22 | 北京理工大学 | 一种基于多目标跟踪预测的时空地图下自主导航方法 |
US20190331496A1 (en) * | 2016-12-14 | 2019-10-31 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Locating a vehicle |
-
2019
- 2019-11-25 CN CN201911168158.9A patent/CN110967018B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160358337A1 (en) * | 2015-06-08 | 2016-12-08 | Microsoft Technology Licensing, Llc | Image semantic segmentation |
US20190331496A1 (en) * | 2016-12-14 | 2019-10-31 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Locating a vehicle |
CN107024216A (zh) * | 2017-03-14 | 2017-08-08 | 重庆邮电大学 | 引入全景地图的智能车辆融合定位***及方法 |
US20190019330A1 (en) * | 2017-07-13 | 2019-01-17 | Toyota Jidosha Kabushiki Kaisha | Dynamic map update device, dynamic map update method, and non-transitory computer readable medium recording dynamic map update program |
CN108416808A (zh) * | 2018-02-24 | 2018-08-17 | 斑马网络技术有限公司 | 车辆重定位的方法及装置 |
CN108406731A (zh) * | 2018-06-06 | 2018-08-17 | 珠海市微半导体有限公司 | 一种基于深度视觉的定位装置、方法及机器人 |
CN108981692A (zh) * | 2018-06-14 | 2018-12-11 | 兰州晨阳启创信息科技有限公司 | 一种基于惯导/视觉里程计的列车定位方法及*** |
CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位*** |
CN110147094A (zh) * | 2018-11-08 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于车载环视***的车辆定位方法及车载终端 |
CN109858326A (zh) * | 2018-12-11 | 2019-06-07 | 中国科学院自动化研究所 | 基于类别语义弱监督的在线视觉跟踪方法及*** |
CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
CN109945858A (zh) * | 2019-03-20 | 2019-06-28 | 浙江零跑科技有限公司 | 用于低速泊车驾驶场景的多传感融合定位方法 |
CN110118554A (zh) * | 2019-05-16 | 2019-08-13 | 深圳前海达闼云端智能科技有限公司 | 基于视觉惯性的slam方法、装置、存储介质和设备 |
CN110362083A (zh) * | 2019-07-17 | 2019-10-22 | 北京理工大学 | 一种基于多目标跟踪预测的时空地图下自主导航方法 |
Non-Patent Citations (2)
Title |
---|
REZA JALIL MOZHDEHI等: "Deep convolutional particle filter for visual tracking", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 31 December 2018 (2018-12-31) * |
贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;: "图像匹配方法研究综述", 中国图象图形学报, no. 05, 16 May 2019 (2019-05-16) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113932820A (zh) * | 2020-06-29 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 对象检测的方法和装置 |
WO2022077660A1 (zh) * | 2020-10-15 | 2022-04-21 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法和装置 |
WO2022205356A1 (zh) * | 2021-04-01 | 2022-10-06 | 深圳市大疆创新科技有限公司 | 自动泊车方法、电子设备及计算机可读存储介质 |
CN114266876A (zh) * | 2021-11-30 | 2022-04-01 | 北京百度网讯科技有限公司 | 定位方法、视觉地图的生成方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110967018B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12032067B2 (en) | System and method for identifying travel way features for autonomous vehicle motion control | |
CN110967018B (zh) | 停车场定位方法、装置、电子设备及计算机可读介质 | |
AU2019233779B2 (en) | Vehicle tracking | |
Song et al. | Enhancing GPS with lane-level navigation to facilitate highway driving | |
WO2018229549A2 (en) | System and method for digital environment reconstruction | |
US8953838B2 (en) | Detecting ground geographic features in images based on invariant components | |
US10928819B2 (en) | Method and apparatus for comparing relevant information between sensor measurements | |
US11151391B2 (en) | Method and apparatus for creating a visual map without dynamic content | |
US11720992B2 (en) | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image | |
EP3640587A1 (en) | Method and apparatus for iteratively establishing object position | |
US11193789B2 (en) | Method, apparatus, and computer program product for identifying at-risk road infrastructure | |
WO2021003487A1 (en) | Training data generation for dynamic objects using high definition map data | |
EP4273501A1 (en) | Method, apparatus, and computer program product for map data generation from probe data imagery | |
Zinoune et al. | Detection of missing roundabouts in maps for driving assistance systems | |
WO2023017317A1 (en) | Environmentally aware prediction of human behaviors | |
US12044545B2 (en) | Method, apparatus, and computer program product for differential variable count entity output head for map generation | |
EP4148389A2 (en) | Method and apparatus for generating maps from geospatial observations | |
US20230280185A1 (en) | Method and apparatus for generating maps from aligned geospatial observations | |
US20230280184A1 (en) | Method and apparatus for generating maps from aligned geospatial observations | |
US20220196409A1 (en) | Method, apparatus, and computer program product for establishing three-dimensional correspondences between images | |
CN113762030A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
US20230280186A1 (en) | Method and apparatus for generating maps from aligned geospatial observations | |
US12008786B2 (en) | Method, apparatus, and computer program product for point-to-point translation between images | |
US10878287B2 (en) | Method and apparatus for culling training data | |
US20240151549A1 (en) | Method, apparatus, and computer program product for sensor data analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |