CN108846333B - 标志牌地标数据集生成及车辆定位方法 - Google Patents

标志牌地标数据集生成及车辆定位方法 Download PDF

Info

Publication number
CN108846333B
CN108846333B CN201810541090.3A CN201810541090A CN108846333B CN 108846333 B CN108846333 B CN 108846333B CN 201810541090 A CN201810541090 A CN 201810541090A CN 108846333 B CN108846333 B CN 108846333B
Authority
CN
China
Prior art keywords
signboard
image
point cloud
points
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810541090.3A
Other languages
English (en)
Other versions
CN108846333A (zh
Inventor
温程璐
游昌斌
王程
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810541090.3A priority Critical patent/CN108846333B/zh
Publication of CN108846333A publication Critical patent/CN108846333A/zh
Application granted granted Critical
Publication of CN108846333B publication Critical patent/CN108846333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种标志牌地标数据集生成及车辆定位方法，其中该标志牌数据集生成方法包括：标志牌的图像检测和识别；图像检测结果转化寻找标志牌牌面所在的粗略点云区域范围；得到标志牌牌面；得到标志牌的杆；获取标志牌的语义及空间特征；得到一系列标志牌地标数据集；本发明所述的标志牌地标数据集生成方法采用基于深度学习网络及反射特性两种方法结合的方式进行标志牌的提取，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息准确度、效率以及鲁棒性。

Description

标志牌地标数据集生成及车辆定位方法
技术领域
本发明涉及智能交通领域，特别涉及一种标志牌地标数据集生成及车辆定位方法。
背景技术
随着经济的发展，现代交通已经非常发达，而道路交通仍占据主导地位。作为交通***重要的组成部分，交通标志牌提供了道路环境的重要信息，帮助引导、警告、规范驾驶员行为，实现更安全便利的车辆行驶环境。同时，标志牌上的信息也为理解复杂的道路环境提供了线索。然而，道路交通标志的检测识别，以及相关空间信息的提取仍然是智能交通***研究领域中尚未完全解决的难题之一至今为止，有大量关于标志牌研究成果面世，但还存在不少问题和缺陷，导致获取交通标志牌的相关信息的获取效率较低。
传统的标志牌类型和空间信息的采集和计算主要是靠手工的，但是因为其巨大的工作量，所以很难保证实时及准确率。近几年有越来越多的基于图像上的(半)自动的方法来获取标志牌类型和几何信息。但是由于图像对光照条件以及视角角度比较敏感，所以在图像上作相关信息提取仍然后很大问题。同时，其准确的三维空间几何信息，以及相同或不同类型的标志牌间的准确位置和空间关系也很难从图像上直接计算得到。所以目前，作为能够提供精确的空间点云和图像的车载激光扫描数据，被越来越多应用到了智能交通相关的应用，包括了标志牌的检测、信息提取等研究工作。
地理定位是一类估计拍摄相片所在的地理空间位置的问题。它在很多方面有着广泛应用，如导航、目标跟踪、轨迹估计等。传统地理定位方法是通过与已含有位置信息的照片进行匹配来预测查询照片的地理位置，但是并不是所有地方都提供这类地面参照照片。另外一类方法是利用三维物体或模型信息来定下更有效准确的定位。基于此思路，我们可以利用道路上的三维物体，来帮助车辆进行辅助定位。相比于道路上其它物体，标志牌具有三大适用于此应用的特点。第一，标志牌具有稳定性，会长期放置在一个固定的位置；第二，标志牌在空间上分布均匀；第三，标志牌建立比较分散独立，没有严重的遮挡。因此，如何将标志牌(包括其点云、图像、及相关空间信息)作为地标数据来进行车辆辅助性的定位是具有价值和挑战的研究议题。
发明内容
本发明提供一种标志牌地标数据集生成及车辆定位方法，从而解决上述现有技术存在的技术问题。
为实现上述目的，本发明采用如下技术方案：
一种标志牌地标数据集生成方法，所述方法包括：
采用预先设置的标志牌图像库训练全卷积神经网络，并利用训练好的神经网络对采集得到的图像进行标志牌检测，以获取检测结果，其中所述检测结果包含标志牌的包围框和类型；
根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，以获取标志牌的牌面，并沿着Z轴方向找回标志牌的杆，以及根据体素的归一化割方法将标志牌与粘连的其他物体分开，最终获得完整标志牌；
对标志牌的类型进行重新认定，以确定正确的类型，并通过获取标志牌的空间特征，以得到一系列标志牌点云和相应的图像；
将标志牌点云重新映射回图像，以根据图像进行人工修正标志牌的类型，并将图像自动截取仅保留标志牌区域，以及并删除标志牌模糊及标志牌背面的图像，最终获得一系列的包含点云和图像的标志牌地标数据集。
上述的标志牌地标数据集生成方法通过获取标志牌的有效信息，以得到准确的标志牌地标数据集，提高标志牌的获取效率。
进一步地，根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，包括：
读取图像的拍摄位置点，并以该点为圆心，在点云XY平面上作半径为r的圆；
根据行车方向，确定前进方向的半圆范围；
将位于半圆范围内的三维点，根据图像像素点和点云点的关系映射回图像，保留能映射回图像包围框内的三维点，以得到标志牌牌面在点云中的粗略区域范围；
其中，关系方程如下：
Figure BDA0001679305440000021
其中
Figure BDA0001679305440000022
表示点云帧的齐次坐标点，
Figure BDA0001679305440000023
表示图像帧的齐次坐标点,s为比例因子,A为相机内参矩阵，[R|t]为相机外参矩阵。
进一步地，在获取标志牌的牌面之前，还包括以下步骤：
将被多次成功映射回图像包围框的三维点取出，将其设定为重叠区，剩余的三维点集设定为非重叠区；
重叠区中包含大量标志牌牌面及少量杂物，根据高度及牌面特性进行滤除以得到标志牌牌面；
对于非重叠区，采用基于反射特性进行提取：先进行地面滤除，再根据强度值保留高强度点，接着使用欧式聚类将剩余三维点进行分割，最后对各个聚类根据四个先验知识条件：点数、距地面高度、长度、线性与面性值，保留标志牌牌面。
上述的标志牌地标数据集生成方法采用基于深度学习网络及反射特性两种方法结合的方式进行标志牌的提取，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息准确度、效率以及鲁棒性。
进一步地，对标志牌的类型进行重新认定，以确定正确的类型，包括：
根据实际点云和图像传感器的距离远近，对同一标志牌对应的所有图像的识别概率分数进行重新分配，其中，点云距离图像传感器越近的概率分数越高，反之则越低；
通过选择函数重新确定其所属类型：
Figure BDA0001679305440000031
Figure BDA0001679305440000032
其中
Figure BDA0001679305440000033
为标志牌最可能的类型，Li为可能的类型i，
Figure BDA0001679305440000034
是类型Li在图像中识别到的次数，AvrSLi表示重复标签Li的平均概率分数,ω1和ω2是两个因素的权重值。
上述的标志牌地标数据集生成方法构建了一套二维-三维的语义空间标志牌地标数据，包含三维点云及相关的多视角图像，同时还含有标志牌的类型，位置，站位和几何特征信息。该数据集可用于后续的普查等相关研究工作。
一种车辆定位方法，所述方法包括：
S1、执行上述所述的标志牌地标数据集生成方法，以获取一系列标志牌地标数据集；
S2、对安装在车辆上的行车记录仪记录的每帧图像进行标志牌的检测；
S3、若检测到有存在标志牌的图像，则以该图像对应的GPS位置为圆心，搜索其半径为R的圆的范围，将数据集中在该范围内的点云和对应的图像提取出来，作为搜索库使用；
S4、将获得的搜索库内对应的点云及图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云；
S5、基于匹配的标志牌图像和点云，采用后方交会技术，基于共线方程的方法，人工选取n个控制点，并每轮使用n-1个控制点对误差函数进行最小化，计算最优外方位元素p，以并得到n个结果，以及选取其中误差函数最小的一个作为最终结果其中，外方位元素中图像的地理位置坐标即可设定为估计的车辆轨迹估计点，误差函数如下：
Figure BDA0001679305440000035
其中，n(n≥5)是控制点数量，xi,yi表示与实际物体点(Xi,Yi,Zi)对应的图像像素点i的坐标，f是相机焦距，ai,bi,ci(i＝1,2,3)是旋转矩阵
Figure BDA0001679305440000041
的元素，(Xo,Yo,Zo)是图像的地理位置坐标；
S6、重复执行步骤S3-S5，得到一系列的车辆轨迹估计点，将其线性连接，得到最终的车辆轨迹。
进一步地，所述步骤S4中，将获得的搜索库内对应的点云和图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云，包括：
S41、利用预训练好的网络模型ImageNet-VGG-f进行搜索库的图像及检索图像的特征提取；
S42、将检索图像的特征与搜索库的所有图像特征进行相似度距离度量，其中，采用余弦距离作为度量；
S43、返回相似度最高的N张图像所相对应的点云，通过比对选取最近似的图像，其对应的点云即为进行检索的图像上标志牌对应的实际点云。
本发明的车辆定位方法提出了基于上述标志牌地标数据集进行车辆的辅助性定位，利用空间后方交会技术有效地降低了车辆的定位误差。
附图说明
图1为本发明的标志牌地标数据集生成方法的流程图；
图2为本发明获取标志牌空间特征的示意图；
图3为本发明部分标志牌地标数据集结果示意图；
图4为本发明将数据集组织成图的示意图；
图5为本发明的车辆定位方法的流程图；
图6为本发明的车俩轨迹估计结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图以及具体实施方式，对本发明做进一步描述：
实施例1
图1是本发明实施例中标志牌地标数据集生成方法的流程图，如图1所示，所述方法包括：
步骤1：标志牌的图像检测。
预先使用开源的标志牌图像库Tsinghua-tencent 100K训练全卷积神经网络，利用训练好的神经网络对采集得到的所有三维点云图像进行标志牌的检测；检测后的图像带有标志牌的包围框和类型。
步骤2：寻找标志牌牌面所在的粗略点云区域范围。
图像检测完成后，根据标志牌的包围框，转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，具体步骤如下所示：
读取图像的拍摄位置点，并以此为圆心，在点云XY平面上作半径为r的圆；
根据行车方向，确定前进方向的半圆范围；
将位于半圆范围内的三维点，根据图像像素点和点云点的关系映射回图像，映射回图像的点若位于包围框内，将其保留，以得到标志牌牌面在点云中的一个粗略区域结果。其中，关系方程如下：
Figure BDA0001679305440000051
其中
Figure BDA0001679305440000052
和
Figure BDA0001679305440000053
分别代表点云帧和图像帧的齐次坐标点,s为比例因子,A和[R|t]分别是相机内参和外参矩阵。
步骤3：得到标志牌牌面。
由于采集过程使用4个相机拍摄，且每一秒拍摄一次，导致同一标志牌可能包含在多个视角的图像中，因此可以将被多次成功映射回图像包围框的三维点取出，将其设定为重叠区，剩余三维点集设定为非重叠区；
重叠区中包含大量标志牌牌面及少量杂物，只需要根据高度及牌面特性进行滤除以得到标志牌牌面；
对于对于非重叠区，采用基于反射特性进行提取：先进行地面滤除，再根据强度值保留高强度点，接着使用欧式聚类将剩余三维点进行分割，最后对各个聚类根据四个先验知识条件：点数、距地面高度、长度、线性与面性值，保留标志牌牌面。
步骤4：得到标志牌的杆。
获得标志牌牌面后，并朝着Z轴方向找回标志牌的杆。
找回杆的过程可能会使得标志牌与其他物体粘连，所以引入基于体素的归一化割的方法将标志牌与其他物体分开，归一化割权重图边上的权重值表示如下：
Figure BDA0001679305440000054
其中
Figure BDA00016793054400000511
和
Figure BDA00016793054400000512
是XY平面的质心坐标，
Figure BDA0001679305440000055
和
Figure BDA0001679305440000056
是质心的Z坐标，
Figure BDA0001679305440000057
和
Figure BDA0001679305440000058
分别为体素i和j内点的插值归一化强度值，
Figure BDA0001679305440000059
和
Figure BDA00016793054400000510
分别代表水平、垂直和强度的分布方差,dXY为距离阈值，表示两体素间最大有效水平距离。
步骤5：获取标志牌的语义及空间特征。
获取语义特征：图像检测结果中包含标志牌的类型；但是由于图像的光照等条件不同，可能同一标志牌在不同的图像下被网络识别为不同类型。为了确定正确的类型：首先根据实际点云和图像传感器的距离远近，对同一标志牌对应的所有图像的识别概率分数进行重新分配，其中，点云距离图像传感器越近，概率分数越高，反之越低。
通过选择函数重新确定其所属类型：
Figure BDA0001679305440000061
Figure BDA0001679305440000062
其中
Figure BDA0001679305440000063
代表标志牌最可能的类型，Li表示可能的类型i，
Figure BDA0001679305440000064
是类型Li在图像中识别到的次数，AvrSLi表示重复标签Li的平均概率分数,ω1和ω2是两个因素的权重值(在本实施例中均设定为0.5)。
获取空间特征：包括位置、站位及几何特征；具体如图2所示，位置：标志牌杆底部圆心点坐标；站位：1、距离路边界的距离dt2、水平角αd(定义为路边点R的正切向量vr与标志牌牌面法向量nt的夹角)；几何特征：1、标志牌高度ht(定义为牌面质心距离地面的高度)2、倾斜角αt(定义为杆的方向np与相对于标志牌方向的垂直方向的夹角)3、倾斜角αp(定义为杆的方向np与相对于标志牌侧面的垂直方向的夹角)。
步骤6：得到一系列标志牌地标数据集。
通过步骤1至步骤5得到一系列标志牌点云和相应的图像。为了得到更完整准确的数据集，具体步骤如下所示：
考虑到有部分标志牌被误识别或由于缺少训练样本不能被深度网络识别，将标志牌点云重新映射回图像，根据图像进行人工修正类型；
将图像自动截取仅保留标志牌区域，并删除标志牌模糊及仅含标志牌背面的图像；
分配同一ID号给点云和相对应的图像；如图3所示为部分数据集结果的示意图。
在完成数据集构建后，可以将其组织成图的形式，如图4所示。结点表示标志牌及其特征，边表示结点间的欧氏距离。同时，数据集可以导入到地理信息***中(GIS)，在可视化界面中可以更直观明显地看到其分布以及对应的特征，用于后续的分布合理性分析、标志牌的普查等。
实施例2
图5是本发明实施例中车辆定位方法的流程图，如图5所示，所述方法包括：
S1、获取一系列标志牌地标数据集。
其中，所述获取一系列标志牌地标数据集所采用的方法为实施例1中所述的标志牌地标数据集生成方法。
S2、对安装在车辆上的行车记录仪记录的每帧图像进行标志牌的检测。
S3、若检测到有存在标志牌的图像，则以该图像对应的GPS位置为圆心，搜索其半径为R的圆的范围，将数据集中在该范围内的点云和对应的图像提取出来，作为搜索库使用。
S4、将获得的搜索库内对应的点云和图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌图像和点云；具体步骤如下所示：
S41、利用预训练好的网络模型ImageNet-VGG-f进行搜索库的图像及检索图像的特征提取；
S42、将检索图像的特征与搜索库的所有图像特征进行相似度距离度量，采用余弦距离作为度量；
S43、返回相似度最高的N张图像其相对应的点云，通过比对选取最近似的图像，其对应的点云即为进行检索的图像上标志牌对应的实际点云。
S5、基于匹配的标志牌图像和点云，采用后方交会技术，基于共线方程的方法，人工选取5个控制点，并每轮使用4个控制点对误差函数进行最小化，计算最优外方位元素p，以得到5个结果，以及选取其中误差函数最小的一个作为最终结果其中，外方位元素中图像的地理位置坐标即可设定为估计的车辆轨迹估计点，误差函数如下：
Figure BDA0001679305440000071
其中，n是控制点数量，xi,yi表示与实际物体点(Xi,Yi,Zi)对应的图像像素点i的坐标，f是相机焦距，ai,bi,ci(i＝1,2,3)是旋转矩阵
Figure BDA0001679305440000072
的元素，(Xo,Yo,Zo)是图像的地理位置坐标。
S6、重复执行步骤S3-S5，得到一系列的车辆轨迹估计点，将其线性连接，以得到最终如图6所示的车辆轨迹结果。
本发明所述的标志牌地标数据集生成及车辆定位方法采用基于深度学习网络及反射特性两种方法结合的方式进行标志牌的提取，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息准确度、效率以及鲁棒性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；对于本技术领域的普通技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的保护范围。

Claims (6)

1.一种标志牌地标数据集生成方法，其特征在于，所述方法包括：
采用预先设置的标志牌图像库训练全卷积神经网络，并利用训练好的神经网络对采集得到的图像进行标志牌检测，以获得检测结果，其中，所述检测结果包含标志牌的包围框和类型；
根据所述标志牌的包围框转化回三维点云中的位置以便寻找标志牌牌面所在的粗略区域范围，进而获取标志牌的牌面，并沿着Z轴方向找回标志牌的杆，以及根据体素的归一化割方法将标志牌与相粘连的其他物体分开，最终获得完整标志牌；
对标志牌的类型进行重新认定，以确定正确的类型，并通过获取标志牌的空间特征，以得到一系列标志牌点云和相应的图像；
将标志牌点云重新映射回图像，以根据图像进行人工修正标志牌的类型，并将图像自动截取仅保留标志牌区域，以及删除标志牌模糊及标志牌背面的图像，最终获得一系列的包含点云和图像的标志牌地标数据集；
其中，根据所述标志牌的包围框转化回三维点云中的位置以便寻找标志牌牌面所在的粗略区域范围，进而获取标志牌的牌面，包括：读取所述图像拍摄的位置点，并以该点为圆心，在点云XY平面上作半径 为r的圆；
根据行车方向，确定前进方向的半圆范围；
将位于所述半圆范围内的三维点，根据图像像素点和点云点的关系映射回图像，并保留能映射回图像包围框内的三维点，以得到标志牌牌面在点云中的粗略区域范围；
将被多次成功映射回图像包围框的三维点取出，将其设定为重叠区，剩余的三维点集设定为非重叠区；
对重叠区中包含大量标志牌牌面及少量杂物，根据高度及牌面特性进行滤除以得到标志牌牌面；
对非重叠区，采用基于反射特性进行提取以得到标志牌牌面；
其中，对标志牌的类型进行重新认定，以确定正确的类型，包括：
根据实际点云和图像传感器的距离远近，对同一标志牌对应的所有图像的识别概率分数进行重新分配，其中，点云距离图像传感器越近的概率分数越高，反之则越低；
通过选择函数重新确定其所属类型；
其中，标志牌的空间特征包括标志牌的位置、站位及几何特征。
2.根据权利要求1所述的标志牌地标数据集生成方法，其特征在于，图像像素点和点云点的关系方程如下：
Figure FDA0003277985190000011
其中
Figure FDA0003277985190000021
表示点云帧的齐次坐标点，
Figure FDA0003277985190000022
表示图像帧的齐次坐标点,s为比例因子,A为相机内参矩阵，[R|t]为相机外参矩阵。
3.根据权利要求2所述的标志牌地标数据集生成方法，其特征在于，
对于非重叠区，采用基于反射特性进行提取包括以下步骤：
进行地面滤除；
根据标志牌牌面的强度值保留高强度点；
使用欧式聚类将剩余三维点进行分割；
对各个聚类根据四个先验知识条件：点数、距地面高度、长度、线性与面性值，保留标志牌牌面。
4.根据权利要求1所述的标志牌地标数据集生成方法，其特征在于，
通过选择函数重新确定其所属类型的公式如下所示：
Figure FDA0003277985190000023
Figure FDA0003277985190000024
其中
Figure FDA0003277985190000025
为标志牌最可能的类型，Li为可能的类型i，
Figure FDA0003277985190000026
是类型Li在图像中识别到的次数，AvrSLi表示重复标签Li的平均概率分数,ω1和ω2是两个因素的权重值。
5.一种车辆定位方法，其特征在于，所述方法包括：
S1、执行根据权利要求1-4中任一项所述的标志牌地标数据集生成方法，以获取一系列标志牌地标数据集；
S2、对安装在车辆上的行车记录仪记录的每帧图像进行标志牌的检测；
S3、若检测到有存在标志牌的图像，则以该图像对应的GPS位置为圆心，搜索其半径为R的圆的范围，将数据集中在该范围内的点云和对应的图像提取出来，作为搜索库使用；
S4、将获得的搜索库内对应的点云及图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云；
S5、基于匹配的标志牌图像和点云，采用后方交会技术，基于共线方程的方法，人工选取n个控制点，并每轮使用n-1个控制点对误差函数进行最小化，计算最优外方位元素p，以得到n个结果，以及选取其中误差函数最小的一个作为最终结果其中，外方位元素中图像的地理位置坐标即可设定为估计的车辆轨迹估计点，误差函数如下：
Figure FDA0003277985190000027
Figure FDA0003277985190000031
其中，n，n≥5是控制点数量，xi,yi表示与实际物体点(Xi,Yi ,Zi)对应的图像像素点i的坐标，f是相机焦距，ai,bi,ci，i＝1,2,3是旋转矩阵
Figure FDA0003277985190000032
的元素，(Xo,Yo,Zo)是图像的地理位置坐标；
S6重复执行步骤S3-S5，得到一系列的车辆轨迹估计点，将其线性连接，以得到最终的车辆轨迹。
6.根据权利要求5所述的车辆定位方法，其特征在于，所述步骤S4中，将获得的搜索库内对应的点云和图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云，包括：
S41、利用预训练好的网络模型ImageNet-VGG-f进行搜索库的图像及检索图像的特征提取；
S42、将检索图像的特征与搜索库的所有图像特征进行相似度距离度量，其中，采用余弦距离作为度量；
S43、返回相似度最高的N张图像所相对应的点云，通过比对选取最近似的图像，其对应的点云即为进行检索的图像上标志牌对应的实际点云。
CN201810541090.3A 2018-05-30 2018-05-30 标志牌地标数据集生成及车辆定位方法 Active CN108846333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810541090.3A CN108846333B (zh) 2018-05-30 2018-05-30 标志牌地标数据集生成及车辆定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810541090.3A CN108846333B (zh) 2018-05-30 2018-05-30 标志牌地标数据集生成及车辆定位方法

Publications (2)

Publication Number Publication Date
CN108846333A CN108846333A (zh) 2018-11-20
CN108846333B true CN108846333B (zh) 2022-02-18

Family

ID=64211100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810541090.3A Active CN108846333B (zh) 2018-05-30 2018-05-30 标志牌地标数据集生成及车辆定位方法

Country Status (1)

Country Link
CN (1) CN108846333B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766830B (zh) * 2019-01-09 2022-12-27 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别***及方法
CN110243368A (zh) * 2019-04-29 2019-09-17 丰疆智能科技研究院(常州)有限公司 智能农机的行驶轨迹建立***及其应用
CN111860084B (zh) * 2019-04-30 2024-04-16 千寻位置网络有限公司 图像特征的匹配、定位方法及装置、定位***
CN110110696B (zh) * 2019-05-17 2022-07-05 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN110136181B (zh) * 2019-05-17 2021-08-20 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110501018B (zh) * 2019-08-13 2021-11-02 广东星舆科技有限公司 一种服务于高精度地图生产的交通标志牌信息采集方法
CN114526720B (zh) * 2020-11-02 2024-04-16 北京四维图新科技股份有限公司 定位的处理方法、装置、设备及存储介质
CN112507887B (zh) * 2020-12-12 2022-12-13 武汉中海庭数据技术有限公司 一种路口标志牌提取及关联的方法及装置
CN113936465B (zh) * 2021-10-26 2023-08-18 公安部道路交通安全研究中心 交通事件检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105678318A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 交通标牌的匹配方法及装置
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106560835A (zh) * 2015-09-30 2017-04-12 高德软件有限公司 一种路牌识别方法及装置
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN107818288A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460355B2 (en) * 2014-10-14 2016-10-04 Here Global B.V. Lateral sign placement determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061156A (ko) * 2012-11-13 2014-05-21 한국건설기술연구원 도로표지판의 위치검출 방법
CN106560835A (zh) * 2015-09-30 2017-04-12 高德软件有限公司 一种路牌识别方法及装置
CN105678318A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 交通标牌的匹配方法及装置
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN107818288A (zh) * 2016-09-13 2018-03-20 腾讯科技（深圳）有限公司 标志牌信息获取方法及装置
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Improving Vehicle Localization Using Semantic and Pole-Like Landmarks;M. Sefati et al.;《2017 IEEE Intelligent Vehicles Symposium (IV)》;20171231;第13-19页 *
Rapid traffic sign damage inspection in natural scenes using mobile laser scanning data;Changbin You et al.;《2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20171231;第6272-6273页第2节 *
Spatial-Related Traffic Sign Inspection for Inventory Purposes Using Mobile Laser Scanning Data;Chenglu Wen et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20160131;第17卷(第1期);第27-37页 *
基于移动激光点云的交通标志牌特征提取;瓮升霞 等;《厦门大学学报（自然科学版）》;20160731;第55卷(第4期);第580-585页 *

Also Published As

Publication number Publication date
CN108846333A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108846333B (zh) 标志牌地标数据集生成及车辆定位方法
CN107967457B (zh) 一种适应视觉特征变化的地点识别与相对定位方法及***
CN108694882B (zh) 用于标注地图的方法、装置和设备
US10049492B2 (en) Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
US9846946B2 (en) Objection recognition in a 3D scene
Toft et al. Long-term 3d localization and pose from semantic labellings
EP3502621B1 (en) Visual localisation
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
US20130243250A1 (en) Location of image capture device and object features in a captured image
EP3992922A1 (en) Incorporation of semantic information in simultaneous localization and mapping
JP2015148601A (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
US10872246B2 (en) Vehicle lane detection system
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Zhang et al. Rapid inspection of pavement markings using mobile LiDAR point clouds
Yadav et al. Identification of trees and their trunks from mobile laser scanning data of roadway scenes
CN111914817B (zh) 一种基于种子点的道路识别方法及***
CN111383286B (zh) 定位方法、装置、电子设备及可读存储介质
You et al. Joint 2-D–3-D traffic sign landmark data set for geo-localization using mobile laser scanning data
CN113838129B (zh) 一种获得位姿信息的方法、装置以及***
Kukolj et al. Road edge detection based on combined deep learning and spatial statistics of LiDAR data
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
Nedevschi A method for automatic pole detection from urban video scenes using stereo vision
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN111488771B (zh) Ocr挂接方法、装置与设备
CN113642430A (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant