CN111858979A - 数据库构建方法和装置、障碍物识别方法、装置和*** - Google Patents

数据库构建方法和装置、障碍物识别方法、装置和*** Download PDF

Info

Publication number
CN111858979A
CN111858979A CN202010717031.4A CN202010717031A CN111858979A CN 111858979 A CN111858979 A CN 111858979A CN 202010717031 A CN202010717031 A CN 202010717031A CN 111858979 A CN111858979 A CN 111858979A
Authority
CN
China
Prior art keywords
image
image frame
image frames
obstacle
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010717031.4A
Other languages
English (en)
Other versions
CN111858979B (zh
Inventor
孔旗
许新玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010717031.4A priority Critical patent/CN111858979B/zh
Publication of CN111858979A publication Critical patent/CN111858979A/zh
Application granted granted Critical
Publication of CN111858979B publication Critical patent/CN111858979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供一种数据库构建方法和装置、障碍物识别方法、装置和***。数据库构建装置接收图像采集设备在预设路线上采集的多个第一图像帧；去除多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧；提取每个第二图像帧的特征向量；从每个第二图像帧中提取关键点和对应描述向量；将每个第二图像帧及对应定位信息、特征向量、关键点和对应描述向量存入数据库中。在数据库中搜索与实时图像帧相匹配的匹配图像帧；提取出实时图像帧中障碍物区域的关键点和关键点描述向量；将实时图像帧的关键点描述向量与匹配图像帧的关键点描述向量进行匹配以得到匹配关键点；若匹配关键点数量大于门限，则将障碍物区域标记为静态障碍物。

Description

数据库构建方法和装置、障碍物识别方法、装置和***
技术领域
本公开涉及信息处理领域，特别涉及一种数据库构建方法和装置、障碍物识别方法、装置和***。
背景技术
在自动驾驶领域中，通过感知车辆周边的障碍物，在相关技术中，自动驾驶车辆在获取图像之后，使用深度卷积神经网络进行障碍物检测和类型识别，估计出障碍物的位置，大小，方向和类别，以便自动驾驶车辆实现路径和速度的规划。
发明内容
发明人通过研究发现，在相关技术中，通常会将行驶路线两侧固定不同的物体(例如绿化带、花坛、树桩等)识别成具有运动能力的车辆。此外，对于图像中存在的虚假物体，例如广告宣传画中的车辆、人体等也极容易出现误识别，从而影响自动驾驶车辆的路径和速度规划。
为了能够在自动驾驶领域中有效识别出静态障碍物而提出本公开的内容，能够有效识别出不具有运动能力的静态障碍物。
根据本公开实施例的第一方面，提供一种数据库构建方法，包括：接收图像采集设备在预设路线上采集的多个第一图像帧；去除所述多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧；提取每个第二图像帧的特征向量；从所述每个第二图像帧中提取关键点和与所述关键点相对应的描述向量；将所述每个第二图像帧、与所述每个第二图像帧相对应的所述图像采集设备的定位信息、所述特征向量，所述关键点和与所述关键点相对应的描述向量存入数据库中。
在一些实施例中，提取每个第二图像帧的特征向量包括：从所述多个第二图像帧中依次提取出多个关键帧，其中任意两个相邻的第一关键帧与第二关键帧的图像重叠率小于预设门限值；提取每个关键帧的特征向量。
在一些实施例中，与所述第一关键帧对应的所述图像采集设备的位置信息和与所述第二关键帧对应的所述图像采集设备的位置信息之间的偏差大于预设距离门限；或者与所述第一关键帧对应的所述图像采集设备的姿态信息和与所述第二关键帧对应的所述图像采集设备的姿态信息之间的偏差大于预设角度门限。
在一些实施例中，从所述每个第二图像帧中提取关键点和与所述关键点相关联的描述向量包括：从所述每个关键帧中提取关键点和与所述关键点相关联的描述向量。
根据本公开实施例的第二方面，提供一种数据库构建装置，包括：第一接收模块，被配置为接收图像采集设备在预设路线上采集的多个第一图像帧；图像帧处理模块，被配置为去除所述多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧；第一提取模块，被配置为提取每个第二图像帧的特征向量；第二提取模块，被配置为从所述每个第二图像帧中提取关键点和与所述关键点相对应的描述向量；构建模块，被配置为将所述每个第二图像帧、与所述每个第二图像帧相对应的所述图像采集设备的定位信息、所述特征向量，所述关键点和与所述关键点相对应的描述向量存入数据库中。
根据本公开实施例的第三方面，提供一种障碍物识别方法，包括：接收图像采集设备采集的实时图像帧；在利用上述任一实施例所述的数据库构建方法所得到的数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧；在所述实时图像帧中进行障碍物检测，以确定障碍物区域；提取出所述障碍物区域中关键点和相应的关键点描述向量；将所述实时图像帧的关键点描述向量与所述预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点；若所述匹配关键点的数量大于预设的关键点门限，则将所述障碍物区域标记为静态障碍物。
在一些实施例中，若所述匹配关键点的数量不大于预设的关键点门限，则将所述障碍物区域标记为动态障碍物。
在一些实施例中，在所述数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧包括：根据与所述实时图像帧对应的所述图像采集设备的位置信息，从所述数据库中提取出与以所述位置信息为中心的预设区域相对应的图像帧以作为候选图像帧；从所述数据库中提取出所述候选图像帧的特征向量；提取所述实时图像帧的特征向量；将所述实时图像帧的特征向量和所述候选图像帧的特征向量进行匹配，将所述预定数量个匹配度最高的候选图像帧作为匹配图像帧。
根据本公开实施例的第四方面，提供一种障碍物识别装置，包括：第二接收模块，被配置为接收图像采集设备采集的实时图像帧；搜索模块，被配置为在利用上述任一实施例所述的数据库构建方法所得到的数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧；检测模块，被配置为在所述实时图像帧中进行障碍物检测，以确定障碍物区域；第三提取模块，被配置为提取出所述障碍物区域中关键点和相应的关键点描述向量；匹配模块，被配置为将所述实时图像帧的关键点描述向量与所述预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点；识别模块，被配置为若所述匹配关键点的数量大于预设的关键点门限，则将所述障碍物区域标记为静态障碍物。
根据本公开实施例的第五方面，提供一种电子设备，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第六方面，提供一种自动驾驶车辆，包括：如上述任一实施例所述的电子设备；图像采集设备，被配置为采集图像帧。
根据本公开实施例的第七方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的数据库构建方法的流程示意图；
图2为本公开一个实施例的数据库构建装置的结构示意图；
图3为本公开一个实施例的电子设备的结构示意图；
图4为本公开一个实施例的障碍物识别方法的流程示意图；
图5为本公开一个实施例的障碍物识别装置的结构示意图；
图6为本公开另一个实施例的电子设备的结构示意图；
图7为本公开一个实施例的自动驾驶车辆的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的数据库构建方法的流程示意图。在一些实施例中，下列的数据库构建方法步骤由数据库构建装置执行。
在步骤101中，接收图像采集设备在预设路线上采集的多个第一图像帧。
在一些实施例中，数据采集车上的图像采集设备设置有多种传感器，例如GPS(Global Positioning System，全球定位***)/IMU(Inertial Measurement Unit，惯性测量单元)定位传感器、激光雷达、摄像头、毫米波雷达等感知传感器。
在步骤102中，去除多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧。
这里需要说明的是，为了提高识别精度，数据采集车会在预设路线上进行多次图像采集，以便从不同方位和角度采集数据。例如，一座建筑物边上有一个花坛，有一个人站在花坛边打电话。这个人在打完电话后离开。通过将与该建筑物相关的图像帧进行特征比对，能够发现花坛是没有运动能力的静态障碍物，而这个人是具有运动能力的动态障碍物。通过去除图像帧中运动能力的动态障碍物，从而在图像帧中保留没有运动能力的静态障碍物。
在步骤103中，提取每个第二图像帧的特征向量。
在一些实施例中，特征向量的维度为64维、128维或256维。特征向量的维度越高，则对图像帧的表征能力就越强。
在一些实施例中，为了减小后续的搜索和匹配时间，从多个第二图像帧中依次提取出多个关键帧，其中任意两个相邻的第一关键帧与第二关键帧的图像重叠率小于预设门限值。接下来提取每个关键帧的特征向量，由此可有效减少特征向量的数量。多个第二图像帧中的其它图像帧不进行特征向量提取处理。
在一些实施例中，与第一关键帧对应的图像采集设备的位置信息和与第二关键帧对应的图像采集设备的位置信息之间的偏差大于预设距离门限。
例如，t时刻的各个视野的摄像头图像和t+N时刻的各个视野的摄像头图像之间没有重叠，那么将t时刻的各个视野的摄像头图像和t+N时刻的各个视野的摄像头图像作为关键帧。而在t时刻和t+N时刻之间的时刻(t+1，t+2，…，t+(N-1))所采集的图像不是关键帧。
在一些实施例中，与第一关键帧对应的图像采集设备的姿态信息和与第二关键帧对应的图像采集设备的姿态信息之间的偏差大于预设角度门限。
例如，采集车在t时刻的姿态角为E1，在t+M时刻的姿态角为EM，若EM和E1之间的变化超过一定角度(例如5度)，则将t时刻的各个视野的摄像头图像和t+M时刻的各个视野的摄像头图像作为关键帧。而在t时刻和t+M时刻之间的时刻(t+1，t+2，…，t+(M-1))所采集的图像不是关键帧。
在步骤104中，从每个第二图像帧中提取关键点和与关键点相对应的描述向量。
这里需要说明的是，可利用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded Up Robust Features，加速稳健特征)、FAST(Features fromAccelerated Segment Test，加速段测试特征)关键点检测器，SIFT、SURF、BRIEF(BinaryRobust Independent Elementary Features，二进制鲁棒不变尺度特征)、ORB(OrientedFAST and Rotated BRIEF，定向FAST检测和旋转的BRIE)等关键词描述符，也可以用CNN(Convolutional Neural Network，卷积神经网络)的方法从图像中估计关键点和关键点的特征向量。从图像帧中提取关键点和关键点特征向量的用处是为了与实时图像中的关键点特征向量做匹配，进而在实时图像中找到在图像帧中出现的静态障碍物。
在一些实施例中，若在步骤103中从关键帧中提取特征向量，则相应地从每个关键帧中提取关键点和与关键点相关联的描述向量。
在步骤105中，将每个第二图像帧、与每个第二图像帧相对应的图像采集设备的定位信息、特征向量，关键点和与关键点相对应的描述向量存入数据库中。
在一些实施例中，定位信息包括3个自由度的位置信息和3个自由度的姿态信息。
在一些实施例中，若在步骤103中从关键帧中提取特征向量，则相应地将每个关键帧存入数据库中。
在本公开上述实施例提供的数据库构建方法中，通过将相应的图像帧、与该图像帧相对应的图像采集设备的定位信息、图像帧的特征向量、关键点和与关键点相对应的描述向量存入数据库中，以便利用该数据库识别实时视频帧中的静态障碍物。
图2为本公开一个实施例的数据库构建装置的结构示意图。如图2所示，数据库构建装置包括第一接收模块21、图像帧处理模块22、第一提取模块23、第二提取模块24和构建模块25。
第一接收模块21被配置为接收图像采集设备在预设路线上采集的多个第一图像帧。
图像帧处理模块22被配置为去除多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧。
第一提取模块23被配置为提取每个第二图像帧的特征向量。
在一些实施例中，为了减小后续的搜索和匹配时间，第一提取模块23从多个第二图像帧中依次提取出多个关键帧，其中任意两个相邻的第一关键帧与第二关键帧的图像重叠率小于预设门限值。接下来第一提取模块23提取每个关键帧的特征向量，由此可有效减少特征向量的数量。多个第二图像帧中的其它图像帧不进行特征向量提取处理。
在一些实施例中，与第一关键帧对应的图像采集设备的位置信息和与第二关键帧对应的图像采集设备的位置信息之间的偏差大于预设距离门限。
在一些实施例中，与第一关键帧对应的图像采集设备的姿态信息和与第二关键帧对应的图像采集设备的姿态信息之间的偏差大于预设角度门限。
第二提取模块24被配置为从每个第二图像帧中提取关键点和与关键点相对应的描述向量。
构建模块25被配置为将每个第二图像帧、与每个第二图像帧相对应的图像采集设备的定位信息、特征向量，关键点和与关键点相对应的描述向量存入数据库中。
图3为本公开一个实施例的电子设备的结构示意图。如图3所示，电子设备包括存储器31和处理器32。
存储器31用于存储指令，处理器32耦合到存储器31，处理器32被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
如图3所示，该电子设备还包括通信接口33，用于与其它设备进行信息交互。同时，该电子设备还包括总线34，处理器32、通信接口33、以及存储器31通过总线34完成相互间的通信。
存储器31可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器31也可以是存储器阵列。存储器31还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器32可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。
图4为本公开一个实施例的障碍物识别方法的流程示意图。在一些实施例中，下列的障碍物识别方法步骤由障碍物识别装置执行。
在步骤401中，接收图像采集设备采集的实时图像帧。
在步骤402中，在数据库中搜索与实时图像帧相匹配的预定数量个匹配图像帧。
这里需要说明的是，上述数据库是通过图1中任一实施例构建的数据库。
在一些实施例中，根据与实时图像帧对应的图像采集设备的位置信息，从数据库中提取出与以位置信息为中心的预设区域相对应的图像帧以作为候选图像帧。从数据库中提取出候选图像帧的特征向量，并提取实时图像帧的特征向量。将实时图像帧的特征向量和候选图像帧的特征向量进行匹配，将预定数量个匹配度最高的候选图像帧作为匹配图像帧。
例如，将匹配度最高的前K个候选图像作为匹配图像帧。K值可选1、3或5。若要求更高的匹配精度，则K的取值可以大一些。若要求更快的在线匹配和处理速度，则K的取值可以小一些。
在步骤403中，在实时图像帧中进行障碍物检测，以确定障碍物区域。
在步骤404中，提取出障碍物区域中关键点和相应的关键点描述向量。
在步骤405中，将实时图像帧的关键点描述向量与预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点。
在一些实施例中，通过利用暴力(Brute Force)匹配器，基于FLANN(FastApproximate Nearest Neighbor Search Library，快速最近邻逼近搜索函数库)的匹配器，或者是使用CNN的机器学习方法实现关键点描述向量匹配。
在步骤406中，若匹配关键点的数量大于预设的关键点门限，则将障碍物区域标记为静态障碍物。
也就是所，若障碍物区域中包括的匹配关键点的数量超过预定门限，则将该障碍物区域标记为静态障碍物。
在一些实施例中，若匹配关键点的数量不大于预设的关键点门限，则将障碍物区域标记为动态障碍物。
图5为本公开一个实施例的障碍物识别装置的结构示意图。如图5所示，障碍物识别装置包括第二接收模块51、搜索模块52、检测模块53、第三提取模块54、匹配模块55和识别模块56。
第二接收模块51被配置为接收图像采集设备采集的实时图像帧。
搜索模块52被配置为在数据库中搜索与实时图像帧相匹配的预定数量个匹配图像帧。
这里需要说明的是，上述数据库是通过图1中任一实施例构建的数据库。
在一些实施例中，搜索模块52根据与实时图像帧对应的图像采集设备的位置信息，从数据库中提取出与以位置信息为中心的预设区域相对应的图像帧以作为候选图像帧。从数据库中提取出候选图像帧的特征向量，并提取实时图像帧的特征向量。将实时图像帧的特征向量和候选图像帧的特征向量进行匹配，将预定数量个匹配度最高的候选图像帧作为匹配图像帧。
例如，将匹配度最高的前K个候选图像作为匹配图像帧。K值可选1、3或5。若要求更高的匹配精度，则K的取值可以大一些。若要求更快的在线匹配和处理速度，则K的取值可以小一些。
检测模块53被配置为在实时图像帧中进行障碍物检测，以确定障碍物区域。
第三提取模块54被配置为提取出障碍物区域中关键点和相应的关键点描述向量。
匹配模块55被配置为将实时图像帧的关键点描述向量与预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点。
识别模块56被配置为若匹配关键点的数量大于预设的关键点门限，则将障碍物区域标记为静态障碍物。
在一些实施例中，若匹配关键点的数量不大于预设的关键点门限，则识别模块56将障碍物区域标记为动态障碍物。
图6为本公开另一个实施例的电子设备的结构示意图。如图6所示，电子设备包括存储器601、处理器602、通信接口603和总线604。图6与图3的不同之处在于，在图6所示实施例中，处理器602被配置为基于存储器存储的指令执行实现如图4中任一实施例涉及的方法。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图4中任一实施例涉及的方法。
图7为本公开一个实施例的自动驾驶车辆的结构示意图。如图7所示，自动驾驶车辆包括图像采集设备71和电子设备72。电子设备72为图3或图6中任一实施例涉及的电子设备。
图像采集设备71被配置为采集图像帧，并根据需要将所采集的图像帧发送给电子设备72。
也就是说，在图7所示实施例中包括两个阶段，其中第一阶段是离线处理阶段，第二阶段是实时处理阶段。在第一阶段中通过对所采集的图像帧进行离线处理，以便将图像帧及对应的定位信息、图像帧的特征向量、关键点及对应的描述向量存入数据库中。在第二阶段中，在数据库中搜索与实时图像帧相匹配的匹配图像帧，提取出实时图像帧中障碍物区域的关键点和关键点描述向量，将实时图像帧的关键点描述向量与匹配图像帧的关键点描述向量进行匹配以得到匹配关键点，若匹配关键点数量大于门限，则将障碍物区域标记为静态障碍物。
通过实施本公开的上述方案，能够准确确定出所采集图像中的不具有运动能力的静态障碍物，从而有利于自动驾驶车辆的路径和速度规划。
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种数据库构建方法，包括：
接收图像采集设备在预设路线上采集的多个第一图像帧；
去除所述多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧；
提取每个第二图像帧的特征向量；
从所述每个第二图像帧中提取关键点和与所述关键点相对应的描述向量；
将所述每个第二图像帧、与所述每个第二图像帧相对应的所述图像采集设备的定位信息、所述特征向量，所述关键点和与所述关键点相对应的描述向量存入数据库中。
2.根据权利要求1所述的方法，其中，提取每个第二图像帧的特征向量包括：
从所述多个第二图像帧中依次提取出多个关键帧，其中任意两个相邻的第一关键帧与第二关键帧的图像重叠率小于预设门限值；
提取每个关键帧的特征向量。
3.根据权利要求2所述的方法，其中，
与所述第一关键帧对应的所述图像采集设备的位置信息和与所述第二关键帧对应的所述图像采集设备的位置信息之间的偏差大于预设距离门限；或者
与所述第一关键帧对应的所述图像采集设备的姿态信息和与所述第二关键帧对应的所述图像采集设备的姿态信息之间的偏差大于预设角度门限。
4.根据权利要求2所述的方法，其中，从所述每个第二图像帧中提取关键点和与所述关键点相关联的描述向量包括：
从所述每个关键帧中提取关键点和与所述关键点相关联的描述向量。
5.一种数据库构建装置，包括：
第一接收模块，被配置为接收图像采集设备在预设路线上采集的多个第一图像帧；
图像帧处理模块，被配置为去除所述多个第一图像帧中的动态障碍物，以得到包括静态障碍物的多个第二图像帧；
第一提取模块，被配置为提取每个第二图像帧的特征向量；
第二提取模块，被配置为从所述每个第二图像帧中提取关键点和与所述关键点相对应的描述向量；
构建模块，被配置为将所述每个第二图像帧、与所述每个第二图像帧相对应的所述图像采集设备的定位信息、所述特征向量，所述关键点和与所述关键点相对应的描述向量存入数据库中。
6.一种障碍物识别方法，包括：
接收图像采集设备采集的实时图像帧；
在利用权利要求1-4中任一项所述的数据库构建方法所得到的数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧；
在所述实时图像帧中进行障碍物检测，以确定障碍物区域；
提取出所述障碍物区域中关键点和相应的关键点描述向量；
将所述实时图像帧的关键点描述向量与所述预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点；
若所述匹配关键点的数量大于预设的关键点门限，则将所述障碍物区域标记为静态障碍物。
7.根据权利要求6所述的方法，还包括：
若所述匹配关键点的数量不大于预设的关键点门限，则将所述障碍物区域标记为动态障碍物。
8.根据权利要求6所述的方法，其中，在所述数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧包括：
根据与所述实时图像帧对应的所述图像采集设备的位置信息，从所述数据库中提取出与以所述位置信息为中心的预设区域相对应的图像帧以作为候选图像帧；
从所述数据库中提取出所述候选图像帧的特征向量；
提取所述实时图像帧的特征向量；
将所述实时图像帧的特征向量和所述候选图像帧的特征向量进行匹配，将所述预定数量个匹配度最高的候选图像帧作为匹配图像帧。
9.一种障碍物识别装置，包括：
第二接收模块，被配置为接收图像采集设备采集的实时图像帧；
搜索模块，被配置为在利用权利要求1-4中任一项所述的数据库构建方法所得到的数据库中搜索与所述实时图像帧相匹配的预定数量个匹配图像帧；
检测模块，被配置为在所述实时图像帧中进行障碍物检测，以确定障碍物区域；
第三提取模块，被配置为提取出所述障碍物区域中关键点和相应的关键点描述向量；
匹配模块，被配置为将所述实时图像帧的关键点描述向量与所述预定数量个匹配图像帧的关键点描述向量进行匹配，以得到匹配关键点；
识别模块，被配置为若所述匹配关键点的数量大于预设的关键点门限，则将所述障碍物区域标记为静态障碍物。
10.一种电子设备，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-4、7-9中任一项所述的方法。
11.一种自动驾驶车辆，包括：
如权利要求10所述的电子设备；
图像采集设备，被配置为采集图像帧。
12.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-4、7-9中任一项所述的方法。
CN202010717031.4A 2020-07-23 2020-07-23 障碍物识别方法和装置、电子设备和自动驾驶车辆 Active CN111858979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010717031.4A CN111858979B (zh) 2020-07-23 2020-07-23 障碍物识别方法和装置、电子设备和自动驾驶车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010717031.4A CN111858979B (zh) 2020-07-23 2020-07-23 障碍物识别方法和装置、电子设备和自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN111858979A true CN111858979A (zh) 2020-10-30
CN111858979B CN111858979B (zh) 2021-12-14

Family

ID=72950337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010717031.4A Active CN111858979B (zh) 2020-07-23 2020-07-23 障碍物识别方法和装置、电子设备和自动驾驶车辆

Country Status (1)

Country Link
CN (1) CN111858979B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车***及方法
CN106407315A (zh) * 2016-08-30 2017-02-15 长安大学 一种基于街景图像数据库的车辆自主定位方法
CN109146938A (zh) * 2018-08-30 2019-01-04 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
CN109726716A (zh) * 2018-12-29 2019-05-07 深圳市趣创科技有限公司 一种图像处理方法及***
CN110046677A (zh) * 2019-04-26 2019-07-23 山东大学 数据预处理方法、地图构建方法、回环检测方法及***
CN111402326A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 障碍物的检测方法、装置、无人车及存储介质
CN111429528A (zh) * 2020-04-07 2020-07-17 高深智图(广州)科技有限公司 大型分布式高精地图数据处理***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105015419A (zh) * 2015-07-17 2015-11-04 中山大学 基于立体视觉定位与建图的自动泊车***及方法
CN106407315A (zh) * 2016-08-30 2017-02-15 长安大学 一种基于街景图像数据库的车辆自主定位方法
CN109146938A (zh) * 2018-08-30 2019-01-04 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
CN109726716A (zh) * 2018-12-29 2019-05-07 深圳市趣创科技有限公司 一种图像处理方法及***
CN110046677A (zh) * 2019-04-26 2019-07-23 山东大学 数据预处理方法、地图构建方法、回环检测方法及***
CN111402326A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 障碍物的检测方法、装置、无人车及存储介质
CN111429528A (zh) * 2020-04-07 2020-07-17 高深智图(广州)科技有限公司 大型分布式高精地图数据处理***

Also Published As

Publication number Publication date
CN111858979B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109960742B (zh) 局部信息的搜索方法及装置
Han et al. Robust traffic sign recognition with feature extraction and k-NN classification methods
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
Nguyen et al. Object detection using scale invariant feature transform
Vishal et al. Accurate localization by fusing images and GPS signals
CN106447697A (zh) 一种基于动平台的特定动目标快速跟踪方法
CN111428539A (zh) 目标跟踪方法及装置
Araujo et al. Air-sslam: A visual stereo indoor slam for aerial quadrotors
CN112598714A (zh) 一种基于视频帧单应性变换的静止目标跟踪方法
Chen et al. Improved fast r-cnn with fusion of optical and 3d data for robust palm tree detection in high resolution uav images
Alam et al. A vision-based system for traffic light detection
CN111858979B (zh) 障碍物识别方法和装置、电子设备和自动驾驶车辆
Orhan et al. Semantic pose verification for outdoor visual localization with self-supervised contrastive learning
CN111652034A (zh) 一种基于sift算法的船只检索方法及装置
Qiao et al. Place recognition based visual localization using LBP feature and SVM
CN113743359B (zh) 车辆重识别方法、模型训练方法及相关装置
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
Wachs et al. Recognizing Human Postures and Poses in Monocular Still Images.
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
Kumar et al. Vehicle detection and classification from satellite images based on gaussian mixture model
Sykora et al. Comparison of Neural Networks with Feature Extraction Methods for Depth Map Classification
Song et al. Learning Local Feature Descriptor with Motion Attribute For Vision-based Localization
Bakar et al. Shape Corner Detection through Enhanced Curvature Properties
Ullah et al. A Vision Based Road Blocker Detection and Distance Calculation for Intelligent Vehicles
Kozel et al. Real-Time Traffic Lights Identification using YOLOv3 Algorithm For Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant