CN112417967B - 障碍物检测方法、装置、计算机设备和存储介质 - Google Patents

障碍物检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112417967B
CN112417967B CN202011138627.5A CN202011138627A CN112417967B CN 112417967 B CN112417967 B CN 112417967B CN 202011138627 A CN202011138627 A CN 202011138627A CN 112417967 B CN112417967 B CN 112417967B
Authority
CN
China
Prior art keywords
obstacle
target
network
obstacles
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011138627.5A
Other languages
English (en)
Other versions
CN112417967A (zh
Inventor
申远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011138627.5A priority Critical patent/CN112417967B/zh
Publication of CN112417967A publication Critical patent/CN112417967A/zh
Priority to PCT/CN2021/120162 priority patent/WO2022083402A1/zh
Priority to EP21881821.9A priority patent/EP4109331A4/en
Priority to JP2022564312A priority patent/JP7430277B2/ja
Application granted granted Critical
Publication of CN112417967B publication Critical patent/CN112417967B/zh
Priority to US17/950,644 priority patent/US20230014874A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种障碍物检测方法、装置、计算机设备和存储介质。所述方法包括：获取目标车辆所处道路的道路场景图像；对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果。采用本方法能够提高障碍物检测的准确性。

Description

障碍物检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种障碍物检测方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，出现了自动驾驶技术，自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置和全球定位***协同合作，使得计算机***在没有人类的主动操作下，自动、安全地控制机动车辆。目前可以通过传感器对障碍物进行距离检测，基于距离检测所得到的障碍物到车辆的距离确定出障碍物相对于车辆的危险等级，以及时躲避危险等级较高的障碍物实现自动驾驶。
然而，对于存在粘连或遮挡的两个以上的障碍物，采用上述距离检测方式，往往无法准确地判断出这些障碍物之间的相对位置关系，进而导致对障碍物的检测结果不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够准确地对障碍物进行检测的障碍物检测方法、装置、计算机设备和存储介质。
一种障碍物检测方法，所述方法包括：
获取目标车辆所处道路的道路场景图像；
对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果。
一种障碍物检测装置，所述装置包括：
道路场景图像获取模块，用于获取目标车辆所处道路的道路场景图像；
障碍物识别处理模块，用于对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
相对景深关系确定模块，用于根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
测距结果获取模块，用于获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
障碍物检测结果确定模块，用于根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果。
在一个实施例中，所述特征提取网络包括特征提取主干网络和特征金字塔网络，所述障碍物识别处理模块，还用于：
将所述道路场景图像输入所述特征提取主干网络，经过所述特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图；
将所述不同尺度的主干特征图输入所述特征金字塔网络，经过所述特征金字塔网络处理，得到多个对应于不同尺度的特征图。
在一个实施例中，所述实例分割网络包括区域生成网络、目标分类网络和目标分割网络，所述障碍物识别处理模块，还用于：
将所述不同尺度的特征图分别输入所述区域生成网络，经过所述区域生成网络中预设尺度的卷积网络层的处理，得到各所述特征图分别对应的候选区域；
通过所述目标分类网络预测各所述候选区域分别对应的障碍物类别；
基于预测得到的各所述候选区域所属的障碍物类别，对所述候选区域进行实例分割，得到各障碍物分别对应的区域信息。
在一个实施例中，所述相对景深关系确定模块，还用于：
基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各所述障碍物各自对应的候选区域；
计算不同障碍物所对应的候选区域之间的重叠率；
将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
在一个实施例中，所述相对景深关系确定模块，还用于：
基于所述目标障碍物的景深信息对各所述目标障碍物进行远近排序，得到对应的景深排序结果；
基于所述景深排序结果确定各目标障碍物间的相对景深关系。
在一个实施例中，所述测距装置包括摄像和雷达中的至少一种，所述测距结果获取模块，还用于：
获取与所述目标车辆对应的所述测距装置采集的测距数据；
按照与所述测距装置匹配的数据预处理方式对所述测距数据进行预处理，得到预处理后的测距数据；
通过与所述测距装置匹配的距离预测模型对所述预处理后的测距数据进行距离预估处理，得到对各所述障碍物的测距结果。
在一个实施例中，所述障碍物检测结果确定模块，还用于：
根据各所述障碍物的测距结果、以及所述障碍物中的目标障碍物间的相对景深关系，确定各所述障碍物的危险等级；
将所述各目标障碍物间的相对景深关系、各所述障碍物的测距结果和各所述障碍物的危险等级中的至少一项，确定为与所述目标车辆所处道路对应的障碍物检测结果。
在一个实施例中，所述障碍物检测结果确定模块，还用于：
根据各所述障碍物的测距结果，确定各障碍物分别对应的原始危险等级；
基于所述障碍物中的目标障碍物间的相对景深关系，对所述目标障碍物的原始危险等级进行修正，得到对应的修正危险等级；
根据未进行调整的障碍物的原始危险等级、以及所述目标障碍物的修正危险等级，确定所述目标车辆所处道路中的各障碍物分别对应的危险等级。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标车辆所处道路的道路场景图像；
对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标车辆所处道路的道路场景图像；
对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果。
上述障碍物检测方法、装置、计算机设备和存储介质，通过对所获取目标车辆所处道路的道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息，根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系，从而在获取与目标车辆对应的测距装置采集的对各障碍物的测距结果之后，即使对于粘连或遮挡的两个以上的目标障碍物，也可以根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，准确地确定出与目标车辆所处道路对应的障碍物检测结果，进而基于精确的障碍物检测结果及时躲避危险等级较高的障碍物，提高自动驾驶的安全可靠性。
附图说明
图1为一个实施例中障碍物检测方法的应用环境图；
图2为一个实施例中障碍物检测方法的流程示意图；
图3为一个实施例中障碍物识别处理结果示意图；
图4为一个实施例中道路场景图像中障碍物示意图；
图5为一个实施例中障碍物识别步骤的流程示意图；
图6为一个实施例中障碍物识别模型的结构示意图；
图7为另一个实施例中障碍物检测方法的流程示意图；
图8为一个实施例中障碍物检测装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的无人驾驶、自动驾驶、无人机、机器人、智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：本申请提供的障碍物检测方法，可以应用于如图1所示的应用环境中。其中，目标车辆102通过网络与计算机设备104进行通信。目标车辆102获取其所处道路的道路场景图像，将获取的道路场景图像上传至计算机设备104，计算机设备104获取到目标车辆所处道路的道路场景图像时，对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息；计算机设备104根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；计算机设备104获取与目标车辆对应的测距装置采集的对各障碍物的测距结果，根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，确定与目标车辆所处道路对应的障碍物检测结果。此外，计算机设备104还可以将该障碍物检测结果下发至目标车辆102，以使目标车辆102根据该障碍物检测结果及时避开障碍物。
其中，目标车辆可以但不限于是自动驾驶汽车等。计算机设备可以是终端或服务器，终端可以以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种障碍物检测方法，以该方法应用于图1中的计算机设备(该计算机设备具体可以是终端或服务器)为例进行说明，包括以下步骤：
S202，获取目标车辆所处道路的道路场景图像。
其中，道路场景图像是对道路的场景信息进行采集所得到的图像。道路场景图像可反映目标车辆的周围环境，比如车道和障碍物，障碍物包括车辆、行人、路灯、交通指示牌等。道路场景图像可以是通过图像采集装置实时采集的图像，这样在目标车辆行驶的过程中，通过实时分析道路场景图像，得到目标车辆所处道路对应的障碍物检测结果，从而使得目标车辆基于障碍物检测结果及时避开障碍物行驶。
在一个实施例中，计算机设备可接收其他计算机设备上传的道路场景图像从而获取目标车辆所处道路的道路场景图像。其他计算机设备可以是目标车辆或目标车辆所关联的图像采集设备。
具体地，在目标车辆处于自动驾驶状态时，目标车辆通过图像采集装置采集现实场景的图像得到目标车辆所处道路场景图像之后，将该道路场景图像上传至计算机设备，从而计算机设备获取到目标车辆所处道路的道路场景图像。其中，图像采集装置可以是目标车辆内置的图像采集装置，也可以是外置的、且与目标车辆关联的图像采集装置，比如目标车辆可通过连接线或网络与外置的图像采集装置连接，外置的图像采集装置采集现实场景的图像，并将采集的图像传输至目标车辆。内置的图像采集装置可以是摄像头，外置的与目标车辆关联图像采集装置可以是携带有摄像头的图像采集设备，比如无人机。摄像头具体可以是单目摄像头，相应地通过摄像头所采集的道路场景图像为单目图像，单目图像是针对同一场景的单张图像，具体可以是RGB图像。可选地，调用摄像头开启扫描模式，实时扫描摄像头视野中的目标对象，并按照指定帧率实时地生成道路场景图像。摄像头视野是摄像头可以拍摄到的区域。
S204，对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息。
其中，障碍物识别处理是对道路场景图像中所存在的障碍物进行识别处理，包括实例分割处理和景深预测。
实例分割是在像素级识别对象轮廓的任务，本申请中的实例分割处理具体是将道路场景图像中不同类别的障碍物精准地分割出来，对图像中的每一个像素点都进行分类，确定每一个像素点所属的类别，从而得到多个像素区域，并对属于同一类别的像素区域中的不同障碍物进行区分，从而得到道路场景图像中各障碍物分别对应的区域信息。
景深预测是预测道路场景图像中各障碍物的深度信息进行预测，深度信息也可称为景深信息，障碍物的景深信息为障碍物到摄像头的距离，本申请中景深预测具体是对道路场景图像中每一个像素点的深度信息都进行预测，基于每个像素点的深度信息和实例分割所确定出的障碍物分别对应的区域信息，预测出各障碍物分别对应的景深信息。
举例说明，参照图3，图3为一个实施例中障碍物识别处理结果示意图，可以看到不同的障碍物分别对应不同的区域信息302和深度信息304，其中，深度信息用景深预测所得到的景深数值进行表示，景深数值越小表示对应的障碍物距离目标车辆越近，即景深数值的相对大小表示障碍与目标车辆的相对远近关系。
需要说明的是本申请实施例中对障碍物识别处理的方式不做限定，只要能够对道路场景图像进行障碍物识别处理得到各障碍物分别对应的区域信息和景深信息即可。
在一个实施例中，计算机设备根据预先训练完成的障碍物识别模型对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息。其中，该预先训练的障碍物识别模型可包括卷积神经网络结构，该卷积神经网络可执行卷积计算、归一化处理、激活函数计算等操作。
在一个实施例中，障碍物识别模型的训练方法可以是：获取训练样本图像及训练样本图像相应的训练标签，训练标签用于对相应的训练样本图像中各像素点所属的类别以及对应的景深信息进行标注。接着初始化障碍物识别模型的参数，将训练样本图像数据到障碍物识别模型，得到障碍物分别对应的预测区域信息和预测景深信息。接着，针对预测区域信息和预测景深信息与训练标签之间的差异，采用损失函数，基于梯度下降算法对障碍物识别模型的参数进行优化，按照上述方法对障碍物识别模型进行迭代训练，直至满足训练停止条件。训练停止条件可以是迭代次数达到指定次数，或者损失函数的变化量小于指定阈值。
S206，根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系。
其中，目标障碍物为所获取的道路场景图像中的障碍物中存在遮挡关系的障碍物，遮挡关系表示目标障碍物在所获取的道路场景图像中对应的区域信息之间存在交集，相对景深关系为目标障碍物到目标车辆的相对远近关系。可以理解的是，存在遮挡关系的各目标障碍物与目标车辆的距离不相同，即各目标障碍物的景深信息不同，比如，障碍物A遮挡了障碍物B，则相应的障碍物A到目标车辆的距离小于障碍物B到目标车辆的距离，也就是说相对于障碍物B来说，障碍物A与目标车辆的距离更近，而不同目标障碍物到目标车辆的距离的相对远近关系即为目标障碍物件的相对景深关系。
在一个实施例中，计算机设备根据预先训练完成的障碍物识别模型对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息之后，通过该障碍物识别模型基于各障碍物分别对应的区域信息，确定不同障碍物之间的区域信息是否存在交集，并将存在交集的区域信息所对应的障碍物确定为存在遮挡关系的目标障碍物，并根据目标障碍物的景深信息确定目标障碍到目标车辆的相对远近，得到各目标障碍物间的相对景深关系。
具体地，可以通过预设字符表示任意两个目标障碍物之间的相对景深关系，例如，用“-1”、“0”、“1”表示各目标障碍物间的相对景深关系，当障碍物A和障碍物B的相对景深关系为“-1”时，表示障碍物A遮挡了障碍物B，可以记为“(障碍物A，障碍物B，-1)”；当障碍物A和障碍物B的相对景深关系为“0”时，表示障碍物A和障碍物B之间不具备遮挡关系，可以记为“(障碍物A，障碍物B，0)”；当障碍物A和障碍物B的相对景深关系为“1”时，表示障碍物A被障碍物B遮挡，可以记为“(障碍物A，障碍物B，1)”。
可以理解的是，两个目标障碍物之间的相对景深关系，为道路场景图像所对应的各目标障碍物间的相对景深关系的最小单元，例如，图4所示的道路场景图像中的目标障碍物有障碍物A、障碍物B、障碍物C和障碍物D，则该道路场景图像所对应的各目标障碍物间的相对景深关系可记为“(障碍物A，障碍物B，-1)、(障碍物B，障碍物C，0)、(障碍物C，障碍物D，1)”，表示障碍物A遮挡了障碍物B，障碍物B和障碍物C之间不具有遮挡关系，障碍物C遮挡了障碍物D。
S208，获取与目标车辆对应的测距装置采集的对各障碍物的测距结果。
其中，测距装置为用于测量现实场景中各障碍物到目标车辆距离的装置，该现实场景为所获取的道路场景图像所对应的场景。目标车辆所对应的测距装置可以集成或安装在目标车辆上，本申请对此不作限定。
测距装置可以是摄像头和雷达中的至少一种，摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D(3Dimensions，三维)摄像头等；可选地，调用摄像头开启扫描模式，实时扫描摄像头视野中的目标对象，并按照指定帧率实时地生成用于测距的测距数据，该测距数据具体可以是障碍物图像，障碍物图像可以是与测距装置匹配的单目图像、双目图像、深度图像或3D图像等。雷达可以是激光雷达、毫米波雷达等雷达***。激光雷达是通过发射激光束探测目标对象的位置、速度、姿态、形状等特征数据的雷达***。毫米波雷达是在毫米波波段探测的雷达***。雷达***实时向目标对象发射探测信号，接收目标对象反射回来的回波信号，基于探测信息与回波信号之间的差异，确定目标对象的特征数据。雷达***采用多个发射器和接收器，由此获取现实场景中障碍物对应的用于测距的测距数据，该测距数据具体可以是三维点云数据。
在一个实施例中，目标车辆在通过测距装置采集到测距数据之后，可以基于所获取的测距数据确定各障碍物到目标车辆的预估距离，即得到各障碍物的测距结果，并将该测距结果上传至计算机设备，从而计算机设备获取到与目标车辆对应的采集装置采集的对各障碍物的测距结果。
在一个实施例中，目标车辆在通过测距装置采集到测距数据之后，将该测距数据上传至计算机设备，计算机设备在接收到测距装置采集的测距数据之后，基于该测距数据确定各障碍物到目标车辆的预估距离，从而得到各障碍物的测距结果。
具体地，不同的测距装置所采集到的测距数据的数据类型是不相同的，相应地基于该测距数据确定各障碍物的测距结果的方式也是不相同的，具体可以采用与测距装置匹配的距离预测模型基于测距数据得到对各障碍物的测距结果。其中，距离预测模型为神经网络模型，包括单目单帧测距模型、单目多帧测距模型、双目立体视觉测距模型、雷达目标检测与测距模型、雷达与单目图像融合的测距模型等。
例如，当测距数据为通过单目摄像头采集的单帧的单目图像时，可以采用单目单帧测距方法对单帧的单目图像中障碍物到目标车辆的距离进行预估，得到测距结果；当测距数据为通过单目摄像头采集的多帧的单目图像时，可以采用单目多帧测距方法对多帧的单目图像中障碍物到目标车辆的距离进行预估，得到测距结果；当测距数据为通过双目摄像头采集的双目图像时，可以采用双目立体视觉测距方法对双目图像中障碍物到目标车辆的距离进行预估，得到测距结果；测距数据为通过雷达采集的三维点云数据时，则采用雷达目标检测与测距算法对基于所采集的三维点云数据对三维点云数据所对应的目标障碍物到目标车辆的距离进行预估，得到测距结果；当测距数据为通过单目摄像头采集的单目图像以及通过雷达采集的三维点云数据时，则采用雷达与单目图像融合的目标检测与测距算法基于所采集的单目图像和三维点云数据，对单目图像中障碍物到目标车辆的距离进行预估，得到测距结果。
S210，根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，确定与目标车辆所处道路对应的障碍物检测结果。
其中，障碍物检测结果可反映道路场景图像所对应的障碍物之间与目标车辆的相对远近关系，障碍物检测结果是各目标障碍物间的相对景深关系、各障碍物的测距结果、以及各障碍物的危险等级中的至少一项，危险等级为障碍物相对于目标车辆的危险程度的表示，在实际的应用场景中，目标车辆需要优先避开危险等级较高的目标障碍物。
在一个实施例中，S210包括：根据各障碍物的测距结果、以及障碍物中的目标障碍物间的相对景深关系，确定各障碍物的危险等级，将各目标障碍物间的相对景深关系、各障碍物的测距结果和各障碍物的危险等级中的至少一项，确定为与目标车辆所处道路对应的障碍物检测结果。
具体地，任意具备遮挡关系的两个目标障碍物中的被遮挡的目标障碍物的危险等级低于前景的目标障碍物的危险等级，也就是说，具备遮挡关系的两个目标障碍物中与目标车辆距离较近的目标障碍物的危险等级更高。
在一个实施例中，计算机设备根据各障碍物的测距结果、以及障碍物中的目标障碍物间的相对景深关系，确定各障碍物的危险等级，包括：根据各障碍物的测距结果，确定各障碍物分别对应的原始危险等级；基于障碍物中的目标障碍物间的相对景深关系，对目标障碍物的原始危险等级进行修正，得到对应的修正危险等级；根据未进行调整的障碍物的原始危险等级、以及目标障碍物的修正危险等级，确定目标车辆所处道路中的各障碍物分别对应的危险等级。其中，原始危险等级与测距结果相匹配，可以理解的是，与目标车辆的距离越近的障碍物，对于目标车辆的危险程度更高，即原始危险等级更高。
具体地，计算机设备根据障碍物到目标车辆的测距结果，确定障碍物所属的距离区间，并获取与各距离区间匹配的原始危险等级，将该原始危险等级确定为障碍物的原始危险等级，基于障碍物中的目标障碍物间的相对景深关系，确定目标障碍物的相对关注等级，并基于该相对关注等级对目标障碍物的原始危险等级进行修正，得到对应的修正危险等级，并将未进行调整的障碍物的原始危险等级、以及目标障碍物的修正危险等级确定为目标车辆所处道路中的各障碍物分别对应的危险等级。其中，与距离区间匹配的原始危险等级可以根据目标车辆的行驶场景的变化而变化，目标车辆的行驶场景包括道路场景和天气场景，其中道路场景可以是普通市区道路、繁华街道道路和高速公路等，天气场景包括晴天、雨雪天、雾天等。目标障碍物的相对关注等级是指具有遮挡关系的目标障碍物之间的相对的关注等级，比如障碍物A遮挡了障碍物B，则障碍物A的相对关注等级为高关注等级，障碍物B的相对关注等级为低关注等级。基于相对关注等级对目标障碍物的原始危险等级进行修正的具体方式可以是，当原始危险等级与相对关注等级匹配时，将原始危险等级确定为修正危险等级，当原始危险等级与相对关注等级不匹配时，将原始危险等级修正为与相对关注等级匹配的危险等级，与相对关注等级匹配的危险等级即为修正危险等级。
举例对上述实施例进行说明。例如，当目标车辆于晴天在普通市区道路上行驶时，假设该场景下车速为40km/h，则将所检测的到目标车辆的距离小于10m的障碍物的原始危险等级确定为高原始危险等级(记为高)，将所检测的到目标车辆的距离大于等于10m小于30m的障碍物的原始危险等级确定为中原始危险等级(记为中)，将所检测的到目标车辆的距离大于等于30m的障碍物的原始危险等级确定为低原始危险等级(记为低)。其中，所检测到的障碍物A和障碍物B到目标车辆的距离均小于10m，且障碍物A和障碍物B具备遮挡关系，对应的相对景深关系为“(障碍物A，障碍物B，-1)”，则确定障碍物A和障碍物B的原始危险等级均为高原始危险等级(记为高)，并确定障碍物A的相对关注等级为高关注等级(记为高)，障碍物B的相对关注等级为低关注等级(记为低)，基于障碍物A和障碍物B各自的相对关注等级分别对障碍物A和障碍物B的原始危险等级进行修正时，保持障碍物A的高原始危险等级不变，并将障碍物B的原始危险等级由高原始危险等级修正为低危险等级，并将所检测到的障碍物中障碍物A和障碍物B之外的障碍物的原始危险等级、障碍物A和障碍物B的修正危险等级，确定为目标车辆所处道路中各障碍物分别对应的危险等级。
上述障碍物检测方法，计算机设备通过对所获取目标车辆所处道路的道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息，根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系，从而在获取与目标车辆对应的测距装置采集的对各障碍物的测距结果之后，即使对于粘连或遮挡的两个以上的目标障碍物，也可以根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，准确地确定出与目标车辆所处道路对应的障碍物检测结果，进而基于精确的障碍物检测结果及时躲避危险等级较高的障碍物，提高自动驾驶的安全可靠性。
本申请还提供一种应用场景，该应用场景应用上述的障碍物检测方法。具体地，该障碍物检测方法在该应用场景的应用如下：
计算机设备在获取到目标车辆所处道路的道路场景图像之后，通过障碍物识别模型对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息，并根据各障碍物分别对应的区域信息确定出障碍物中具有遮挡关系的目标障碍物间的相对景深关系。同时计算机设备还接收目标车辆通过雷达所采集三维点云数据，并将该三维点云数据投影到图像坐标系，从而得到点云图像，并基于该点云图像得到各障碍物的测距结果，即得到各障碍物到目标车辆的距离，并根据该距离确定各障碍物所对应的原始危险等级(包括低、中、高)，然后根据目标障碍物间的相对景深关系对各障碍物中的目标障碍物的原始危险等级进行修正，得到各目标障碍物的修正危险等级，并将未修正的障碍物的原始危险等级和目标障碍物的修正危险等级确定为各目标障碍物的危险等级，然后将各障碍物的测距结果、目标障碍物的相对景深关系和各障碍物的危险等级作为障碍物检测结果输出，即输出障碍物的3D空间物理距离、景深关系和危险等级。
在一个实施例中，如图5所示，S204具体包括以下步骤：
S502，将道路场景图像输入障碍物识别模型；障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络。
其中，障碍物识别模型为神经网络模型，具体可包括卷积神经网络结构，该卷积神经网络可执行卷积计算、归一化处理、激活函数计算等操作。
S504，通过特征提取网络对道路场景图像进行特征提取，得到多个对应于不同尺度的特征图。
其中，特征提取网络用于对道路场景图像进行特征提取操作，特征提取网络可包括特征提取主干网络(Backbone)和特征金字塔网络(Feature Pyramid Networks，FPN)。
在一个实施例中，计算机设备将道路场景图像输入特征提取主干网络，经过特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图；将不同尺度的主干特征图输入特征金字塔网络，经过特征金字塔网络处理，得到多个对应于不同尺度的特征图。特征金字塔网络包括多个上采样模块，每个上采样模块分别由上采样网络层、归一化层和激活层组成。上采样模块的数量与通过特征提取主干网络所提取出来的不同尺度的主干特征图的数量相同。
具体地，不同尺度的卷积网络层，是指每个卷积网络层输出的特征图的图像尺寸不同。计算机设备在得到多个对应于不同尺度的主干特征图之后，将该多个不同尺度的主干特征图输入特征金字塔网络，通过特征金字塔的上采样模块对输入的各个主干特征图进行上采样处理，实现对主干特征图的放大，得到放大后的主干特征图，并将放大后的主干特征图与输入的、且与目标主干特征图进行融合，得到融合后的相应尺度的特征图，其中，目标主干特征图为与放大后的主干特征图的尺度相同的主干特征图，从而得到多个对应于不同尺度的特征图。
S506，通过实例分割网络对不同尺度的特征图分别进行实例分割处理，得到道路场景图像中各障碍物分别对应的区域信息。
其中，实例分割网络用于实现对道路场景图像中的障碍物进行实例分割处理，具体包括区域生成网络(RegionProposal Network，RPN)、目标分类网络和目标分割网络。
在一个实施例中，计算机设备将不同尺度的特征图分别输入区域生成网络，经过区域生成网络中预设尺度的卷积网络层的处理，得到各特征图分别对应的候选区域；通过目标分类网络预测各候选区域分别对应的障碍物类别；基于预测得到的各候选区域所属的障碍物类别，对候选区域进行实例分割，得到各障碍物分别对应的区域信息。
具体地，预设尺度可以是多个不同的尺度，例如预设尺度分别为3×3和1×1。通过经过区域生成网络中预设尺度的卷积网络层的处理，可以生成多个候选框，每个候选框所包含的区域即为候选区域，从而得到各特征图分别对应的候选区域，然后通过区域特征聚集模块(ROI Align)将候选区域对应的特征图部分输入到目标分类网络，从而通过目标分类网络对各候选区域所对应的障碍物进行分类，得到个候选区域对应的障碍物类别，并将属于障碍物类别的候选区域输入目标分割网络，通过目标分割网络从候选区域中提取出障碍物的区域信息。
S508，通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息。
其中，景深预测网络用于对道路场景图像中各障碍物的景深信息进行预测，在本申请的其他实施例中，该景深预测网络还可以用于根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深信息。
具体地，计算机设备通过景深预测网络对道路场景图像中每一个像素点的深度信息都进行预测，基于每个像素点的深度信息和实例分割所确定出的障碍物分别对应的区域信息，预测出各障碍物分别对应的景深信息。
在一个实施例中，参考图6，图6为一个实施例中障碍物识别模型的结构示意图。可以看到障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络(RelationAware Head)。
其中，特征提取网络包括特征提取主干网络(Backbone)和特征金字塔网络(FPN)，实例分割网络包括区域生成网络(RPN)、目标分类网络(Box head)和目标分割网络(Maskhead)，特征提取主干网络(Backbone)包括不同尺度的卷积模块，每个卷积模块包括卷积网络层(Convolution)、归一化层(Batch Normalization，BN)和激活层(Relu)组成，特征金字塔网络(FPN)包括多个上采样模块，每个上采样模块分别由上采样网络层(bilinearupsampling)、归一化层和激活层组成。上采样模块的数量与通过特征提取主干网络所提取出来的不同尺度的主干特征图的数量相同。
实例分割网络包括区域生成网络(RPN)、目标分类网络(Box head)和目标分割网络(Mask head)，区域生成网络(RPN)包括多个预设尺度的卷积模块，用于从不同尺度的特征图中提取出候选区域；目标分类网络(Box head)包括卷积模块和全连接模块，用于预测各候选区域的类别和归回候选区域对应的候选框位置；目标分割网络(Mask head)包括多个卷积模块，用于对候选区域进行非线性变换，从而实现对障碍物进行实例分割。
景深预测网络(Relation Aware Head)包括不同尺度的卷积模块和下采样模块，用于预测各候选区域对应障碍物的景深信息，并实现对具备遮挡关系的目标障碍物的相对景深关系的确定。
举例说明，继续参考图6，假设特征提取主干网络包括4个不同尺度的卷积模块，将一张W*H*C(W代表图像的长度，H代表图像的宽度，C代表图像的通道数量)的RGB图像输入特征提取主干网络，每经过一个卷积模块，该卷积模块输出图像的图像面积为输入图像的图像面积的1/4，从而得到4个不同尺度的主干特征图，将所得到的4个不同尺度的特征图输入特征金字塔网络，通过特征金字塔的上采样模块对4个不同尺度的主干特征图中最小尺度的主干特征图进行上采样处理，实现对主干特征图的放大，得到放大后的主干特征图，如下式所示：
Wout×Hout＝(2×Win)×(2×Hin)
其中，Wout为输出图像的长度；Hout为输出图像的宽度；Win为输入图像的长度；Hin为输入图像的宽度。特征金字塔网络在得到放大后的主干特征图之后，将放大后的主干特征图与输入的、且与目标主干特征图进行融合，从而得到融合后的4个不同尺度的特征图，通过特征金字塔的下采样模块对4个不同尺度的主干特征图中最小尺度的主干特征图进行下采样处理，得到一个新尺度的特征图，从而通过特征金字塔网络得到5个不同尺度的特征图。
通过区域生成网络(RPN)分别从5个不同尺度的特征图中提取出候选区域，并通过区域特征聚集模块(ROI align)将候选区域对应的特征图部分输入到目标分类网络(Boxhead)，若候选区域为待进行检测的障碍物类别，输出该障碍物类别(class)，并回归候选框位置(boundbox)，并将该候选区域输入目标分割网络(Mask head)，通过目标分割网络(Mask head)对候选区域中进行二分类分割，即前景和背景，前景即为障碍物区域，从而提取出障碍物的区域信息(Mask)，并将目标分类网络(Box head)输出的障碍物类别作为与区域信息对应的障碍物类别。
通过特征融合模(concat)和最大池化模块(max polling)将实例分割的结果(即障碍物的无语信息和障碍物类别)输入景深预测网络(Relation Aware Head)，通过景深预测网络(Relation Aware Head)基于各障碍物分别对应的区域信息对各障碍物进行景深预测，输出各障碍物分别对应的景深数值。
上述实施例中，计算机设备通过将道路场景图像输入障碍物识别模型，其中，障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；并通过特征提取网络对道路场景图像进行特征提取，得到多个对应于不同尺度的特征图，通过实例分割网络对不同尺度的特征图分别进行实例分割处理，得到道路场景图像中各障碍物分别对应的区域信息，从而可以对道路场景图像中的不同尺度的障碍物均可以进行区域信息的准确提取，进而在通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，从而得到各障碍物分别对应的景深信息，实现对道路场景图像中不同尺度的障碍物的区域信息和深度信息的准确获取，进而提高了障碍物检测的精确度。
在一个实施例中，计算机设备根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物的步骤包括：基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域，计算不同障碍物所对应的候选区域之间的重叠率，将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
具体地，计算机设备在进行障碍物识别过程中，采用实例分割网络中的区域生成网络提取候选区域时，得到候选区域所对应的候选框，具体包括候选框的尺寸和坐标。计算机设备根据各障碍物分别对应的区域信息确定各障碍物所对应的候选区域，具体为确定各障碍物所对应的候选框，基于各候选框的尺寸和坐标计算不同障碍物所对应的候选框之间的重叠率，并将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。其中重叠率阈值可以根据实际应用场景进行设置。
上述实施例中，计算机设备通过基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域，计算不同障碍物所对应的候选区域之间的重叠率，从而基于障碍物所对应的候选区域之间的重叠率，可以确定出具有遮挡关系的目标障碍物，进而实现对目标障碍物相对景深关系的确定，提高了障碍物检测的精确度。
在一个实施例中，计算机设备根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系的步骤包括：基于目标障碍物的景深信息对各目标障碍物进行远近排序，得到对应的景深排序结果；基于景深排序结果确定各目标障碍物间的相对景深关系。
具体地，计算机设备所得的障碍物的景深信息为景深数值，景深数值的大小表示障碍物到目标车辆的距离的远近，例如，景深数值越小表示障碍物到目标车辆的距离越近、景深数值约到表示障碍物到目标车辆的距离越远。计算机设备基于目标障碍物的景深信息对各目标障碍物进行远近排序，具体可以是按照景深数值的大小对目标障碍物进行远近排序，得到对目标障碍物的景深排序结果。计算机设备在基于景深排序结果确定出各目标障碍物间的相对景深关系后，可以通过预设字符表示任意两个目标障碍物之间的相对景深关系，例如，用“-1”、“0”、“1”表示各目标障碍物间的相对景深关系。
上述实施例中，计算机设备基于目标障碍物的景深信息对各目标障碍物进行远近排序，得到对应的景深排序结果，并基于景深排序结果确定各目标障碍物间的相对景深关系，进而准确地确定出与目标车辆所处道路对应的障碍物检测结果，提高了障碍物检测的精确度。
在一个实施例中，计算机设备获取与目标车辆对应的测距装置采集的对各障碍物的测距结果包括：获取与目标车辆对应的测距装置采集的测距数据；按照与测距装置匹配的数据预处理方式对测距数据进行预处理，得到预处理后的测距数据；通过与测距装置匹配的距离预测模型对预处理后的测距数据进行距离预估处理，得到对各障碍物的测距结果。其中，测距装置包括摄像和雷达中的至少一种。
具体地，测距装置所采集到的测距数据的数据类型不同，基于该测距数据确定各障碍物的测距结果的方式也是不相同的，具体可以采用与测距装置匹配的距离预测模型基于测距数据得到对各障碍物的测距结果，使用距离预测模型获取测距结果之前，需要预先采用与距离预测模型匹配的数据预处理方式对测距数据进行预处理。其中，与距离预测模型匹配的数据预处理方式也就是与测距装置匹配的数据预处理方式，数据预处理方式包括图像预处理方式或点云数据预处理方式，图像预处理方式可以是图像灰度化、几何变换和图像增等处理中的至少一种，点云数据预处理可以是将点云数据投影到坐标系，以得到点云图像。
例如，当测距数据为通过摄像头采集的单目图像或双目图像时，可以采用图像预处理方式对所采集的单目图像或双目图像进行预处理，得到预处理后单目图像或双目图像；当采集的图像数据为三维点云数据时，可以采用点云数据预处理方式对三维点云数据进行预处理，得到点云图像。
上述实施例中，计算机设备通过获取与目标车辆对应的测距装置采集的测距数据，按照与测距装置匹配的数据预处理方式对测距数据进行预处理，得到预处理后的测距数据，并通过与测距装置匹配的距离预测模型对预处理后的测距数据进行距离预估处理，得到对各障碍物的测距结果，提高了障碍物检测的精确度。
在一个实施例中，如图7所示，还提供了一种障碍物检测方法，以该方法应用于图1中的计算机设备104为例进行说明，包括以下步骤：
S702，在目标车辆处于自动驾驶状态时，接收与目标车辆对应的图像采集装置传输的道路场景图像。
S704，将道路场景图像输入障碍物识别模型；障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；特征提取网络包括特征提取主干网络和特征金字塔网络；实例分割网络包括区域生成网络、目标分类网络和目标分割网络。
S706，将道路场景图像输入特征提取主干网络，经过特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图。
S708，将不同尺度的主干特征图输入特征金字塔网络，经过特征金字塔网络处理，得到多个对应于不同尺度的特征图。
S710，将不同尺度的特征图分别输入区域生成网络，经过区域生成网络中预设尺度的卷积网络层的处理，得到各特征图分别对应的候选区域。
S712，通过目标分类网络预测各候选区域分别对应的障碍物类别。
S714，基于预测得到的各候选区域所属的障碍物类别，对候选区域进行实例分割，得到各障碍物分别对应的区域信息。
S716，通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息。
S718，基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域。
S720，计算不同障碍物所对应的候选区域之间的重叠率。
S722，将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
S724，基于目标障碍物的景深信息对各目标障碍物进行远近排序，得到对应的景深排序结果。
S726，基于景深排序结果确定各目标障碍物间的相对景深关系。
S728，获取与目标车辆对应的测距装置采集的测距数据。
S730，按照与测距装置匹配的数据预处理方式对测距数据进行预处理，得到预处理后的测距数据。
S732，通过与测距装置匹配的距离预测模型对预处理后的测距数据进行距离预估处理，得到对各障碍物的测距结果。
S734，根据各障碍物的测距结果、以及障碍物中的目标障碍物间的相对景深关系，确定各障碍物的危险等级。
S736，将各目标障碍物间的相对景深关系、各障碍物的测距结果和各障碍物的危险等级中的至少一项，确定为与目标车辆所处道路对应的障碍物检测结果。
本申请还提供一种应用场景，该应用场景应用上述的障碍物检测方法。具体地，该障碍物检测方法在该应用场景的应用如下：
处于自动驾驶状态的目标车辆在行驶过程中，一方面通过单目摄像头采集目标车辆所处道路的道路场景图像(单目图像)，并将该道路场景图像传输至计算机设备，其中道路场景图像可反映目标车辆的周围环境，比如车道和障碍物，障碍物包括车辆、行人、路灯、交通指示牌等；另一方面通过雷达采集目标车辆所处道路中各障碍物的三维点云数据，并将该三维点云数据传输至计算机设备。
计算机设备在获取到目标车辆的道路场景图像之后，将道路场景图像输入障碍物识别模型，其中障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络(Relation Aware Head)，特征提取网络包括特征提取主干网络(Backbone)和特征金字塔网络(FPN)，实例分割网络包括区域生成网络(RPN)、目标分类网络(Box head)和目标分割网络(Mask head)，通过特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图，并将不同尺度的主干特征图输入特征金字塔网络，经过特征金字塔网络中的上采样模块以及下采样模块处理，得到多个对应于不同尺度的特征图，将不同尺度的特征图分别输入区域生成网络，经过区域生成网络中预设尺度的卷积网络层的处理，得到各特征图分别对应的候选区域，并通过目标分类网络预测各候选区域分别对应的障碍物类别，基于预测得到的各候选区域所属的障碍物类别，对候选区域进行实例分割，得到各障碍物分别对应的区域信息(mask)，通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息，并通过景深预测网络基于各障碍物分别对应的区域信息(mask)，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域(候选框)，基于候选区域确定具有遮挡关系的目标障碍物，再结合预测的各障碍物的景深信息对目标障碍物进行景深排序，得到目标障碍物间的景深排序关系(即相对景深关系)。
计算机设备在获取到目标车辆所处道路中的障碍物的三维点云数据之后，将三维点云数据投影到图像坐标系，从而得到点云图像，并基于点云图像确定各障碍物到目标车辆的距离，基于目标车辆的距离确定各障碍物的原始危险等级，并在得到道路场景图像中目标障碍物间的景深排序关系之后，基于该景深排序关系对障碍物中的目标障碍物的原始危险等级进行修正，得到目标障碍物的修正危险等级，将未修正的障碍物的原始危险等级和目标障碍物的修正危险等级确定为各障碍物的危险等级。具体地，若目标障碍物被其他障碍物遮挡，则确定其修正危险等级为低，若目标障碍物的原始危险等级与景深排序结果不匹配，则以景深排序结果为准对障碍物的原始危险等级进行修正。
计算机设备在得到各障碍物的危险等级之后，将各障碍物到目标车辆的距离、各障碍物间的景深排序关系以及各障碍物的关注等级作为障碍物检测结果输出。
应该理解的是，虽然图2、5和7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5和7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种障碍物检测装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：道路场景图像获取模块802、障碍物识别处理模块804、相对景深关系确定模块806、测距结果获取模块808和障碍物检测结果确定模块810，其中：
道路场景图像获取模块802，用于获取目标车辆所处道路的道路场景图像。
障碍物识别处理模块804，用于对道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息。
相对景深关系确定模块806，用于根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系。
测距结果获取模块808，用于获取与目标车辆对应的测距装置采集的对各障碍物的测距结果。
障碍物检测结果确定模块810，用于根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，确定与目标车辆所处道路对应的障碍物检测结果。
在一个实施例中，道路场景图像获取模块802，还用于：在目标车辆处于自动驾驶状态时，接收与目标车辆对应的图像采集装置传输的道路场景图像，道路场景图像为图像采集装置对目标车辆所处道路的现实场景进行采集得到的图像。
在一个实施例中，障碍物检测结果确定模块810，还用于：根据各障碍物的测距结果、以及障碍物中的目标障碍物间的相对景深关系，确定各障碍物的危险等级；将各目标障碍物间的相对景深关系、各障碍物的测距结果和各障碍物的危险等级中的至少一项，确定为与目标车辆所处道路对应的障碍物检测结果。
在一个实施例中，障碍物检测结果确定模块810，还用于：根据各障碍物的测距结果，确定各障碍物分别对应的原始危险等级；基于障碍物中的目标障碍物间的相对景深关系，对目标障碍物的原始危险等级进行修正，得到对应的修正危险等级；根据未进行调整的障碍物的原始危险等级、以及目标障碍物的修正危险等级，确定目标车辆所处道路中的各障碍物分别对应的危险等级。
上述实施例中，通过对所获取目标车辆所处道路的道路场景图像进行障碍物识别处理，得到道路场景图像中各障碍物分别对应的区域信息和景深信息，根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据目标障碍物的景深信息，确定各目标障碍物间的相对景深关系，从而在获取与目标车辆对应的测距装置采集的对各障碍物的测距结果之后，即使对于粘连或遮挡的两个以上的目标障碍物，也可以根据各目标障碍物间的相对景深关系、以及各障碍物的测距结果，准确地确定出与目标车辆所处道路对应的障碍物检测结果，进而基于精确的障碍物检测结果及时躲避危险等级较高的障碍物，提高自动驾驶的安全可靠性。
在一个实施例中，障碍物识别处理模块804，还用于：将道路场景图像输入障碍物识别模型；障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；通过特征提取网络对道路场景图像进行特征提取，得到多个对应于不同尺度的特征图；通过实例分割网络对不同尺度的特征图分别进行实例分割处理，得到道路场景图像中各障碍物分别对应的区域信息；通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息。
在一个实施例中，特征提取网络包括特征提取主干网络和特征金字塔网络，障碍物识别处理模块804，还用于：将道路场景图像输入特征提取主干网络，经过特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图；将不同尺度的主干特征图输入特征金字塔网络，经过特征金字塔网络处理，得到多个对应于不同尺度的特征图。
在一个实施例中，实例分割网络包括区域生成网络、目标分类网络和目标分割网络，障碍物识别处理模块804，还用于：将不同尺度的特征图分别输入区域生成网络，经过区域生成网络中预设尺度的卷积网络层的处理，得到各特征图分别对应的候选区域；通过目标分类网络预测各候选区域分别对应的障碍物类别；基于预测得到的各候选区域所属的障碍物类别，对候选区域进行实例分割，得到各障碍物分别对应的区域信息。
上述实施例中，通过将道路场景图像输入障碍物识别模型，其中，障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；并通过特征提取网络对道路场景图像进行特征提取，得到多个对应于不同尺度的特征图，通过实例分割网络对不同尺度的特征图分别进行实例分割处理，得到道路场景图像中各障碍物分别对应的区域信息，从而可以对道路场景图像中的不同尺度的障碍物均可以进行区域信息的准确提取，进而在通过景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，从而得到各障碍物分别对应的景深信息，实现对道路场景图像中不同尺度的障碍物的区域信息和深度信息的准确获取，进而提高了障碍物检测的精确度。
在一个实施例中，相对景深关系确定模块806，还用于：基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域；计算不同障碍物所对应的候选区域之间的重叠率；将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
上述实施例中，通过基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各障碍物各自对应的候选区域，计算不同障碍物所对应的候选区域之间的重叠率，从而基于障碍物所对应的候选区域之间的重叠率，可以确定出具有遮挡关系的目标障碍物，进而实现对目标障碍物相对景深关系的确定，提高了障碍物检测的精确度。
在一个实施例中，相对景深关系确定模块806，还用于：基于目标障碍物的景深信息对各目标障碍物进行远近排序，得到对应的景深排序结果；基于景深排序结果确定各目标障碍物间的相对景深关系。
上述实施例中，基于目标障碍物的景深信息对各目标障碍物进行远近排序，得到对应的景深排序结果，并基于景深排序结果确定各目标障碍物间的相对景深关系，进而准确地确定出与目标车辆所处道路对应的障碍物检测结果，提高了障碍物检测的精确度。
在一个实施例中，测距装置包括摄像和雷达中的至少一种，测距结果获取模块808，还用于：获取与目标车辆对应的测距装置采集的测距数据；按照与测距装置匹配的数据预处理方式对测距数据进行预处理，得到预处理后的测距数据；通过与测距装置匹配的距离预测模型对预处理后的测距数据进行距离预估处理，得到对各障碍物的测距结果。
上述实施例中，通过获取与目标车辆对应的测距装置采集的测距数据，按照与测距装置匹配的数据预处理方式对测距数据进行预处理，得到预处理后的测距数据，并通过与测距装置匹配的距离预测模型对预处理后的测距数据进行距离预估处理，得到对各障碍物的测距结果，提高了障碍物检测的精确度。
关于障碍物检测装置的具体限定可以参见上文中对于障碍物检测方法的限定，在此不再赘述。上述障碍物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储道路场景图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种障碍物检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种障碍物检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9或10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取目标车辆所处道路的道路场景图像；
对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果；所述障碍物检测结果包括目标障碍物的修正危险等级、以及未进行调整的障碍物的原始危险等级；其中，所述原始危险等级基于障碍物的测距结果确定，所述修正危险等级基于所述障碍物中目标障碍物间的相对景深关系，对所述目标障碍物的原始危险等级进行修正得到。
2.根据权利要求1所述的方法，其特征在于，所述获取目标车辆所处道路的道路场景图像，包括：
在所述目标车辆处于自动驾驶状态时，接收与所述目标车辆对应的图像采集装置传输的道路场景图像，所述道路场景图像为所述图像采集装置对所述目标车辆所处道路的现实场景进行采集得到的图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息，包括：
将所述道路场景图像输入障碍物识别模型；所述障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；
通过所述特征提取网络对所述道路场景图像进行特征提取，得到多个对应于不同尺度的特征图；
通过所述实例分割网络对所述不同尺度的特征图分别进行实例分割处理，得到所述道路场景图像中各障碍物分别对应的区域信息；
通过所述景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息。
4.根据权利要求3所述的方法，其特征在于，所述特征提取网络包括特征提取主干网络和特征金字塔网络，所述通过所述特征提取网络对所述道路场景图像进行特征提取，得到多个对应于不同尺度的特征图，包括：
将所述道路场景图像输入所述特征提取主干网络，经过所述特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图；
将所述不同尺度的主干特征图输入所述特征金字塔网络，经过所述特征金字塔网络处理，得到多个对应于不同尺度的特征图。
5.根据权利要求3所述的方法，其特征在于，所述实例分割网络包括区域生成网络、目标分类网络和目标分割网络，所述通过所述实例分割网络对所述不同尺度的特征图分别进行实例分割处理，得到所述道路场景图像中各障碍物分别对应的区域信息，包括：
将所述不同尺度的特征图分别输入所述区域生成网络，经过所述区域生成网络中预设尺度的卷积网络层的处理，得到各所述特征图分别对应的候选区域；
通过所述目标分类网络预测各所述候选区域分别对应的障碍物类别；
基于预测得到的各所述候选区域所属的障碍物类别，对所述候选区域进行实例分割，得到各障碍物分别对应的区域信息。
6.根据权利要求1所述的方法，其特征在于，所述根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，包括：
基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各所述障碍物各自对应的候选区域；
计算不同障碍物所对应的候选区域之间的重叠率；
将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系，包括：
基于所述目标障碍物的景深信息对各所述目标障碍物进行远近排序，得到对应的景深排序结果；
基于所述景深排序结果确定各目标障碍物间的相对景深关系。
8.根据权利要求1所述的方法，其特征在于，所述测距装置包括摄像和雷达中的至少一种，所述获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果，包括：
获取与所述目标车辆对应的所述测距装置采集的测距数据；
按照与所述测距装置匹配的数据预处理方式对所述测距数据进行预处理，得到预处理后的测距数据；
通过与所述测距装置匹配的距离预测模型对所述预处理后的测距数据进行距离预估处理，得到对各所述障碍物的测距结果。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果，包括：
将所述各目标障碍物间的相对景深关系、各所述障碍物的测距结果和各所述障碍物的危险等级中的至少一项，确定为与所述目标车辆所处道路对应的障碍物检测结果；其中，各所述障碍物的危险等级包括目标障碍物的修正危险等级、以及未进行调整的障碍物的原始危险等级。
10.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
根据各所述障碍物的测距结果，确定各障碍物分别对应的原始危险等级；
基于所述障碍物中的目标障碍物间的相对景深关系，对所述目标障碍物的原始危险等级进行修正，得到对应的修正危险等级；
根据未进行调整的障碍物的原始危险等级、以及所述目标障碍物的修正危险等级，确定所述目标车辆所处道路中的各障碍物分别对应的危险等级。
11.一种障碍物检测装置，其特征在于，所述装置包括：
道路场景图像获取模块，用于获取目标车辆所处道路的道路场景图像；
障碍物识别处理模块，用于对所述道路场景图像进行障碍物识别处理，得到所述道路场景图像中各障碍物分别对应的区域信息和景深信息；
相对景深关系确定模块，用于根据各障碍物分别对应的区域信息，确定具有遮挡关系的目标障碍物，并根据所述目标障碍物的景深信息，确定各目标障碍物间的相对景深关系；
测距结果获取模块，用于获取与所述目标车辆对应的测距装置采集的对各所述障碍物的测距结果；
障碍物检测结果确定模块，用于根据所述各目标障碍物间的相对景深关系、以及各所述障碍物的测距结果，确定与所述目标车辆所处道路对应的障碍物检测结果；所述障碍物检测结果包括目标障碍物的修正危险等级、以及未进行调整的障碍物的原始危险等级；其中，所述原始危险等级基于障碍物的测距结果确定，所述修正危险等级基于所述障碍物中目标障碍物间的相对景深关系，对所述目标障碍物的原始危险等级进行修正得到。
12.根据权利要求11所述的装置，其特征在于，所述道路场景图像获取模块，还用于：
在所述目标车辆处于自动驾驶状态时，接收与所述目标车辆对应的图像采集装置传输的道路场景图像，所述道路场景图像为所述图像采集装置对所述目标车辆所处道路的现实场景进行采集得到的图像。
13.根据权利要求11所述的装置，其特征在于，所述障碍物识别处理模块，还用于：
将所述道路场景图像输入障碍物识别模型；所述障碍物识别模型包括特征提取网络、实例分割网络和景深预测网络；
通过所述特征提取网络对所述道路场景图像进行特征提取，得到多个对应于不同尺度的特征图；
通过所述实例分割网络对所述不同尺度的特征图分别进行实例分割处理，得到所述道路场景图像中各障碍物分别对应的区域信息；
通过所述景深预测网络，并基于各障碍物分别对应的区域信息对各障碍物进行景深预测，得到各障碍物分别对应的景深信息。
14.根据权利要求13所述的装置，其特征在于，所述特征提取网络包括特征提取主干网络和特征金字塔网络，所述障碍物识别处理模块，还用于：
将所述道路场景图像输入所述特征提取主干网络，经过所述特征提取主干网络中不同尺度的卷积网络层的处理，得到多个对应于不同尺度的主干特征图；
将所述不同尺度的主干特征图输入所述特征金字塔网络，经过所述特征金字塔网络处理，得到多个对应于不同尺度的特征图。
15.根据权利要求13所述的装置，其特征在于，所述实例分割网络包括区域生成网络、目标分类网络和目标分割网络，所述障碍物识别处理模块，还用于：
将所述不同尺度的特征图分别输入所述区域生成网络，经过所述区域生成网络中预设尺度的卷积网络层的处理，得到各所述特征图分别对应的候选区域；
通过所述目标分类网络预测各所述候选区域分别对应的障碍物类别；
基于预测得到的各所述候选区域所属的障碍物类别，对所述候选区域进行实例分割，得到各障碍物分别对应的区域信息。
16.根据权利要求11所述的装置，其特征在于，所述相对景深关系确定模块，还用于：
基于各障碍物分别对应的区域信息，获取在进行障碍物识别过程中，各所述障碍物各自对应的候选区域；
计算不同障碍物所对应的候选区域之间的重叠率；
将重叠率大于重叠率阈值的候选区域所对应的障碍物，确定为具有遮挡关系的目标障碍物。
17.根据权利要求11所述的装置，其特征在于，所述相对景深关系确定模块，还用于：
基于所述目标障碍物的景深信息对各所述目标障碍物进行远近排序，得到对应的景深排序结果；
基于所述景深排序结果确定各目标障碍物间的相对景深关系。
18.根据权利要求11所述的装置，其特征在于，所述测距装置包括摄像和雷达中的至少一种，所述测距结果获取模块，还用于：
获取与所述目标车辆对应的所述测距装置采集的测距数据；
按照与所述测距装置匹配的数据预处理方式对所述测距数据进行预处理，得到预处理后的测距数据；
通过与所述测距装置匹配的距离预测模型对所述预处理后的测距数据进行距离预估处理，得到对各所述障碍物的测距结果。
19.根据权利要求11至18中任一项所述的装置，其特征在于，所述障碍物检测结果确定模块，还用于：
将所述各目标障碍物间的相对景深关系、各所述障碍物的测距结果和各所述障碍物的危险等级中的至少一项，确定为与所述目标车辆所处道路对应的障碍物检测结果；其中，各所述障碍物的危险等级包括目标障碍物的修正危险等级、以及未进行调整的障碍物的原始危险等级。
20.根据权利要求11至18中任一项所述的装置，其特征在于，所述障碍物检测结果确定模块，还用于：
根据各所述障碍物的测距结果，确定各障碍物分别对应的原始危险等级；
基于所述障碍物中的目标障碍物间的相对景深关系，对所述目标障碍物的原始危险等级进行修正，得到对应的修正危险等级；
根据未进行调整的障碍物的原始危险等级、以及所述目标障碍物的修正危险等级，确定所述目标车辆所处道路中的各障碍物分别对应的危险等级。
21.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
22.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202011138627.5A 2020-10-22 2020-10-22 障碍物检测方法、装置、计算机设备和存储介质 Active CN112417967B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011138627.5A CN112417967B (zh) 2020-10-22 2020-10-22 障碍物检测方法、装置、计算机设备和存储介质
PCT/CN2021/120162 WO2022083402A1 (zh) 2020-10-22 2021-09-24 障碍物检测方法、装置、计算机设备和存储介质
EP21881821.9A EP4109331A4 (en) 2020-10-22 2021-09-24 OBSTACLE DETECTION METHOD AND APPARATUS, COMPUTER DEVICE AND INFORMATION MEDIA
JP2022564312A JP7430277B2 (ja) 2020-10-22 2021-09-24 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US17/950,644 US20230014874A1 (en) 2020-10-22 2022-09-22 Obstacle detection method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011138627.5A CN112417967B (zh) 2020-10-22 2020-10-22 障碍物检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112417967A CN112417967A (zh) 2021-02-26
CN112417967B true CN112417967B (zh) 2021-12-14

Family

ID=74840400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011138627.5A Active CN112417967B (zh) 2020-10-22 2020-10-22 障碍物检测方法、装置、计算机设备和存储介质

Country Status (5)

Country Link
US (1) US20230014874A1 (zh)
EP (1) EP4109331A4 (zh)
JP (1) JP7430277B2 (zh)
CN (1) CN112417967B (zh)
WO (1) WO2022083402A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN115512316A (zh) * 2021-06-04 2022-12-23 魔门塔(苏州)科技有限公司 静态障碍物接地轮廓线多帧融合方法、装置及介质
CN113689589B (zh) * 2021-09-02 2023-04-21 广东电网有限责任公司 一种基于无人机的电缆线路巡视方法及装置
CN113790761B (zh) * 2021-09-22 2023-08-04 腾讯科技（深圳）有限公司 驾驶端定位方法、装置、计算机设备和存储介质
WO2023065313A1 (zh) * 2021-10-22 2023-04-27 深圳市速腾聚创科技有限公司 遮挡关系判断方法、装置、存储介质及电子设备
CN113902047B (zh) * 2021-12-10 2022-03-04 腾讯科技（深圳）有限公司 图像元素匹配方法、装置、设备以及存储介质
CN114396911B (zh) * 2021-12-21 2023-10-31 中汽创智科技有限公司 一种障碍物测距方法、装置、设备及存储介质
CN114274979B (zh) * 2022-01-07 2024-06-14 中国第一汽车股份有限公司 自动驾驶的目标关注度等级判别方法、装置及存储介质
CN114627443B (zh) * 2022-03-14 2023-06-09 小米汽车科技有限公司 目标检测方法、装置、存储介质、电子设备及车辆
CN114677425A (zh) * 2022-03-17 2022-06-28 北京小马慧行科技有限公司 确定物体景深的方法与装置
CN114740867A (zh) * 2022-05-10 2022-07-12 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
CN114764911B (zh) * 2022-06-15 2022-09-23 小米汽车科技有限公司 障碍物信息检测方法、装置、电子设备及存储介质
CN115331190B (zh) * 2022-09-30 2022-12-09 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115375985B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 非限定类别障碍物检测方法、相关网络训练方法及装置
CN115840459B (zh) * 2023-01-04 2023-05-16 北京科技大学 一种面向扑翼飞行器的单目视觉避障***
CN116052121B (zh) * 2023-01-28 2023-06-27 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置
CN116416504B (zh) * 2023-03-16 2024-02-06 北京瑞拓电子技术发展有限公司 基于车辆协同的高速公路异物检测***和方法
CN116012453B (zh) * 2023-03-28 2023-06-09 常州星宇车灯股份有限公司 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116704473B (zh) * 2023-05-24 2024-03-08 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质
CN116434151B (zh) * 2023-06-14 2023-08-29 云途信息科技(杭州)有限公司 路面异物识别方法、装置、计算机设备及存储介质
CN117934486B (zh) * 2024-03-25 2024-06-07 国网辽宁省电力有限公司电力科学研究院 变压器元件检测方法、装置、电子设备和存储介质
CN118135542A (zh) * 2024-05-06 2024-06-04 武汉未来幻影科技有限公司 一种障碍物动静态判定方法及其相关设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537661A (zh) * 2014-12-26 2015-04-22 张长隆 一种单目摄像头测量面积的方法和***
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
CN108416776A (zh) * 2018-03-16 2018-08-17 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN108469825A (zh) * 2018-04-19 2018-08-31 河南科技学院 一种基于车路协同的智能巡视***及其构建方法
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN109639896A (zh) * 2018-12-19 2019-04-16 Oppo广东移动通信有限公司 遮挡物检测方法、装置、存储介质及移动终端
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制***
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111339649A (zh) * 2020-02-20 2020-06-26 西南交通大学 一种采集车辆轨迹数据的仿真方法、***及设备
CN111488812A (zh) * 2020-04-01 2020-08-04 腾讯科技（深圳）有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP2015042952A (ja) * 2013-08-26 2015-03-05 シャープ株式会社 障害物検知装置および電動車両
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109212377B (zh) * 2018-09-27 2021-08-20 国网智能科技股份有限公司 一种高压线路障碍物识别方法、装置、巡检机器人
JP2020167441A (ja) * 2019-03-28 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN111291809B (zh) * 2020-02-03 2024-04-12 华为技术有限公司 一种处理装置、方法及存储介质
CN111680554A (zh) * 2020-04-29 2020-09-18 北京三快在线科技有限公司 自动驾驶场景的深度估计方法、装置和自主车辆
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537661A (zh) * 2014-12-26 2015-04-22 张长隆 一种单目摄像头测量面积的方法和***
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
CN108416776A (zh) * 2018-03-16 2018-08-17 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN108469825A (zh) * 2018-04-19 2018-08-31 河南科技学院 一种基于车路协同的智能巡视***及其构建方法
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN109639896A (zh) * 2018-12-19 2019-04-16 Oppo广东移动通信有限公司 遮挡物检测方法、装置、存储介质及移动终端
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制***
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111339649A (zh) * 2020-02-20 2020-06-26 西南交通大学 一种采集车辆轨迹数据的仿真方法、***及设备
CN111488812A (zh) * 2020-04-01 2020-08-04 腾讯科技（深圳）有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN111666921A (zh) * 2020-06-30 2020-09-15 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP7430277B2 (ja) 2024-02-09
CN112417967A (zh) 2021-02-26
US20230014874A1 (en) 2023-01-19
WO2022083402A1 (zh) 2022-04-28
EP4109331A1 (en) 2022-12-28
JP2023523243A (ja) 2023-06-02
EP4109331A4 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
US11783568B2 (en) Object classification using extra-regional context
EP4152204A1 (en) Lane line detection method, and related apparatus
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
US11755917B2 (en) Generating depth from camera images and known depth data using neural networks
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN112947419B (zh) 避障方法、装置及设备
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112654998B (zh) 一种车道线检测方法和装置
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN113255779B (zh) 多源感知数据融合识别方法、***及计算机可读存储介质
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
US20230215190A1 (en) Boundary estimation
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
EP4266261A1 (en) 3d road surface estimation for automated driving systems
CN115700397A (zh) 雷达传感器的融合方法、装置、计算设备和存储介质
CN118192537A (zh) 一种基于光场的自动驾驶感知避障***及方法
CN114675274A (zh) 障碍物检测方法、装置、存储介质及电子设备
CN116778262A (zh) 一种基于虚拟点云的三维目标检测方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037982

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant