CN114565906A - 障碍物检测方法、装置、电子设备及存储介质 - Google Patents

障碍物检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114565906A
CN114565906A CN202210209173.9A CN202210209173A CN114565906A CN 114565906 A CN114565906 A CN 114565906A CN 202210209173 A CN202210209173 A CN 202210209173A CN 114565906 A CN114565906 A CN 114565906A
Authority
CN
China
Prior art keywords
target
grid
position information
processed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210209173.9A
Other languages
English (en)
Inventor
李�浩
许舒恒
李元骏
许新玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202210209173.9A priority Critical patent/CN114565906A/zh
Publication of CN114565906A publication Critical patent/CN114565906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种障碍物检测方法、装置、电子设备及存储介质，该方法包括：确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息；确定与目标待处理图像相关联的至少一幅历史待处理图像，并调取各历史待处理图像的历史位置信息；根据目标车辆的车辆位置信息、目标位置信息以及各历史位置信息，确定与目标车辆相对应的目标栅格，以及目标栅格中各子栅格区域的目标栅格属性信息；根据各目标栅格属性信息，确定目标障碍物。本发明实施例的技术方案，通过像素级的处理过程，实现了准确、全面检测道路上各种类型的障碍物的技术效果。

Description

障碍物检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及无人车技术领域，尤其涉及一种障碍物检测方法、装置、电子设备及存储介质。
背景技术
目前，在无人配送车的感知算法中，多使用深度神经网络对常见的障碍物进行检测，可选的，常见障碍物可以是车辆、行人、非机动车等；或者，在无人配送车上设置激光雷达，通过采集空间内的点云数据来确定对应的障碍物。
发明人在基于上述方式实施本技术方案时，发现存在如下问题：
利用深度神经网络仅能对常见的障碍物进行检测，对于不常见的障碍物，如，地面上的砖头、钢管、塑料盒等，深度神经网络便不能确定出物体的种类，进而无法输出相应的检测结果；利用激光雷达检测障碍物时，采集得到的点云数据比较稀疏，这就导致无人车无法检测到贴近路面的、高度低、体积小的障碍物。因此，上述两种检测方式中存在误检或漏检的情况，从而使无人车无法准确、全面地检测出路上的障碍物，导致存在无人车行驶效果不佳的问题。
发明内容
本发明提供一种障碍物检测方法、装置、电子设备及存储介质，以实现准确、全面检测道路上各种类型的障碍物的技术效果。
第一方面，本发明实施例提供了一种障碍物检测方法，应用于无人车，该方法包括：
确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息；
确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息；
根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息；
根据各目标栅格属性信息，确定目标障碍物。
第二方面，本发明实施例还提供了一种障碍物检测装置，该装置包括：
目标位置信息确定模块，用于确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息；
历史位置信息确定模块，用于确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息；
目标栅格属性信息确定模块，用于根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息；
目标障碍物确定模块，用于根据各目标栅格属性信息，确定目标障碍物。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的障碍物检测方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的障碍物检测方法。
本发明实施例的技术方案，先确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息，再确定与目标待处理图像相关联的至少一幅历史待处理图像，并调取各历史待处理图像的历史位置信息，即确定出像素点多个时刻对应的位置信息；进一步的，根据目标车辆的车辆位置信息、目标位置信息以及历史位置信息，确定与目标车辆相对应的目标栅格以及目标栅格中各子栅格区域的目标栅格属性信息，根据各目标栅格属性信息确定目标障碍物，为无人车提供了便捷的障碍物检测方式的同时，通过像素级的处理实现了对各类型障碍物的无差别检测，从而使障碍物检测结果更加准确和全面，避免了现有检测方式中所出现的障碍物误检或漏检问题。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例所提供的一种障碍物检测方法的流程示意图(一)；
图2为本发明实施例所提供的一种障碍物检测方法的流程示意图(二)；
图3为本发明实施例所提供的一种障碍物检测方法的原理图(三)；
图4为本发明实施例所提供的一种障碍物检测装置的结构框图(四)；
图5为本发明实施例所提供的一种电子设备的结构示意图(五)。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例所提供的一种障碍物检测方法的流程示意图(一)，本实施例可适用于无人车对道路上各种类型的障碍物进行检测的情况，该方法可以由障碍物检测装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。
如图1所示，该方法具体包括如下步骤：
S110、确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息。
其中，可以在无人车上设置摄像装置，对应的，可以将基于摄像装置直接拍摄得到的图像作为待处理图像。例如，在无人车行驶过程中，可以基于摄像装置录制行驶环境信息，并将录制的每个视频帧作为待处理图像。具体来说，在待处理图像中存在多种元素的信息，主要包括行驶道路信息，如，道路的路面、道路上的标识以及障碍物等，同时，待处理图像中还可以包括行人、车辆、天空、建筑物等。可以理解，待处理图像作为无人车确定道路上障碍物的数据基础，虽然包括上述多种类型的元素，但只有处于或即将处于无人车所行驶道路上的、可能与无人车发生碰撞的元素才是其需要检测的障碍物。
在本实施例中，当无人车需要确定当前道路上的障碍物时，可以将摄像装置在当前时刻所拍摄的待处理图像作为目标处理图像，还可以将摄像装置在无人车处于当前位置时所拍摄的待处理图像作为目标待处理图像。例如，当无人车在某一时刻需要确定道路上的障碍物时，可以将摄像装置在该时刻拍摄的前方道路图像作为目标待处理图像；当无人车处于某个位置并需要确定道路上的障碍物时，可以将摄像装置在该位置拍摄的图像作为目标待处理图像。
由于道路上可能存在多种形状、颜色、大小等特征不统一的障碍物，利用传统的深度学习模型或激光雷达并不能对这些障碍物进行准确、全面的检测，因此，在本实施例中，需要先从像素级别对目标待处理图像进行处理。
具体来说，需要在目标待处理图像中确定出至少一个目标像素点，并确定至少一个目标像素点的目标位置信息。其中，目标像素点可以是目标待处理图像中与障碍物所对应的一个或多个像素点，例如，所拍摄的目标待处理图像显示，前方道路中央放置有一个纸箱，如果无人车继续向前行驶则可能与该纸箱发生碰撞，此时，在目标待处理图像中，与作为障碍物的纸箱所对应的多个像素点即是目标像素点。
进一步的，在确定出目标像素点后，可以将目标像素点在二维坐标系中的坐标值作为目标位置信息。继续以上述示例进行说明，当确定出纸箱对应的多个目标像素点后，即可确定出与目标待处理图像关联的二维坐标系，并将这些像素点在二维坐标系中的坐标值作为目标位置信息。
S120、确定与目标待处理图像相关联的至少一幅历史待处理图像，并调取各历史待处理图像的历史位置信息。
在本实施例中，由于拍摄装置拍摄范围以及二维图像的局限性，仅通过一幅目标待处理图像并不能确定出三维的障碍物，同时，一幅目标待处理图像也并不能准确、全面描述当前道路上存在的多种类型的障碍物。因此，在确定出目标待处理图像后，还需要从拍摄装置拍摄的多幅待处理图像中确定出至少一幅历史待处理图像。
具体的确定历史待处理图像的方式有多种，一种方式为，在确定出目标待处理图像后，可以基于目标待处理图像对应的目标时刻，选择该时刻之前预设时间段内的多幅图像作为历史待处理图像；另一种方式为，在确定出目标待处理图像后，可以进一步确定出该图像所属的视频片段，从而将该视频片段中处于目标待处理图像之前的多个视频帧作为历史待处理图像。
进一步的，为了实现对道路上障碍物的全面检测，还需要按照如确定目标像素点的方式，在各历史待处理图像中确定出各障碍物对应的像素点，进一步的，确定出这些像素点在对应的、与图像相关联的二维坐标系中的坐标值，并将这些坐标值作为历史位置信息，本公开实施例在此不再赘述。
S130、根据目标车辆的车辆位置信息、目标位置信息以及各历史位置信息，确定与目标车辆相对应的目标栅格，以及目标栅格中各子栅格区域的目标栅格属性信息。
其中，目标车辆是指正在执行障碍物检测的车辆，对应的，车辆位置信息即是与目标车辆当前位置所关联的信息，例如，可以是目标车辆当前所处的三维空间坐标系中的坐标值。
本领域技术人员应当理解，无人车对道路上的障碍物进行检测的过程，实质上也是确定这些障碍物相对于车辆自身所处的位置的过程。基于此，在本实施例中，确定出目标车辆的车辆位置信息、目标位置信息以及各历史位置信息后，还需要先将这些信息(如具体的坐标值)转换至同一图像中。
具体来说，可以将上述信息转换至同一栅格图中。首先，确定与目标车辆相对应的目标栅格。其中，目标栅格可以是栅格图像，即一种在空间和亮度上都已经离散化的图像，至少由多个子栅格构成。当目标栅格作为一种矩阵时，其中任一元素都可以对应于图像中的一个点，而该元素的值则对应于图像中点的灰度等级。
同时，每个子栅格还关联有对应的目标栅格属性信息，可以理解为，在将车辆位置信息、目标位置信息以及各历史位置信息转化至同一目标栅格中时，可以对子栅格赋予相应的属性值作为目标栅格属性信息，进而使其对待处理图像中相应的实体进行反映。例如，将反映图像中像素点灰度等级的值作为子栅格的目标栅格属性信息时，通过多幅图像在目标栅格中的灰度值，即可构建出道路上障碍物的形状。
S140、根据各目标栅格属性信息，确定目标障碍物。
在本实施例中，在目标栅格中确定出各目标栅格属性信息后，即可根据这些信息确定当前道路上的目标障碍物。示例性的，当将反映图像中像素点灰度等级的值作为目标栅格属性信息时，可以对同一子栅格的多个灰度值进行统计，根据统计结果确定该子栅格对应的位置是否存在障碍物，例如，基于一幅目标待处理图像和九幅历史待处理图像，针对同一子栅格确定出十个灰度值信息时，十个灰度值均为255，基于此可以确定，道路上与该子栅格相对应的位置上存在障碍物。
进一步的，为了在目标栅格中确定出障碍物的整体形状，还需要根据各子栅格的检测结果进行构建，例如，将多个表示存在障碍物的、处于相邻位置的子栅格进行整合，所得到的二维的整合结果即表示障碍物的形状，从而实现了对道路上障碍物的整体检测。可以理解，所构建的障碍物形状的精度与目标栅格中子栅格的大小相关，子栅格越小，目标栅格的密度越大，所构建的障碍物的形状的精度越高。
本实施例的技术方案，先确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息，再确定与目标待处理图像相关联的至少一幅历史待处理图像，并调取各历史待处理图像的历史位置信息，即确定出像素点多个时刻对应的位置信息；进一步的，根据目标车辆的车辆位置信息、目标位置信息以及历史位置信息，确定与目标车辆相对应的目标栅格以及目标栅格中各子栅格区域的目标栅格属性信息，根据各目标栅格属性信息确定目标障碍物，为无人车提供了便捷的障碍物检测方式的同时，通过像素级的处理实现了对各类型障碍物的无差别检测，从而使障碍物检测结果更加准确和全面，避免了现有检测方式中所出现的障碍物误检或漏检问题。
图2为本发明实施例所提供的一种障碍物检测方法的流程示意图(二)，在前述实施例的基础上，将各目标像素点的位置信息转换至世界坐标系中，同时，基于转换结果构建出表征各目标像素点二维坐标值和三维坐标值关联关系的映射表，以此在后续需要目标像素点三维坐标值时，通过查表的方式对这些三维坐标值进行实时调用；确定出目标栅格以及各子栅格区域后，再确定出各子栅格区域的目标栅格属性信息，同时，保持盲区范围内的子栅格区域的属性信息不变，通过使该子栅格持续输出障碍物属性，避免了无人车错将未检测到的盲区作为可行驶道路的情况发生；最后，基于目标栅格属性信息，对待聚合子栅格区域进行聚类处理，即可确定出目标障碍物在目标栅格中所占用的区域。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示，该方法具体包括如下步骤：
S210、确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息。
在本实施例中，在确定目标待处理图像中的至少一个目标像素点的过程中，可选的，基于图像语义分割算法对目标待处理图像中的各像素点进行分类标记，得到各像素点的类别标记；基于各类别标记，确定目标待处理图像中的至少一个目标像素点。
其中，可以预先对无人车行驶道路或者道路所属环境中各个元素进行分类，可选的，元素包括天空、道路、建筑物、行人等。在本实施例中，还可以预先设置每个元素的类别，在此基础上，图像语义分割算法可以根据预先标记的元素类别，确定目标待处理图像中各个像素点所对应的类别标记。
在本实施例中，为了实现对可能与无人车发生碰撞的障碍物的检测，在所确定的多种类别标记中，可以先确定出除道路类别标记以外的其他类别标记，进一步的，在目标待处理图像中将其他类别标记对应的像素点作为目标像素点。在实际应用过程中，为了以更加简洁的形式反映出非道路类别标记对应的像素点，还可以在将图像进行语义分割后，对所得到的各个像素点的属性进行二值化处理，即，将无人车可以行驶的、携带有道路类别标记的像素点的像素值设置为0，将未携带道路类别标记的像素点的像素值设置为1。
可以理解，这种方式并非传统的直接对障碍物图像进行识别和检测，而是直接确定出不属于无人车可行驶道路的像素点，也即是说，所确定的像素点所反映的区域即是存在障碍物的区域。
在确定至少一个目标像素点的目标位置信息的过程中，可选的，根据预先建立的像素点坐标与世界坐标之间的映射关系，确定各目标像素点的目标位置信息。
其中，目标位置信息是指目标像素点在世界坐标系内的三维坐标值，映射关系则是根据预先确定的变换矩阵确定的，变换矩阵是基于设置在目标车辆上的摄像装置的内参标定矩阵、外参标定矩阵、摄像装置与水平面之间的垂直距离、以及坐标系距离来确定。坐标系距离可以是摄像装置坐标系和世界坐标系之间的距离，该距离值可以是定值，也可以是变化的值，在实际应用过程中，该值可以实时确定。
需要说明的是，摄像装置在无人车上的安装位置是固定的，相应的，摄像装置距离水平面之间的垂直距离也是确定的。同时，摄像装置的内参标定矩阵、外参标定矩阵也可以预先确定，可选的，内参标定矩阵以及外参标定矩阵可以是摄像装置的出厂参数，也可以是经工作人员调试完毕后所确定的参数。
示例性的，已知一个目标像素点在二维坐标系中的坐标为Pi＝(u，v)，根据预先建立的像素点坐标与世界坐标之间的映射关系确定该点的目标位置信息的过程，即是确定该点在世界坐标系中的三维坐标Pw＝(xw，yw，zw)的过程。其中，zw已知为在三维坐标系中的摄像装置的高度坐标，即摄像装置距离水平面的垂直距离。Pi和Pw满足以下等式，
Figure BDA0003532414170000101
其中，MI为摄像装置内参标定矩阵(已知)，ME为摄像装置与三维坐标系(世界坐标系)的外参标定矩阵(已知)，Zc为摄像装置坐标系相对三维坐标系的距离，对上述参数进行代入后，可以得到如下公式：
Figure BDA0003532414170000111
通过以上计算，即可得到各目标像素点在世界坐标系内的三维坐标值，即目标位置信息。
同时需要说明的是，由于上述公式所反映的坐标转换过程主要与摄像装置内参标定矩阵、外参标定矩阵有关，因此在实际应用过程中，为了减少在线运行上述算法的耗时，在得到目标待处理图像中各目标像素点的坐标时，可以直接计算得出对应的三维坐标值，同时，基于转换结果构建出表征各目标像素点二维坐标值和三维坐标值关联关系的映射表，基于此，可以在后续的需要目标像素点三维坐标值时，通过查表的方式对这些三维坐标值进行实时调用。
S220、根据目标待处理图像的生成时刻和预设时长间隔，确定与目标待处理图像相关联的至少一幅历史待处理图像；调取与历史待处理图像相对应的历史位置信息。
在本实施例中，由于历史待处理图像与目标待处理图像在时间这一参数上存在关联关系，因此，在确定出一幅目标待处理图像时，为了进一步确定出历史待处理图像，还需要确定目标待处理图像的生成时刻。可以理解为，获取摄像装置拍摄目标待处理图像时所生成的时间戳信息。
进一步的，根据预先设置的时长间隔，即可确定出历史待处理图像，具体来说，在确定出目标待处理图像生成时刻t后，即可确定出处于该时刻之前的、预设时长间隔δt之内的多个时间戳，进而将这些时间戳对应的多帧图像作为历史待处理图像。也即是说，确定出位于[t-δt，t]区间内的时间戳信息，进而将与区间内各时间戳对应的图像作为待处理图像的集合，可以理解，在待处理图像的集合中包括至少一幅历史待处理图像以及一幅目标待处理图像。
在本实施例中，得到至少一幅历史待处理图像后，还可以调取与历史待处理图像相对应的历史位置信息。具体的，可以按照确定目标像素点的方式，确定出历史待处理图像中的各像素点，并将无人车可以行驶的、携带有道路类别标记的像素点的像素值设置为0，将未携带道路类别标记的像素点的像素值设置为1，通过二值化的处理，在历史待处理图像中确定出除道路类别标记以外的像素点作为历史目标像素点。进一步的，对历史目标像素点在其历史待处理图像中对应的二维坐标进行转换，得到其在世界坐标系中的三维坐标值，并将各三维坐标值作为本实施例中的历史位置信息。最后，基于历史待处理图像中所有携带非道路属性的历史位置信息(即三维坐标值)，以及目标待处理图像中所有携带非道路属性的目标位置信息(即三维坐标值)构建出集合T，以表示t时刻道路上障碍物点的集合。
需要说明的是，为了保证多个图像中像素点的二维坐标可以转换至统一的世界坐标系中，对于任一历史待处理图像以及唯一的目标待处理图像来说，各像素点对应的历史位置信息与目标位置信息是基于同一坐标系确定的。
由于摄像装置可能存在拍摄盲区，同时，图像语义分割模型不可避免会产生误检测的问题，这就导致单帧图像并不能完整反映出道路上的障碍物，因此，在确定出目标待处理图像后，才进一步确定出与目标待处理图像相关联的历史待处理图像，可以理解，通过这种方式不仅弥补了无人车在当前时刻t所拍摄图像中的盲区的信息，也缓解了语义分割模型产生的误检测现象。
S230、根据车辆位置信息、子栅格区域的边长信息、以及覆盖目标车辆的覆盖长度和覆盖宽度，确定目标栅格以及目标栅格中的各子栅格区域。
其中，车辆位置信息可以是无人车当前所处的位置的在世界坐标系中对应的坐标值。在确定出车辆位置信息后，即可以该位置为中心，构建出二维的目标栅格。在实际应用过程中，可以将车辆在所构建的目标栅格中的坐标定义为(xcenter，ycenter)。
在本实施例中，由于目标栅格是由多个子栅格组成的，在确定目标栅格的同时，还可以基于确定出各子栅格区域，具体的，可以通过以下公式确定出各子栅格区域：
Figure BDA0003532414170000131
其中，grid_length为目标栅格的长，grid_width为目标栅格的宽，目标栅格在x轴方向以及y轴方向的覆盖范围分别为roi_x以及roi_y，可以理解，roi_x与目标栅格的长的比值，即是子栅格的长，roi_y与目标栅格的宽的比值，即是子栅格的宽。在实际应用过程中，由于目标栅格中各子栅格可以是正方形的，因此，所确定的子栅格区域的边长都以grid_size来表示。
S240、根据各历史待处理图像的各历史位置信息和目标待处理图像的目标位置信息，确定各子栅格区域的目标栅格属性信息。
在本实施例中，根据车辆位置信息构建出目标栅格，并确定出各子栅格区域后，为了使无人车实现对道路上障碍物的检测，还需要将待处理图像中各像素点对应的位置信息整合至目标栅格中。可以理解为，将历史待处理图像的各历史位置信息(二维坐标值)以及目标待处理图像中的目标位置信息(二维坐标值)与目标栅格中的各子栅格进行对应。
可选的，针对各待处理图像，根据当前待处理图像中各位置信息的横纵坐标、子栅格区域的边长信息以及车辆位置信息的横纵坐标，确定与各位置信息所属的目标子栅格区域。
具体的，由于在上述调取历史位置信息时，为了表示t时刻道路上障碍物点的集合，已经基于历史待处理图像中所有携带非道路属性的历史位置信息(即三维坐标值)，以及目标待处理图像中所有携带非道路属性的目标位置信息(即三维坐标值)构建出集合T。因此可以理解，待处理图像中包括目标待处理图像以及各历史待处理图像，位置信息中包括目标位置信息和历史位置信息。进一步的，在确定出待处理图像中的各位置信息的集合后，可以基于如下公式在目标栅格中确定与各位置信息对应的目标子栅格区域：
Figure BDA0003532414170000141
其中，grid_size即是正方形的各子栅格的边长；(xcenter，ycenter)为车辆在所构建的目标栅格中的坐标，对应的，(xgrid，ygrid)则是转换得到的、各目标像素点在所构建的目标栅格中的坐标；(x，y)则是坐标转换之前各目标像素点在所处坐标系内的坐标。
在实际应用过程中，为了融合连续时间段内的障碍物点的集合，(x，y)可以是将各位置信息整合至同一局部坐标系(即local坐标系)后所得到的坐标值。其中，局部坐标系可以是以车辆行驶路线上的起点为原点所建立的坐标系。可以理解，将各像素点位置信息整合至局部坐标系后，道路上静态障碍物的位置便不会随车辆的行驶而发生改变，同时，可以利用预先设置的变换矩阵，将车辆位置信息(车辆在世界坐标系中的三维坐标值)转换至上述局部坐标系中，本公开实施例在此不再赘述。
在目标栅格中确定出各位置信息对应的目标子栅格区域后，由于每个子栅格都关联有对应的属性信息，因此，还需要将每个待处理图像所对应的目标子栅格区域标记为障碍物属性，以及将非目标子栅格区域标记为自由属性，得到与每个子栅格区域相对应的栅格属性标签序列。进一步的，根据各栅格属性标签序列，确定目标栅格属性信息。
具体来说，由于各位置信息为反映障碍物的像素点的坐标值，因此，将这些位置信息与子栅格进行关联后，可以对子栅格的属性信息进行标记，如，在属性信息中将该子栅格标记为障碍物，同时，将无法与位置信息进行关联的其他子栅格的属性信息标记为自由属性，表示该子栅格对应的位置不存在障碍物。可以理解，由于各位置信息来自于目标待处理图像以及至少一幅历史待处理图像，因此，同一子栅格可以与多个位置信息进行关联，进而得到多个对应的属性信息，对于一个子栅格来说，基于多个属性信息即可构建出其栅格属性标签序列。
在本实施例后，得到各子栅格的栅格属性标签序列后即可确定出其目标栅格属性信息，可选的，根据各栅格属性标签序列中障碍物属性和自由属性的频次，确定相应子栅格区域的目标栅格属性信息。
可以理解为，每个栅格都关联有一个长度为δt的标签序列，分别记录[t-δt，t]区间内每一时刻的标签信息，将这些标签信息进行整合，即可确定出该子栅格的最终属性。基于求取众数的策略，对于任一子栅格来说，可以确定出多个标签信息中两种属性(障碍物属性与自由属性)出现的频次，即可确定该子栅格对应的位置是否存在障碍物。
示例性的，对于目标栅格中一个子栅格来说，其属性标签序列中的十个标签信息全部为障碍物属性，基于此，可以确定该子栅格对应的位置存在障碍物；如果属性标签序列十个标签信息中有八个为障碍物属性，其余两个为自由属性，则表示该子栅格对应的位置大概率存在障碍物，如果属性标签序列十个标签信息全部为自由属性，则表示该子栅格对应的位置没有障碍物。
需要说明的是，若根据位置信息的横纵坐标，确定位置信息位于目标车辆的视野盲区范围之内，则保持位置信息所属子栅格区域的属性信息不变。可以理解为，由于无人车上的摄像装置在拍摄过程中可能存在盲区，因此，在得到像素点二维坐标后，如果通过二维坐标确定该像素点处于摄像装置拍摄盲区中，则在构建子栅格属性标签序列的过程中，保持其现有的属性(如将盲区对应的属性标记为障碍物属性，并时刻保持)，不会进行多帧累计，从而保证该子栅格能够持续输出障碍物属性。通过这种方式，避免了无人车错将未检测到的盲区作为可行驶道路的情况发生。
S250、根据各目标栅格属性信息，确定障碍物属性的至少一个待聚合子栅格区域；通过对至少一个待聚合子栅格区域聚类处理，确定目标障碍物。
具体的，在得到目标栅格中各子栅格的目标栅格属性信息后，可以对每一行(或每一列)子栅格进行遍历，从而确定出标记为障碍物属性的待聚合子栅格区域。进一步的，基于待聚合子栅格区域构建出集合B，并对集合B中的点进行最近邻聚类处理，即可生成至少一个聚类结果，基于每个聚类结果所构建的凸多边形即表示道路上的障碍物，也即是说，将障碍物形状在目标栅格中进行表示。
需要说明的是，为了提高检测结果的精度，在上述多次坐标转换过程中，可以只取在世界坐标系(即三维空间)中处于地面平面或与地面平面接近的点，在此基础上，每个聚类结果所反映的实际上是障碍物的俯视图，无人车基于目标栅格中障碍物的俯视图即可对后续的行驶路径进行规划。
本实施例的技术方案，将各目标像素点的位置信息转换至世界坐标系中，同时，基于转换结果构建出表征各目标像素点二维坐标值和三维坐标值关联关系的映射表，以此在后续需要目标像素点三维坐标值时，通过查表的方式对这些三维坐标值进行实时调用；确定出目标栅格以及各子栅格区域后，再确定出各子栅格区域的目标栅格属性信息，同时，保持盲区范围内的子栅格区域的属性信息不变，通过使该子栅格持续输出障碍物属性，避免了无人车错将未检测到的盲区作为可行驶道路的情况发生；最后，基于目标栅格属性信息，对待聚合子栅格区域进行聚类处理，即可确定出目标障碍物在目标栅格中所占用的区域。
作为上述实施例的一可选实施例，图3为本发明实施例所提供的一种障碍物检测方法的原理图(三)。为了清楚的介绍本实施例技术方案，可以以应用场景是无人车对道路上各种类型的障碍物进行检测的情形为例来介绍，但是不局限于上述场景，可以适用于各种需要对道路上的障碍物进行检测的场景中。
参见图3，为了在无人车检测障碍物的过程中实现像素级的处理，而不再对障碍物的特征进行真值标注或对图像中的障碍物进行识别，首先需要提取出无人车非可行驶区域的像素点。具体的，可以基于图像语义分割技术将摄像装置采集的原始图像进行处理，从而确定出图像中每个像素的语义标签，并将这些语义标签作为像素点的属性，如，道路标签、非道路标签。进一步的，对语义分割结果进行二值化处理，将可行驶道路属性的像素点的像素值设置为0，其余属性的像素点的像素值设置为1。
继续参见图3，由于二维图像中的像素无法应用于无人车的障碍物检测，因此还需要将二维图像中像素的坐标转换到三维空间坐标系中，其中，三维空间坐标系可以是基于无人车建立的空间坐标系。具体的，可以先确定出三维空间坐标系中无人车上摄像装置相对于地面的高度zw，并基于以下公式实现像素点坐标的转换：
Figure BDA0003532414170000181
其中，MI为摄像装置内参标定矩阵(已知)，ME为摄像装置与三维坐标系(世界坐标系)的外参标定矩阵(已知)，Zc为摄像装置坐标系相对三维坐标系的距离；同时，目标像素点在二维坐标系中的坐标为Pi＝(u，v)，在三维空间中的坐标为Pw＝(xw，yw，zw)，基于此，将上述参数进行代入后，可以得到如下公式：
Figure BDA0003532414170000182
通过以上计算，即可得到二维图像中各像素点在三维空间内的坐标。
继续参见图3，由于单帧图像所反映的障碍物的点不够完整，因此，无人车在某一时刻检测道路上障碍物时，还需要融合该时刻之前多帧的图像进行处理，可以理解为，基于上述方式确定出摄像装置采集的历史图像中的像素点，并将各像素点在图像中的二维坐标进行转换，得到其在三维空间内的坐标。
继续参见图3，在得到多帧图像中像素点的三维坐标后，为了融合连续时间内障碍物点的集合，还需要将这些三维坐标整合至同一个局部坐标系下，其中，局部坐标系可以是以无人车行驶起点为原点，通过预先设置的变换矩阵建立的三维坐标系，可以理解，将图像中像素点在三维空间坐标系内的坐标值统一整合至局部坐标系后，静态障碍物的位置信息便不会随着车辆的行驶而发生变化。
继续参见图3，在将车辆位置信息以及各像素点全部转换至局部坐标系后，可以以车辆为中心建立栅格图，栅格图中每个子栅格都存储有该栅格的属性信息，建立栅格图所涉及的公式如下：
Figure BDA0003532414170000191
其中，grid_size即是正方形的各子栅格的边长；(xcenter，ycenter)为无人车在所构建的栅格图中的坐标，对应的，(xgrid，ygrid)则是转换得到的、各像素点在所构建的栅格图中的坐标；(x，y)则是坐标转换之前各像素点在所处局部坐标系内的坐标。
同时，栅格图的其他参数还满足：
Figure BDA0003532414170000192
其中，grid_length为栅格图的长，grid_width为栅格图的宽，栅格图在x轴方向以及y轴方向的覆盖范围分别为roi_x以及roi_y。
继续参见图3，将车辆以及各像素点坐标全部转换至栅格图中后，可以对子栅格的属性进行标记，如，当像素点的像素值为0时，表示该像素点对应图像中的道路区域，因此，该像素点对应的子栅格的属性标签也可以被标记为自由属性；当像素点的像素值为1时，表示该像素点对应图像中的障碍物，因此，该像素点对应的子栅格的属性标签也可以被标记为障碍物属性。由于栅格图中的子栅格与多幅图像中的像素点相关联，因此，子栅格对应的属性标签也有多个。
继续参见图3，在确定出子栅格多个属性标签后，可以构建出该子栅格对应的标签序列，通过对标签序列进行整合，即可得到该子栅格最终的属性，例如，当标签序列中自由属性出现频次较高时，可以确定该子栅格对应图像中的道路，当标签序列中障碍物属性出现频次较高时，可以确定该子栅格对应图像中的障碍物，本领域技术人员应当理解，在得到子栅格的标签序列后，确定其最终属性所依据的规则可以根据实际情况进行设置，本公开实施例在此不做具体的限定。
需要说明的是，由于本实施例中在计算栅格图以及各子栅格标签序列的过程中涉及大量像素点的计算，为了提高计算效率，可以采用统一计算设备架构(Compute UnifiedDevice Architecture，CUDA)进行并行化加速，这种方式可以对整个计算耗时以及CPU资源的占用进行优化，从而实现对障碍物的实时检测。
继续参见图3，在确定出栅格图中各子栅格的最终属性后，可以对每一行(或每一列)子栅格进行遍历，从而在障碍物属性子栅格与自由属性子栅格之间确定出边界子栅格，进一步的，基于这些边界子栅格构建出集合B，通过集合B中的栅格进行最近邻聚类，即可得到至少一个聚类结果，进而根据每个聚类结果构建出对应的凸多边形。可以理解，所得到的凸多边形即是检测得到的道路上实际存在的障碍物。
上述技术方案的有益效果为：为无人车提供了便捷的障碍物检测方式的同时，通过像素级的处理实现了对各类型障碍物的无差别检测，从而使障碍物检测结果更加准确和全面，避免了现有检测方式中所出现的障碍物误检或漏检问题。
图4为本发明实施例所提供的一种障碍物检测装置的结构框图(四)，可执行本发明任意实施例所提供的障碍物检测方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置具体包括：目标位置信息确定模块310、历史位置信息确定模块320、目标栅格属性信息确定模块330以及目标障碍物确定模块340。
目标位置信息确定模块310，用于确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息。
历史位置信息确定模块320，用于确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信。
目标栅格属性信息确定模块330，用于根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息。
目标障碍物确定模块340，用于根据各目标栅格属性信息，确定目标障碍物。
在上述各技术方案的基础上，目标位置信息确定模块310包括分类标记单元、目标像素点确定单元以及目标位置信息确定单元。
分类标记单元，用于基于图像语义分割算法对所述目标待处理图像中的各像素点进行分类标记，得到各像素点的类别标记。
目标像素点确定单元，用于基于各类别标记，确定所述目标待处理图像中的至少一个目标像素点。
目标位置信息确定单元，用于根据预先建立的像素点坐标与世界坐标之间的映射关系，确定各目标像素点的目标位置信息；其中，所述映射关系是根据预先确定的变换矩阵确定的，所述变换矩阵是基于设置在所述目标车辆上的摄像装置的内参标定矩阵、外参标定矩阵、所述摄像装置与水平面之间的垂直距离、以及坐标系距离来确定。
在上述各技术方案的基础上，历史位置信息确定模块320包括历史待处理图像确定单元以及历史位置信息确定单元。
历史待处理图像确定单元，用于根据所述目标待处理图像的生成时刻和预设时长间隔，确定与所述目标待处理图像相关联的至少一幅历史待处理图像。
历史位置信息确定单元，用于调取与所述历史待处理图像相对应的历史位置信息；其中，所述历史位置信息与所述目标位置信息是基于同一坐标系确定的。
在上述各技术方案的基础上，目标栅格属性信息确定模块330包括目标栅格确定单元以及目标栅格属性信息确定单元。
目标栅格确定单元，用于根据所述车辆位置信息、所述子栅格区域的边长信息、以及覆盖所述目标车辆的覆盖长度和覆盖宽度，确定所述目标栅格以及所述目标栅格中的各子栅格区域。
目标栅格属性信息确定单元，用于根据各历史待处理图像的各历史位置信息和所述目标待处理图像的目标位置信息，确定各子栅格区域的目标栅格属性信息。
可选的，目标栅格属性信息确定单元，还用于针对各待处理图像，根据当前待处理图像中各位置信息的横纵坐标、子栅格区域的边长信息以及所述车辆位置信息的横纵坐标，确定与各位置信息所属的目标子栅格区域；其中，所述待处理图像中包括目标待处理图像以及各历史待处理图像，所述位置信息中包括目标位置信息和历史位置信息；将每个待处理图像所对应的目标子栅格区域标记为障碍物属性，以及将非目标子栅格区域标记为自由属性，得到与每个子栅格区域相对应的栅格属性标签序列；根据各栅格属性标签序列，确定所述目标栅格属性信息。
可选的，目标栅格属性信息确定单元，还用于根据各栅格属性标签序列中障碍物属性和自由属性的频次，确定相应子栅格区域的目标栅格属性信息。
在上述各技术方案的基础上，障碍物检测装置还包括属性信息保持模块。
属性信息保持模块，用于若根据所述位置信息的横纵坐标，确定所述位置信息位于所述目标车辆的视野盲区范围之内，则保持所述位置信息所属子栅格区域的属性信息不变。
可选的，目标障碍物确定模块340，还用于根据各目标栅格属性信息，确定障碍物属性的至少一个待聚合子栅格区域；通过对所述至少一个待聚合子栅格区域聚类处理，确定所述目标障碍物。
本实施例所提供的技术方案，先确定目标待处理图像中的至少一个目标像素点，以及至少一个目标像素点的目标位置信息，再确定与目标待处理图像相关联的至少一幅历史待处理图像，并调取各历史待处理图像的历史位置信息，即确定出像素点多个时刻对应的位置信息；进一步的，根据目标车辆的车辆位置信息、目标位置信息以及历史位置信息，确定与目标车辆相对应的目标栅格以及目标栅格中各子栅格区域的目标栅格属性信息，根据各目标栅格属性信息确定目标障碍物，为无人车提供了便捷的障碍物检测方式的同时，通过像素级的处理实现了对各类型障碍物的无差别检测，从而使障碍物检测结果更加准确和全面，避免了现有检测方式中所出现的障碍物误检或漏检问题。
本发明实施例所提供的障碍物检测装置可执行本发明任意实施例所提供的障碍物检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
图5为本发明实施例所提供的一种电子设备的结构示意图(五)。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图5显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，***存储器402，连接不同***组件(包括***存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备40典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器402可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***406可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元401通过运行存储在***存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的障碍物检测方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质(六)，所述计算机可执行指令在由计算机处理器执行时用于执行障碍物检测方法。
该方法包括：
确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息；
确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息；
根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息；
根据各目标栅格属性信息，确定目标障碍物。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的项目代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的项目代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机项目代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。项目代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种障碍物检测方法，其特征在于，应用于无人车，包括：
确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息；
确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息；
根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息；
根据各目标栅格属性信息，确定目标障碍物。
2.根据权利要求1所述的方法，其特征在于，所述确定目标待处理图像中的至少一个目标像素点，包括：
基于图像语义分割算法对所述目标待处理图像中的各像素点进行分类标记，得到各像素点的类别标记；
基于各类别标记，确定所述目标待处理图像中的至少一个目标像素点。
3.根据权利要求1所述的方法，其特征在于，确定所述至少一个目标像素点的目标位置信息，包括：
根据预先建立的像素点坐标与世界坐标之间的映射关系，确定各目标像素点的目标位置信息；
其中，所述映射关系是根据预先确定的变换矩阵确定的，所述变换矩阵是基于设置在所述目标车辆上的摄像装置的内参标定矩阵、外参标定矩阵、所述摄像装置与水平面之间的垂直距离、以及坐标系距离来确定。
4.根据权利要求1所述的方法，其特征在于，所述确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息，包括：
根据所述目标待处理图像的生成时刻和预设时长间隔，确定与所述目标待处理图像相关联的至少一幅历史待处理图像；
调取与所述历史待处理图像相对应的历史位置信息；其中，所述历史位置信息与所述目标位置信息是基于同一坐标系确定的。
5.根据权利要求1所述的方法，其特征在于，所述根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息，包括：
根据所述车辆位置信息、所述子栅格区域的边长信息、以及覆盖所述目标车辆的覆盖长度和覆盖宽度，确定所述目标栅格以及所述目标栅格中的各子栅格区域；
根据各历史待处理图像的各历史位置信息和所述目标待处理图像的目标位置信息，确定各子栅格区域的目标栅格属性信息。
6.根据权利要求4所述的方法，其特征在于，所述根据各历史待处理图像的各历史位置信息和所述目标待处理图像的目标位置信息，确定各子栅格区域的目标栅格属性信息，包括：
针对各待处理图像，根据当前待处理图像中各位置信息的横纵坐标、子栅格区域的边长信息以及所述车辆位置信息的横纵坐标，确定与各位置信息所属的目标子栅格区域；其中，所述待处理图像中包括目标待处理图像以及各历史待处理图像，所述位置信息中包括目标位置信息和历史位置信息；
将每个待处理图像所对应的目标子栅格区域标记为障碍物属性，以及将非目标子栅格区域标记为自由属性，得到与每个子栅格区域相对应的栅格属性标签序列；
根据各栅格属性标签序列，确定所述目标栅格属性信息。
7.根据权利要求6所述的方法，其特征在于，所述根据各栅格属性标签序列，确定所述目标栅格属性信息，包括：
根据各栅格属性标签序列中障碍物属性和自由属性的频次，确定相应子栅格区域的目标栅格属性信息。
8.根据权利要求6所述的方法，其特征在于，还包括：
若根据所述位置信息的横纵坐标，确定所述位置信息位于所述目标车辆的视野盲区范围之内，则保持所述位置信息所属子栅格区域的属性信息不变。
9.根据权利要求1所述的方法，其特征在于，所述根据各目标栅格属性信息，确定目标障碍物，包括：
根据各目标栅格属性信息，确定障碍物属性的至少一个待聚合子栅格区域；
通过对所述至少一个待聚合子栅格区域聚类处理，确定所述目标障碍物。
10.一种障碍物检测装置，其特征在于，包括：
目标位置信息确定模块，用于确定目标待处理图像中的至少一个目标像素点，以及所述至少一个目标像素点的目标位置信息；
历史位置信息确定模块，用于确定与所述目标待处理图像相关联的至少一幅历史待处理图像，并调取各所述历史待处理图像的历史位置信息；
目标栅格属性信息确定模块，用于根据目标车辆的车辆位置信息、所述目标位置信息以及各所述历史位置信息，确定与所述目标车辆相对应的目标栅格，以及所述目标栅格中各子栅格区域的目标栅格属性信息；
目标障碍物确定模块，用于根据各目标栅格属性信息，确定目标障碍物。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的障碍物检测方法。
12.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的障碍物检测方法。
CN202210209173.9A 2022-03-04 2022-03-04 障碍物检测方法、装置、电子设备及存储介质 Pending CN114565906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210209173.9A CN114565906A (zh) 2022-03-04 2022-03-04 障碍物检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210209173.9A CN114565906A (zh) 2022-03-04 2022-03-04 障碍物检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114565906A true CN114565906A (zh) 2022-05-31

Family

ID=81717964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210209173.9A Pending CN114565906A (zh) 2022-03-04 2022-03-04 障碍物检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114565906A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质
CN116311095B (zh) * 2023-03-16 2024-01-02 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11037305B2 (en) Method and apparatus for processing point cloud data
CN111652097B (zh) 一种图像毫米波雷达融合目标检测方法
Bai et al. Infrastructure-based object detection and tracking for cooperative driving automation: A survey
CN110956137A (zh) 点云数据的目标检测方法、***及介质
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
US20220044558A1 (en) Method and device for generating a digital representation of traffic on a road
CN113963330A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN115273039B (zh) 一种基于摄像头的小障碍物探测方法
CN116310679A (zh) 多传感器融合目标检测方法、***、介质、设备及终端
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114140592A (zh) 高精地图生成方法、装置、设备、介质及自动驾驶车辆
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
WO2022166606A1 (zh) 一种目标检测方法及装置
CN115100741A (zh) 一种点云行人距离风险检测方法、***、设备和介质
Zhou et al. Street-view imagery guided street furniture inventory from mobile laser scanning point clouds
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
CN113255555A (zh) 中国交通标志牌识别方法、***、处理设备及存储介质
CN114494323A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN116977963A (zh) 基于bev视角的自动驾驶多模态协同感知方法及***
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN115457505A (zh) 一种摄像头的小障碍物探测方法、装置、设备及存储介质
Luo et al. Complete trajectory extraction for moving targets in traffic scenes that considers multi-level semantic features
CN114820931A (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN113570622A (zh) 一种障碍物确定方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination