CN114396911B - 一种障碍物测距方法、装置、设备及存储介质 - Google Patents

一种障碍物测距方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114396911B
CN114396911B CN202111571283.1A CN202111571283A CN114396911B CN 114396911 B CN114396911 B CN 114396911B CN 202111571283 A CN202111571283 A CN 202111571283A CN 114396911 B CN114396911 B CN 114396911B
Authority
CN
China
Prior art keywords
target
distance
image
determining
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111571283.1A
Other languages
English (en)
Other versions
CN114396911A (zh
Inventor
丁华杰
王延帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202111571283.1A priority Critical patent/CN114396911B/zh
Publication of CN114396911A publication Critical patent/CN114396911A/zh
Application granted granted Critical
Publication of CN114396911B publication Critical patent/CN114396911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种障碍物测距方法、装置、设备和存储介质，方法包括：对移动执行设备采集的图像进行预处理后得到第一特征图像、第二特征图形和目标对象的第二区域，对第一特征图像和第二特征图像设置权重后进行图像叠加，确定出目标图像；根据目标特征图像中包括目标对象的第一区域，确定第一距离；根据第二区域，确定第二距离；根据第一距离和第二距离，确定目标对象与移动执行设备之间的目标距离。本发明通过将第一特征图像与第二特征图像进行预设权重的图像叠加，提高了目标特征图像中各特征信息的精确度，进一步的，本发明通过不同渠道确定的目标对象与移动执行设备之间的第一距离和第二距离进行融合，提高了所确定出的目标距离的精度。

Description

一种障碍物测距方法、装置、设备及存储介质
技术领域
本发明涉及无人驾驶自动领域，具体涉及一种障碍物测距方法、装置、设备及存储介质。
背景技术
近年来自动驾驶随着人工智能技术的发展，逐渐走向人们生活中的乘用车落地阶段，在自动驾驶解决方案中，都要求车辆对前方障碍物有着距离感知的功能，方便车辆根据当前自车车速进行刹车或者变道控制。当前对障碍物的测距过程中，一般单纯的基于激光、毫米波雷达进行距离探测，其测距成本较高。或者是单纯的基于深度估计结果，所确定的障碍物距离，误差较大。因此，在自动驾驶过程中，提高对障碍物的识别准确性的同时不增加传感器成本是当前的一项重要任务。
发明内容
本发明要解决的技术问题是自动驾驶过程中障碍物测距精度低、测距设备成本高的问题。
为解决上述技术问题，本发明公开了一种障碍物测距方法、装置、设备及存储介质。
根据本申请的一个方面，公开了一种障碍物测距方法，所述方法包括：
获取移动执行设备采集的图像；
对所述图像进行第一预处理，得到第一特征图像；
对所述图像进行第二预处理，得到第二特征图像；
根据所述第一特征图像和所述第二特征图像，确定目标特征图像，所述目标特征图像包括第一预设权重因子的第一特征图像和第二预设权重因子的第二特征图像，所述第一预设权重因子与所述第二预设权重因子互补；
确定所述目标特征图像中的第一区域，所述第一区域包括目标对象；
根据所述第一区域，确定所述目标对象与所述移动执行设备之间的第一距离；
对所述图像进行第三预处理，得到所述目标对象的第二区域；
根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离；
根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离。
进一步的，所述对所述图像进行第一预处理，得到第一特征图像包括：
对所述图像进行语义分割，得到第一特征图像，所述第一特征图像包括多个第一像素点各自对应的第一位置和所述多个第一像素点各自对应的第一像素值。
进一步的，所述对所述图像进行第二预处理，得到第二特征图像包括：
对所述图像进行深度估计处理，得到第二特征图像，所述第二特征图像包括多个第二像素点各自对应的第二位置和所述多个第二像素点各自对应的第二像素值。
进一步的，所述根据所述第一特征图像和所述第二特征图像，确定目标特征图像包括：
从所述多个第一像素点各自对应的第一位置中确定出目标第一位置；
从所述多个第二像素点各自对应的第二位置中确定出与所述目标第一位置对应的目标第二位置；
获取第一特征图像的第一预设权重因子；
根据所述第一预设权重因子确定所述第二预设权重的预设权重因子；
根据所述第一预设权重因子以及所述目标第一位置对应的第一像素值，确定第一叠加像素值；
根据所述第二预设权重因子以及所述目标第二位置对应的第二像素值，确定第二叠加像素值；
根据所述第一叠加像素值和所述第二叠加像素值，确定目标像素值；
将所述目标像素值赋值至所述目标第一位置处的第一像素点或将所述目标像素值赋值至所述目标第二位置处的第二像素点，并返回所述从所述多个第一像素点各自对应的第一位置中确定出目标第一位置，直至所述多个第一像素点均被执行；
在所述多个第一像素点均被执行后，得到所述目标特征图像。
进一步的，所述确定所述目标特征图像中的第一区域包括：
获取注意力模型；
将所述目标特征图像输入至所述注意力模型中进行训练，以得到包括目标对象的第一区域。
进一步的，所述根据所述第一区域，确定所述目标对象与所述移动执行设备之间的第一距离包括：
获取所述第一区域的多个目标像素点各自对应的预设深度值因子；
确定所述多个目标像素点各自对应的目标深度值；
根据多个预设深度值因子以及所述多个目标像素点各自对应的目标深度值，确定所述目标对象与所述移动执行设备之间的第一距离。
进一步的，所述对所述图像进行第三预处理，得到所述目标对象的第二区域包括：
对所述图像进行目标检测，得到所述目标对象的第二区域。
进一步的，所述根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离包括：
获取所述移动执行设备的焦距；
确定所述目标对象的属性信息，所述目标对象的属性信息至少包括所述目标对象的物理宽度；
获取所述第二区域的像素宽度；
根据所述焦距、所述物理宽度以及所述像素宽度，确定所述目标对象与所述移动执行设备之间的第二距离。
进一步的，所述根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离包括：
对所述第一距离和所述第二距离进行加权平均，以得到所述目标对象与所述移动执行设备之间的目标距离。
根据本申请的另一个方面，还公开了一种障碍物测距装置，所述障碍物测距装置包括：
图像获取模块，用于获取移动执行设备采集的图像；
第一特征图像确定模块，用于对所述图像进行第一预处理，得到第一特征图像；
第二特征图像确定模块，用于对所述图像进行第二预处理，得到第二特征图像；
目标特征图像确定模块，用于根据所述第一特征图像和所述第二特征图像，确定目标特征图像，所述目标特征图像包括第一预设权重因子的第一特征图像和第二预设权重因子的第二特征图像，所述第一预设权重因子与所述第二预设权重因子互补；
第一区域确定模块，用于确定所述目标特征图像中的第一区域，所述第一区域包括目标对象；
第一距离确定模块，用于根据所述第一区域，确定所述目标对象与所述移动执行设备之间的第一距离；
第二区域确定模块，用于对所述图像进行第三预处理，得到所述目标对象的第二区域；
第二距离确定模块，用于根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离；
目标距离确定模块，用于根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离。
根据本申请的另一个方面，还公开了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述所述的障碍物测距方法。
根据本申请的另一个方面，还公开了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述所述的障碍物测距方法。
本发明通过获取移动执行设备采集的图像；对所述图像进行第一预处理，得到第一特征图像；对所述图像进行第二预处理，得到第二特征图像；根据所述第一特征图像和所述第二特征图像，确定目标特征图像，所述目标特征图像包括第一预设权重的第一特征图像和第二预设权重的第二特征图像，所述第一预设权重的预设权重因子与所述第二预设权重的预设权重因子互补；确定所述目标特征图像中的第一区域，所述第一区域包括目标对象；根据所述第一区域，确定所述目标对象与所述移动执行设备之间的第一距离；从而，通过预设权重因子，调节目标特征图像中第一特征图像和第二特征图像各自所占权重，使得第一特征图像与第二特征图像中的各特征信息进行融合，提高了目标特征图像中各特征信息的精确度，进一步提高了基于目标特征图像中的第一区域确定的第一距离的精度。并且，目标特征图像基于预处理后的第一特征图像和第二特征图像确定，在图像预处理过程中，对信息进行了融合，实现多层信息过滤，提高了第一距离的测量稳定性。进一步的，还对所述图像进行第三预处理，得到所述目标对象的第二区域；根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离；根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离，本发明通过不同渠道确定的目标对象与移动执行设备之间的第一距离和第二距离进行融合，提高了所确定出的目标距离的精度，输出鲁棒性高的目标距离。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的障碍物测距方法的流程示意图；
图3是本申请实施例提供的确定目标特征图像的流程示意图；
图4是本申请实施例提供的确定第一距离的流程示意图；
图5是本申请实施例提供的确定第二距离的流程示意图；
图6是本申请实施例提供的障碍物测距装置的结构框图；
图7是本申请实施例提供的一种用于障碍物测距方法的电子设备的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例：
请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和移动执行设备02。
在一个可选的实施例中，服务器01可以为云端服务器，用于对移动执行设备02采集的图像进行预处理，并基于预处理结果进行相关联计算。具体的，服务器01可以是分布式***中的服务器，作为一个示例，该服务器01可以是Redis服务器。
在一个可选的实施例中，移动执行设备02可以安装在车辆上，跟随车辆的运动实时拍摄车辆周边障碍物。示例性的，移动执行设备02可以包括但不限于单目摄像机、双目摄像机等。障碍物可以包括但不限于其它行驶或静止的车辆、或路侧障碍物或行人等。
本说明书实施例中，上述服务器01以及移动执行设备02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。
图2是本发明实施例提供的一种障碍物测距方法的流程图。如图2所示，可以包括以下步骤：
S100、获取移动执行设备采集的图像。
其中，移动执行设备优选为单目摄像机。该单目摄像机可以跟随车辆的运动，实时拍摄车辆周边障碍物。可以理解的是，障碍物可以包括但不限于障碍物可以包括但不限于其它行驶或静止的车辆、或路侧障碍物或行人等，本申请方案中，以障碍物为车辆为例进行具体介绍。可以理解的是，为便于区分执行本申请方案的车辆以及移动执行设备所拍摄的图像中的车辆，将执行本申请方案的车辆定义为本车车辆，将移动执行设备所拍摄的图像中的车辆定义为障碍车辆。进一步可以理解的是，移动执行设备跟随本车车辆运动而拍摄的是由多帧图像组成的视频流，在本申请方案中，所获取的移动执行设备采集的图像可以为当前帧图像。
S102、对图像进行第一预处理，得到第一特征图像。
具体的，可以对图像进行语义分割，以得到第一特征图像，该第一特征图像中包括多个第一像素点各自对应的第一位置和多个第一像素点各自对应的第一像素值。可以理解的是，在语义分割过程中，进行了卷积、采样等操作，从而可以得到第一特征图像中的多个第一像素点各自对应的第一位置和多个第一像素点各自对应的第一像素值等特征信息。
S104、对图像进行第二预处理，得到第二特征图像。
具体的，可以对图像进行深度估计处理，得到第二特征图像。示例性的，在对图像进行深度估计处理后，得到的第二特征图像为深度图。具体的，可以对图像进行卷积操作，得到与该图像对应的深度图。第二特征图像包括多个第二像素点各自对应的第二位置和多个第二像素点各自对应的第二像素值。可以理解的是，在深度估计处理过程中，进行了卷积、采样等操作，从而可以得到第二特征图像包括多个第二像素点各自对应的第二位置和多个第二像素点各自对应的第二像素值等特征信息。
S106、根据第一特征图像和第二特征图像，确定目标特征图像。
具体的，目标特征图像包括第一预设权重因子的第一特征图像和第二预设权重因子的第二特征图像，第一预设权重因子与第二预设权重因子互补。具体的，预设权重因子是指权重系数。
在一种可能实现的方案中，如图3所示，步骤S106可以基于如下步骤实现：
S201、从多个第一像素点各自对应的第一位置中确定出目标第一位置。
具体的，目标第一位置可以是多个第一像素点中，当前需要与对应位置处的第二像素点叠加的第一像素点对应的第一位置。
S203从多个第二像素点各自对应的第二位置中确定出与目标第一位置对应的目标第二位置。
具体的，目标第二位置可以是多个第二像素点中的，当前需要与对应位置处的第一像素点叠加的第二像素点对应的第二位置。
S205、获取第一特征图像的第一预设权重因子。
S207、根据第一预设权重因子确定第二预设权重因子。
具体的，第一预设权重因子可以预先设定，示例性的，第一预设权重因子可以为a，第二预设权重因子可以预先设定，示例性的，第二预设权重因子可以为b，且a+b＝1。其中，a和b对应的具体数值可以根据实际需求设定，且，在a确定后，可以基于a对应的值调节b对应值，在b确定后，可以基于b对应的值调节a对应的值。
S209、根据第一预设权重因子以及目标第一位置对应的第一像素值，确定第一叠加像素值。
具体的，目标第一位置对应的第一像素值可以基于目标第一位置处的第一像素点的位置坐标确定，第一叠加像素值，可以是指目标第一位置处的第一像素点的位置坐标与第一预设权重因子的乘积。例如，第一预设权重因子为a，目标第一位置对应的第一像素点的位置坐标为(ux，vy)，则第一叠加像素值为(aux，avy)。示例性的，当a取0.8，u取30，v取40时，第一叠加像素值为(24，32)。
S211、根据第二预设权重因子以及目标第二位置对应的第二像素值，确定第二叠加像素值。
具体的，目标第二位置对应的第二像素值可以基于目标第二位置处的第二像素点的位置坐标确定，第二叠加像素值，可以是指目标第二位置处的第二像素点的位置坐标与第二预设权重因子的乘积。例如，第二预设权重因子为b，目标第二位置对应的第二像素点的位置坐标为(mx，ny)，则第二叠加像素值为(bmx，bny)。示例性的，当a取0.8时，b取0.2，并设定m取60，n取80时，第二叠加像素值为(12，16)。
S213、根据第一叠加像素值和第二叠加像素值，确定目标像素值。
具体的，根据第一叠加像素值和第二叠加像素值，确定目标像素值具体可以是指将第一叠加像素值和第二叠加像素值进行线性叠加，例如，当当第一叠加像素值为(aux，avy)，第二叠加像素值为(bmx，bny)时，目标像素值为(aux+bmx，avy+bny)。示例性的，当第一叠加像素值为(24，32)，第二叠加像素值为(12，16)时，目标像素值为(36，48)。
S215、将目标像素值赋值至目标第一位置处的第一像素点或将目标像素值赋值至目标第二位置处的第二像素点，并返回从多个第一像素点各自对应的第一位置中确定出目标第一位置，直至多个第一像素点均被执行，在多个第一像素点均被执行后，得到目标特征图像。
可以理解的是，目标特征图像具体可以是将所确定的目标像素值直接赋值至第一特征图像的目标第一位置处，以将目标第一位置处对应的第一像素点的像素值改变为目标像素值，也可以是将所确定的目标像素值直接赋值至第二特征图像的目标第二位置处，以将目标第二位置处对应的第二像素点的像素值改变为目标像素值。在多个第一像素点均执行上述步骤S201-S215后，即可得到目标特征图像。
可以理解的是，通过将第一特征图像中的各第一位置处的第一像素点的像素值与第二特征图像中与各第一位置相对应的第二位置出的第二像素点的像素值进行叠加，可以将第一特征图像和第二特征图像进行特征融合，可以提高图像的特征信息的确定精确度。
S108、确定目标特征图像中的第一区域，第一区域包括目标对象。
具体的，可以将目标特征图像输入至注意力模型(Attention Model，AM)中进行训练，以得到包括目标对象的第一区域。具体的，注意力模型可以训练出目标特征图像中各个区域对应的对象的感兴趣概率，且可以丢弃掉所输入的目标特征图像的各数据的噪声信息和重复冗余信息。从而提高各对象的感兴趣概率的计算精度。具体的，在自动驾驶过程中，前方的障碍物车辆将是用户最感兴趣的目标对象，因此，可以基于注意力模型的训练原理，确定出具有该目标对象的第一区域。进一步的，在确定出目标对象后，可以为建立目标对象与类别标识的对应关系，例如类别1代表该目标对象。
S110、根据第一区域，确定目标对象与移动执行设备之间的第一距离。
具体的，在一种可能实现的方案中，如图4所示，步骤S110可以基于如下步骤实现：
S301、获取第一区域的多个目标像素点各自对应的预设深度值因子。
具体的，第一区域的多个目标像素点可以是指第一区域中的所有像素点，也可以是指第一区域中的几个关键像素点。示例性的，在本实施例中，目标像素点是指第一区域中的几个关键像素点。例如，当第一区域为矩形时，可以取该矩形的四个角点的像素点以及该矩形的中心点处的像素点作为目标像素点，为每个目标像素点预设一个深度值因子，可以理解的是，该预设深度值因子为目标像素点的目标深度值的系数，可以预先设定。
S303、确定多个目标像素点各自对应的目标深度值。
具体的，多个目标像素点各自对应的目标深度值即为多个目标像素点各自对应的像素值。
S305、根据多个预设深度值因子以及多个目标像素点各自对应的目标深度值，确定目标对象与移动执行设备之间的第一距离。
具体的，可以基于如下公式确定，第一距离：
其中，d2为第一距离；
λ为预设深度值因子；
n为目标像素点的总个数；
i为n个目标像素点中的第i个目标像素点；
di为：目标像素点i的目标深度值；
S112、对图像进行第三预处理，得到目标对象的第二区域。
具体的，可以对图像进行目标检测，以确定包含目标对象的第二区域。
可以理解的是，在对图像进行目标检测处理时，会对为每个对象建立一个矩形框，且每个矩形框中的对象都对应有类别标识，当图像中有多个对象时，将会存在多个矩形框，也会存在多个类别标识。由于在上述步骤中已经确定给出了目标对象，且，已经建立了目标对象与类别标识的对应关系，从而可以根据目标检测结果中的各对象的类别标识确定出目标对象，从而确定出目标对象的第二区域。
S114、根据第二区域，确定目标对象与移动执行设备之间的第二距离。
具体的，可以基于小孔成像原理，确定出目标对象与移动执行设备之间的第二距离。
示例性的，如图5所示，步骤S114可以基于如下步骤确定：
S401、获取移动执行设备的焦距。
具体的，移动执行设备的焦距是指移动执行设备的镜头光学后主点到焦点的距离，其为该移动执行设备的固有属性，为已知参数。具体可以在获取到移动执行设备的型号后，基于移动执行设备的型号对应的属性信息确定。
S403、确定目标对象的属性信息。
目标对象的属性信息至少包括目标对象的物理宽度。
具体的，服务器中预先存储有目标对象、类别标识以及属性信息之间的对应关系，在确定出目标对象后，可以基于目标对象、类别标识以及属性信息之间的对应关系，确定出目标对象的属性信息。可以理解的是，目标对象的属性信息至少包括目标对象的物理宽度。在本实施方案中，目标对象为本车车辆前方的障碍物车辆。
具体的，在上述步骤中，已经确定给出了目标对象(障碍物车辆)的第一区域，因此，可以将第一区域在像素坐标系下的像素宽度转换为世界坐标系下的宽度数据，将该宽度数据作为障碍物车辆的物理宽度。可以理解的是，像素坐标系和世界坐标系的相互转换为现有技术，这里不进行具体确定。
S405、获取第二区域的像素宽度。
具体的，第二区域的像素宽度具体值第二区域在像素坐标系下的宽度。
S407、根据焦距、物理宽度以及像素宽度，确定目标对象与移动执行设备之间的第二距离。
具体的，可以基于如下公式确定第二距离：
其中，d1为第二距离；
F为焦距；
W为障碍车辆的物理宽度；
w为第二区域的像素宽度。
S116、根据第一距离和第二距离，确定目标对象与移动执行设备之间的目标距离。
本发明通过获取移动执行设备采集的图像；对图像进行第一预处理，得到第一特征图像；对图像进行第二预处理，得到第二特征图像；根据第一特征图像和第二特征图像，确定目标特征图像，目标特征图像包括第一预设权重的第一特征图像和第二预设权重的第二特征图像，第一预设权重的预设权重因子与第二预设权重的预设权重因子互补；确定目标特征图像中的第一区域，第一区域包括目标对象；根据第一区域，确定目标对象与移动执行设备之间的第一距离；从而，通过预设权重因子，调节目标特征图像中第一特征图像和第二特征图像各自所占权重，是的第一特征图像与第二特征图像中的各特征信息进行融合，提高了目标特征图像中各特征信息的精确度，进一步提高了基于目标特征图像中的第一区域确定的第一距离的精度。进一步的，还对图像进行第三预处理，得到目标对象的第二区域；根据第二区域，确定目标对象与移动执行设备之间的第二距离；根据第一距离和第二距离，确定目标对象与移动执行设备之间的目标距离，本发明通过不同渠道确定的目标对象与移动执行设备之间的第一距离和第二距离进行融合，提高了所确定出的目标距离的精度。
具体的，可以对第一距离和第二距离进行加权平均，确定出目标距离。该步骤中，加权平均所用到的权重可以预先设定，例如可以为0.5、0.3等。
根据本申请的另一个方面，还公开了一种障碍物测距装置，如图6所示，障碍物测距装置包括：
图像获取模块，用于获取移动执行设备采集的图像；
第一特征图像确定模块，用于对图像进行第一预处理，得到第一特征图像；
第二特征图像确定模块，用于对图像进行第二预处理，得到第二特征图像；
目标特征图像确定模块，用于根据第一特征图像和第二特征图像，确定目标特征图像，目标特征图像包括第一预设权重的第一特征图像和第二预设权重的第二特征图像，第一预设权重的预设权重因子与第二预设权重的预设权重因子互补；
第一区域确定模块，用于确定目标特征图像中的第一区域，第一区域包括目标对象；
第一距离确定模块，用于根据第一区域，确定目标对象与移动执行设备之间的第一距离；
第二区域确定模块，用于对图像进行第三预处理，得到目标对象的第二区域；
第二距离确定模块，用于根据第二区域，确定目标对象与移动执行设备之间的第二距离；
目标距离确定模块，用于根据第一距离和第二距离，确定目标对象与移动执行设备之间的目标距离。
进一步的，第一特征图像确定模块，具体用于对图像进行第一预处理，得到第一特征图像。
进一步的，第二特征图像确定模块，具体用于对图像进行深度估计处理，得到第二特征图像，第二特征图像包括多个第二像素点各自对应的第二位置和多个第二像素点各自对应的第二像素值。
进一步的，目标特征图像确定模块包括：
目标第一位置确定单元，用于从多个第一像素点各自对应的第一位置中确定出目标第一位置；
目标第二位置确定单元，用于从多个第二像素点各自对应的第二位置中确定出与目标第一位置对应的目标第二位置；
第一预设权重因子获取单元，用于获取第一特征图像的第一预设权重因子；
第二预设权重因子确定单元，用于根据第一预设权重因子确定第二预设权重因子；
第一叠加像素值确定单元，用于根据第一预设权重因子以及目标第一位置对应的第一像素值，确定第一叠加像素值；
第二叠加像素值确定单元，用于根据第二预设权重因子以及目标第二位置对应的第二像素值，确定第二叠加像素值；
目标像素值确定单元，用于根据第一叠加像素值和第二叠加像素值，确定目标像素值；
目标特征图像确定单元，用于将目标像素值赋值至目标第一位置处的第一像素点或将目标像素值赋值至目标第二位置处的第二像素点，并返回从多个第一像素点各自对应的第一位置中确定出目标第一位置，直至多个第一像素点均被执行，在多个第一像素点均被执行后，得到目标特征图像。
进一步的，第一区域确定模块包括：
注意力模型获取单元，用于获取注意力模型；
第一区域确定单元，用于将目标特征图像输入至注意力模型中进行训练，以得到包括目标对象的第一区域。
进一步的，第一距离确定模块包括：
预设深度值因子获取单元，用于获取第一区域的多个目标像素点各自对应的预设深度值因子；
目标深度值确定单元，用于确定多个目标像素点各自对应的目标深度值；
第一距离确定单元，用于根据多个预设深度值因子以及多个目标像素点各自对应的目标深度值，确定目标对象与移动执行设备之间的第一距离。
进一步的，第二区域确定模块包括：
第二区域确定单元，用于对图像进行目标检测，得到目标对象的第二区域。
进一步的，第二距离确定模块包括：
焦距获取单元，用于获取移动执行设备的焦距；
属性信息确定单元，用于确定目标对象的属性信息，目标对象的属性信息至少包括目标对象的物理宽度；
像素宽度获取单元，用于获取第二区域的像素宽度；
第二距离确定单元，用于根据焦距、物理宽度以及像素宽度，确定目标对象与移动执行设备之间的第二距离。
进一步的，目标距离确定模块包括：
目标距离确定单元，用于对第一距离和第二距离进行加权平均，以得到目标对象与移动执行设备之间的目标距离。
进一步的，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
进一步的，本申请还公开了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现上述的障碍物测距方法。
示例性的，图7是根据一示例性实施例示出的一种用于障碍物测距方法电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过***总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像搜索方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
进一步的，本申请还公开了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述的障碍物测距方法。
计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像搜索方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或者单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种障碍物测距方法，其特征在于，所述方法包括：
获取移动执行设备采集的图像；
对所述图像进行语义分割，得到第一特征图像；
对所述图像进行深度估计处理，得到第二特征图像；
根据所述第一特征图像和所述第二特征图像，确定目标特征图像，所述目标特征图像包括第一预设权重因子的第一特征图像和第二预设权重因子的第二特征图像，所述第一预设权重因子与所述第二预设权重因子互补；
获取注意力模型，将所述目标特征图像输入至注意力模型中进行训练，以得到包括目标对象的第一区域；
获取所述第一区域的多个目标像素点各自对应的预设深度值因子，确定所述多个目标像素点各自对应的目标深度值，根据多个预设深度值因子以及所述多个目标像素点各自对应的目标深度值，确定所述目标对象与所述移动执行设备之间的第一距离；
对所述图像进行目标检测，得到所述目标对象的第二区域；
根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离，所述第二距离为基于移动执行设备的焦距确定得到；
根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离。
2.根据权利要求1所述的障碍物测距方法，其特征在于，
所述第一特征图像包括多个第一像素点各自对应的第一位置和所述多个第一像素点各自对应的第一像素值。
3.根据权利要求2所述的障碍物测距方法，其特征在于，
所述第二特征图像包括多个第二像素点各自对应的第二位置和所述多个第二像素点各自对应的第二像素值。
4.根据权利要求3所述的障碍物测距方法，其特征在于，所述根据所述第一特征图像和所述第二特征图像，确定目标特征图像包括：
从所述多个第一像素点各自对应的第一位置中确定出目标第一位置；
从所述多个第二像素点各自对应的第二位置中确定出与所述目标第一位置对应的目标第二位置；
获取第一特征图像的第一预设权重因子；
根据所述第一预设权重因子确定所述第二预设权重因子；
根据所述第一预设权重因子以及所述目标第一位置对应的第一像素值，确定第一叠加像素值；
根据所述第二预设权重因子以及所述目标第二位置对应的第二像素值，确定第二叠加像素值；
根据所述第一叠加像素值和所述第二叠加像素值，确定目标像素值；
将所述目标像素值赋值至所述目标第一位置处的第一像素点或将所述目标像素值赋值至所述目标第二位置处的第二像素点，并返回所述从所述多个第一像素点各自对应的第一位置中确定出目标第一位置，直至所述多个第一像素点均被执行，在所述多个第一像素点均被执行后，得到所述目标特征图像。
5.根据权利要求1所述的障碍物测距方法，其特征在于，所述根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离包括：
获取所述移动执行设备的焦距；
确定所述目标对象的属性信息，所述目标对象的属性信息至少包括所述目标对象的物理宽度；
获取所述第二区域的像素宽度；
根据所述焦距、所述物理宽度以及所述像素宽度，确定所述目标对象与所述移动执行设备之间的第二距离。
6.根据权利要求1所述的障碍物测距方法，其特征在于，所述根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离包括：
对所述第一距离和所述第二距离进行加权平均，以得到所述目标对象与所述移动执行设备之间的目标距离。
7.一种障碍物测距装置，其特征在于，所述障碍物测距装置包括：
图像获取模块，用于获取移动执行设备采集的图像；
第一特征图像确定模块，用于对所述图像进行语义分割，得到第一特征图像；
第二特征图像确定模块，用于对所述图像进行深度估计处理，得到第二特征图像；
目标特征图像确定模块，用于根据所述第一特征图像和所述第二特征图像，确定目标特征图像，所述目标特征图像包括第一预设权重因子的第一特征图像和第二预设权重因子的第二特征图像，所述第一预设权重因子与所述第二预设权重因子互补；
第一区域确定模块，用于获取注意力模型，将所述目标特征图像输入至注意力模型中进行训练，以得到包括目标对象的第一区域；
第一距离确定模块，用于获取所述第一区域的多个目标像素点各自对应的预设深度值因子，确定所述多个目标像素点各自对应的目标深度值，根据多个预设深度值因子以及所述多个目标像素点各自对应的目标深度值，确定所述目标对象与所述移动执行设备之间的第一距离；
第二区域确定模块，用于对所述图像进行目标检测，得到所述目标对象的第二区域；
第二距离确定模块，用于根据所述第二区域，确定所述目标对象与所述移动执行设备之间的第二距离，所述第二距离为基于移动执行设备的焦距确定得到；
目标距离确定模块，用于根据所述第一距离和所述第二距离，确定所述目标对象与所述移动执行设备之间的目标距离。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的障碍物测距方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的障碍物测距方法。
CN202111571283.1A 2021-12-21 2021-12-21 一种障碍物测距方法、装置、设备及存储介质 Active CN114396911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111571283.1A CN114396911B (zh) 2021-12-21 2021-12-21 一种障碍物测距方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111571283.1A CN114396911B (zh) 2021-12-21 2021-12-21 一种障碍物测距方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114396911A CN114396911A (zh) 2022-04-26
CN114396911B true CN114396911B (zh) 2023-10-31

Family

ID=81227141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111571283.1A Active CN114396911B (zh) 2021-12-21 2021-12-21 一种障碍物测距方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114396911B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120027A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
WO2020182036A1 (zh) * 2019-03-08 2020-09-17 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112771575A (zh) * 2020-03-30 2021-05-07 深圳市大疆创新科技有限公司 距离确定方法、可移动平台及计算机可读存储介质
CN113376655A (zh) * 2021-05-07 2021-09-10 深圳市欢创科技有限公司 一种避障模组、移动机器人、避障方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120027A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
WO2020182036A1 (zh) * 2019-03-08 2020-09-17 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN112771575A (zh) * 2020-03-30 2021-05-07 深圳市大疆创新科技有限公司 距离确定方法、可移动平台及计算机可读存储介质
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113376655A (zh) * 2021-05-07 2021-09-10 深圳市欢创科技有限公司 一种避障模组、移动机器人、避障方法

Also Published As

Publication number Publication date
CN114396911A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111126399B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN111222395A (zh) 目标检测方法、装置与电子设备
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
CN112287896A (zh) 一种基于深度学习的无人机航拍图像目标检测方法及***
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
CN116469079A (zh) 一种自动驾驶bev任务学习方法及相关装置
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN113673308A (zh) 对象识别方法、装置和电子***
CN112818968A (zh) 一种目标物分类方法及装置
CN117215316A (zh) 基于协同控制与深度学习的驾驶环境感知的方法和***
CN114396911B (zh) 一种障碍物测距方法、装置、设备及存储介质
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
CN116310902A (zh) 一种基于轻量级神经网络的无人机目标检测方法及***
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质
CN111460854A (zh) 一种远距离目标检测方法、装置及***
CN115830354A (zh) 双目立体匹配方法、设备和介质
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant