CN111627057B - 一种距离测量方法、装置及服务器 - Google Patents
一种距离测量方法、装置及服务器 Download PDFInfo
- Publication number
- CN111627057B CN111627057B CN202010455873.7A CN202010455873A CN111627057B CN 111627057 B CN111627057 B CN 111627057B CN 202010455873 A CN202010455873 A CN 202010455873A CN 111627057 B CN111627057 B CN 111627057B
- Authority
- CN
- China
- Prior art keywords
- image
- obstacle
- road condition
- depth
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims description 22
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种距离测量方法、装置及服务器，应用于汽车技术领域，该方法在得到路况图像后，识别路况图像中的障碍物，并获取障碍物在路况图像中的位置信息，然后，将路况图像转换为深度图像，并基于所得障碍物在路况图像中的位置信息，在深度图像中获取障碍物的深度数据，最终根据障碍物的深度数据确定目标车辆与障碍物之间的距离。通过本方法所得到的距离，是基于目标车辆行驶方向上的路况图像得到的，且路况图像的采集点位于目标车辆上，路况图像采集点与障碍物之间的距离即目标车辆与障碍物的距离，距离的测量可以不再依赖于车载摄像头自身的硬件参数，从而解决现有技术中可能出现的距离测量结果偏差大，难以满足实际应用需求的问题。
Description
技术领域
本发明属于汽车技术领域，尤其涉及一种距离测量方法、装置及服务器。
背景技术
随着汽车技术的发展，ADAS(Advanced Driving Assistance System，高级驾驶辅助***)技术得到越来越广泛的应用。ADAS通过对目标车辆行驶方向上的障碍物的检测和跟踪，为驾驶员提供额外的行车环境辅助信息，有助于减少交通事故的发生，提高行车安全性。
而目标车辆与其行驶方向上的障碍物，比如其他车辆，之间的距离测量，是目标车辆ADAS预设功能得以正常使用的基础。在现有技术中，比较成熟的距离测量方法，是基于车载摄像头，并利用几何视觉原理实现的。在应用于具体车辆时，需要以车辆安装的车载摄像头的焦距、镜头光心等参数为基础才能实现。
因此，如果车辆更换不同型号的车载摄像头，或者，车载摄像头出现硬件损坏，造成焦距或镜头光心变化时，所得距离测量结果会出现较大偏差，难以满足实际使用需求，甚至危害行车安全。
发明内容
有鉴于此，本发明的目的在于提供一种距离测量方法、装置及服务器，距离测量基于目标车辆行驶方向上的路况图像得到，不再依赖于车载摄像头自身的焦距、镜头光心等硬件参数，从而解决现有技术中可能出现的距离测量结果偏差大，难以满足实际应用需求的问题，具体方案如下：
第一方面，本发明提供一种距离测量方法，包括：
获取目标车辆行驶方向上的路况图像，其中，所述路况图像的采集点位于所述目标车辆；
识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息；
将所述路况图像转换为深度图像；
基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据；
根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离。
可选的，所述识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息，包括：
对所述路况图像进行预设清晰化处理，得到清晰化路况图像；
将所述清晰化路况图像输入预训练的障碍物识别模型，得到识别结果，其中，所述障碍物识别模型以包含障碍物的正样本图像和未包含障碍物的负样本图像为训练样本，以障碍物图像以及障碍物在相应的正样本图像中的位置信息为训练标签，训练神经网络得到；
根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息。
可选的，所述对所述路况图像进行预设清晰化处理，得到清晰化路况图像，包括：
对所述路况图像进行高斯滤波降噪处理，得到降噪后路况图像；
将所述降噪后路况图像转换为灰度图像；
基于sobel算子对所述灰度图像进行边缘清晰化处理，得到清晰化灰度图像；
将所述清晰化灰度图像转换为二值化灰度图，并将所述二值化灰度图作为清晰化路况图像。
可选的，所述识别结果包括：多个候选障碍物，各所述候选障碍物对应的、表征识别结果准确性的几率值，以及，各所述候选障碍物的位置信息，所述根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息，包括：
删除所述识别结果中重复出现的候选障碍物，得到处理后的识别结果；
将所述处理后的识别结果中，所述几率值大于预设阈值的候选障碍物作为所述路况图像中的障碍物；
将所述几率值大于预设阈值的候选障碍物的位置信息，作为所述障碍物在所述路况图像中的位置信息。
可选的，所述将所述路况图像转换为深度图像，包括：
调用预训练的图像转换模型，其中，所述图像转换模型以样本图像为训练样本，以所述样本图像对应的深度图像为训练标签，训练神经网络得到；
将所述路况图像输入所述图像转换模型，得到所述路况图像对应的深度图像。
可选的，所述基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据，包括：
以所述深度图像的外形尺寸为基准尺寸，将所述位置信息转换为与所述基准尺寸对应的基准位置信息；
在所述深度图像中确定所述基准位置信息对应的图像区域，得到所述障碍物的图像区域；
获取所述障碍物的图像区域的深度数据。
可选的，根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离，包括：
获取所述障碍物的深度数据中指定像素区域的像素深度值；
将所述指定像素区域的像素深度值的平均值作为所述目标车辆与所述障碍物的距离。
可选的，本发明所提供的距离测量方法应用于服务器时，还包括：
发送所述目标车辆与所述障碍物的距离至所述目标车辆。
第二方面，本发明提供一种距离测量装置，包括：
第一获取单元，用于获取目标车辆行驶方向上的路况图像，其中，所述路况图像的采集点位于所述目标车辆；
识别单元，用于识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息；
转换单元，用于将所述路况图像转换为深度图像；
第二获取单元，用于基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据；
确定单元，用于根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离。
第三方面，本发明提供一种服务器，包括：存储器和处理器；所述存储器存储有适于所述处理器执行的程序，以实现本发明第一方面任一项所述的距离测量方法。
上述本发明提供的距离测量方法，在得到路况图像后，识别路况图像中的障碍物，并获取障碍物在路况图像中的位置信息，然后，将路况图像转换为深度图像，深度图像中包含每一像素点距离路况图像采集点的深度数据，进一步基于所得障碍物在路况图像中的位置信息，在深度图像中获取障碍物的深度数据，由于路况图像的采集点位于目标车辆，且反应了目标车辆行驶方向上的当前路况，因此，根据障碍物的深度数据即可确定路况图像采集点、即目标车辆与障碍物之间的距离。通过本发明提供的距离测量方法所得到的距离，是基于目标车辆行驶方向上的路况图像得到的，且路况图像的采集点位于目标车辆上，路况图像采集点与障碍物之间的距离即目标车辆与障碍物的距离，距离的测量可以不再依赖于车载摄像头自身的硬件参数，从而解决现有技术中可能出现的距离测量结果偏差大，难以满足实际应用需求的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种距离测量方法的流程图；
图2是本发明实施例提供的一种距离测量装置的结构框图；
图3是本发明实施例提供的另一种距离测量装置的结构框图；
图4是本发明实施例提供的一种服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例提供的距离测量方法的流程图，该方法可应用于电子设备，该电子设备可选如笔记本电脑、智能手机、PC(个人计算机)、数据服务器、行车记录仪等具有图像、数据处理能力的电子设备，显然，该电子设备在某些情况下也可选用网络侧的服务器实现；参照图1，本发明实施例提供的距离测量方法可以包括：
S100、获取目标车辆行驶方向上的路况图像。
本发明实施例所提供的距离测量方法，是以目标车辆行驶方向上的路况图像为基础的，并且用于测量目标车辆与其行驶方向上的障碍物之间的距离，因此，本发明各实施例中所述及的路况图像的采集点均需位于目标车辆上。
可选的，应用本发明实施例提供的距离测量方法的电子设备，可以通过多种方式获取目标车辆的路况图像。具体的，如果该电子设备是手机、平板电脑、行车记录仪等电子设备，则可以通过自身所具备的图像采集功能获取路况图像，如果该电子设备是位于远端的服务器等设备，则可以通过网络连接的方式，获取手机、行车记录仪等现有技术中具备图像采集功能的提供的路况图像。
可选的，应用本发明实施例提供的测量方法的电子设备，还可以直接获取目标车辆行驶方向上的视频流数据，解析视频流数据并得到每一帧路况图像，然后根据预设的图像清晰度要求在所得的多帧图像中，选取一帧满足前述图像清晰度要求的图像，作为目标车辆行驶方向上的路况图像。至于视频流数据的解析，以及路况图像的筛选，则可以按照现有技术中的相关方法实现，本发明实施例对此不做具体限定。
S110、识别路况图像中的障碍物，并获取障碍物在路况图像中的位置信息。
根据实际应用的需求，本发明实施例中所述及的障碍物，可以是目标车辆行驶方向上的其他机动车辆，当然，也可以是其他交通参与者，比如，行人、非机动车辆等，甚至可以是道路上存在的静止物体，比如护栏、隔离桩等。
可选的，本发明实施例提供一种识别路况图像中的障碍物，并确定障碍物在路况图像中的位置信息的方法。
首先，对路况图像进行预设清晰化处理，得到清晰化路况图像。可选的，本发明实施例所述及的预设清晰化处理可以包括：
对路况图像进行高斯滤波降噪处理，去除部分噪点，得到降噪后路况图像，然后，将降噪后路况图像转换为灰度图像，过滤掉图像中的无用信息，有助于进一步提高运算效率。
得到灰度图像后，基于sobel算子对灰度图像进行边缘清晰化处理，得到清晰化灰度图像，并进一步将清晰化灰度图像转换为二值化灰度图，最终将二值化灰度图作为清晰化路况图像。
可选的，考虑到不同图像采集设备所采集的路况图像的规格尺寸各不相同，为便于对路况图像进行预设清晰化处理，以及降低应用本发明实施例所提供距离测量方法的电子设备的运算压力，在得到路况图像之后，可以先将路况图像调整至预设尺寸，并在调整至预设尺寸之后，执行上述预设清晰化处理。至于具体的调整方法，可以参照现有技术实现，本发明实施例对此不做限定。
进一步的，将清晰化路况图像输入预训练的障碍物识别模型，得到识别结果。
可选的，本发明实施例提供的障碍物识别模型以包含障碍物的正样本图像和未包含障碍物的负样本图像为训练样本，以障碍物图像以及障碍物在相应的正样本图像中的位置信息为训练标签，训练神经网络得到的。
具体的，如果将交通参与者中的其他机动车辆作为障碍物(这也是ADAS技术中最为重要的应用场景)，本发明实施例中所述及的正样本图像指的是包含车辆的图像，而负样本图像则指的是未包含有车辆的图像，进一步的，结合实际的应用需求，ADAS技术大都应用于目标车辆的前进过程中，此种情况下，正样本图像可以更多的是包含车尾信息的图像。
需要说明的是，如果前述正样本图像和负样本图像是来源于实际应用中不同电子设备提供的不同规格、不同清晰度的实际图像，在对神经网络进行训练前，同样需要对样本图像进行前述的规格尺寸调整以及预设清晰化处理，以加快障碍物识别模型的训练进展。
基于上述正样本图像和负样本图像，障碍物识别模型的大致训练过程可以参照下述内容进行：
A、样本图像的特征提取：对样本图像使用darknet-53网络中前52层，做第一轮的特征提取，得到相对应的特征图。
B、特征图分块：将所得特征图分为多个小区域，比如，划分为13×13个小区域。
C、对每一划分得到的小区域进行障碍物识别：分别对每个小区域进行识别，每一个小区域中可能包含有障碍物，也可能不包含障碍物，此处，将各小区域中可能存在的障碍物定义为候选障碍物。进一步的，每一个小区域都可以得到对应的包含7维数据的预测结果，在所得预测结果中，4维数据用于表示候选障碍物在样本图像中的位置信息；1维数据用于表示相应的小区域中是否含有候选障碍物，比如，如果该数据为1，则表示小区域中存在候选障碍物，如果该数据为0，则表示小区域中不存在障碍物。其余2维数据则用于表示候选障碍物的几率值，比如，将目标车辆以外的其他机动车辆作为障碍物，识别结果中的1维数据用于表示候选障碍物是机动车辆的几率值，另外1维数据则用于表示候选障碍物不是机动车辆的几率值。
可选的，本发明实施例所提供的障碍物识别模型，采用如下损失函数：
需要说明的是，上述内容仅仅涉及障碍物识别模型的大致训练过程，具体的训练细节可以参照现有技术中神经网络的训练过程实现，在不超出本发明核心思想范围的前提下，特别是不超出本发明实施例上述关键步骤所覆盖的范围的前提下，同样都属于本发明保护的范围内。
根据上述训练过程可知，在向障碍物识别模型输入路况图像之后，识别模型输出的识别结果包括：多个候选障碍物，各候选障碍物对应的、表征识别结果准确性的几率值，以及，各候选障碍物的位置信息。
由于上述多个小区域的划分，导致所得的多个候选障碍物中存在重复出现的候选障碍物，因此，首先需要使用非极大值抑制算法处理所有的候选障碍物，删除识别结果中重复出现的候选障碍物，从而得到处理后的识别结果。
然后在处理后的识别结果中，将前述几率值大于预设阈值的候选障碍物作为路况图像中的障碍物。沿用前例，识别结果中还包括候选障碍物不是机动车辆的几率值，由于本发明的目的在于确定目标车辆与障碍物之间的距离，因此，可以不考虑候选障碍物不是机动车辆的几率值。当然，也可以采用反向思维，设置另外的预设阈值，用于考核候选障碍物不是机动车辆的几率值，即将不是机动车辆的几率值小于该另外设置的预设阈值的候选障碍物作为路况图像中的障碍物。
同时，将确定为障碍物的候选障碍物的位置信息，作为障碍物在路况图像中的位置信息。
S120、将路况图像转换为深度图像。
可选的，为了提高深度图像中各像素点深度数据的准确度，本发明实施例提供一种预训练的图像转换模型，该图像转换模型以样本图像为训练样本，以样本图像对应的深度图像为训练标签，训练神经网络得到。
调用该图像转换模型之后，将路况图像输入图像转换模型，所得输出结果即为路况图像对应的深度图像。并且，所得深度图像中，包括每一像素点相对于图像采集点的深度数据(即距离信息)。
可选的，对于图像转换模型的训练，使用RGB彩色图像作为训练样本，以与训练集中各RGB彩色图像对应的深度图像作为训练标签，其中，与各RGB彩色图像对应的深度图像可以通过现有技术中的其他硬件设备并结合现有算法获得，此处不再赘述。
下面基于具体数据介绍图像转换模型的大致训练过程：
编码阶段：使用训练样本中原始的RGB彩色图像，图像大小压缩至224x224x3尺寸的图像，经过MobileNet模型提取到7x 7x 1024的特征；
解码阶段：进行5次上采样，其中2-4次的上采样结果通过Skip Connections的方法，与编码阶段的特征做特征融合。
最终使用1x1的conv，转换得到与训练样本的深度图像，所得深度图像包含每个像素距离图像采集点的距离。
通过将模型输出的深度图像与训练集中的深度图像做比对，不断的修正神经网络中的参数，直至达到预设的精度要求或者训练次数达到预设的训练次数阈值，结束训练过程，得到图像转换模型。
S130、基于位置信息，在深度图像中获取障碍物的深度数据。
具体的，以深度图像的外形尺寸为基准尺寸，将障碍物在路况图像中的位置信息转换为与基准尺寸对应的基准位置信息，即将路况图像和与路况图像对应的深度图像转换至同一坐标系下，然后，在深度图像中确定该基准位置信息对应的图像区域，得到障碍物的图像区域。最后，获取障碍物的图像区域的深度数据，即得到障碍物的图像区域中每一个像素点距离路况图像采集点的距离值。
S140、根据障碍物的深度数据，确定目标车辆与障碍物的距离。
考虑到障碍物的图像区域中包括数量众多的像素点，如果基于每一个像素点的深度数据确定目标车辆与障碍物的距离，数据处理量仍然较大，因此，可以获取障碍物的深度数据中指定像素区域的像素深度值，然后将指定像素区域的像素深度值的平均值作为目标车辆与障碍物的距离。
可选的，可以计算障碍物图像区域中心1/2部分像素点的像素深度值的平均值，并将所得平均值作为障碍物距离图像采集点的距离，即障碍物与目标车辆之间的距离。
需要说明的是，在任何一帧路况图像中，都有可能包括多个障碍物，上述实施例提供的距离测量方法，适用于路况图像中的每一个障碍物，且具体的距离计算过程都是一样的，至于具体应用时是同时计算所有障碍物与目标车辆的距离，还是针对每一个障碍物分别计算，可以根据应用本发明实施例所提供距离测量方法的电子设备的运算能力确定，本发明对此不做限定。
综上所述，通过本发明提供的距离测量方法所得到的距离，是基于目标车辆行驶方向上的路况图像得到的，且路况图像的采集点位于目标车辆上，路况图像采集点与障碍物之间的距离即目标车辆与障碍物的距离，距离的测量可以不再依赖于车载摄像头自身的硬件参数，从而解决现有技术中可能出现的距离测量结果偏差大，难以满足实际应用需求的问题。
进一步的，本发明实施例提供的距离测量方法，利用了人工智能神经网络算法，与现有技术中依赖硬件参数的计算方法相比，所得计算结果更为准确，可信度更高，有助于ADAS功能的进一步发展。
可选的，如果应用本发明实施例所提供的距离测量方法的电子设备为网络侧的服务器，那么该服务器在经过前述步骤计算得到目标车辆与障碍物之间的距离之后，还需要发送目标车辆与障碍物的距离至目标车辆，以使目标车辆根据所得的距离执行相关操作。
下面对本发明实施例提供的距离测量装置进行介绍，下文描述的距离测量装置可以认为是为实现本发明实施例提供的距离测量方法，在中央设备中需设置的功能模块架构；下文描述内容可与上文相互参照。
可选的，参见图2，图2是本发明实施例提供的一种距离测量装置的结构框图，该装置可以包括：
第一获取单元10，用于获取目标车辆行驶方向上的路况图像，其中，所述路况图像的采集点位于所述目标车辆；
识别单元20，用于识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息；
转换单元30，用于将所述路况图像转换为深度图像；
第二获取单元40，用于基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据；
确定单元50，用于根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离。
可选的，所述识别单元20，用于识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息时，具体包括：
对所述路况图像进行预设清晰化处理，得到清晰化路况图像；
将所述清晰化路况图像输入预训练的障碍物识别模型，得到识别结果，其中，所述障碍物识别模型以包含障碍物的正样本图像和未包含障碍物的负样本图像为训练样本，以障碍物图像以及障碍物在相应的正样本图像中的位置信息为训练标签，训练神经网络得到；
根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息。
可选的，所述识别单元20，用于对所述路况图像进行预设清晰化处理，得到清晰化路况图像时，具体包括：
对所述路况图像进行高斯滤波降噪处理，得到降噪后路况图像；
将所述降噪后路况图像转换为灰度图像；
基于sobel算子对所述灰度图像进行边缘清晰化处理，得到清晰化灰度图像；
将所述清晰化灰度图像转换为二值化灰度图，并将所述二值化灰度图作为清晰化路况图像。
可选的，所述识别结果包括：多个候选障碍物，各所述候选障碍物对应的、表征识别结果准确性的几率值，以及，各所述候选障碍物的位置信息，所述识别单元20，用于根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息时，具体包括：
删除所述识别结果中重复出现的候选障碍物，得到处理后的识别结果；
将所述处理后的识别结果中，所述几率值大于预设阈值的候选障碍物作为所述路况图像中的障碍物；
将所述几率值大于预设阈值的候选障碍物的位置信息，作为所述障碍物在所述路况图像中的位置信息。
可选的，所述转换单元30，用于将所述路况图像转换为深度图像时，具体包括：
调用预训练的图像转换模型，其中，所述图像转换模型以样本图像为训练样本，以所述样本图像对应的深度图像为训练标签，训练神经网络得到；
将所述路况图像输入所述图像转换模型，得到所述路况图像对应的深度图像。
可选的，所述第二获取单元40，用于基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据时，具体包括：
以所述深度图像的外形尺寸为基准尺寸，将所述位置信息转换为与所述基准尺寸对应的基准位置信息；
在所述深度图像中确定所述基准位置信息对应的图像区域，得到所述障碍物的图像区域；
获取所述障碍物的图像区域的深度数据。
可选的，所述确定单元50，用于根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离时，具体包括：
获取所述障碍物的深度数据中指定像素区域的像素深度值；
将所述指定像素区域的像素深度值的平均值作为所述目标车辆与所述障碍物的距离。
可选的，参见图3，图3是本发明实施例提供的另一种距离测量装置的结构框图，在图2所示实施例的基础上，该装置还包括：
发送单元60，用于发送所述目标车辆与所述障碍物的距离至所述目标车辆。
图4为本发明实施例提供的服务器的结构框图，参见图4所示，可以包括：至少一个处理器100，至少一个通信接口200，至少一个存储器300和至少一个通信总线400；
在本发明实施例中，处理器100、通信接口200、存储器300、通信总线400的数量为至少一个，且处理器100、通信接口200、存储器300通过通信总线400完成相互间的通信；显然，图4所示的处理器100、通信接口200、存储器300和通信总线400所示的通信连接示意仅是可选的；
可选的，通信接口200可以为通信模块的接口，如GSM模块的接口；
处理器100可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器300，存储有应用程序，可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器100具体用于执行存储器内的应用程序，以实现上述所述的距离测量方法的任一实施例。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种距离测量方法，其特征在于，包括：
获取目标车辆行驶方向上的路况图像，其中，所述路况图像的采集点位于所述目标车辆；
识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息；
将所述路况图像转换为深度图像；
基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据；
根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离；
所述识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息包括：对路况图像进行预设清晰化处理，得到清晰化路况图像；将清晰化路况图像输入预训练的障碍物识别模型，得到识别结果，所述识别结果包括障碍物在所述路况图像中的位置信息；
所述对所述路况图像进行预设清晰化处理，得到清晰化路况图像，包括：
将路况图像调整至预设尺寸，对所述路况图像进行高斯滤波降噪处理，得到降噪后路况图像；
将所述降噪后路况图像转换为灰度图像；
基于sobel算子对所述灰度图像进行边缘清晰化处理，得到清晰化灰度图像；
将所述清晰化灰度图像转换为二值化灰度图，并将所述二值化灰度图作为清晰化路况图像；
所述将所述路况图像转换为深度图像，包括：
调用预训练的图像转换模型，其中，所述图像转换模型以样本图像为训练样本，以所述样本图像对应的深度图像为训练标签，训练神经网络得到；训练过程包括：编码阶段：使用训练样本中原始的RGB彩色图像，图像大小压缩至224x224x3尺寸的图像，经过MobileNet模型提取到7x 7x 1024的特征；解码阶段：进行5次上采样，其中2-4次的上采样结果通过SkipConnections的方法，与编码阶段的特征做特征融合，最后使用1x1的卷积，转换得到与训练样本的深度图像，所得深度图像包含每个像素距离图像采集点的距离；
将所述路况图像输入所述图像转换模型，得到所述路况图像对应的深度图像；
所述基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据，包括：
以所述深度图像的外形尺寸为基准尺寸，将所述位置信息转换为与所述基准尺寸对应的基准位置信息；
在所述深度图像中确定所述基准位置信息对应的图像区域，得到所述障碍物的图像区域；
获取所述障碍物的图像区域的深度数据。
2.根据权利要求1所述的距离测量方法，其特征在于，所述识别所述路况图像中的障碍物，并获取所述障碍物在所述路况图像中的位置信息，包括：
将所述清晰化路况图像输入预训练的障碍物识别模型，得到识别结果，其中，所述障碍物识别模型以包含障碍物的正样本图像和未包含障碍物的负样本图像为训练样本，以障碍物图像以及障碍物在相应的正样本图像中的位置信息为训练标签，训练神经网络得到；
根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息。
3.根据权利要求2所述的距离测量方法，其特征在于，所述识别结果包括：多个候选障碍物，各所述候选障碍物对应的、表征识别结果准确性的几率值，以及，各所述候选障碍物的位置信息，所述根据所述识别结果确定所述路况图像中的障碍物，以及所述障碍物在所述路况图像中的位置信息，包括：
删除所述识别结果中重复出现的候选障碍物，得到处理后的识别结果；
将所述处理后的识别结果中，所述几率值大于预设阈值的候选障碍物作为所述路况图像中的障碍物；
将所述几率值大于预设阈值的候选障碍物的位置信息，作为所述障碍物在所述路况图像中的位置信息。
4.根据权利要求1所述的距离测量方法，其特征在于，所述根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离，包括：
获取所述障碍物的深度数据中指定像素区域的像素深度值；
将所述指定像素区域的像素深度值的平均值作为所述目标车辆与所述障碍物的距离。
5.根据权利要求1-4任一项所述的距离测量方法，其特征在于，应用于服务器，所述方法还包括：
发送所述目标车辆与所述障碍物的距离至所述目标车辆。
6.一种距离测量装置，其特征在于，包括：
第一获取单元，用于获取目标车辆行驶方向上的路况图像，其中，所述路况图像的采集点位于所述目标车辆；
识别单元，用于识别所述路况图像中的障碍物，对所述路况图像进行预设清晰化处理，得到清晰化路况图像，并获取所述障碍物在所述清晰化路况图像中的位置信息；
转换单元，用于将所述路况图像转换为深度图像；
第二获取单元，用于基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据；
确定单元，用于根据所述障碍物的深度数据，确定所述目标车辆与所述障碍物的距离；
所述对所述路况图像进行预设清晰化处理，得到清晰化路况图像，包括：
将路况图像调整至预设尺寸，对所述路况图像进行高斯滤波降噪处理，得到降噪后路况图像；
将所述降噪后路况图像转换为灰度图像；
基于sobel算子对所述灰度图像进行边缘清晰化处理，得到清晰化灰度图像；
将所述清晰化灰度图像转换为二值化灰度图，并将所述二值化灰度图作为清晰化路况图像；
所述转换单元将所述路况图像转换为深度图像，包括：
调用预训练的图像转换模型，其中，所述图像转换模型以样本图像为训练样本，以所述样本图像对应的深度图像为训练标签，训练神经网络得到；训练过程包括：编码阶段：使用训练样本中原始的RGB彩色图像，图像大小压缩至224x224x3尺寸的图像，经过MobileNet模型提取到7x 7x 1024的特征；解码阶段：进行5次上采样，其中2-4次的上采样结果通过SkipConnections的方法，与编码阶段的特征做特征融合，最后使用1x1的卷积，转换得到与训练样本的深度图像，所得深度图像包含每个像素距离图像采集点的距离；
将所述路况图像输入所述图像转换模型，得到所述路况图像对应的深度图像；
所述第二获取单元基于所述位置信息，在所述深度图像中获取所述障碍物的深度数据，包括：
以所述深度图像的外形尺寸为基准尺寸，将所述位置信息转换为与所述基准尺寸对应的基准位置信息；
在所述深度图像中确定所述基准位置信息对应的图像区域，得到所述障碍物的图像区域；
获取所述障碍物的图像区域的深度数据。
7.一种服务器，其特征在于，包括：存储器和处理器；所述存储器存储有适于所述处理器执行的程序，以实现权利要求1至5任一项所述的距离测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455873.7A CN111627057B (zh) | 2020-05-26 | 2020-05-26 | 一种距离测量方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455873.7A CN111627057B (zh) | 2020-05-26 | 2020-05-26 | 一种距离测量方法、装置及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111627057A CN111627057A (zh) | 2020-09-04 |
| CN111627057B true CN111627057B (zh) | 2024-06-07 |
Family
ID=72259253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010455873.7A Active CN111627057B (zh) | 2020-05-26 | 2020-05-26 | 一种距离测量方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111627057B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN114396911B (zh) * | 2021-12-21 | 2023-10-31 | 中汽创智科技有限公司 | 一种障碍物测距方法、装置、设备及存储介质 |
| CN116452941A (zh) * | 2023-06-15 | 2023-07-18 | 山东中清智能科技股份有限公司 | 一种多视角的多图像融合方法及装置 |
| CN116953680B (zh) * | 2023-09-15 | 2023-11-24 | 成都中轨轨道设备有限公司 | 一种基于图像的目标物实时测距方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017123665A1 (en) * | 2016-01-11 | 2017-07-20 | Netradyne Inc. | Driver behavior monitoring |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物*** |
-
2020
- 2020-05-26 CN CN202010455873.7A patent/CN111627057B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017123665A1 (en) * | 2016-01-11 | 2017-07-20 | Netradyne Inc. | Driver behavior monitoring |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物*** |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的目标检测框架进展研究;寇大磊;权冀川;张仲伟;;计算机工程与应用;20190326(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111627057A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627057B (zh) | 一种距离测量方法、装置及服务器 | |
| Anand et al. | Crack-pot: Autonomous road crack and pothole detection | |
| CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
| CN107239778B (zh) | 高效准确的车牌识别方法 | |
| CN112417953B (zh) | 道路状况检测和地图数据更新方法、装置、***及设备 | |
| US20210350149A1 (en) | Lane detection method and apparatus,lane detection device,and movable platform | |
| CN112200172B (zh) | 一种可行驶区域的检测方法及装置 | |
| CN110956081B (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
| CN114418998A (zh) | 一种车辆零部件缺陷检测方法、***及电子设备 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN114067292A (zh) | 用于智能驾驶的图像处理方法和装置 | |
| CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
| CN113297939A (zh) | 障碍物检测方法、***、终端设备及存储介质 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、***及可读存储介质 | |
| Ballinas-Hernández et al. | Marked and unmarked speed bump detection for autonomous vehicles using stereo vision | |
| CN116129380A (zh) | 自动驾驶车辆行驶车道判别方法、***、车辆及存储介质 | |
| CN115937818A (zh) | 用于智能汽车的路面类型勘测方法、装置和相关设备 | |
| JP2021152826A (ja) | 情報処理装置、被写体分類方法、及び被写体分類プログラム | |
| CN114581876A (zh) | 构建复杂场景下车道检测模型的方法和检测车道线方法 | |
| CN113011268A (zh) | 车辆智能导航方法、装置、电子设备及存储介质 | |
| Tripathy et al. | Image-Based Pothole Detection System Using YoloV8 Algorithm | |
| CN116434151B (zh) | 路面异物识别方法、装置、计算机设备及存储介质 | |
| CN115661784B (zh) | 一种面向智慧交通的交通标志图像大数据识别方法与*** | |
| CN111611942B (zh) | 一种透视自适应车道骨架提取建库的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |