CN117593355A - 路面要素面积计算方法、装置、计算机设备及存储介质 - Google Patents
路面要素面积计算方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117593355A CN117593355A CN202311573728.9A CN202311573728A CN117593355A CN 117593355 A CN117593355 A CN 117593355A CN 202311573728 A CN202311573728 A CN 202311573728A CN 117593355 A CN117593355 A CN 117593355A
- Authority
- CN
- China
- Prior art keywords
- road surface
- image
- surface element
- pavement
- depth value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000013136 deep learning model Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了路面要素面积计算方法、装置、计算机设备及存储介质。方法包括：获取待评估路面图像；将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；根据各个路面要素的位置信息确定图像深度值；获取摄像头参数；根据图像深度值以及摄像头参数确定各个路面要素的面积信息；将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；输出目标结果。通过实施本发明实施例的方法可实现精准确定道路评判标准，避免了传统方法中的主观性和不准确性问题，提高了评判的准确性和效率。
Description
技术领域
本发明涉及道路评估方法，更具体地说是指路面要素面积计算方法、装置、计算机设备及存储介质。
背景技术
随着社会的发展，道路建设逐渐完善。在城市交通中地铁、轻轨、火车等有轨交通工具承担了众多人员流通任务。
对于道路需要进行定时评估，传统的评估方式采用的是人工现场评估，但是目前人工现场评估的方式通常依赖于专业人员的主观判断和经验，这种方式耗时耗力且容易产生评判结果的不准确性和主观性，这导致评判结果容易受到个体主观偏好和主观判断的影响，评分不一致性较高，无法提供准确的评判标准作为指导。
因此，有必要设计一种新的方法，实现精准确定道路评判标准，避免了传统方法中的主观性和不准确性问题，提高了评判的准确性和效率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供路面要素面积计算方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：路面要素面积计算方法，包括：
获取待评估路面图像；
将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；
根据各个路面要素的位置信息确定图像深度值；
获取摄像头参数；
根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；
将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；
输出所述目标结果。
其进一步技术方案为：所述根据各个路面要素的位置信息确定图像深度值，包括：
采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。
其进一步技术方案为：
所述深度估算方法采用深度学习模型，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，包括：
将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果；
将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图；
对所述深度图进行尺寸调整，以得到调整结果；
将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
其进一步技术方案为：所述对所述深度图进行尺寸调整，以得到调整结果，包括：
采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
其进一步技术方案为：所述深度估算方法采用激光雷达，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，包括：
通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。
其进一步技术方案为：所述摄像头参数包括摄像头的焦距、感光元件尺寸、像素尺寸；
所述根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息，包括：
采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
其进一步技术方案为：所述采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息之后，还包括：
拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。
本发明还提供了路面要素面积计算装置，包括：
图像获取单元，用于获取待评估路面图像；
检测单元，用于将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；
图像深度值确定单元，用于根据各个路面要素的位置信息确定图像深度值；
参数获取单元，用于获取摄像头参数；
面积确定单元，用于根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；
结合单元，用于将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；
输出单元，用于输出所述目标结果。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对待评估路面图像进行处理，以确定各个路面要素检测区域和位置信息，再进行深度值确定，以确定与各个路面要素的位置信息重叠区域的深度值，在从摄像头的角度结合图像深度值确定各个路面要素的面积信息，将各个路面要素的面积信息与检测结果结合，形成最终的输出结果，实现精准确定道路评判标准，避免了传统方法中的主观性和不准确性问题，提高了评判的准确性和效率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的路面要素面积计算方法的流程示意图；
图2为本发明实施例提供的路面要素面积计算方法的子流程示意图；
图3为本发明实施例提供的待评估路面图像的示意图；
图4为本发明实施例提供的掩码的示意图；
图5为本发明实施例提供的深度图的示意图；
图6为本发明实施例提供的深度图与掩码匹配的示意图；
图7为本发明实施例提供的目标结果的示意图；
图8为本发明实施例提供的边缘检测效果图的示意图；
图9为本发明实施例提供的深度图的可视化效果示意图；
图10为本发明实施例提供的路面要素面积计算装置的示意性框图；
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的路面要素面积计算方法的示意性流程图。该路面要素面积计算方法应用于服务器中。该服务器与终端以及摄像头进行数据交互，其中摄像头可以为车载摄像头，通过同一型号的车载摄像头对路面图像信息进行图片采集，以此形成待评估路面图像，利用语义分割网络和深度估算方法相结合，计算路面各要素的面积，提高道路评判标准。
图1是本发明实施例提供的路面要素面积计算方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、获取待评估路面图像。
在本实施例中，待评估路面图像是指通过摄像头拍摄所得的需要进行评估的路面的图片，如图3所示。
在一实施例中，当获取得到待评估路面图像之后，尺寸固定，但收集图片路况等影响，需要对待评估路面图像进行图片去重。对于天气影响，收集各类天气包括晴天、雨天、阴天等各类天气状态下的路面情况，将图片放入训练好的语义分割网络进行分割，以调整分割模型，使其可以精准地对各种天气状态下的路面情况进行分割，确定各个路面要素的掩码。
S120、将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息。
在本实施例中，各个路面要素检测区域是包括各个不同类型的路面要素在待评估路面图像所在的区域，位置信息是指各个路面要素的具体坐标信息。具体地，路面要素是指道路各类型物体，例如：路面材料、车道、路肩、路面标线、排水***、井盖等多种类型。
在本实施例中，可以采用分割网络进行待评估路面图像的分割，确定各个路面要素检测区域和位置信息；具体地，分割网络通过前向传播将待评估路面图像输入分割模型，并生成一个与待评估路面图像的尺寸相同的分割结果，语义分割可以将不同类型的像素进行归类，不同路面要素的像素点进行归类，形成对应的掩码，而且形成掩码时可以叠加目标检测网络进行掩码对应的路面要素类型的检测，由此形成路面要素检测结果以及对应的掩码，掩码则形成了路面要素的区域；分割结果是一个像素级别的标注图，每个像素都被分配了相应的语义类别。其中需要识别的要素对应语义类别为1，背景为0，通过对0和1的判断得到每个路面要素的mask掩码，以便后续面积计算使用，如图4所示。
另外，还可以采用目标检测算法与分割网络模型进行组合形成的模型，对各个路面要素的区域及位置信息进行确定；具体的流程是先采用目标检测算法对整个待评估路面图像进行整体检测，确定各个路面要素的大致区域，然后通过分割网络模型将各个路面要素的大致区域进行分割，获取各路面要素位置信息以及对应的路面要素检测区域；当然，还可以利用边缘检测方法，依据目标的色差变化率进行轮廓检测，将各个不同类型的路面要素作为目标，获取目标的区域和位置信息，在此基础上还可使用目标检测算法与边缘检测算法组合方法，先利用目标检测算法确认各个不同类型的路面要素的大致位置，再对该大致位置的图片进行边缘检测，获取目标的区域和位置信息，由此形成如图9所示的效果图。
对比图4与图9，可以看出整体上，边缘检测能确定目标的区域和位置信息，同样会带一点多余的噪点信息，但整体的位置信息是和使用掩码图能达到同样的效果。
S130、根据各个路面要素的位置信息确定图像深度值。
在本实施例中，图像深度值是指各个路面要素的位置信息所对应的区域的深度值。
具体地，可以使用单目深度模型估计待评估道路图像中各个像素点的深度值，从而估计整个图像场景深度距离，以得出深度图，如图5所示。深度图表示图像中每个像素点到摄像头的距离的图像，每一个像素对应的数字为估计出的深度值，数字越大距离越远，反之距离越近，它可以用来描述场景中物体的远近关系，较远的物体通常被表示为深色，而较近的物体则被表示为浅色。
上述的步骤S130可包括：采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值。
所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。
具体地，在一实施例中，请参阅图2，当深度估算方法采用深度学习模型时，采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值的步骤，可包括：步骤S131～S134。
S131、将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果。
在本实施例中，预处理结果是指对待评估图像转换通道数量、进行尺寸调整、张量调整，并添加维度之后形成的图像。
具体地，将待评估路面图像转换为3通道图像，以便与所述深度学习模型兼容，然后调整转换通道后的图像的大小以适应模型的输入尺寸，将调整尺寸后的图像转换为张量，并在第0维上添加一个维度，以构成预处理结果。
S132、将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图。
在本实施例中，深度图是指待评估道路图像中每个像素点的深度值构成的图像。
具体地，所述深度学习模型包括编码器以及解码器，将预处理结果输入到深度学习模型的编码器中，通过编码器内的多个卷积和池化层来提取图像的特征，编码器提取的特征会传递给解码器，通过解码器内的多次卷积和上采样后生成深度图。
除了采用上述的深度估算方法进行图像深度值的确定之外，还可以采用以下的深度估算方式确定图像深度值，具体有相机标定、光流法、激光雷达等；激光雷达的方式是通过向目标发射激光束并测量反射回来的时间，可以计算出目标的距离和位置，从而获取深度信息。具体地，当所述深度估算方法采用激光雷达，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，包括：通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。激光光源比一般的光方向性更好，可以传播更远而衰减较弱，因此激光雷达的探测距离远，符合道路探测场景。因此可在拍摄镜头外置激光雷达进行实时探测对应图片的深度值；上述的激光雷达的方式呈现的图像深度值可视化效果如图9所示，将获取的每个点位的距离用颜色深浅进行可视化，每一个点位对应着不同的色差，即代表对应的不同的深度值，相对于深度学习模型的软件方案，激光雷达则是通过硬件的形式完成获取图像深度值的功能，使用激光雷达方案更快捷直观，设备安装后即可使用，但对环境有一定的依赖，对某些场景的适用性不足。用户可以依据自己的需求进行方案的选择。
相机标定法实则是采用深度相机拍摄得到深度图像，进而确定图像深度值；光流法是指采用相机结合稠密光流算法进行匹配，以确定图像深度值。
S133、对所述深度图进行尺寸调整，以得到调整结果。
在本实施例中，调整结果是指对深度图进行尺寸调整后形成的图像。
具体地，由于解码器的上采样过程会导致深度图的尺寸与待评估路面图像不完全匹配，可采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
S134、将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
在本实施例中，将深度图与各个路面要素的位置信息进行重叠匹配，各个路面要素的位置信息可以是上述分割模型得到的mask掩码，也可以是其他方式得到的位置信息，如图6所示，取出深度图与mask掩码重叠区域内的图像深度值，形成图像深度值，以用于路面要素的面积计算。
S140、获取摄像头参数。
在本实施例中，所述摄像头参数包括摄像头的焦距、感光元件尺寸、像素尺寸。
由于不同的摄像头所拍摄的照片多少会有差异，因此需要结合摄像头的参数进行面积计算，从而统一路面评估的标准。
S150、根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息。
在本实施例中，面积信息是指各个路面要素所对应的面积、
具体地，采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
通过焦距f、感光元件尺寸s、像素尺寸d计算出像素实际面积，根据公式计算得到路面要素的面积信息，面积＝(d÷f)×s×路面要素的像素对应的深度值。
在一实施例中，由于摄像头拍摄距离的影响，各路面要素会产生透视变换，对于相同的路面要素来说，在图片里显示的路面要素大小是不一样的，距离近的路面要素在图片里显示会放大，距离远的路面要素在图片里显示会缩小。因此统一距离对面积信息的影响程度，以使得评估的标准更加统一；可通过回归分析拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。具体地，使用Y＝f(X)通过回归分析来拟合出每个路面要素的面积与每个路面要素距离摄像头的所对应的距离的权重，利用权重调整面积，以此来解决图片透视变换对于面积计算的影响，权重用于校正每个路面要素的面积，其中，Y为每个路面要素的面积，X为每个路面要素距离摄像头的所对应的距离。
S160、将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果。
在本实施例中，目标结果是指各个路面要素的面积信息与各个路面要素检测结果标注在待评估路面图像中形成的结果。
具体地，如图7所示，其中，图像中的英文名称为各路面要素名称，数字为计算出的面积，以便用户直观地了解路面各个要素的面积分布情况。
S170、输出所述目标结果。
上述的路面要素面积计算方法，通过对待评估路面图像进行处理，以确定各个路面要素检测区域和位置信息，再进行深度值确定，以确定与各个路面要素的位置信息重叠区域的深度值，在从摄像头的角度结合图像深度值确定各个路面要素的面积信息，将各个路面要素的面积信息与检测结果结合，形成最终的输出结果，实现精准确定道路评判标准，避免了传统方法中的主观性和不准确性问题，提高了评判的准确性和效率。
图10是本发明实施例提供的一种路面要素面积计算装置300的示意性框图。如图10所示，对应于以上路面要素面积计算方法，本发明还提供一种路面要素面积计算装置300。该路面要素面积计算装置300包括用于执行上述路面要素面积计算方法的单元，该装置可以被配置于服务器中。具体地，请参阅图8，该路面要素面积计算装置300包括图像获取单元301、检测单元302、图像深度值确定单元303、参数获取单元304、面积确定单元305、结合单元306以及输出单元307。
图像获取单元301，用于获取待评估路面图像；检测单元302，用于将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；图像深度值确定单元303，用于根据各个路面要素的位置信息确定图像深度值；参数获取单元304，用于获取摄像头参数；面积确定单元305，用于根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；结合单元306，用于将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；输出单元307，用于输出所述目标结果。
在一实施例中，上述的装置还包括去重单元，用于对待评估路面图像进行去重处理。
在一实施例中，所述图像深度值确定单元303，用于采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值；所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。具体地，当所述深度估算方法采用深度学习模型，所述图像深度值确定单元303包括预处理子单元、深度图确定子单元、调整子单元以及匹配子单元。
预处理子单元，用于将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果；深度图确定子单元，用于将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图；调整子单元，用于对所述深度图进行尺寸调整，以得到调整结果；匹配子单元，用将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
所述深度估算方法采用激光雷达，所述图像深度值确定单元303，用于通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。
在一实施例中，所述调整子单元，用于采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
在一实施例中，所述面积确定单元305，用于采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
在一实施例中，所述面积确定单元305，还用于拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述路面要素面积计算装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述路面要素面积计算装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图9，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种路面要素面积计算方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种路面要素面积计算方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待评估路面图像；将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；根据各个路面要素的位置信息确定图像深度值；获取摄像头参数；根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；输出所述目标结果。
其中，所述摄像头参数包括摄像头的焦距、感光元件尺寸、像素尺寸。
在一实施例中，处理器502在实现所述将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息步骤之前，还实现如下步骤：
对待评估路面图像进行去重处理。
在一实施例中，处理器502在实现所述根据各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。
在一实施例中，处理器502在实现所述所述深度估算方法采用深度学习模型，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果；将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图；将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
在一实施例中，处理器502在实现所述对所述深度图进行尺寸调整，以得到调整结果步骤时，具体实现如下步骤：
采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
在一实施例中，处理器502在实现所述深度估算方法采用激光雷达，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。
在一实施例中，处理器502在实现所述根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息步骤时，具体实现如下步骤：
采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
在一实施例中，处理器502在实现所述采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息步骤之后，还实现如下步骤：
拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待评估路面图像；将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；根据各个路面要素的位置信息确定图像深度值；获取摄像头参数；根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；输出所述目标结果。
其中，所述摄像头参数包括摄像头的焦距、感光元件尺寸、像素尺寸。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息步骤之前，还实现如下步骤：
对待评估路面图像进行去重处理。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。
在一实施例中，所述处理器在执行所述计算机程序而实现所述所述深度估算方法采用深度学习模型，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果；将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图；将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述深度图进行尺寸调整，以得到调整结果步骤时，具体实现如下步骤：
采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述深度估算方法采用激光雷达，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值步骤时，具体实现如下步骤：
通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息步骤时，具体实现如下步骤：
采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息步骤之后，还实现如下步骤：
拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.路面要素面积计算方法，其特征在于，包括：
获取待评估路面图像；
将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；
根据各个路面要素的位置信息确定图像深度值；
获取摄像头参数；
根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；
将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；
输出所述目标结果。
2.根据权利要求1所述的路面要素面积计算方法，其特征在于，所述根据各个路面要素的位置信息确定图像深度值，包括：
采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，所述深度估算方法包括深度学习、相机标定、光流法、激光雷达中的任一种。
3.根据权利要求2所述的路面要素面积计算方法，其特征在于，所述深度估算方法采用深度学习模型，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，包括：
将所述待评估路面图像进行通道转换、尺寸调整、张量转换以及维度添加，以得到预处理结果；
将所述预处理结果输入至所述深度学习模型中进行特征提取、特征卷积以及上采样处理，以得到深度图；
对所述深度图进行尺寸调整，以得到调整结果；
将所述调整结果与各个路面要素的位置信息进行匹配，筛选出深度图与所述各个路面要素的位置信息重叠的区域的深度值，以得到图像深度值。
4.根据权利要求3所述的路面要素面积计算方法，其特征在于，所述对所述深度图进行尺寸调整，以得到调整结果，包括：
采用插值方法将所述深度图的尺寸调整为所述待评估路面图像的大小，以得到调整结果。
5.根据权利要求2所述的路面要素面积计算方法，其特征在于，所述深度估算方法采用激光雷达，所述采用深度估算方法结合所述各个路面要素的位置信息确定图像深度值，包括：
通过向所述各个路面要素发射激光束并测量反射回来的时间，计算出各个路面要素的距离和位置，获取深度信息，以得到图像深度值。
6.根据权利要求1所述的路面要素面积计算方法，其特征在于，所述摄像头参数包括摄像头的焦距、感光元件尺寸、像素尺寸；
所述根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息，包括：
采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息。
7.根据权利要求6所述的路面要素面积计算方法，其特征在于，所述采用像素尺寸与焦距求商后与感光元件尺寸以及图像深度值计算各个路面要素的面积信息之后，还包括：
拟合出路面要素的面积信息与每个路面要素对应的距离的权重，并利用对应的权重校正对应的路面要素的面积信息。
8.路面要素面积计算装置，其特征在于，包括：
图像获取单元，用于获取待评估路面图像；
检测单元，用于将所述待评估路面图像输入至目标识别模型，以得到各个路面要素检测区域和位置信息；
图像深度值确定单元，用于根据各个路面要素的位置信息确定图像深度值；
参数获取单元，用于获取摄像头参数；
面积确定单元，用于根据所述图像深度值以及所述摄像头参数确定各个路面要素的面积信息；
结合单元，用于将各个路面要素的面积信息与各个路面要素检测结果结合，以得到目标结果；
输出单元，用于输出所述目标结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573728.9A CN117593355A (zh) | 2023-11-23 | 2023-11-23 | 路面要素面积计算方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573728.9A CN117593355A (zh) | 2023-11-23 | 2023-11-23 | 路面要素面积计算方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117593355A true CN117593355A (zh) | 2024-02-23 |
Family
ID=89921377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311573728.9A Pending CN117593355A (zh) | 2023-11-23 | 2023-11-23 | 路面要素面积计算方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593355A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
| CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及*** |
| CN111680554A (zh) * | 2020-04-29 | 2020-09-18 | 北京三快在线科技有限公司 | 自动驾驶场景的深度估计方法、装置和自主车辆 |
| CN115170629A (zh) * | 2022-09-08 | 2022-10-11 | 杭州海康慧影科技有限公司 | 一种伤口信息获取方法、装置、设备及存储介质 |
| CN115527178A (zh) * | 2022-09-27 | 2022-12-27 | 深圳海星智驾科技有限公司 | 路面病害检测方法和装置、电子设备和存储介质 |
| CN116538926A (zh) * | 2023-05-25 | 2023-08-04 | 上海商米科技集团股份有限公司 | 手持尺寸测量设备和尺寸测量方法 |
-
2023
- 2023-11-23 CN CN202311573728.9A patent/CN117593355A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
| CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及*** |
| CN111680554A (zh) * | 2020-04-29 | 2020-09-18 | 北京三快在线科技有限公司 | 自动驾驶场景的深度估计方法、装置和自主车辆 |
| CN115170629A (zh) * | 2022-09-08 | 2022-10-11 | 杭州海康慧影科技有限公司 | 一种伤口信息获取方法、装置、设备及存储介质 |
| CN115527178A (zh) * | 2022-09-27 | 2022-12-27 | 深圳海星智驾科技有限公司 | 路面病害检测方法和装置、电子设备和存储介质 |
| CN116538926A (zh) * | 2023-05-25 | 2023-08-04 | 上海商米科技集团股份有限公司 | 手持尺寸测量设备和尺寸测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
| EP3712841B1 (en) | Image processing method, image processing apparatus, and computer-readable recording medium | |
| CN109002795B (zh) | 车道线检测方法、装置及电子设备 | |
| US9576367B2 (en) | Object detection method and device | |
| KR102249769B1 (ko) | 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| CN109657686B (zh) | 车道线生成方法、装置、设备以及存储介质 | |
| Correal et al. | Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching | |
| CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
| CN109635816B (zh) | 车道线生成方法、装置、设备以及存储介质 | |
| KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN108647664B (zh) | 一种基于环视图像的车道线检测方法 | |
| CN106373128B (zh) | 一种嘴唇精确定位的方法和*** | |
| KR20200045701A (ko) | 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치 | |
| KR101869266B1 (ko) | 극한 심층학습 기반 차선 검출 시스템 및 그 방법 | |
| KR101483742B1 (ko) | 지능형 차량의 차선 검출방법 | |
| US20210158098A1 (en) | A method and a system training a model to perform semantic segmentation on foggy images | |
| CN110809766B (zh) | 高级驾驶员辅助***和方法 | |
| CN112179294A (zh) | 一种土地校对方法、装置以及*** | |
| WO2020020445A1 (en) | A method and a system for processing images to obtain foggy images | |
| CN110211200B (zh) | 一种基于神经网络技术的牙弓线生成方法及其*** | |
| CN111488762A (zh) | 一种车道级定位方法、装置及定位设备 | |
| CN110809767B (zh) | 高级辅助驾驶***和方法 | |
| WO2021063756A1 (en) | Improved trajectory estimation based on ground truth |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |