CN112991348A - 一种车辆底盘异物检测方法、装置及存储介质 - Google Patents

一种车辆底盘异物检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112991348A
CN112991348A CN202110565840.2A CN202110565840A CN112991348A CN 112991348 A CN112991348 A CN 112991348A CN 202110565840 A CN202110565840 A CN 202110565840A CN 112991348 A CN112991348 A CN 112991348A
Authority
CN
China
Prior art keywords
image
channel
foreign matter
matter detection
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110565840.2A
Other languages
English (en)
Inventor
路通
王文卓
薛明龙
赵智玉
徐梅娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Soan Electronics Co ltd
Original Assignee
Nanjing Soan Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Soan Electronics Co ltd filed Critical Nanjing Soan Electronics Co ltd
Priority to CN202110565840.2A priority Critical patent/CN112991348A/zh
Publication of CN112991348A publication Critical patent/CN112991348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车辆底盘异物检测方法、装置及存储介质，其中检测方法包括如下步骤：拍摄获取车底的图像作为样本图像，筛选并建立车底异物图像的数据集；对样本图像由RGB模式通道转换为HSL通道模式，并提取其中的亮度通道；在图像熵曲线的最大曲率确定两个重要超参直方图均衡的网格大小和对比度受限阈值佳值；利用两个超参最佳值得到调整后的亮度通道L'；使用调整后的亮度通道L'替换原图像中的亮度通道，并将图像转换回RGB模式；将训练图片输入检测模型训练，测试得到车底异物检测结果。本发明鲁棒性高，对亿像素的图像有较好的适应性，图像效果好，在不影响图像色彩的了同时减少噪点，是车底异物检测的效果更好。

Description

一种车辆底盘异物检测方法、装置及存储介质
技术领域
本发明涉及车辆车底异物与图像处理领域，尤其涉及一种基于亿像素图像自适应暗光增强优化的车辆底盘异物检测方法与装置。
背景技术
20多年以来，我国公路基础建设迅速发展，公路运输能力大大提高，在国民经济增长和人民生活水平提高方面发挥着越来越重要的作用。但与日益增长的运输需求相比，公路车辆运输仍存在着有效供给不足的问题。随着我国经济的进一步发展，公路车辆运输需求将继续保持快速增长。在公路车辆运输中大宗货物、初级产品所占的份额呈下降趋势，对运输服务质量和服务水平的要求日益提高。区域经济的发展以及公路基础设施和车辆的不断改进，中长距离公路运输需求增加，公路货运向快速、长途、重载方向发展。大吨位、重型专用运输车因高速安全、单位运输成本低而成为我国未来公路运输车辆的主力。为确保运输安全，车辆安检是非常重要的。需要检测车辆是否装载有国家法律条文规定的明令禁止物品，如***等危险物品。现有的安检主要是通过X光透视扫描生成装载货物的材质、体积、数量等图像与核查清单是否相符，来判定是否存在违禁品。然而对于车底夹带违禁品的情况，却无法应对。因此车底异物检测是公路安全检测的一个有效的方法。
车底异物检测的环境通常不是理想条件。因为车底的进光量少，进行扫描拍照时多数是光线较暗的情况。这时图像的对比度较低，不利于进行目标检测，因此应该考虑先对图像进行对比度均衡化处理。直方图均衡化被认为是提升图像对比度最为有效的方法，它的基本思想是用数学方法重新调整像素的亮度分布，使调整后的直方图具有最大的动态范围。对于对比度较低的图像，图像亮度直方图的跨度较小，存在向两极拉伸的空间。通常均衡化之后的图像具有更好的视觉效果。然而，当图像像素值分布明显不均衡时，如图像中存在明显的暗区或亮区，则处理这些图像区域后的效果将不太理想。并且，直方图均衡化还有个明显的缺点是会放大一些暗区的噪声，影响图像的信息分布。因而不应对车底复杂环境图像处理的需求。另外，车底图像采集的样本大多是亿像素级别的大图像，需要一种灵活的，能适应复杂场景的方法，来对车底图像进行处理，进而提升车底异物检测的准确度。
发明内容
针对现有技术的不足，本发明提供了车底异物检测的效果好的一种车辆底盘异物检测方法、装置及存储介质。
为解决上述技术问题，本发明采用如下技术方案：
一种车辆底盘异物检测方法，包括如下步骤：
步骤1，拍摄获取车辆车底的图像作为样本图像，筛选并建立车辆车底异物图像的数据集；
步骤2，对样本图像进行通道转换，由RGB模式通道转换为HSL通道模式，并提取其中的亮度通道；
步骤3，在图像熵曲线的最大曲率确定两个重要超参直方图均衡的网格大小TileGridSize和对比度受限阈值ClipLimit最佳值；
步骤4，利用两个超参最佳值对图像的亮度通道L进行调整，得到调整后的亮度通道L'；
步骤5，使用调整后的亮度通道L'替换原图像中的的亮度通道，并将图像转换回RGB模式；
步骤6，将上述处理过的图像与原图做图层滤色混合操作，并进行双边滤波，输出用于处理完毕的图像用于异物检测；
步骤7，将训练图片输入YOLO-v3检测模型训练，测试得到车底异物检测结果。
步骤2包括：利用如下公式将样本图像从原本的RGB模式转换为HSL模式，并提取其中的亮度通道L。
Figure DEST_PATH_IMAGE002
步骤3实现了自适应确定重要超参。其步骤包括：
步骤3-1，在直方图均衡的网格大小TileGridSize为8x8的同时将对比度受限阈值ClipLimit从0变化到0.1，计算熵曲线。使用了Matlab中的fitoutputfun和fminsearch等拟合方法对非线性熵曲线进行最佳拟合。由于熵曲线不是单调的，因此拟合方程式如下：
Figure DEST_PATH_IMAGE004
步骤3-2，设对比度受限阈值为
Figure DEST_PATH_IMAGE006
，熵为y1，假设
Figure DEST_PATH_IMAGE008
和y1是两次可微的，曲率κ1被定义为：
Figure DEST_PATH_IMAGE010
式中，
Figure DEST_PATH_IMAGE012
为
Figure DEST_PATH_IMAGE014
的一阶导数；
Figure DEST_PATH_IMAGE016
为
Figure DEST_PATH_IMAGE018
的二阶导数；
步骤3-3，取在熵与对比度受限阈值曲线上具有最大曲率的点作为受限阈值ClipLimit：
Figure DEST_PATH_IMAGE020
步骤3-4，取步骤3-3确定的对比度受限阈值，将块大小从2x2变化到32x32来计算熵：
Figure DEST_PATH_IMAGE022
式中，
Figure DEST_PATH_IMAGE024
为直方图均衡的网格大小，y2为熵，κ2为曲率；
Figure DEST_PATH_IMAGE026
为
Figure DEST_PATH_IMAGE028
的一阶导数；
Figure 639584DEST_PATH_IMAGE030
为
Figure 992942DEST_PATH_IMAGE032
的二阶导数；
取在熵与直方图均衡的网格大小曲线上具有最大曲率的点作为直方图均衡的网格大小：
Figure 100002_DEST_PATH_IMAGE033
步骤4实现了利用直方图均衡的网格大小TileGridSize和对比度受限阈值ClipLimit的自动获取的最佳值，对亮度通道L通道进行调整。
步骤4-1，以步骤3-4中的超参直方图均衡的网格大小TileGridSize为单位，统计每一个灰度在步骤2中提取的L通道上的像素所占总体的比例，记为Pi。
步骤4-2，根据4-1的计算结果，按照灰度级划分为三个灰度区间，使得三个区间的像素点数量近似相等。
步骤4-3，计算直方图概率的累加值S(i)，直到最后一个灰度级，总和为1。统计得累积分布函数。
步骤4-4，根据步骤3-3确定的对比度受限阈值，剪裁灰度直方图为预定值来限制放大，将剪裁掉的部分均匀地分配到直方图均衡的网格区间中幅值小于对比度受限阈值ClipLimit的灰度值，通过如下公式实现局部对比度增强，限制了邻域累积分布函数的斜率，从而限制了转换函数的斜率。
Figure 100002_DEST_PATH_IMAGE035
其中，设W为当前窗口，mi,j为窗口W内直方图均衡的网格内像素的平均灰度，k为实验设定的系数，xi,j为坐标（i，j）位置的像素，m和n分别是窗口W的长和宽。
步骤4-5，根据剪裁后的灰度直方图计算邻域累积分布函数CDF。
步骤4-6，遍历、对各个以直方图均衡的网格大小TileGridSize为单位的图像块进行如下操作，进行块间线性插值，从而映射到灰度空间。例如求P点的像素，先在x轴方向上上进行插值，得到：
Figure 100002_DEST_PATH_IMAGE037
再在y轴方向上进行插值，得到：
Figure 100002_DEST_PATH_IMAGE039
式中，x，y就是像素位置的横纵坐标，
Figure DEST_PATH_IMAGE041
坐标为
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE045
坐标为
Figure 446050DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE048
坐标为
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE052
坐标为
Figure 356106DEST_PATH_IMAGE054
，
Figure 904899DEST_PATH_IMAGE056
坐标为
Figure 399465DEST_PATH_IMAGE058
，
Figure 400919DEST_PATH_IMAGE060
坐标为
Figure 770459DEST_PATH_IMAGE062
，f(P)为P点进行块间插值后，L通道上该位置的值，记为
Figure 173758DEST_PATH_IMAGE064
，因而整张图片块间插值完毕后亮度通道L转变为
Figure 635964DEST_PATH_IMAGE066
。
整张图片利用上述计算方法计算完毕后，得到调整后的图像亮度通道L'。
步骤5使用调整后的亮度通道L'替换原图像中的亮度通道，并利用如下的公式将调整后的图像转换回RGB模式：
Figure DEST_PATH_IMAGE068
对于每个颜色向量
Figure DEST_PATH_IMAGE069
，
Figure DEST_PATH_IMAGE071
式中， (h, s, l) 分别是HSL 空间中的色相、饱和度、亮度，h在智育 [0, 360）中，s ， l 在值域 [0, 1] 中， (r, g, b) 是在 RGB 空间中的三原色红，绿，蓝， r, g 和b 也在值域 [0, 1] 中。p，q，
Figure 701877DEST_PATH_IMAGE072
，
Figure 376572DEST_PATH_IMAGE074
，
Figure 572061DEST_PATH_IMAGE076
，
Figure DEST_PATH_IMAGE078
是通过（h,s,l）计算出的中间变量，用于求（r,g,b）。
步骤6中，将步骤5输出的图像与原图像进行亮度融合后，进行双边滤波，保护边缘信息的同时滤除图像中噪声信号，得到最终用于目标检测模型输入图像。、
步骤7中，将步骤6输出的图像输入YOLO-v3模型，进行训练。经过测试，最终可以实现检测出车底异物的位置以及类别。
与现有技术相比，本发明的有效果是：
1.由于对比度受限的自适应直方图均衡化过程中，网格大小和对比度受限阈值这两个超参主要控制了质量，因此它们值的设定非常重要。我们有别于以往的在R，G，B通道上的直方图均衡化，而是将其转换到HSL空间后对L（亮度）通道进行直方图均衡化调整，因为对亮度通道的修改更适应于暗图的亮化增强需求。用网格大小和对比度受限阈值两个超参的最佳值对图像的亮度通道L进行调整，得到调整后的亮度通道L'；这两个超参在直方图均衡化的过程中主要控制图像质量。
2.以往的方法需要人工设定并测试选出两个超参最佳值，这里我们通过熵曲线选用
最大曲率点对应的超参值，自动获取超参最佳值，使对比度受限的自适应直方图均衡化过程更快速和便捷。
3．将上述处理过的RGB模式图像与原图做图层滤色混合操作，并进行双边滤波，输出处理完毕的图像用于异物检测。使得在不丢失原图其他细节信息的基础上，实现了将亮度增强的特性通过处理过的RGB模式图像融合进原图。通过双边滤波，实现了保留边缘信息的同时，抑制了噪声。输出的图片在可视性上更加清晰，可以更好地用于异物检测。
5.根据异物检测样本的低照明特性，不直接进行YOLO异物检测，而是先对样本做暗光增强，使样本在可视性上更加清晰。暗光增强后的亮图相比于暗光增强前的暗图更适合作为YOLO的输入来检测异物。在异物检测前增加的暗光增强操作使得最终的检测效果位置准确率和分类准确率都得到了提升。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是车底图片由RGB模式通道转换为HSL通道模式前后的对比图，a为原RGB通道模式图，b为HSL通道模式图；
图2是本发明车辆底盘异物检测方法流程图；
图3是自适应确定对比度受限的自适应直方图均衡化方法的两个重要超参的过程；
图4是原RGB通道模式图、HSL通道模式图以及最终处理完毕的最终用于异物检测的图像对比图，其中a为原RGB通道模式图，b为HSL通道模式图，c为处理后的RGB通道模式图；
图5为图片处理前后的检测效果，其中a为处理前检测效果，b为处理后的检测效果；
图6为块间线性插值示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明车辆底盘异物检测方法，适用于货车、列车等车辆。
实施例1
以货车为例，参照本发明方法流程图图2，具体方法包括以下步骤：
1．采集车底图像
拍摄车底异物图片，将车底异物图片存储在图像库中；在图像库中对采集的车底异物图片进行筛选，获取车底样本图像用作建立关于车底异物图像样本库。
2．对样本图像进行通道转换，如图1所示，由RGB模式通道转换为HSL通道模式。并提取其中的亮度通道。
3．自适应确定对比度受限的自适应直方图均衡化方法的两个重要超参。
如图3所示，在图像熵曲线的最大曲率确定两个重要超参直方图均衡的网格大小TileGridSize对比度受限阈值ClipLimit最佳值。其具体步骤如下：
步骤3-1，在直方图均衡的网格大小TileGridSize为8x8的同时将对比度受限阈值ClipLimit从0变化到0.1，计算熵曲线。使用了Matlab中的fitoutputfun和fminsearch等拟合方法对非线性熵曲线进行最佳拟合。由于熵曲线不是单调的，因此拟合方程式如下：
Figure DEST_PATH_IMAGE080
步骤3-2，设对比度受限阈值为
Figure DEST_PATH_IMAGE082
，熵为
Figure DEST_PATH_IMAGE084
，假设
Figure DEST_PATH_IMAGE086
和
Figure DEST_PATH_IMAGE088
是两次可微的，曲率κ1被定义为：
Figure 194716DEST_PATH_IMAGE090
式中，
Figure 872560DEST_PATH_IMAGE092
为
Figure 882104DEST_PATH_IMAGE094
的一阶导数；
Figure 197679DEST_PATH_IMAGE096
为
Figure 267266DEST_PATH_IMAGE098
的二阶导数；
步骤3-3，取在熵与对比度受限阈值曲线上具有最大曲率的点作为受限阈值ClipLimit：
Figure 668291DEST_PATH_IMAGE100
步骤3-4，取步骤3-3确定的对比度受限阈值，将块大小从2x2变化到32x32来计算熵：
Figure 980062DEST_PATH_IMAGE102
式中，
Figure 150143DEST_PATH_IMAGE104
为直方图均衡的网格大小，
Figure 656211DEST_PATH_IMAGE106
为熵，κ2为曲率；
Figure DEST_PATH_IMAGE107
为
Figure DEST_PATH_IMAGE109
的一阶导数；
Figure DEST_PATH_IMAGE110
为
Figure DEST_PATH_IMAGE112
的二阶导数；
取在熵与直方图均衡的网格大小曲线上具有最大曲率的点作为直方图均衡的网格大小：
Figure DEST_PATH_IMAGE113
2．利用两个超参最佳值对图像的亮度通道L进行调整，得到调整后的亮度通道L'。
利用在步骤3中自动获取的直方图均衡的网格大小TileGridSize和对比度受限阈值ClipLimit最佳值，对亮度通道L通道进行调整，调整的具体步骤包括：
步骤4-1，以步骤3-4中的超参直方图均衡的网格大小TileGridSize为单位，统计每一个灰度在步骤2中提取的L通道上的像素所占总体的比例，记为Pi。
步骤4-2，根据4-1的计算结果，按照灰度级划分为三个灰度区间，使得三个区间的像素点数量近似相等。
步骤4-3，计算直方图概率的累加值S(i)，直到最后一个灰度级，总和为1。统计得累积分布函数。
步骤4-4，根据步骤3-3确定的对比度受限阈值，剪裁灰度直方图为预定值来限制放大，将剪裁掉的部分均匀地分配到直方图均衡的网格区间中幅值小于对比度受限阈值ClipLimit的灰度值，通过如下公式实现局部对比度增强，限制了邻域累积分布函数的斜率，从而限制了转换函数的斜率。
Figure DEST_PATH_IMAGE114
其中mi,j为直方图均衡的网格内像素的平均灰度，k为步骤3-4确定的对比度受限阈值ClipLimit，xi,j为坐标（i，j）位置的像素。
步骤4-5，根据剪裁后的灰度直方图计算邻域累积分布函数CDF。
步骤4-6，遍历、对各个以直方图均衡的网格大小TileGridSize为单位的图像块进行如下操作，进行块间线性插值，从而映射到灰度空间。例如求P点的像素，先在x轴方向上上进行插值，得到：
Figure DEST_PATH_IMAGE116
再在y轴方向上进行插值，得到：
Figure DEST_PATH_IMAGE117
整张图片利用上述计算方法计算完毕后，得到调整后的图像亮度通道。
2．使用调整后的亮度通道L'替换原图像中的亮度通道，并将图像转换回RGB模式。
3．将上述处理过的图像与原图做图层滤色混合操作，并进行双边滤波，输出用于处理完毕的图像用于异物检测。如图4，展现了原RGB通道模式图、HSL通道模式图以及最终处理完毕的最终用于异物检测的图像对比。
4．将步骤6输出的图像输入YOLO-v3模型，进行训练。经过测试，最终可以实现检测出车底异物的位置以及类别。如图5，展现了图片处理前后的检测效果。其中knife代表的是检测到的异物归类为刀，axe代表检测到的异物归类为斧子，gun代表检测到的异物归类为枪。百分比代表了检测的准确度。由图5a可以看出，将进行暗光增强之前的图片作为输入，异物检测未检测到斧子和枪的位置，只检测到了刀的位置，且检测到的刀的位置还出现了分类错误，错把刀归类为斧子，同时还错误的检测出了刀的位置（实际没有刀）。而进行暗光增强之后，图5b所示，异物检测成功检测到了所有三个异物位置：刀、枪和斧子，并且归类正确，检测的准确度分别为99%、99%和98%，检测的准确率也提升了。可以看到，相对于原图像，处理后的图片的检测区域更准确，异物分类也更准确。
实施例2
本发明还提供一种车辆底盘异物检测装置，包括：
图像采集模块，用于获取车底的图像；
异物检测模块，采用实施例1中检测方法训练的检测模型，对所述图像采集模块采集的车底图像进行异物检测。
实施例3
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行实施例1车底异物检测方法的步骤。
所属领域的技术人员可以清楚地了解到，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory， ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种车辆底盘异物检测方法，其特征在于，包括如下步骤：
步骤1，拍摄获取车底的图像作为样本图像，筛选并建立车底异物图像的数据集；
步骤2，对样本图像进行通道转换，由RGB模式通道转换为HSL通道模式，并提取其中的亮度通道；
步骤3，在图像熵曲线的最大曲率确定直方图均衡的网格大小和对比度受限阈值，这两个重要超参的最佳值；
步骤4，利用网格大小和对比度受限阈值两个超参的最佳值对图像的亮度通道L进行调整，得到调整后的亮度通道L'；
步骤5，使用调整后的亮度通道L'替换原图像中的亮度通道，并将图像由HSL通道模式转换回RGB模式；
步骤6，将上述处理过的RGB模式图像与原图做图层滤色混合操作，并进行双边滤波，输出用于处理完毕的图像用于异物检测；
步骤7，将训练图片输入检测模型进行训练；
步骤8，用训练好的检测模型测试得到车底异物检测结果。
2.根据权利要求1所述的方法，其特征在于，步骤2利用如下的公式将样本图像从RGB模式通道转换为HSL通道模式，并提取其中的亮度通道L：
Figure 96244DEST_PATH_IMAGE002
式中， r、g和b分别是一个颜色的红、绿和蓝坐标，r、g和b的值是在0到1之间的实数；h、s和l是HSL空间中的值；h是角度的色相角；s和l分别是饱和度和亮度。
3.根据权利要求1所述的方法，其特征在于，步骤3包括：
步骤3-1，在设定直方图均衡的网格大小和对比度受限阈值范围，对熵曲线进行拟合；
Figure 713171DEST_PATH_IMAGE004
式中，c 1、c 1、λ 1、λ 2均为拟合参数；
步骤3-2，设对比度受限阈值为x 1，熵为y 1，曲率κ1被定义为：
Figure 3338DEST_PATH_IMAGE006
式中，
Figure 382104DEST_PATH_IMAGE008
为x 1的一阶导数；
Figure 757722DEST_PATH_IMAGE010
为 x 1的二阶导数；
步骤3-3，取在熵与对比度受限阈值曲线上具有最大曲率的点作为受限阈值：
Figure 116022DEST_PATH_IMAGE012
步骤3-4，取步骤3-3确定的对比度受限阈值，将块大小从2x2变化到32x32来计算熵：
Figure 526275DEST_PATH_IMAGE014
式中，x 2为直方图均衡的网格大小，y2为熵，κ2为曲率；
Figure 285064DEST_PATH_IMAGE016
为x 2的一阶导数；
Figure 413557DEST_PATH_IMAGE018
为x 2的二阶导数；
取在熵与直方图均衡的网格大小曲线上具有最大曲率的点作为直方图均衡的网格大小：
Figure DEST_PATH_IMAGE019
。
4.根据权利要求3所述的方法，其特征在于，步骤4包括：
步骤4-1，以步骤3-4中的超参直方图均衡的网格大小为单位，统计每一个灰度在步骤2中提取的L通道上的像素所占总体的比例，记为Pi；
步骤4-2，根据4-1的计算结果，按照灰度级划分为三个灰度区间，使得三个区间的像素点数量近似相等；
步骤4-3，计算直方图概率的累加值S(i)，直到最后一个灰度级，总和为1，统计得累积分布函数；
步骤4-4，根据步骤3-3确定的对比度受限阈值，剪裁灰度直方图为预定值来限制放大，将剪裁掉的部分均匀地分配到直方图均衡的网格区间中幅值小于对比度受限阈值的灰度值；
步骤4-5，根据剪裁后的灰度直方图计算邻域累积分布函数；
步骤4-6，遍历各个以直方图均衡的网格大小为单位的图像块，并对各个图像块进行块间线性插值，整张图片计算完毕得到调整后的图像亮度通道
Figure DEST_PATH_IMAGE021
。
5.根据权利要求4所述的方法，其特征在于，对各个图像块进行块间线性插值的方法为： 对于像素点P（x，y），其图像块为其图像块为Q 11、 Q 12 、Q 21和Q 22围区域；先在x轴方向上上进行插值，得到：
Figure DEST_PATH_IMAGE023
再在y轴方向上进行插值，得到：
Figure 887133DEST_PATH_IMAGE024
式中，x，y就是像素位置的横纵坐标，Q 11坐标为（x 1，y 1），Q 12坐标为（x 1，y 2），Q 21坐标为（x 2，y 1），Q 22坐标为（x 2，y 2），R 1坐标为（x，y 1），R 2坐标为（x，y 2），f(P)为P点进行块间插值后，L通道上该位置的值，记为P’，因而整张图片块间插值完毕后亮度通道L转变为L’。
6.根据权利要求4所述的方法，其特征在于，步骤5使用调整后的亮度通道L'替换原图像中的亮度通道，并利用如下的公式将调整后的图像转换回RGB模式：
Figure DEST_PATH_IMAGE025
对于每个颜色向量
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE029
式中，
Figure DEST_PATH_IMAGE031
指
Figure 870001DEST_PATH_IMAGE032
中的一个
Figure DEST_PATH_IMAGE033
是通过（h，s，l）计算出的中间变量，用于求（r，g，b）。
7.根据权利要求1所述的方法，其特征在于，步骤7中，所述检测模型为YOLO-v3模型；将步骤6输出的图像输入YOLO-v3模型，进行训练。
8.根据权利要求4所述的方法，其特征在于，步骤4-4中，通过如下公式实现局部对比度增强：
Figure 856149DEST_PATH_IMAGE034
其中，设W为当前窗口，
Figure DEST_PATH_IMAGE035
为窗口W内直方图均衡的网格内像素的平均灰度，k为实验设定的系数，
Figure DEST_PATH_IMAGE037
为坐标（i，j）位置的增强后的像素，
Figure DEST_PATH_IMAGE039
为坐标（i，j）位置的增强前的像素，m和n分别是窗口W的长和宽。
9.一种车辆底盘异物检测装置，其特征在于，包括：图像采集模块，用于获取车底的图像；
异物检测模块，采用权利要求1-8任一所述检测方法训练的检测模型，对所述图像采集模块采集的车底图像进行异物检测。
10.一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8任一项所述车底异物检测方法的步骤。
CN202110565840.2A 2021-05-24 2021-05-24 一种车辆底盘异物检测方法、装置及存储介质 Pending CN112991348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110565840.2A CN112991348A (zh) 2021-05-24 2021-05-24 一种车辆底盘异物检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565840.2A CN112991348A (zh) 2021-05-24 2021-05-24 一种车辆底盘异物检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112991348A true CN112991348A (zh) 2021-06-18

Family

ID=76337097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565840.2A Pending CN112991348A (zh) 2021-05-24 2021-05-24 一种车辆底盘异物检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112991348A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663788A (zh) * 2022-03-29 2022-06-24 浙江奥脉特智能科技有限公司 一种基于Yolo V5的电塔缺陷检测方法及***
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115423723A (zh) * 2022-10-14 2022-12-02 哈尔滨市科佳通用机电股份有限公司 自适应铁路货车异常检测训练集图像增强方法
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112254A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 处理rgb彩色图像的方法和***
CN109118463A (zh) * 2018-07-27 2019-01-01 中国科学院国家空间科学中心 一种基于hsl和图像熵的sar图像和光学图像融合方法
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112254A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 处理rgb彩色图像的方法和***
CN109118463A (zh) * 2018-07-27 2019-01-01 中国科学院国家空间科学中心 一种基于hsl和图像熵的sar图像和光学图像融合方法
CN111402211A (zh) * 2020-03-04 2020-07-10 广西大学 一种基于深度学习的高速列车车底异物识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
(美)布鲁斯•布洛克: "《以眼说话影像视觉原理及应用 插图修订 第2版》", 30 June 2019, 四川文艺出版社 *
BYONG SEOK MIN等: "A Novel Method of Determining Parameters of CLAHE Based on Image Entropy", 《HTTPS://CITESEERX.IST.PSU.EDU/VIEWDOC/DOWNLOAD?DOI=10.1.1.442.8233&REP=REP1&TYPE=PDF》 *
GRAFX: "限制对比度自适应直方图均衡(CLAHE算法)", <HTTPS://BLOG.CSDN.NET/GRAFX/ARTICLE/DETAILS/53311915> *
席军强: "《车辆信息技术》", 31 December 2013, 北京理工大学出版社 *
赵琳 等: "《海洋环境下的计算机视觉技术》", 31 October 2015, 国防工业出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663788A (zh) * 2022-03-29 2022-06-24 浙江奥脉特智能科技有限公司 一种基于Yolo V5的电塔缺陷检测方法及***
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115115610B (zh) * 2022-07-20 2023-08-22 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115423723A (zh) * 2022-10-14 2022-12-02 哈尔滨市科佳通用机电股份有限公司 自适应铁路货车异常检测训练集图像增强方法
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN116468729B (zh) * 2023-06-20 2023-09-12 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机

Similar Documents

Publication Publication Date Title
CN112991348A (zh) 一种车辆底盘异物检测方法、装置及存储介质
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
US8131084B2 (en) Apparatus for improving sharpness of image
JP5123210B2 (ja) 画像コントラストの調整方法及び装置
CN108038833B (zh) 一种梯度相关性检测的图像自适应锐化方法和存储介质
CN104063848A (zh) 一种低照度图像增强方法和装置
JPH05225332A (ja) 空間的可変濾波の方法及び装置
KR100765775B1 (ko) 화상의 밝기 조정방법 및 장치
CN110717865B (zh) 图片检测方法及装置
CN110288618B (zh) 一种光照不均图像的多目标分割方法
CN108256521A (zh) 用于车身颜色识别的有效区域定位方法
CN115512224A (zh) 一种曲线拟合对比度增强的道路裂缝检测方法
CN111127337B (zh) 图像局部区域高光调整方法、介质、设备及装置
CN110807406B (zh) 一种雾天检测方法及装置
Yao et al. Brightness preserving and contrast limited bi-histogram equalization for image enhancement
CN109903275B (zh) 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法
CN110111280A (zh) 一种多尺度梯度域引导滤波的低照度图像增强算法
CN101510306B (zh) 一种视频图像照度分布估计方法
CN103685972B (zh) 影像优化方法以及使用此方法的***
CN115018738B (zh) 彩色图像生成方法、装置、设备及可读存储介质
CN115880181A (zh) 一种增强图像对比度的方法、装置及终端
CN113012079B (zh) 低亮度车底图像增强方法、装置及存储介质
CN115908155A (zh) Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法
CN114359083A (zh) 一种面向干扰环境的高动态热红外图像自适应预处理方法
Zheng et al. An illumination adaptive underwater image enhancement method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication