CN112270298B - 道路异常识别的方法及装置、设备及计算机可读存储介质 - Google Patents

道路异常识别的方法及装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112270298B
CN112270298B CN202011277827.9A CN202011277827A CN112270298B CN 112270298 B CN112270298 B CN 112270298B CN 202011277827 A CN202011277827 A CN 202011277827A CN 112270298 B CN112270298 B CN 112270298B
Authority
CN
China
Prior art keywords
image
road area
network
road
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011277827.9A
Other languages
English (en)
Other versions
CN112270298A (zh
Inventor
张番栋
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011277827.9A priority Critical patent/CN112270298B/zh
Publication of CN112270298A publication Critical patent/CN112270298A/zh
Application granted granted Critical
Publication of CN112270298B publication Critical patent/CN112270298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种道路异常识别的方法及装置、设备及计算机可读存储介质，包括：获取视觉图像，获取视觉图像中包括的道路区域的图像，将道路区域的图像输入预先训练的重构网络，使重构网络基于识别道路区域的图像中包括的正常道路区域，对道路区域的图像进行重构，得到道路区域的图像的重构图像，因为重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差，所以将重构图像与道路区域的图像进行残差对比计算，可依据得到的残差图像确定出异常道路区域。整个识别过程，只需识别出正常道路区域后，通过重构图像即可得到所有的异常道路区域，因此，本申请提供的方案可以提高识别异常道路的准确度。

Description

道路异常识别的方法及装置、设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种道路异常识别的方法及装置、设备及计算机可读存储介质。
背景技术
道路异常检测通常是指采用检测装置自动检测出道路异常情况，道路异常情况一般包括积水、路障、异物、道路不平等，道路异常检测在道路导航、盲人引导等领域有着重要的应用价值。
目前，道路异常检测只能识别出几种预设的道路异常类型，一旦道路异常类型不属于该预先设定的道路异常类型的范围之内，则无法进行识别。事实上，道路异常的类型众多，很难穷举，所以只能识别几种预设的道路异常类型的道路异常检测的方法。所以如何识别更准确的识别出道路的异常，成为了亟待解决的问题。
发明内容
发明人研究发现，虽然道路异常的类型众多，很难穷举，但是正常道路的类型不仅固定且类型数量较少，所以，考虑从识别正常道路的角度出发，对道路进行异常检测的识别。
为了实现上述目的，本申请提供了以下技术方案：
一种道路异常识别的方法，包括：
获取视觉图像；
获取所述视觉图像中的道路区域的图像；
将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
将所述重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
依据所述残差图像确定所述道路区域中的所述异常道路区域。
上述的方法，可选的，所述获取所述视觉图像中的道路区域的图像，包括：
将所述视觉图像输入预先训练的图像分割模型，得到所述视觉图像中的道路区域的图像；
其中，所述图像分割模型的训练样本包括训练图像和该训练图像对应的标记图像，其中，该训练图像对应的标记图像为将该训练图像中的道路区域预先标记为第一标识的图像。
上述的方法，可选的，所述重构网络为采用重构损失函数约束编码解码网络进行网络训练得到的网络模型；
所述编码解码网络的训练样本为，所述正常道路区域中携带第二标识的所述道路区域的图像。
上述的方法，可选的，所述重构损失函数包括第一损失项和第二损失项，所述第一损失项用于约束所述重构图像中，所述正常道路区域的重构残差小于所述第一阈值；所述第二损失项用于约束所述重构图像中，所述异常道路区域的重构残差大于所述第二阈值，其中，所述第二阈值大于所述第一阈值。
上述的方法，可选的，所述编码解码网络为U形编码解码网络，所述U形编码解码网络由编码层和解码层组成；所述编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，所述解码层至少包括反卷积网络层、以及残差卷积层。
上述的方法，可选的，将所述道路区域的图像输入所述重构网络，使所述重构网络输出所述重构图像，包括：
将所述道路区域的图像输入所述重构网络，使所述重构网络基于识别所述道路区域的图像中包括的所述正常道路区域，计算得到所述道路区域的图像所述重构图像。
上述的方法，可选的，所述依据得到的残差图像确定所述道路区域中的所述异常道路区域，包括：
对所述残差图像进行二值化处理，将残差值大于所述第二阈值的区域，作为所述异常道路区域。
一种道路异常识别的装置，包括：
第一获取单元，用于获取视觉图像；
第二获取单元，用于获取所述视觉图像中的道路区域的图像；
重构单元，用于将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
对比单元，用于将所述重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
确定单元，用于依据所述残差图像确定所述道路区域中的所述异常道路区域。
一种设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的道路异常识别的方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的道路异常识别的方法。
本申请所述的方法及装置，包括，获取视觉图像，获取视觉图像中包括的道路区域的图像，将道路区域的图像输入预先训练的重构网络，得到道路区域的图像的重构图像，将重构图像与道路区域的图像进行残差对比计算，将重构图像与道路区域的图像进行残差对比计算，得到残差图像；依据残差图像确定道路区域中的异常道路区域。本申请提供的方案，因为，正常道路区域的重构残差小于异常道路区域的重构残差，所以将重构图像与道路区域的图像进行残差对比计算，可依据得到的残差图像确定出异常道路区域。整个识别过程，无需识别异常道路区域的异常类型，只需识别出正常道路区域后，通过重构图像即可得到所有的异常道路区域，因此，本申请提供的方案可以提高识别异常道路的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种道路异常识别的方法的流程图；
图2为本申请实施例提供的一种道路异常识别的装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
目前，常用的道路异常检测方法只能识别出几种预设的道路异常类型，一旦道路异常类型不属于该预先设定的道路异常类型的范围之内，则无法进行识别，极大的降低道路异常识别的准确性。
发明人经研究发现，相对于道路异常的类型，正常道路的类型不仅固定且类型数量较少，所以从识别正常道路的角度出发，确定正常道路区域后，将不属于正常道路的区域，则确定为异常道路，从而实现在不对异常道路区域进行识别的情况下，区分出道路中包括的异常区域。
基于此，本申请实施例提供了一种道路异常的识别方法，包括，将道路区域的图像输入预先训练的重构网络，使重构网络基于识别道路区域的图像中包括的正常道路区域，对道路区域的图像进行重构，得到道路区域的图像的重构图像，因为重构图像中，异常道路区域的重构残差大于正常道路区域的重构残差，所以，将重构图像与道路区域的图像进行残差对比计算，依据得到的残差图像确定出异常道路区域，即可识别出所有的异常道路区域。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例的执行主体可以是具有道路异常识别功能的图像图像处理设备，可以应用于辅助导航的场景，例如，可以在导航装置中，安装本申请所述的图像处理设备，辅助视觉障碍人员进行道路导航。
图1为本申请实施例提供的一种道路异常识别的方法，可以包括以下步骤：
S101、获取视觉图像。
视觉图像为拍摄视野内的图像，视觉图像中包含道路区域的图像。通过获取视觉图像，从而可以获取拍摄场景的环境信息。视觉图像可以是图像处理设备拍摄得到的视野范围内的图像，也可以是拍摄设备拍摄后传输至图像处理设备的图像。
S102、获取视觉图像中包括的道路区域的图像。
从视觉图像中获取道路区域的图像，以识别道路区域的道路情况。
本步骤的一种实施方式可以是，将视觉图像输入预先训练的图像分割模型，使图像分割模型基于识别到视觉图像中包括的道路区域的图像，从视觉图像中分割出道路区域的图像，并输出该道路区域的图像。
图像分割模型的训练样本包括训练图像和该训练图像对应的标记图像，其中，训练图像对应的标记图像为将该训练图像中的道路区域预先标记为第一标识的图像。第一标识可以是标记道路区域的轮廓的标识。
图像分割模型依据采用训练样本对预设的基础模型进行训练得到。为了提高分割的准确率，可选的，本实施例中，基础模型采用上下文编码网络。可以依据采用训练样本对上下文编码网络进行训练从而得到图像分割模型。
S103、将道路区域的图像输入预先训练的重构网络，得到道路区域的图像的重构图像。
本实施例中，重构图像为对输入图像的图像像素进行重构得到的图像。重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差。具体的，正常道路区域的重构残差小于第一阈值，异常道路区域的重构残差大于第二阈值，且第二阈值大于第一阈值。
其中，正常道路区域为道路区域中包括的区域，异常道路区域为道路区域中除正常道路区域以外的区域。
正常道路区域为不设有障碍影响程度大于预设阈值的障碍物的道路区域。反之，异常道路区域为包括障碍影响程度大于预设阈值的障碍物的道路区域。障碍物包括但不限于积水、路障、以及异物等。障碍物的障碍影响程度与障碍物的体积大小以及路面覆盖面积相关，预设阈值以障碍物的体积大小或覆盖面积不影响影响车辆和行人通行设定。
正常道路区域的重构残差为重构图像中正常道路区域的图像，与道路图像中正常道路区域的图像的像素差值。同理，异常道路区域的重构残差为重构图像中异常道路区域的图像，与道路图像中异常道路区域的图像的像素差值。
本实施例中，重构网络是采用重构损失函数约束编码解码网络进行网络训练得到的网络模型。
编码解码网络可以是U形编码解码网络，U形编码解码网络由编码层和解码层组成。其中，编码层和解码层的数量相同，编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，解码层至少包括反卷积网络层、以及残差卷积层。编码层和解码阶段的数量可以自行设定，可选的，可设为4-6个阶层。编码层包括的卷积网络层、残差卷积层和带孔卷积层的数量，以及解码层包括反卷积网络层和残差卷积层的数量也可根据需求设定，此处不做限定。
编码解码网络的训练样本图像为目标道路区域的图像，目标道路区域为正常道路区域携带第二标识的道路区域。第二标识可以是标记正常道路区域的轮廓的标识。
利用重构损失函数约束编码解码网络进行网络训练的过程为：将训练样本图像输入编码解码网络，编码解码网络对练样本图片进行编码解码计算得到对应的同等分辨率的重构图像，基于训练样本图像中携带的第二标识，确定正常道路区域，并利用重构损失函数约束重构图像中异常道路区域(即除正常道路区域以外区域)的重构残差与正常道路区域的重构残差的差值大于第一阈值，最后利用梯度回传算法，更新码解码网络的参数，完成对编码解码网络的训练，最后将完成训练的编码解码网络作为重构网络。
编码解码网络具备包括对各种不同大小物体的学习能力，编码解码网络在训练过程中，可以依据训练样本图像的正常道路区域中携带的第二标识，学习正常道路区域的特征，使采训练完成得到的重构网络具备识别正常道路区域特征的能力。
本实施例中，重构损失函数包括第一损失项和第二损失项，第一损失项用于约束重构图像中，正常道路区域的重构残差小于第一阈值，异常道路区域的重构残差大于第二阈值，且第二阈值大于第一阈值。通过重构损失函数可以约束重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差。
例如，重构损失函数的公式用以下式子表示：
L＝Ln+LC (1)
Figure BDA0002779692830000071
Figure BDA0002779692830000072
重构损失函数用L表示，包括两个损失项。第一损失项Ln，用于约束在正常道路区域中，重构图像
Figure BDA0002779692830000073
与道路图像Xn的距离
Figure BDA0002779692830000074
小于给定的正数阈值α，即约束重构图像中的正常道路区域的重构残差距小于阈值α。第二损失项LC，用于约束异常道路区域的重构图像
Figure BDA0002779692830000075
与道路图像Xα的距离
Figure BDA0002779692830000076
大于正常道路区域的重构残差
Figure BDA0002779692830000077
与正数阈值β之和。其中，图像的距离衡量d可以使用欧氏距离、感知距离、和马氏距离等。
也就是说，阈值α相当于上述的第一阈值，
Figure BDA0002779692830000081
与正数阈值β之和相当于上述的第二阈值。其中，为了保证第二阈值足够大于第一阈值，设定α<β，α和β的具体大小可以自行设定。
需要说明的是，式子(1)～(3)，仅仅是重构损失函数的一种示例，只要能够实现约束异常道路区域的重构残差大于正常道路区域的重构残差的差值，都属于本申请的保护范围。
训练完成得到重构网络，接收到输入的道路区域的图像后，基于识别道路区域的图像中包括的正常道路区域，对道路区域的图像进行重构，使输出的重构图像中正常道路区域的重构残差小于第一阈值，异常道路区域的重构残差大于第二阈值，且第二阈值大于第一阈值。
S104、将重构图像与道路区域的图像进行残差对比计算，得到残差图像。
将重构图像与道路区域的图像进行残差对比计算，为针对重构图像与道路区域的图像中所有同一位置点的像素进行像素差值计算。
残差图像为，重构图像与道路区域的图像在所有同一位置点的像素差值构成的图像。
S105、依据得到的残差图像确定道路区域中的异常道路区域。
因为残差图像中，正常道路区域的重构残差小于异常道路区域的重构残差，具体的，正常道路区域的重构残差小于第一阈值，异常道路区域的重构残差大于第二阈值，且第二阈值大于第一阈值，所以通过对残差图像阈值二值化处理，即可区分出正常道路区域和异常道路区域，
例如，对残差图像进行第二阈值的二值化处理，将残差值大于第二阈值的区域，作为异常道路区域。
本实施例提供的方法，包括，获取视觉图像，获取视觉图像中包括的道路区域的图像，将道路区域的图像输入预先训练的重构网络，得到道路区域的图像的重构图像，将重构图像与道路区域的图像进行残差对比计算，将重构图像与道路区域的图像进行残差对比计算，得到残差图像；依据残差图像确定道路区域中的异常道路区域。本申请提供的方案，因为，正常道路区域的重构残差小于异常道路区域的重构残差，所以将重构图像与道路区域的图像进行残差对比计算，可依据得到的残差图像确定出异常道路区域。整个识别过程，无需识别异常道路区域的异常类型，只需识别出正常道路区域后，通过重构图像即可得到所有的异常道路区域，因此，本申请提供的方案可以提高识别异常道路的准确度。
进一步的，本申请提供的方法，因为重构网络仅仅针对正常道路区域进行识别建模，而正常道路的类型固定且数量较少，建模难度较小，从而可以节省人力物力成本。
需要说明的是，上述实施例中，重构损失函数，主要是用于确保约束正常道路区域的重构残差小于一定阈值，异常道路区域的重构残差大于正常道路区域的重构残差。其他的可以实现这个约束效果的度量学习函数，比如N-Pa i r损失函数和A-Softmax损失函数等，也可以用于约束编码解码网络进行网络训练。
图2为本申请实施例提供的一种道路异常识别的装置的结构示意图，包括：
第一获取单元201，用于获取视觉图像；
第二获取单元202，用于获取所述视觉图像中道路区域的图像；
重构单元203，用于将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
对比单元204，用于将所述重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
确定单元205，用于依据所述残差图像确定所述道路区域中的所述异常道路区域。
上述的装置，可选的，第二获取单元202获取所述视觉图像中的道路区域的图像的具体实现方式为：
将所述视觉图像输入预先训练的图像分割模型，得到所述视觉图像中的道路区域的图像；
其中，所述图像分割模型的训练样本包括训练图像和该训练图像对应的标记图像，其中，该训练图像对应的标记图像为将该训练图像中的道路区域预先标记为第一标识的图像。
上述的装置，可选的，所述重构网络为采用重构损失函数约束编码解码网络进行网络训练得到的网络模型；
所述编码解码网络的训练样本为，所述正常道路区域中携带第二标识的所述道路区域的图像。
上述的装置，可选的，所述重构损失函数包括第一损失项和第二损失项，所述第一损失项用于约束所述重构图像中，所述正常道路区域的重构残差小于第一阈值；所述第二损失项用于约束所述重构图像中，所述异常道路区域的重构残差大于第二阈值，其中，所述第二阈值大于所述第一阈值。
上述的装置，可选的，所述编码解码网络为U形编码解码网络，所述U形编码解码网络由编码层和解码层组成；所述编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，所述解码层至少包括反卷积网络层、以及残差卷积层。
上述的装置，可选的，重构单元203将所述道路区域的图像输入所述重构网络，使所述重构网络输出所述重构图像的具体实现方式为：将所述道路区域的图像输入所述重构网络，使所述重构网络基于识别所述道路区域的图像中包括的所述正常道路区域，计算得到所述道路区域的图像所述重构图像。
上述的装置可选的，确定单元205依据得到的残差图像确定所述道路区域中的所述异常道路区域的具体实施方式为：
对所述残差图像进行二值化处理，将残差值大于第二阈值的区域，作为所述异常道路区域。
本申请提供的装置，包括，获取视觉图像，获取视觉图像中包括的道路区域的图像，将道路区域的图像输入预先训练的重构网络，得到道路区域的图像的重构图像，将重构图像与道路区域的图像进行残差对比计算，将重构图像与道路区域的图像进行残差对比计算，得到残差图像；依据残差图像确定道路区域中的异常道路区域。本申请提供的方案，因为，正常道路区域的重构残差小于异常道路区域的重构残差，所以将重构图像与道路区域的图像进行残差对比计算，可依据得到的残差图像确定出异常道路区域。整个识别过程，无需识别异常道路区域的异常类型，只需识别出正常道路区域后，通过重构图像即可得到所有的异常道路区域，因此，本申请提供的方案可以提高识别异常道路的准确度。
图3为本申请实施例提供的一种电子设备的结构示意图，包括：处理器301和存储器302，存储器302用于存储程序，处理器301用于运行程序，以实现本申请提供的道路异常识别的方法，即执行以下步骤：
获取视觉图像；
获取所述视觉图像中包括的道路区域的图像；
将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
将重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
依据残差图像确定所述道路区域中的所述异常道路区域。
本申请实施例还提供了一种存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本申请提供的道路异常识别的方法，即执行以下步骤：
获取视觉图像；
获取所述视觉图像中包括的道路区域的图像；
将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
将重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
依据残差图像确定所述道路区域中的所述异常道路区域。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种道路异常识别的方法，其特征在于，包括：
获取视觉图像；
获取所述视觉图像中的道路区域的图像；
将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
将所述重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
依据所述残差图像确定所述道路区域中的所述异常道路区域；
其中，所述重构网络是采用重构损失函数约束编码解码网络进行网络训练得到的网络模型；
编码解码网络；是U形编码解码网络，U形编码解码网络由编码层和解码层组成；其中，编码层和解码层的数量相同，编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，解码层至少包括反卷积网络层、以及残差卷积层；编码层包括的卷积网络层、残差卷积层和带孔卷积层的数量；
所述编码解码网络的训练样本图像为目标道路区域的图像，目标道路区域为正常道路区域携带第二标识的道路区域；第二标识可以是标记正常道路区域的轮廓的标识；
利用重构损失函数约束编码解码网络进行网络训练的过程为：将训练样本图像输入编码解码网络，编码解码网络对练样本图片进行编码解码计算得到对应的同等分辨率的重构图像，基于训练样本图像中携带的第二标识，确定正常道路区域，并利用重构损失函数约束重构图像中异常道路区域的重构残差与正常道路区域的重构残差的差值大于第一阈值，最后利用梯度回传算法，更新码解码网络的参数，完成对编码解码网络的训练，最后将完成训练的编码解码网络作为重构网络；
其中，正常道路区域为道路区域中包括的区域，异常道路区域为道路区域中除正常道路区域以外的区域；正常道路区域为不设有障碍影响程度大于预设阈值的障碍物的道路区域；反之，异常道路区域为包括障碍影响程度大于预设阈值的障碍物的道路区域；障碍物的障碍影响程度与障碍物的体积大小以及路面覆盖面积相关，预设阈值以障碍物的体积大小或覆盖面积不影响影响车辆和行人通行设定。
2.根据权利要求1所述的方法，其特征在于，所述获取所述视觉图像中的道路区域的图像，包括：
将所述视觉图像输入预先训练的图像分割模型，得到所述视觉图像中的道路区域的图像；
其中，所述图像分割模型的训练样本包括训练图像和该训练图像对应的标记图像，其中，该训练图像对应的标记图像为将该训练图像中的道路区域预先标记为第一标识的图像。
3.根据权利要求1所述的方法，其特征在于，所述重构网络为采用重构损失函数约束编码解码网络进行网络训练得到的网络模型；
所述编码解码网络的训练样本为，所述正常道路区域中携带第二标识的所述道路区域的图像。
4.根据权利要求1或3所述的方法，其特征在于，所述重构损失函数包括第一损失项和第二损失项，所述第一损失项用于约束所述重构图像中，所述正常道路区域的重构残差小于第一阈值；所述第二损失项用于约束所述重构图像中，所述异常道路区域的重构残差大于第二阈值，其中，所述第二阈值大于所述第一阈值。
5.根据权利要求3所述的方法，其特征在于，所述编码解码网络为U形编码解码网络，所述U形编码解码网络由编码层和解码层组成；所述编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，所述解码层至少包括反卷积网络层、以及残差卷积层。
6.根据权利要求3所述的方法，其特征在于，将所述道路区域的图像输入所述重构网络，使所述重构网络输出所述重构图像，包括：
将所述道路区域的图像输入所述重构网络，使所述重构网络基于识别所述道路区域的图像中包括的所述正常道路区域，计算得到所述道路区域的图像所述重构图像。
7.根据权利要求4所述的方法，其特征在于，所述依据得到的残差图像确定所述道路区域中的所述异常道路区域，包括：
对所述残差图像进行二值化处理，将残差值大于所述第二阈值的区域，作为所述异常道路区域。
8.一种道路异常识别的装置，其特征在于，包括：
第一获取单元，用于获取视觉图像；
第二获取单元，用于获取所述视觉图像中的道路区域的图像；
重构单元，用于将所述道路区域的图像输入预先训练的重构网络，得到所述道路区域的图像的重构图像；所述重构图像中，正常道路区域的重构残差小于异常道路区域的重构残差；
对比单元，用于将所述重构图像与所述道路区域的图像进行残差对比计算，得到残差图像；
确定单元，用于依据所述残差图像确定所述道路区域中的所述异常道路区域；
其中，所述重构网络是采用重构损失函数约束编码解码网络进行网络训练得到的网络模型；
编码解码网络；是U形编码解码网络，U形编码解码网络由编码层和解码层组成；其中，编码层和解码层的数量相同，编码层至少包括卷积网络层、残差卷积层、以及带孔卷积层，解码层至少包括反卷积网络层、以及残差卷积层；编码层包括的卷积网络层、残差卷积层和带孔卷积层的数量；
所述编码解码网络的训练样本图像为目标道路区域的图像，目标道路区域为正常道路区域携带第二标识的道路区域；第二标识可以是标记正常道路区域的轮廓的标识；
利用重构损失函数约束编码解码网络进行网络训练的过程为：将训练样本图像输入编码解码网络，编码解码网络对练样本图片进行编码解码计算得到对应的同等分辨率的重构图像，基于训练样本图像中携带的第二标识，确定正常道路区域，并利用重构损失函数约束重构图像中异常道路区域的重构残差与正常道路区域的重构残差的差值大于第一阈值，最后利用梯度回传算法，更新码解码网络的参数，完成对编码解码网络的训练，最后将完成训练的编码解码网络作为重构网络；
其中，正常道路区域为道路区域中包括的区域，异常道路区域为道路区域中除正常道路区域以外的区域；正常道路区域为不设有障碍影响程度大于预设阈值的障碍物的道路区域；反之，异常道路区域为包括障碍影响程度大于预设阈值的障碍物的道路区域；障碍物的障碍影响程度与障碍物的体积大小以及路面覆盖面积相关，预设阈值以障碍物的体积大小或覆盖面积不影响影响车辆和行人通行设定。
9.一种设备，其特征在于，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现权利要求1-7任一项所述的道路异常识别的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-7任一项所述的道路异常识别的方法。
CN202011277827.9A 2020-11-16 2020-11-16 道路异常识别的方法及装置、设备及计算机可读存储介质 Active CN112270298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011277827.9A CN112270298B (zh) 2020-11-16 2020-11-16 道路异常识别的方法及装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011277827.9A CN112270298B (zh) 2020-11-16 2020-11-16 道路异常识别的方法及装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112270298A CN112270298A (zh) 2021-01-26
CN112270298B true CN112270298B (zh) 2023-04-25

Family

ID=74340627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011277827.9A Active CN112270298B (zh) 2020-11-16 2020-11-16 道路异常识别的方法及装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112270298B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984285B (zh) * 2023-03-21 2023-07-04 上海仙工智能科技有限公司 一种基于生成对抗网络的库位状态检测方法及***、存储介质
CN117830063B (zh) * 2024-03-05 2024-05-14 中国水利水电第九工程局有限公司 一种山地高速公路施工安全风险管理***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154318B (zh) * 2006-09-05 2010-09-22 株式会社查纳位资讯情报 交通信息收集/配送方法及***、中心装置及车载终端装置
US9122932B2 (en) * 2012-04-30 2015-09-01 Xerox Corporation Method and system for automatically detecting multi-object anomalies utilizing joint sparse reconstruction model
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109615019B (zh) * 2018-12-25 2022-05-31 吉林大学 基于时空自动编码器的异常行为检测方法
CN110135261A (zh) * 2019-04-15 2019-08-16 北京易华录信息技术股份有限公司 一种训练道路异常识别模型、道路异常识别的方法及***
CN111832492B (zh) * 2020-07-16 2024-06-04 平安科技（深圳）有限公司 静态交通异常的判别方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法

Also Published As

Publication number Publication date
CN112270298A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN106651774B (zh) 一种车牌超分辨率模型重建方法及装置
US10915767B2 (en) Methods and systems for parking line marker detection and pairing and parking spot detection and classification
CN112270298B (zh) 道路异常识别的方法及装置、设备及计算机可读存储介质
Martinis et al. Unsupervised extraction of flood-induced backscatter changes in SAR data using Markov image modeling on irregular graphs
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN109800682B (zh) 驾驶员属性识别方法及相关产品
JP6811217B2 (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
EP3493157B1 (en) Method and system for visual change detection using multi-scale analysis
Ghanta et al. Automatic road surface defect detection from grayscale images
CN116647644B (zh) 基于数字孪生技术的校园交互式监控方法以及***
CN110796230A (zh) 卷积神经网络的训练及使用方法、设备及存储介质
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN114419552A (zh) 基于目标检测的违章车辆追踪方法及***
JP2001148019A (ja) 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
CN110766075A (zh) 轮胎区域图像比对方法、装置、计算机设备和存储介质
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN112418100B (zh) 基于图像分类与图像对比的公路车辆异常检测方法
CN116630286B (zh) 一种图像异常检测与定位的方法、装置、设备及存储介质
CN116704197B (zh) 一种河湖遥感图像的处理方法及***
von Rueden et al. Street-map based validation of semantic segmentation in autonomous driving
Hu et al. A reliable and fast ribbon road detector using profile analysis and model‐based verification
Gorintla et al. Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system
CN112733864A (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN115563652A (zh) 轨迹嵌入预防泄露方法及***
CN115358952A (zh) 一种基于元学习的图像增强方法、***、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant