CN109993031A - 一种畜力车目标违章行驶行为检测方法、装置及相机 - Google Patents

一种畜力车目标违章行驶行为检测方法、装置及相机 Download PDF

Info

Publication number
CN109993031A
CN109993031A CN201711485286.7A CN201711485286A CN109993031A CN 109993031 A CN109993031 A CN 109993031A CN 201711485286 A CN201711485286 A CN 201711485286A CN 109993031 A CN109993031 A CN 109993031A
Authority
CN
China
Prior art keywords
vehicle target
animal
image
target
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711485286.7A
Other languages
English (en)
Other versions
CN109993031B (zh
Inventor
孟腾腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201711485286.7A priority Critical patent/CN109993031B/zh
Publication of CN109993031A publication Critical patent/CN109993031A/zh
Application granted granted Critical
Publication of CN109993031B publication Critical patent/CN109993031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种畜力车目标违章行驶行为检测方法、装置及相机，其中，畜力车目标违章行驶行为检测方法包括：获取指定场景下的待检测图像；利用预设目标检测算法，对待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。通过本方案可以正确检测畜力车目标违章行驶行为。

Description

一种畜力车目标违章行驶行为检测方法、装置及相机
技术领域
本发明涉及智能交通技术领域，特别是涉及一种畜力车目标违章行驶行为检测方法、装置及相机。
背景技术
畜力车，是指依靠畜力(例如牛、马、驴、骡等)为驱动上道路行为的交通工具。目前，畜力车在城市交通场景中出现的频率较少，但在一些偏远郊区，畜力车的使用仍然较为普遍，畜力车在使用过程中危险系数较大，存在较大的安全隐患。并且，与庞大的车流量相比，畜力车违章行驶行为出现的频率较低，如果采用传统的人工筛选方式从大量的监控视频帧中筛选存在畜力车目标违章行驶行为的情况，由于大部分的监控视频帧是无效的，会耗费大量的人工时间，效率低。
近年来，随着人工智能技术的快速发展，基于深度学习的检测方法逐渐成为公共交通中用于进行车辆目标检测的主流技术。相应的车辆目标检测方法中，将采集的监控视频帧输入到基于车辆牌照、车辆颜色、车辆品牌等车辆基本属性特征训练得到的神经网络中，通过神经网络运算，即可检测车辆目标的类别和位置信息。
由于畜力车目标由驾驶人、牲畜和人造运输工具三部分组成，畜力车目标的属性特征较为复杂，如果直接将上述车辆目标检测方法应用到畜力车目标检测，具有很高的误检率，并且，由于畜力车目标违章行驶行为复杂多样，上述车辆目标检测方法对于畜力车目标是否违章行驶无法正确检测。
发明内容
本发明实施例的目的在于提供一种畜力车目标违章行驶行为检测方法、装置及相机，以正确检测畜力车目标违章行驶行为。
第一方面，本发明实施例提供了一种畜力车目标违章行驶行为检测方法，所述方法包括：
获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；
利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
可选的，所述获取指定场景下的待检测图像，包括：
获取通过图像采集器采集的指定场景下的源图像；
对所述源图像进行预处理，得到满足预设检测条件的预处理图像；
提取所述预处理图像中感兴趣区域内的图像，作为待检测图像。
可选的，在所述利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像之前，所述方法还包括：
获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
所述利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像，包括：
利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
所述利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标，包括：
利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
所述利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别，包括：
利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
可选的，在所述按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集之后，所述方法还包括：
判断各畜力车目标是否存在多种预设违章行驶行为类别；
若是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签。
可选的，所述利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标，包括：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
可选的，在所述利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像之前，所述方法还包括：
获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型；
所述利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像，包括：
利用所述图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像。
第二方面，本发明实施例提供了一种畜力车目标违章行驶行为检测装置，所述装置包括：
获取模块，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
目标检测模块，用于利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
目标识别模块，用于利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；
行为检测模块，用于利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
可选的，所述获取模块，具体用于：
获取通过图像采集器采集的指定场景下的源图像；
对所述源图像进行预处理，得到满足预设检测条件的预处理图像；
提取所述预处理图像中感兴趣区域内的图像，作为待检测图像。
可选的，所述装置还包括：
样本获取模块，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
提取模块，用于根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
第一分类模块，用于按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
第二分类模块，用于按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
第一训练模块，用于利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
所述目标检测模块，具体用于：
利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
所述目标识别模块，具体用于：
利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
所述行为检测模块，具体用于：
利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
可选的，所述装置还包括：
判断模块，用于判断各畜力车目标是否存在多种预设违章行驶行为类别；
添加模块，用于若所述判断模块的判断结果为是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签。
可选的，所述目标识别模块，具体用于：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
可选的，所述装置还包括：
样本获取模块，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
第二训练模块，用于根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型；
所述目标识别模块，具体还用于：
利用所述图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像。
第三方面本，发明实施例提供了一种相机，包括图像采集器、处理器和存储器，其中，
所述图像采集器，用于采集源图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例第一方面所述的方法步骤。
本发明实施例提供的一种畜力车目标违章行驶行为检测方法、装置及相机，利用预设目标检测算法，对获取的指定场景下的待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像，利用预设目标分类算法，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标，利用预设行为分类算法，对各畜力车目标进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的畜力车目标违章行驶行为检测方法的流程示意图；
图2a为现有技术的畜力车占用机动车道的违章行驶行为的示意图；
图2b为现有技术的畜力车载货乱象的违章行驶行为的示意图；
图3a为本发明实施例的畜力车目标存在乱象载货的违章行驶行为的检测效果示意图；
图3b为本发明实施例的畜力车目标存在驾驶人离开车辆的违章行驶行为的检测效果示意图；
图3c为本发明实施例的占用机动车道的畜力车目标违章行驶行为的检测效果示意图；
图4为本发明一实施例的畜力车目标违章行驶行为检测装置的结构示意图；
图5为本发明另一实施例的畜力车目标违章行驶行为检测装置的结构示意图；
图6为本发明又一实施例的畜力车目标违章行驶行为检测装置的结构示意图；
图7为本发明再一实施例的畜力车目标违章行驶行为检测装置的结构示意图；
图8为本发明实施例的相机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了正确检测畜力车目标违章行驶行为，本发明实施例提供了一种畜力车目标违章行驶行为检测方法、装置及相机。
下面，首先对本发明实施例所提供的一种畜力车目标违章行驶行为检测方法进行介绍。
本发明实施例所提供的一种畜力车目标违章行驶行为检测方法的执行主体可以为执行智能算法的计算机设备，还可以为执行智能算法的相机(例如，智能照相机、网络摄像机等)，为了能够实现目标识别的功能，执行主体中应该至少包括搭载有核心处理芯片的处理器。实现本发明实施例所提供的一种畜力车目标违章行驶行为检测方法可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种方式。
如图1所示，本发明实施例所提供的一种畜力车目标违章行驶行为检测方法，可以包括如下步骤：
S101，获取指定场景下的待检测图像。
由于交通道路中常出现畜力车占用机动车道(如图2a所示)、畜力车载货乱象(如图2b所示)等违章行驶行为，需要对这些违章行驶行为进行检测，以保证道路安全。在机动车行驶场景下(即禁止畜力车行驶的场景中)，禁止出现畜力车目标，因此，如果图像采集器的架设场景为机动车道场景，只需要识别出畜力车目标，即可确定该畜力车目标存在占用机动车道的违章行驶行为。指定场景为除机动车行驶场景以外的允许出现畜力车目标的路段场景，待检测图像为需要进行目标检测的图像，判断该图像中是否存在畜力车目标、判断畜力车目标是否具有违章行驶行为，并确定违章行驶行为的类别。待检测图像可以为照相机拍摄的一张图像，也可以为摄像机拍摄的一段视频中的某一视频帧。
可选的，获取指定场景下的待检测图像的步骤，可以包括：
获取通过图像采集器采集的指定场景下的源图像；
对源图像进行预处理，得到满足预设检测条件的预处理图像；
提取预处理图像中感兴趣区域内的图像，作为待检测图像。
其中，预处理包括归一化、旋转、平移等处理方式，由于在某些场景下，获取的源图像尺寸较大、或者偏移较严重、或者与正常拍摄的图像存在一定的角度偏差，为了加快畜力车目标识别的处理速度，确保在对图像进行处理时图像能够统一，需要将源图像进行预处理，例如，将源图像的尺寸均归一化为1980*1080。在对源图像进行预处理后，可以得到满足预设检测条件的预处理图像，预设检测条件可以为预设图像尺寸要求的条件、预设图像显示位置的条件或者预设图像显示角度的条件等，预设检测条件的设置可以基于对检测效果的要求，满足预设检测条件的预处理图像可以更便于预设目标检测算法的执行，有利于目标检测的准确性和快速性。如果需要对预处理后得到的预处理图像全图进行目标识别，则可以将预处理图像全图作为待检测图像，即检测区域设置为预处理图像全图。但是，由于在一般情况下，所预处理图像的视野较为宽广，其中可能存在不会出现畜力车目标的区域，为了提高畜力车目标识别的处理效率，可以从预处理图像中提取需要关注的区域，即感兴趣区域，也就是将感兴趣区域内的图像作为待检测图像。当然，不对所采集的源图像进行预处理，而直接提取源图像中感兴趣区域内的图像作为待检测图像进行目标识别，也属于本发明实施例的保护范围。
S102，利用预设目标检测算法，对待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像。
其中，预设目标检测算法可以为传统的基于迭代算法AdaBoost、连通区域算法Blob等的目标检测算法，也可以为例如基于CNN(Convolutional Neural Network，卷积神经网络)模型的深度学习目标检测算法，例如，定位目标检测算法Overfeat、基于候选区域的快速目标检测算法Faster RCNN、基于回归的目标检测算法YOLO等。设定预设目标检测算法用于对非机动车目标进行检测，因此，利用预设目标检测算法，可以判断待检测图像中是否存在非机动车目标，并对非机动车目标进行定位，确定机动车目标所处的区域图像。检测的方式可以是通过将待检测图像与已存储的标准非机动车目标进行比对，待检测图像中相似度大于一定阈值的目标则可以确定为非机动车目标，但是由于非机动车目标的种类繁多，一张一张进行对比会导致处理效率较低，因此，可以基于机器学习理论，通过训练得到一个目标检测模型，通过将待检测图像输入该检测模型，即可确定待检测图像中的非机动车目标。
S103，利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标。
其中，预设目标识别算法可以为传统基于图片对比的目标识别算法，也可以为例如基于CNN(Convolutional Neural Network，卷积神经网络)模型的深度学***板车目标等类别，如果一个区域图像中同时包括行人目标、牲畜目标和平板车目标，则可以确定该区域图像中的多个目标组成了一个畜力车目标；当然在目标设定时也可以直接将行人、牲畜和平板车组成的目标设定为畜力车目标，因此，目标分类的方式也可以是通过统计的方式将非机动车目标划分为畜力车目标和非畜力车目标。但是由于统计的方式计算量较大，会导致处理效率较低，因此，可以根据机器学习的理论，通过训练得到一个神经网络分类模型，通过将确定了非机动车目标所处区域图像的待检测图像输入该神经网络分类模型，对非机动车目标进行分类识别，即可判断该非机动车目标是否为畜力车目标。
由于交通道路的环境复杂多变，在确定非机动车目标所处区域图像后，该区域图像中可能包含有复杂的背景因素，这些背景因素可能会对非机动车目标的检测产生较大影响，为了减少环境干扰，可以利用图像分割的理论，将非机动车从所在场景进一步分离，可选的，利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标的步骤，可以包括：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
预设图像分割算法可以为根据灰度、颜色、纹理等特征，将非机动车目标从区域图像中分离出来的算法，为了保证图像分割的准确性和高效性，可以采用基于深度学习的图像分割算法，例如，FCN(全卷积神经网络，Fully Convolutional Networks)等图像语义分割的算法，对区域图像上的所有像素点进行分类，提取出非机动车目标的轮廓图像，然后再利用预设目标分类算法对轮廓图像进行目标分类识别。其中，FCN的图像分割模型需要通过训练得到，可选的，图像分割模型的训练方式可以包括如下步骤：
第一步，获取多个包含有非机动车目标的图像样本，其中，非机动车目标包括畜力车目标；
第二步，根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型。
非机动目标的特征信息包括非机动车目标的像素、颜色、灰度等，图像分割模型的训练过程，就是对基于卷积神经网络的图像分割模型的参数进行调整优化的过程，使得得到的图像分割模型可以提取出非机动车目标的轮廓图像。网络参数的具体调整过程这里不再赘述。
在训练得到图像分割模型后，利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像的步骤，可以包括：
利用图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像。
S104，利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
其中，预设行为检测算法可以为传统的基于特征对比的特征分类算法，也可以为例如基于CNN(Convolutional Neural Network，卷积神经网络)模型的神经学习特征分类算法。设定预设行为检测算法用于对畜力车目标进行分类检测，通过分类检测可以判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。行为分类的方式可以是通过与违章行驶行为模板图像进行比对，判断畜力车目标的行为状态与模板图像是否相同或相近，如果相同或相近，则确定畜力车目标存在违章行驶行为，且与模板图像的违章行驶行为的类别相同。但是，由于图像比对的方式处理速率慢、运算量大，因此，可以根据机器学习的理论，通过训练得到一个神经网络分类模型，通过该神经网络分类模型对畜力车目标进行分类检测，即可识别畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
畜力车目标的违章行驶行为可以包括驾驶人离开车辆、乱象载货、占用机动车道等。由于占用机动车道的违章行驶行为在机动车行驶场景下，如果对该场景下相机采集的图像直接检测到畜力车目标，则可以直接确定畜力车目标存在占用机动车道的违章行驶行为，故可不执行S104所示的步骤。
基于上述分析，若均采用神经学习的方法进行目标检测与目标识别，则需要对目标检测模型和神经网络目标分类模型进行训练，可选的，目标检测模型和神经网络目标分类模型训练的过程，可以包括如下步骤：
第一步，获取多个包含有非机动车目标的图像样本，其中，非机动车目标包括畜力车目标；
第二步，根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
第三步，按照预设分类策略，对第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
第四步，按照预设违章行驶行为类别，对第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
第五步，利用第一预设卷积神经网络算法，对第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对第二样本集及第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型。
通过搜集足够多的包含有非机动车目标的图像样本，其中，理论上图像样本越多越好，而图像样本的数目太多可能会影响处理性能，因此图像样本满足一定数量即可，并且，由于目的是对待检测图像中的畜力车目标进行检测，因此，非机动车目标包括畜力车目标，对于支持的畜力车目标的违章行驶行为的类别，也应尽量做到样本均衡。对所获取到的多个图像样本进行整理和标定，可以采用人工标定、半监督或者无监督的方式，标定出非机动车目标区域，这里不做限定，标定出的非机动车目标区域可以为包含有非机动车目标的矩形区域、圆形区域、外接多边形区域等。在训练目标检测模型、第一神经网络分类模型和第二神经网络分类模型时，可以自动根据标定的非机动车目标区域的坐标信息提取非机动车区域的图像，将提取的图像作为正样本进行训练，即可得到目标检测模型。非机动车目标区域的图像的提取方式，可以采用截图工具或者其他图像提取方式。
在提取非机动车目标区域的图像后，对非机动车目标进行分类，分为畜力车目标和非畜力车目标，对分类后的样本集进行训练即可得到用于识别畜力车目标的第一神经网络分类模型。然后，按照预设违章行驶行为类别，对畜力车目标进行违章行驶行为判定分类，预设违章行驶行为可以包括乱象载货、驾驶人离开车辆等，对判定分类后得到的样本集进行训练即可得到用于检测畜力车目标是否存在违章行驶行为并确定违章行驶行为类别的第二神经网络分类模型。此外，还可以将目标检测模型检测到的所有误检样本(即机动车样本)和第一神经网络分类模型中的误检样本作为第二神经网络分类模型训练时的负样本。
进行图像分割模型训练的图像样本与进行目标检测模型、第一神经网络分类模型、第二神经网络分类模型的图像样本可以相同。并且，第一神经网络分类模型以及第二神经网络分类模型在训练时所使用的样本，除了上述基于获取的包含非机动车目标的图像样本之外，还可以单独再采集所需要的样本。较于采用基于候选区域的快速目标检测算法Fast RCNN或基于回归的目标检测算法YOLO进行畜力车检测，大多数置信度低且误检率高，采用先检测非机动车目标后进行畜力车目标分类方法可极大降低误检数量，检测精度会大幅度提升。
此外，因为可能存在违章行驶行为重叠的情况，因此在训练时，可以采用多任务训练方法，即需要对整理好的样本，增加多个违章行驶行为标签，以标明是否存在多种违章行驶行为类别。即可选的，在按照预设违章行驶行为类别，对第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集之后，还可以包括：
判断各畜力车目标是否存在多种预设违章行驶行为类别；
若是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签。
在训练得到目标检测模型、第一神经网络分类模型和第二神经网络分类模型之后，可以直接利用目标检测模型对非机动车目标进行检测，利用第一神经网络分类模型对畜力车目标进行识别，利用第二神经网络分类模型对存在违章行驶行为的畜力车目标进行检测。则可选的，利用预设目标检测算法，对待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像的步骤，可以包括：
利用目标检测模型，对待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像。
利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标的步骤，可以包括：
利用第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标。
利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别的步骤，可以包括：
利用第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
通过目标检测模型、第一神经网络分类模型和第二神经网络分类模型的层层检测、识别，可以检测得到准确的识别违章行驶行为的畜力车目标，如图3a及图3b所示，检测得到如图3a所示的畜力车目标存在乱象载货的违章行驶行为，检测得到如图3b所示的畜力车目标存在驾驶人离开车辆的违章行驶行为。并且，在机动车行驶的场景下，可以检测得到如图3c所示的占用机动车道的畜力车目标违章行驶行为。
应用本实施例，利用预设目标检测算法，对获取的指定场景下的待检测图像进行非机动车目标检测，判断待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像，利用预设目标分类算法，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标，利用预设行为分类算法，对各畜力车目标进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。
响应于上述方法实施例，本发明实施例提供了一种畜力车目标违章行驶行为检测装置，如图4所示，该畜力车目标违章行驶行为检测装置可以包括：
获取模块410，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
目标检测模块420，用于利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
目标识别模块430，用于利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；
行为检测模块440，用于利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
可选的，所述获取模块410，具体可以用于：
获取通过图像采集器采集的指定场景下的源图像；
对所述源图像进行预处理，得到满足预设检测条件的预处理图像；
提取所述预处理图像中感兴趣区域内的图像，作为待检测图像。
可选的，所述分类识别模块430，具体可以用于：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
应用本实施例，由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。
基于图4所示实施例，本发明实施例提供了一种畜力车目标违章行驶行为检测装置，如图5所示，该畜力车目标违章行驶行为检测装置可以包括：
获取模块510，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
样本获取模块520，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
提取模块530，用于根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
第一分类模块540，用于按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
第二分类模块550，用于按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
第一训练模块560，用于利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
目标检测模块570，用于利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
目标识别模块580，用于利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
行为检测模块590，用于利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
应用本实施例，由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。并且，利用深度学习方法，实现目标检测与识别，保证了畜力车目标检测的高效性和准确率。
基于图5所示实施例，本发明实施例提供了一种畜力车目标违章行驶行为检测装置，如图6所示，该畜力车目标违章行驶行为检测装置可以包括：
获取模块610，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
样本获取模块620，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
提取模块630，用于根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
第一分类模块640，用于按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
第二分类模块650，用于按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
判断模块660，用于判断各畜力车目标是否存在多种预设违章行驶行为类别；
添加模块670，用于若所述判断模块660的判断结果为是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签；
第一训练模块680，用于利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
目标检测模块690，用于利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
目标识别模块6100，用于利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
行为检测模块6110，用于利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
应用本实施例，由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。并且，利用深度学习方法，实现目标检测与识别，保证了畜力车目标检测的高效性和准确率。通过增加多任务训练方法，添加多个违章行驶行为标签，有效检测具有违章行驶行为重叠情况的畜力车。
基于图4所示实施例，本发明实施例提供了一种畜力车目标违章行驶行为检测装置，如图7所示，该畜力车目标违章行驶行为检测装置可以包括：
获取模块710，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
目标检测模块720，用于利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
样本获取模块730，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
第二训练模块740，用于根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型；
目标识别模块750，用于利用所述图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标；
行为检测模块760，用于利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
应用本实施例，由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。并且通过图像分割模型，对区域图像进行分割，有效减少环境干扰，提高检测的准确率。
本发明实施例还提供了一种相机，如图8所示，包括图像采集器801、处理器802和存储器803，其中，
所述图像采集器801，用于采集源图像；
所述存储器803，用于存放计算机程序；
所述处理器802，用于执行所述存储器803上所存放的程序时，实现上述畜力车目标违章行驶行为检测方法的所有步骤。
图像采集器可以包括可见光摄像头、红外光摄像头、双光融合的摄像头、鱼眼摄像头等等，在此不作限定。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本实施例中，该相机中的处理器通过读取存储器中存储的计算机程序，并通过运行该计算机程序，能够实现：由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。
另外，相应于上述实施例所提供的畜力车目标违章行驶行为检测方法，本发明实施例提供了一种存储介质，用于存储计算机程序，所述计算机程序被处理器执行时，实现上述畜力车目标违章行驶行为检测方法的所有步骤。
本实施例中，存储介质存储有在运行时执行本发明实施例所提供的畜力车目标违章行驶行为检测方法的应用程序，因此能够实现：由于畜力车目标中的驾驶人、牲畜以及人造运输工具均为非机动车目标，通过预设目标检测算法检测待检测图像中的非机动车目标，结合预设目标分类算法及预设行为分类算法，对非机动车目标的畜力车目标进行识别，确定畜力车目标的违章行驶行为的类别，通过非机动车目标检测与畜力车目标识别的结合，保证了畜力车目标识别的低误检率，并且通过对畜力车目标违章行驶行为类别的检测，在保证正确识别畜力车目标的基础上，可以成功检测出畜力车目标的违章行驶行为。
对于相机以及存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、相机以及存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种畜力车目标违章行驶行为检测方法，其特征在于，所述方法包括：
获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；
利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
2.根据权利要求1所述的方法，其特征在于，所述获取指定场景下的待检测图像，包括：
获取通过图像采集器采集的指定场景下的源图像；
对所述源图像进行预处理，得到满足预设检测条件的预处理图像；
提取所述预处理图像中感兴趣区域内的图像，作为待检测图像。
3.根据权利要求1所述的方法，其特征在于，在所述利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像之前，所述方法还包括：
获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
所述利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像，包括：
利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
所述利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标，包括：
利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
所述利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别，包括：
利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
4.根据权利要求3所述的方法，其特征在于，在所述按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集之后，所述方法还包括：
判断各畜力车目标是否存在多种预设违章行驶行为类别；
若是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签。
5.根据权利要求1所述的方法，其特征在于，所述利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标，包括：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
6.根据权利要求5所述的方法，其特征在于，在所述利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像之前，所述方法还包括：
获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型；
所述利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像，包括：
利用所述图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像。
7.一种畜力车目标违章行驶行为检测装置，其特征在于，所述装置包括：
获取模块，用于获取指定场景下的待检测图像，其中，所述指定场景为允许出现畜力车目标的路段场景；
目标检测模块，用于利用预设目标检测算法，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
目标识别模块，用于利用预设目标识别算法，对各区域图像进行目标识别，判断各非机动车目标是否为畜力车目标；
行为检测模块，用于利用预设行为检测算法，对各畜力车目标进行行为检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，具体用于：
获取通过图像采集器采集的指定场景下的源图像；
对所述源图像进行预处理，得到满足预设检测条件的预处理图像；
提取所述预处理图像中感兴趣区域内的图像，作为待检测图像。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
样本获取模块，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
提取模块，用于根据标定的各图像样本中非机动车目标区域的坐标信息，提取各非机动车目标区域的图像，构成第一样本集；
第一分类模块，用于按照预设分类策略，对所述第一样本集进行畜力车目标及非畜力车目标分类，得到畜力车目标对应的第二样本集以及非畜力车目标对应的第三样本集；
第二分类模块，用于按照预设违章行驶行为类别，对所述第二样本集中各畜力车目标进行分类，得到各违章行驶行为类别的畜力车目标对应的第四样本集；
第一训练模块，用于利用第一预设卷积神经网络算法，对所述第一样本集进行训练，得到目标检测模型；利用第二预设卷积神经网络算法，对所述第二样本集及所述第三样本集进行训练，得到第一神经网络分类模型；利用第三预设卷积神经网络算法，对各第四样本集进行训练，得到第二神经网络分类模型；
所述目标检测模块，具体用于：
利用所述目标检测模型，对所述待检测图像进行非机动车目标检测，判断所述待检测图像中是否存在非机动车目标，并确定各非机动车目标所处的区域图像；
所述目标识别模块，具体用于：
利用所述第一神经网络分类模型，对各区域图像进行目标分类识别，判断各非机动车目标是否为畜力车目标；
所述行为检测模块，具体用于：
利用所述第二神经网络分类模型，对各畜力车目标的行为进行分类检测，判断各畜力车目标是否存在违章行驶行为，并确定违章行驶行为的类别。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
判断模块，用于判断各畜力车目标是否存在多种预设违章行驶行为类别；
添加模块，用于若所述判断模块的判断结果为是，则针对存在多种预设违章行驶行为类别的畜力车目标，添加多个违章行驶行为标签。
11.根据权利要求7所述的装置，其特征在于，所述目标识别模块，具体用于：
利用预设图像分割算法，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像；
利用预设目标识别算法，对各轮廓图像进行目标识别，判断各非机动车目标是否为畜力车目标。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
样本获取模块，用于获取多个包含有非机动车目标的图像样本，其中，所述非机动车目标包括畜力车目标；
第二训练模块，用于根据非机动目标的特征信息，利用第四预设卷积神经网络算法对各图像样本中的非机动车目标进行像素分类训练，得到图像分割模型；
所述目标识别模块，具体还用于：
利用所述图像分割模型，分别对各区域图像进行分割，得到各非机动车目标的轮廓图像。
13.一种相机，其特征在于，包括图像采集器、处理器和存储器，其中，
所述图像采集器，用于采集源图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN201711485286.7A 2017-12-29 2017-12-29 一种畜力车目标违章行驶行为检测方法、装置及相机 Active CN109993031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711485286.7A CN109993031B (zh) 2017-12-29 2017-12-29 一种畜力车目标违章行驶行为检测方法、装置及相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711485286.7A CN109993031B (zh) 2017-12-29 2017-12-29 一种畜力车目标违章行驶行为检测方法、装置及相机

Publications (2)

Publication Number Publication Date
CN109993031A true CN109993031A (zh) 2019-07-09
CN109993031B CN109993031B (zh) 2021-07-20

Family

ID=67110406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711485286.7A Active CN109993031B (zh) 2017-12-29 2017-12-29 一种畜力车目标违章行驶行为检测方法、装置及相机

Country Status (1)

Country Link
CN (1) CN109993031B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111489345A (zh) * 2020-04-13 2020-08-04 中国科学院高能物理研究所 区域分割模型的训练方法、装置、设备及存储介质
CN111507227A (zh) * 2020-04-10 2020-08-07 南京汉韬科技有限公司 基于深度学习的多学生个体分割及状态自主识别方法
CN112101212A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种电力安全管控复杂场景下人员位置判断方法
CN112365717A (zh) * 2020-10-10 2021-02-12 新疆爱华盈通信息技术有限公司 车辆信息采集方法及***
CN112598084A (zh) * 2021-03-02 2021-04-02 深圳金三立视频科技股份有限公司 一种基于图像处理的车辆类型识别方法及终端
CN112966572A (zh) * 2021-02-19 2021-06-15 合肥海赛信息科技有限公司 一种基于视频分析的非机动车违停智能检测方法
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、***、终端及存储介质
CN113470009A (zh) * 2021-07-26 2021-10-01 浙江大华技术股份有限公司 违规撑伞检测和识别方法、装置、电子设备及存储介质
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
CN103337176A (zh) * 2013-07-09 2013-10-02 辽宁天久信息科技产业有限公司 一种交通违章抓拍***及方法
CN104866841A (zh) * 2015-06-05 2015-08-26 中国人民解放军国防科学技术大学 一种人体目标奔跑行为检测方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
CN105975941A (zh) * 2016-05-31 2016-09-28 电子科技大学 一种基于深度学习的多方向车型检测识别***
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及***
CN107480618A (zh) * 2017-08-02 2017-12-15 深圳微品时代网络技术有限公司 一种大数据平台的数据分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
CN103337176A (zh) * 2013-07-09 2013-10-02 辽宁天久信息科技产业有限公司 一种交通违章抓拍***及方法
CN104866841A (zh) * 2015-06-05 2015-08-26 中国人民解放军国防科学技术大学 一种人体目标奔跑行为检测方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
CN105975941A (zh) * 2016-05-31 2016-09-28 电子科技大学 一种基于深度学习的多方向车型检测识别***
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及***
CN107480618A (zh) * 2017-08-02 2017-12-15 深圳微品时代网络技术有限公司 一种大数据平台的数据分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREJ KARPATHY等: "Large-scale Video Classification with Convolutional Neural Networks", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIALUE FAN等: "Human Tracking Using Convolutional Neural Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS》 *
骆迪: "基于视频技术的车辆违章行为检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN110738127B (zh) * 2019-09-19 2023-04-18 福建技术师范学院 基于无监督深度学习神经网络算法的安全帽识别方法
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111507227A (zh) * 2020-04-10 2020-08-07 南京汉韬科技有限公司 基于深度学习的多学生个体分割及状态自主识别方法
CN111507227B (zh) * 2020-04-10 2023-04-18 南京汉韬科技有限公司 基于深度学习的多学生个体分割及状态自主识别方法
CN111489345A (zh) * 2020-04-13 2020-08-04 中国科学院高能物理研究所 区域分割模型的训练方法、装置、设备及存储介质
CN111489345B (zh) * 2020-04-13 2023-08-15 中国科学院高能物理研究所 区域分割模型的训练方法、装置、设备及存储介质
CN112101212A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种电力安全管控复杂场景下人员位置判断方法
CN112365717A (zh) * 2020-10-10 2021-02-12 新疆爱华盈通信息技术有限公司 车辆信息采集方法及***
CN112966572A (zh) * 2021-02-19 2021-06-15 合肥海赛信息科技有限公司 一种基于视频分析的非机动车违停智能检测方法
CN112598084A (zh) * 2021-03-02 2021-04-02 深圳金三立视频科技股份有限公司 一种基于图像处理的车辆类型识别方法及终端
CN112598084B (zh) * 2021-03-02 2021-06-29 深圳金三立视频科技股份有限公司 一种基于图像处理的车辆类型识别方法及终端
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、***、终端及存储介质
CN113470009A (zh) * 2021-07-26 2021-10-01 浙江大华技术股份有限公司 违规撑伞检测和识别方法、装置、电子设备及存储介质
CN113470009B (zh) * 2021-07-26 2024-05-14 浙江大华技术股份有限公司 违规撑伞检测和识别方法、装置、电子设备及存储介质
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN115294774B (zh) * 2022-06-20 2023-12-29 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法
CN116246209B (zh) * 2023-03-09 2024-02-13 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法

Also Published As

Publication number Publication date
CN109993031B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109993031A (zh) 一种畜力车目标违章行驶行为检测方法、装置及相机
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
Mall et al. FuzzyNet-Based Modelling Smart Traffic System in Smart Cities Using Deep Learning Models
CN103914702B (zh) 用于提高视频中的对象检测性能的***和方法
US20190122059A1 (en) Signal light detection
CN108830188A (zh) 基于深度学习的车辆检测方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN111611970B (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及***
CN110555347B (zh) 具有危险载货行为的车辆目标识别方法、装置及电子设备
Xing et al. Traffic sign recognition using guided image filtering
Zhou Real-time animal detection system for intelligent vehicles
CN111753610A (zh) 天气识别方法及装置
Hou et al. A cognitively motivated method for classification of occluded traffic signs
Sayeed et al. Bangladeshi traffic sign recognition and classification using cnn with different kinds of transfer learning through a new (btsrb) dataset
Xing et al. The Improved Framework for Traffic Sign Recognition Using Guided Image Filtering
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Gupta et al. Computer vision based animal collision avoidance framework for autonomous vehicles
CN113239911B (zh) 一种无人驾驶智能塔吊视觉场景分析方法和装置
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Chughtai et al. Traffic Surveillance System: Robust Multiclass Vehicle Detection and Classification
Pan et al. Fake license plate recognition in surveillance videos
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant